crossplatform.ru

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V  < 1 2  
Ответить в данную темуНачать новую тему
> Быстрая вставка строк в базу данных mysql
evgen55
  опции профиля:
сообщение 31.7.2017, 8:56
Сообщение #11


Новичок


Группа: Неактивирован
Сообщений: 8
Регистрация: 24.7.2017
Пользователь №: 4590

Спасибо сказали: 0 раз(а)




Репутация:   0  


Цитата(lanz @ 28.7.2017, 16:13) *
Прежде всего посмотрите, где у вас задержка, в Qt? При соединении с сервером? На сервере? В зависимости от этого нужно смотреть что конкретно оптимизировать.

Любой запрос (сама функция exec) выполняется 40 милисекунд, а в phpmyadmin выполняется мгновенно
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
lanz
  опции профиля:
сообщение 31.7.2017, 9:06
Сообщение #12


Старейший участник
****

Группа: Участник
Сообщений: 690
Регистрация: 28.12.2012
Пользователь №: 3660

Спасибо сказали: 113 раз(а)




Репутация:   8  


Мнгновенно это сколько в миллисекундах? :)
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
evgen55
  опции профиля:
сообщение 1.8.2017, 8:16
Сообщение #13


Новичок


Группа: Неактивирован
Сообщений: 8
Регистрация: 24.7.2017
Пользователь №: 4590

Спасибо сказали: 0 раз(а)




Репутация:   0  


Цитата(evgen55 @ 31.7.2017, 8:56) *
Цитата(lanz @ 28.7.2017, 16:13) *
Прежде всего посмотрите, где у вас задержка, в Qt? При соединении с сервером? На сервере? В зависимости от этого нужно смотреть что конкретно оптимизировать.

Любой запрос (сама функция exec) выполняется 40 милисекунд, а в phpmyadmin выполняется мгновенно

Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
lanz
  опции профиля:
сообщение 1.8.2017, 9:13
Сообщение #14


Старейший участник
****

Группа: Участник
Сообщений: 690
Регистрация: 28.12.2012
Пользователь №: 3660

Спасибо сказали: 113 раз(а)




Репутация:   8  


Цитата
Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)

Это возможно сравнение яблок с апельсинами. 0.0018 это то что показывает phpmyadmin, я если честно не знаю, как он меряет, что он включает в это время и как вы меряли 40 мс.
Приложите пожалуйста минимальный проект с бенчмарком чтобы можно было конкретно уже смотреть.

Кроме того - существует ли проблема вообще? Т.е. вы наблюдаете тормоза при вставке или вам просто не нравится число 40? :) Попробуйте вставить много строк, увеличивается ли время пропорционально? Как вы меряли время?

Согласитесь, что несколько странно видеть сишный код в 20 раз медленнее php, не верю :)
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
evgen55
  опции профиля:
сообщение 1.8.2017, 10:41
Сообщение #15


Новичок


Группа: Неактивирован
Сообщений: 8
Регистрация: 24.7.2017
Пользователь №: 4590

Спасибо сказали: 0 раз(а)




Репутация:   0  


Цитата(lanz @ 1.8.2017, 9:13) *
Цитата
Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)

Это возможно сравнение яблок с апельсинами. 0.0018 это то что показывает phpmyadmin, я если честно не знаю, как он меряет, что он включает в это время и как вы меряли 40 мс.
Приложите пожалуйста минимальный проект с бенчмарком чтобы можно было конкретно уже смотреть.

Кроме того - существует ли проблема вообще? Т.е. вы наблюдаете тормоза при вставке или вам просто не нравится число 40? :) Попробуйте вставить много строк, увеличивается ли время пропорционально? Как вы меряли время?

Согласитесь, что несколько странно видеть сишный код в 20 раз медленнее php, не верю :)

int id;
DB = QSqlDatabase::addDatabase("QMYSQL");
DB.setHostName("xxx.xxx.xxx.xxx");
DB.setDatabaseName("xxxxxxxx");
DB.setUserName("xxxxxxx");
DB.setPassword("xxxxxxxxxxx");
QSqlQuery* queryI;
QTime time;
queryI=new QSqlQuery(DB);
queryI->setForwardOnly(true);
queryI->prepare("INSERT INTO subtags(p_id,p_tag,item) VALUES(:p_id,:p_tag,:item)");
QSqlQuery query;
query.setForwardOnly(true);
query.prepare("SELECT id,subject_id,FROM objects");
while (query.next()) {
id=query.value(0).toString();
...
// цикл вставки где меняется p_tag и item
queryI->bindValue(":p_id",id);
queryI->bindValue(":p_tag","walling_type");
queryI->bindValue(":item",AllObject[ind].WALLING_TYPE);
time.start();
if (!queryI->exec())
            qDebug()<<"error update insert WALLING_TYPE"<<id;
else qDebug()<<time.elapsed(); // здесь каждый запрос 40 мс
...
}


Соответственно когда селект возвращает примерно 4000 объектов и внутренний цикл содержит примерно 10-20 item получается слишком долго
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
lanz
  опции профиля:
сообщение 1.8.2017, 11:21
Сообщение #16


Старейший участник
****

Группа: Участник
Сообщений: 690
Регистрация: 28.12.2012
Пользователь №: 3660

Спасибо сказали: 113 раз(а)




Репутация:   8  


Во первых QTime на Windows возвращает с точностью кратной то ли 15, то ли 20 мс, в любом случае, это слишком плохо.
Попробуйте QElapsedTimer, интерфейс тот же, а точность обычно лучше.
http://doc.qt.io/qt-4.8/qelapsedtimer.html

Если все равно 40 мс будет получаться, замерьте время всего цикла(с 40000-80000 вставок) и разделите, тогда получите точное время.

40000-80000 вставок это довольно много, попробуйте все таки execBatch и если не поможет, то попробуйте просто слепить в строке нужный запрос на вставку всех строк за раз и его выполнить - получите скорость вставки напрямую.
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
evgen55
  опции профиля:
сообщение 2.8.2017, 14:23
Сообщение #17


Новичок


Группа: Неактивирован
Сообщений: 8
Регистрация: 24.7.2017
Пользователь №: 4590

Спасибо сказали: 0 раз(а)




Репутация:   0  


Цитата(lanz @ 1.8.2017, 11:21) *
Во первых QTime на Windows возвращает с точностью кратной то ли 15, то ли 20 мс, в любом случае, это слишком плохо.
Попробуйте QElapsedTimer, интерфейс тот же, а точность обычно лучше.
http://doc.qt.io/qt-4.8/qelapsedtimer.html

Если все равно 40 мс будет получаться, замерьте время всего цикла(с 40000-80000 вставок) и разделите, тогда получите точное время.

40000-80000 вставок это довольно много, попробуйте все таки execBatch и если не поможет, то попробуйте просто слепить в строке нужный запрос на вставку всех строк за раз и его выполнить - получите скорость вставки напрямую.

Спасибо большое, слепить запрос в одну строку помогло. execBatch пробовал он не поддерживается
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение

2 страниц V  < 1 2
Быстрый ответОтветить в данную темуНачать новую тему
Теги
Нет тегов для показа


1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0




RSS Текстовая версия Сейчас: 15.10.2019, 2:26