Версия для печати темы

Автор: JuryS1806 28.6.2010, 23:34

Доброго времени суток!

Имею следующий код при работе с SQLITE:

void writedb::writeMyLibraryMaterials(const QString myFileName, const QMap<int,QStringList> LibraryMaterials,
                                      const QMap<int,QString> LibraryCategory)
{
QSqlDatabase db = QSqlDatabase::database("myLibraryMaterialConnect",false);
db.setDatabaseName(myFileName);
if (!db.open())
    {
        QMessageBox::warning(0, trUtf8("Ошибка"), trUtf8("Ошибка при подключении к базе данных %1.").arg(myFileName));
        return;
    }

QSqlQuery query(db);
     query.exec("DELETE FROM LibraryMaterials;");
     query.exec("DELETE FROM LibraryCategory;");
QString strF;
QString str;
QStringList current;
QString arg[13];
QMap<int,QStringList>::const_iterator it=LibraryMaterials.begin();
while (it != LibraryMaterials.end())
{
    current = it.value();
    for (int i = 0; i < current.size(); ++i)
        arg[i]=current.at(i);

strF = "INSERT INTO LibraryMaterials ("
              "number, category, name, colorreg, colorgreen, colorblue, material,"
              "text1, text2, scalex, scaley, repeatex, repeatey, autorepeat) "
              "VALUES('%1', '%2', '%3', '%4', '%5', '%6', '%7', '%8', '%9', '%10', '%11', '%12', '%13', '%14');";
str = strF.arg(it.key())        //номер материала
          .arg(arg[0].toInt())  //номер категории
          .arg(arg[1])          //имя материала
          .arg(arg[2].toInt())  //R
          .arg(arg[3].toInt())  //G
          .arg(arg[4].toInt())  //B
          .arg(arg[5].toInt())  //номер базового материала
          .arg(arg[6])          //файл текстуры 1
          .arg(arg[7])          //файл текстуры 2
          .arg(arg[8].toDouble())
          .arg(arg[9].toDouble())
          .arg(arg[10].toDouble())
          .arg(arg[11].toDouble())
          .arg(arg[12].toInt());

if (!query.exec(str))
    QMessageBox::warning(0, trUtf8("Ошибка"), trUtf8("Не смогли записать данные в таблицу библиотечных материалов."));
++it;
}

QMap<int,QString>::const_iterator itCat=LibraryCategory.begin();
while (itCat != LibraryCategory.end())
{

strF = "INSERT INTO LibraryCategory ("
              "number, name) "
              "VALUES('%1', '%2');";

str = strF.arg(itCat.key()).arg(itCat.value());

if (!query.exec(str))
    QMessageBox::warning(0, trUtf8("Ошибка"), trUtf8("Не смогли записать категории материалов."));
++itCat;
}

if (db.isOpen())  db.close();
}

Все работает, все здорово, но только после выполнения пары тысяч строк, происходит бурная работа на жестком диске.

Т.е. насколько я понимаю, при выполнении любого SQL запроса, qt записывает базу данных на диск. А в связи с тем что таких запросов несколько тысяч то и записывает он множество раз.

Так вот, хотел спросить, что в этой ситуации можно улучшить. Записать файл сначала в память, а потом уже на диск, как вариант создать раздел в памяти или все таки есть более простой способ ???

Спасибо заранее за помощь !

Автор: JuryS1806 29.6.2010, 0:09

Разобрался ! Может кому пригодится:

Перед созданием query начинаю транзакцию.

db.transaction();

А перед закрытием базы данных закрываю ее:

db.commit();

Таким образом на диск ничего не пишется, пока не выполнятся все запросы...

Автор: Алексей1153 29.6.2010, 6:23

Ну, по хорошему, так обычно и делается - крупные изменения делаются в транзакции, чтоб потом , в случае чего, можно было забить на изменения и оставить как было ) А СУБД, видимо, всё в озу делает - логично

Автор: panter_dsd 29.6.2010, 6:23

Еще используй prepare и bindValue. Это тоже ускорит запросы.

Автор: JuryS1806 29.6.2010, 20:09

Вообще, приятно удивлен скоростью работы с базой данных при использовании транзакций. К примеру раньше я использовал DBASE IV для своей программы, один файл - одна таблица. Но после sqlite3 я вообще изменил свое мнение о qt в лучшую сторону !

Единственный минус, тормоза при использовании QTableWidget медленно перелистывает, все окна плавают, как будто он грузит машину. Где-то раньше читал, что его ускоряют при отключении каких-то примечек.... Но не могу ничего пока придумать.
К примеру, сейчас я использую так:

tbl = new QTableWidget(0,14);
    tbl->setAutoFillBackground(true);
    tbl->setAcceptDrops(false);
    tbl->setShowGrid(true);

но задание этих свойств ничего не дает. Даже не знаю, что можно отключить, чтобы она забегала.

Автор: molchanoviv 29.6.2010, 20:16

Ты всю табличку разом в виджет выгружаешь? На мой взгляд лучше использовать LIMIT, а при пролистывании таблицы прото заново выполнять запрос. Я думаю так будет быстрее. Хотя я могу и ошибаться ибо не пробовал.

Автор: JuryS1806 29.6.2010, 20:25

Я вообще еще до конца так и не понял насчет процессов и потоков. Сейчас как-то пальцем в небо. Формирую таблицу, затем делаю qApp()->processEvents, затем ее отображаю, плюс в ней напичкал виджетов - кнопок, цветных форм, ролей с подсказками, но тормозит не из-за этого всего.

Просто при ресайсе и отображении. При перелистывании, даже звук дергается в колонках. На каком-то форуме давно встречал, что парень отключил какую-то примочку и она залетала. Что-то типа resize - eventa. Только где это не пойму.


Спасибо за совет, только я вот не пойму, как выполняются SQL-запросы. В драйвер передаются эти самые bindValue или они преобразуются опять-же в QString.
Это мне лень просто Qt-исходники ковырять, думаю как бы не получилось за зря лишних движений. Сейчас очень быстро работает. Даже не замечаю как, 700 кБ формирует за 0.3 сек под макросом.

Автор: Litkevich Yuriy 29.6.2010, 21:10

если СУБД поддерживает подстановку (binding), то сама СУБД и занимается подстановкой. Если не поддерживает, то в недрах QtSql формируется явный запрос.

Автор: JuryS1806 29.6.2010, 23:05

Это здорово. Почему на базе Qt нет готовых классов и решений для этих задач.
Типа среды MS Access. А то так делать долго придется. Сначала соединится с базой, потом отработать транзакции, потом закрыть их, потом отключится от нее и т.д. И все отдельными классами делать, чтобы Qt не ругался..... Я к тому что долгий процесс и трудоемкий.

Я сейчас попробовал все то же самое сделать в Access 2003 из под Wine. Работает быстрее чем Qt + SQLITE в 3 раза. Наверное Access использует как раз эти bindValues и все оптимизации, какие только есть.

Автор: Алексей1153 30.6.2010, 6:26

Я в таких случаях делал таблицу на экране всего в несколько десятков строк (точнее - ровно столько, сколько видно на экране). Это такое окно для огромной "мысленной" таблицы.
Затем, имеется переменная: хранит, какая строка из "мысленной" таблицы должна быть вверху окна.
Также, имеется кеш (обновляемый по времени) гда хранятся считанные из базы строки. При обновлении кеша производится удаление давно не используемых данных.
Детали мог сейчас не все вспомнить, но суть такая

А для возможности обратной связи в одно из полей таблицы (по возможности невидимое) нужно печатать уникальный ключ из базы

Автор: Litkevich Yuriy 30.6.2010, 10:33

про какие задачи речь? На все случаи жизни, если в Qt засовывать, то она сильно распухнет.

Автор: panter_dsd 30.6.2010, 11:29

Выкинь QTableWidget и используй связку QSqlTableModel+QTableView. Все ускорится во много раз.

Автор: Litkevich Yuriy 30.6.2010, 13:02

+1

Автор: JuryS1806 30.6.2010, 19:41

Да не так часто и используется библиотека материалов, забил один раз все нужные и она больше не нужна... Я уже в принципе доделал разработку, хотелось бы выложить свою программу на обозрение общественности. В кратцах, получился аналог Мебель К3, только под Linux, Mac и Windows.

Еще сейчас приделываю модуль Котедж и окна, мебельный модуль для проектирования кухонь в цвете и в текстуре с освещениями готов полностью.