Быстрая вставка миллиона строк в MySQL, prepare,exec Опции

[VladimirPivovar]

Решил написать алгоритм, который бы быстро вставлял в базу несколько сотен миллионов строк в MySQL

Пока остановился на том, чтобы проверить как вставляется несколько одинаковых строк в цикле:

  qDebug()<<QTime::currentTime();

if (query.prepare("INSERT INTO mainpackage (phoneNumberA,phoneNumberB,phoneNumberC,phoneNumberD,phoneNumberE)"
   "VALUES (?,?,?,?,?)"))
    {
        for (int i=0; i<1000000; i++)
        {
        query.addBindValue(QString("1234567891011"));
        query.addBindValue(QString("1234567891012"));
        query.addBindValue(QString("1234567891013"));
        query.addBindValue(QString("1234567891014"));
        query.addBindValue(QString("1234567891015"));

        }

      qDebug() << query.exec() << "blablabla";
      qDebug() << query.lastError().databaseText();
      qDebug()<<QTime::currentTime();
 }

Вместо (?,?,?,?,?) должны ведь подставляться строки 1234567891011 и т. д.

однако при выполнении вываливается ошибка : "No data supplied for parameters in prepared statement"

как побороть данную проблему?

Сообщение отредактировал ViGOur - 6.10.2011, 14:40

Причина редактирования: не забываем про тэг code

[ilyabvt]

query.exec() надо вызывать внутри цикла, а не после.

[vadim303]

query.exec() надо вызывать внутри цикла, а не после.

в этом случае будут выполнены миллионы запросов, что не есть гуд. Я бы присмотрелся к методу QSqlQuery::execBatch(). В хелпе и пример доходчивый к нему есть. Возможно за один его вызов все сотни миллионов строк запихивать не хорошо получится, но партиями точно будет быстрее чем одиночными exec(). Ну а размер партий экспериментально определить...

[Гость_Гость_*]

Делаю обычно так:

текстЗапроса = "begin";
текстПодзапрос = " Insert ... value(%1, %2, %3) ...;";

for (...)
{
    текстЗапроса += текстПодзапрос.
        arg(X).
        arg(Y).
        arg(X);
}

текстЗапроса += "end;";

выполняем запрос;

не знаю инъекцией это называется вроде? а может путаю

[Svet]

Делаю обычно так:

текстЗапроса = "begin";
текстПодзапрос = " Insert ... value(%1, %2, %3) ...;";

for (...)
{
    текстЗапроса += текстПодзапрос.
        arg(X).
        arg(Y).
        arg(X);
}

текстЗапроса += "end;";

выполняем запрос;

не знаю инъекцией это называется вроде? а может путаю

Это явно не инъекция. Думаю, так будет работать гораздо быстрее, чем вызывать каждый раз по одному запросу, но не уверен, что это будет самый быстрый способ.