чтение txt файла кусками, чтение и поиск в файле с запоминанием позиции Опции Подписка на тему Сообщить другу Версия для печати Скачать тему Подписка на этот форум Режимы отображения Переключить на: Древовидный Переключить на: Стандартный Линейный

[Aleksei]

задача открыть лог файл и найти в нём строку, выдать сообщение. Так как лог файл обновляется постоянно, то я буду по таймеру запускать поиск. Файл можно открыть только для чтения.
Товарищ FireBlack подсказал: "читаете его кусками и ищете искомую запись. Если, как Вы говорите, это большой лог файл (который только дополняется), то имеет смысл запоминать последнюю позицию и при следующем чтении файла начинать с нее."
Но как это сделать я так и не понял, как работать с qt документацией? примеров не нашёл.
Читаю книгу ООП Лафоре.

так как не знаю как пользоваться этой подсказкой, пока придумал такую реализацию:
- открою файл для чтения, сделаю поиск строки, выдаст сообщение если найдёт, посчитаю кол-во строк в файле, запомню в переменной номер последней строки, закрою файл.
- по таймеру открою опять файл, из переменной возьму последнюю строку +1 и с этой строки буду опять искать, что бы не искать заново по всему файлу.
ещё можно сделать проверку перед запуском поиска изменился ли файл, либо по его размеру, либо опять же по кол-ву строк определять. Если файл не изменился выдать предупреждение, что возможно повисла программа которая пишет в лог файл.

смущает что лог файл большой и очень много строк будет, наверно мой способ будет медленный.

подскажите как сделать правильней.

[Trisch]

В принципе, алгоритм верный.

Для открытия файла и поиска строки понадобятся такие библиотеки QFile, QTextStream, QIODevice.

Для того чтобы узнать был ли изменен файл можно воспользоваться библиотекой QFileInfo.

[lanz]

запомню в переменной номер последней строки

Лучше запоминайте позицию в файле, потом сделаете seek(товарищ FireBlack все верно говорит)
А как найти строку с номером, не перечитывая файл с начала я даже не знаю.

Но как это сделать я так и не понял, как работать с qt документацией? примеров не нашёл.

Читайте detailed description класса, который хотите использовать, там обычно есть пример использования.

либо по его размеру

Еще лучше, запоминайте размер, и если он изменился, делайте seek на размер + 1. Тогда и позицию не надо будет хранить.

смущает что лог файл большой и очень много строк будет, наверно мой способ будет медленный.

Пусть не смущает. Пока не попробуете, не узнаете и никто вам не скажет

[Aleksei]

Цитата
запомню в переменной номер последней строки
Лучше запоминайте позицию в файле, потом сделаете seek(товарищ FireBlack все верно говорит)
А как найти строку с номером, не перечитывая файл с начала я даже не знаю.

Как запомнить позицию?
хм не знаю, если даже прога и перечитает файл сначала, то поиск будет идти только с новых строк.

В detailed description:
Sequential devices don't support seeking to arbitrary positions. The data must be read in one pass. The functions pos() and size() don't work for sequential devices. QTcpSocket and QProcess are examples of sequential devices.
Гугл перевод:
Последовательные устройства не поддерживает поиск в произвольные положения. Данные должны быть считаны за один проход. Функции pos() и size() не работают для последовательных устройств. QTcpSocket и QProcess примеры последовательных устройств.

Получается считывает тоже весь файл?

вроде так:
buffer.open(QIODevice::WriteOnly);
buffer.seek(3);
начнет после 3 символа.
а как в pos() передать последнюю позицию (конец файла)?

[Aleksei]

разобрался с проверкой изменения файла, конечно потом будет по таймеру но пока по клику на кнопку:

QFileInfo info3(_file);                                              // тут сам файл
    if (raz1.isEmpty()==true)                                    
        raz1=info3.lastModified().toString();                 // записали дату изменения
    if (raz1 == info3.lastModified().toString())            //  сравниваем с предыдущей проверкой
        {
            ui->statusBar->showMessage("Файл не изменился",6000);
            ui->textEdit->setText(info3.lastModified().toString());
        }
    else
        {
            ui->statusBar->showMessage("Файл изменился",6000);
            ui->textEdit->setText(info3.lastModified().toString());
        }

[lanz]

Получается считывает тоже весь файл?

Нет, файл это не последовательное устройство.

Как запомнить позицию?

qint64 pos = file.size();

хм не знаю, если даже прога и перечитает файл сначала, то поиск будет идти только с новых строк.

Это почему это?

buffer.open(QIODevice::WriteOnly);

Открыть файл только для записи. Нужно для чтения.

а как в pos() передать последнюю позицию (конец файла)?

file.seek(pos)

[Aleksei]

Цитата
хм не знаю, если даже прога и перечитает файл сначала, то поиск будет идти только с новых строк.
Это почему это?

спасибо, буду пробовать.
А по вопросу: потому что хотел посчитать строки и при следующем запуске, поиск начинать со следующей.

[Aleksei]

изучаю дальше и немного добавляю полезность в свою программу.

void MainWindow::on_svoistvaButton_clicked() //инфа о файле
{
        QFileInfo info(_file);
        ui->label->setText("Имя файла: " + info.fileName());
        ui->label_2->setText("Размер файла: " + QString::number(info.size()/1024) + " Кб");
        ui->label_3->setText("Дата изменения: " + info.lastModified().toString());
} 
void MainWindow::on_changeButton_clicked()  // изменился ли файл
{
    QFileInfo info3(_file);
    if (raz1.isEmpty()==true)
        raz1=info3.lastModified().toString();
    if (raz1 == info3.lastModified().toString())
        {
          QMessageBox::critical(this, tr("ВНИМАНИЕ!!!"),
          tr("Файл давно не менялся!\n"));
        }
    else
        {
            ui->statusBar->showMessage("Файл изменился",6000);
            ui->textEdit->setText(info3.lastModified().toString());
            raz1=info3.lastModified().toString();
        }
}
void MainWindow::on_lineEdit_textEdited(const QString &arg1)  // если нет текста то кнопка не активна
{
    if(arg1.isEmpty()){
            ui->seachButton_4->setEnabled(false);
        }else{
            ui->seachButton_4->setEnabled(true);
        }
}

теперь ищу информацию как сделать поиск в файле.
вопрос: буду делать поиск введённого слова в lineEdit есть ли разница если искать число а не текст.
вообще программа задумывается как поиск числа 500 в файле, если есть выдать сообщение.

[lanz]

теперь ищу информацию как сделать поиск в файле.

Оберните файл в QTextStream, читайте readLine, запоминайте позицию, делайте seek, так же как и с файлом.

вопрос: буду делать поиск введённого слова в lineEdit есть ли разница если искать число а не текст.

Если файл бинарный, тогда в нем не получится искать текст, только числа, если текстовый, то наоборот.

[Aleksei]

Если файл бинарный, тогда в нем не получится искать текст, только числа, если текстовый, то наоборот.

можно по подробней?
файл текстовый (*.txt), ошибка будет выглядеть примерно так "дата время error = 500 а=1-2-3"
хочу искать "500", может понадобится поиск и других ошибок по этому делаю через поля ввода.

[lanz]

можно по подробней?

Если файл текстовый, то число это просто набор символов 5, 0 и 0 поэтому и искать надо строку "500"
А если файл бинарный, то число это набор байт 0x01 0xf4, причем как количество байт в записи числа, так и их порядок могут быть разные и это надо учитывать при чтении.
Если быть совсем занудой, можно сказать что текстовый файл тоже бинарный, просто каждый его байт(или группа байт в случае юникода) представляет собой один символ.

Искать примерно так:

QFile file(...);
file.open(...);
QTextStream stream(&file); 
stream.seek(pos);
while(...) {
  QString line = stream.readLine();
  if( line.indexOf( "500" ) != -1 ) {
   // найдено
  } else {
   // ненайдено
  }
}

Единственно о чем помнить, сохранять позицию только в конце строки (где есть перевод строки), потому что если сначала считаете файл
"дата время error = 5"
А потом продолжите поиск с 0
"00 а=1-2-3", то ничего не найдется.

[Aleksei]

сделал пока поиск без позиций

void MainWindow::on_seachButton_4_clicked() //поиск
{
    if(!_file.isOpen() && !_file.open(QFile::ReadOnly | QFile::Text))
        {
           QMessageBox::information(this, "Ошибка", "Ошибка открытия для чтения");
           return;
        }
          QString line;
          QString err = ui->lineEdit->text();
          QTextStream stream(&_file);
          while (!stream.atEnd())
           {
              line = stream.readLine();
              if (line.contains(err))
                {
                   ui->statusBar->showMessage("НАШЁЛ",5000);
                }
            else
                {
                   ui->statusBar->showMessage("Не найдено",5000);
                }
          }

              _file.close();
   
}

всё ли логично и правильно?
теперь буду пробовать с позициями.

[Aleksei]

не пойму, что случилось, только что искал как надо.
стал пробовать с позициями потом строки с позициями закоментил, пробую просто поиск из предыдущего поста и он не работает.

[Aleksei]

поиск работает не верно ищет только в последней строке.

[lanz]

Казнить нельзя помиловать

[Aleksei]

решил по другому сделать прогу.
поиск так и не заработал, ищет только в последней строке файла.
решил пока разобраться с таймером
для теста сделал так:

void MainWindow::on_startButton_clicked()
{
    ui->statusBar->showMessage("Нажата кнопка старт",2000);
    connect(&timer, SIGNAL(timeout()), this, SLOT(pusk()));
    timer.start(4000);
}
void MainWindow::pusk()
{
    ui->statusBar->showMessage("Нажата кнопка старт",2000);
}

void MainWindow::on_stopButton_clicked()
{
    timer.stop();
}

вроде всё работает, но при запуске QT в проблемах пишет:
FTH: (4800): *** Fault tolerant heap shim applied to current process. This is usually due to previous crashes. ***
что не так?

[Aleksei]

пробовал оставить одну кнопку с выводом сообщения в статус бар, такая же ошибка.
упростил

void MainWindow::on_startButton_clicked()
{
    pusk();
    connect(&timer, SIGNAL(timeout()), this, SLOT(pusk()));
    timer.start(4000);
}

[Aleksei]

сегодня этой ошибки уже нет.
добавил виджет QProgressBar, как сделать чтобы то время которое светится текст в ui->statusBar->showMessage("Нажата кнопка старт",2000); отображалось в QProgressBar.

[lanz]

http://qt-project.org/doc/qt-4.8/qprogress...tml#format-prop
Если я все правильно понял.

[Aleksei]

http://qt-project.org/doc/qt-4.8/qprogress...tml#format-prop
Если я все правильно понял.

спасибо но я не понял как этим воспользоватся.
в принципе в моей программе ProgressBar будет заполнятся при поиске. Нужно с начало с поиском разобраться.

[Aleksei]

Переделал.

void MainWindow::on_action_triggered()  //выбор файла
{
    QString fileName = QFileDialog::getOpenFileName(this, "Выбрать файл", "", "*.txt");
        if(!fileName.isEmpty())
         {
            QFileInfo info(fileName);
            ui->label_file->setText("Выбран файл: " + info.fileName());
            ui->startButton->setEnabled(true);
            _file.setFileName(fileName);
         }
        else
           {
            QMessageBox::information(this, "Ошибка", "Для начала нужно выбрать файл");
            ui->label_file->setText("Выбран файл:");
           }
        return;
}

void MainWindow::on_startButton_clicked() //кнопка старт поиска
{
    ui->stopButton->setEnabled(true);
    pusk();

}

void MainWindow::pusk()  //функция поиска
{
    ui->statusBar->showMessage("Нажата кнопка старт",1000);
    if(!_file.isOpen() && !_file.open(QFile::ReadOnly | QFile::Text))
        {
           QMessageBox::information(this, "Ошибка", "Ошибка открытия для чтения");
           return;
        }
           QString text = ui->lineEdit->text();
           QString line;
           QTextStream in(&_file);
          while (!in.atEnd())
          {   line = in.readLine();
              if (line.contains(text))
              {
                  ui->statusBar->showMessage("НАШЁЛ",4000);
                  ui->textEdit->setText(line);
              }
           
      }
      _file.close();
}

Поиск заработал, выводит строку в которой нашёл.
Но если в тексте 400 или 40000, а я ищу 4 или 40 то он находит эту строку, как задать что бы правильно работало?
Также если в тексте несколько строк с нужным текстом, то он отображает только последнюю, как тут быть?

[lanz]

Но если в тексте 400 или 40000, а я ищу 4 или 40 то он находит эту строку, как задать что бы правильно работало?

Используйте регулярные выражения:
http://qt-project.org/doc/qt-4.8/qregexp.html

Также если в тексте несколько строк с нужным текстом, то он отображает только последнюю, как тут быть?

Но находит все, просто

ui->textEdit->setText(line);

заменяет весь текст на каждую следующую найденную строку
используйте append
http://doc.qt.io/qt-5/qtextedit.html#append

[Aleksei]

не могу найти как сделать что бы выводил (сверял) именно то число которое ввёл пользователь.
если ограничить {3} тремя символами, то это будет неправильно, ведь пользователь может захотеть искать и двухзначное число.
QRegExp rx("[0-9]{1,4}");

результат решил выводить через List, теперь не затирает.
ui->listWidget->addItem(rx.cap(0));

[Aleksei]

идея:
1) Можно найти длину строки вводимой в поиск и передать длину в QRegExp rx
или
2) Проверить в найденном элементе, является ли следующий символ пробел (пустой).

Как в посимвольном поиске сдвигают каретку на шаг. Можно ли тут так использовать. И какой из вариантов лучше?

Сообщение отредактировал Aleksei - 1.3.2015, 9:40

[lanz]

Зачем так сложно? Используйте последовательность \b
http://www.regular-expressions.info/wordboundaries.html

[Aleksei]

Зачем так сложно? Используйте последовательность \b
http://www.regular-expressions.info/wordboundaries.html

QRegExp rx (ui->lineEdit->text()+"\\b");
так?
вроде работает.

только в результат выдаёт то число, что мы искали, а мне нужно строку в которой нашли.

Сообщение отредактировал Aleksei - 2.3.2015, 15:58

[lanz]

Что то вроде:

.*\\b500\\b.*

Еще можно маркеры начала/конца добавить по вкусу или \n

[Aleksei]

lanz, с тобой можно пообщаться? skype или icq

[Aleksei]

нашёл как сделать по другому

void MainWindow::pusk()  //функция сообщения
{
    ui->statusBar->showMessage("Нажата кнопка старт",1000);
    if(!_file.isOpen() && !_file.open(QFile::ReadOnly | QFile::Text))
        {
           QMessageBox::information(this, "Ошибка", "Ошибка открытия для чтения");
           return;
        }
               QRegExp rx ("\\b"+ ui->lineEdit->text()+"\\b");
               QTextStream in(&_file);
               QString line = in.readAll();

               int pos = 0;
              while ((pos = rx.indexIn(line, pos)) != -1)
              {
                  if (line.contains(ui->lineEdit->text()))
                  {
                    ui->statusBar->showMessage("НАШЁЛ",4000);
                   ui->listWidget->addItem(rx.cap(0));
                   pos += rx.matchedLength();
                   ui->listWidget_2->addItem(QString::number(pos));
                  }
                  else
                   {
                      ui->statusBar->showMessage("НЕ НАШЁЛ",4000);
                   }

              }
     _file.close();
}

так как я считываю весь файл .*\\b500\\b.* выдаёт весь файл всё сразу.

или лучше считывать построчно?
что будет быстрей и менее нагружать комп?

Сообщение отредактировал Aleksei - 3.3.2015, 1:04

[Aleksei]

рабочий поиск без позиций

 QTextStream stream(&_file);
   QRegExp rx ("\\b"+ ui->lineEdit->text()+"\\b");
     while (!stream.atEnd())
    {
      QString line = stream.readLine();
      if((line.indexOf(rx)) != -1 )
      {
          ui->statusBar->showMessage("НАШЁЛ",4000);
          ui->listWidget->addItem(line); // печатает полностью строку где удовлетворительное условие
       }
   }
     _file.close();