вангую, что кейс такой: 1. Ты открываешь файл с логом на чтение 2. Проходишь его построчно 3. Нужные строки обрабатываешь и записываешь в бд 4. Закрываешь файл 5. По крону операция повторяется снова, и в итоге ты уже имеешь дубли в БД
Ну это перезапись, а нельзя как то выдернуть строку просканировать и потом вернуть если не подошла?
ну можешь создать доп массив с индесками строк нопремер и после перечитать файл и перезаписать без этих строк ну собсно это единственный вариант все остальное - детали реализации кто этим будет заниматься - ты или ось
Возьми рандомный кусок повторящихся логов из файла и напиши сервис перекладывания оттуда хостнеймов и какого-нибудь события в elasticsearch с сохранием хостнейма и события и чтобы после этого логи которые перенеслись затирались.