К
Size: a a a
2019 December 12
К
Мне только только в голову збрело, что создавать дополнительный файл, с посещенными урлами - это оверхед, учитывая то, что результаты парсинга каждой ссылки заносятся в Elasticsearch 🤦♂️🤦♂️
Второй файл не поможет, если ты будешь перезапуск делать, а с 10м, ты точно будешь, тебе нужно будет каждую ссылку из одного файла искать в другом
AR
Привет
К
AR
Ну это ересь в любом случае :)
AR
Бд не зря придумали
iz
Так как это парс, у тебя будет асинхрон, файловый курсор будет убегать, чтоб поставить флаг нужно будет морочиться с сохранением номера строки или байта, я не помню есть ли у пайтона запись которая не трогает курсор, так что еще возможно нужно будет открывать два дескриптора на файл
пайп же в 1 поток пишет
AR
Nobody did the work как говорится