ДТ
к примеру яндекс карты
Size: a a a
2020 October 21
ЛГ
У меня есть подозрения, что во время парсинга у меня отваливаются некоторые данные, как это фиксить или отслеживать?
ЛГ
запись в файл csv идет по 50 или поменьше, если за ним следить
ЛГ
но я уверен, что есть процент потерь, в логах парсинга точно мелькают все итемы
ЛГ
Не могу понять, на каком этапе они просираются
ЛГ
Посмотри в статах сколько итемов
поточнее
ЛГ
Посмотри в статах сколько итемов
я прост овижу на сайте 3400
ЛГ
парсит 2500-2700
ЛГ
Когда паук закрывается там в логах пишет, сколько было страниц, сколько айтемов и т.п. Там и смотри где числа маленькие
там просто ровноекол-во
ЛГ
страниц
ЛГ
и везде по 20 дивов
ЛГ
он простой
ЛГ
ща мелкую категорию жахну и посмотрю, что пишет
AR
но я уверен, что есть процент потерь, в логах парсинга точно мелькают все итемы
как ты уверен что точно все?
ЛГ
как ты уверен что точно все?
это будет тупо
ЛГ
но я много раз садился и следил за операциями