AR
А какого рода ошибки и зачем отследить? Скрапи обычно ретраит их
Size: a a a
2020 January 28
V
ну не загрузил он к примеру с 3 попыток страницу с пагинацией, он же не будет туда до упора ломиться?)
МС
Viktor
ну не загрузил он к примеру с 3 попыток страницу с пагинацией, он же не будет туда до упора ломиться?)
1. количество попыток можно менять
2. а надо ли их именно сохранять? обычно не может скачать если: нет страницы, сервак лег, косяк в парсере, забанили. Все эти причины тянут за собой уже изменение самого парсера....
2. а надо ли их именно сохранять? обычно не может скачать если: нет страницы, сервак лег, косяк в парсере, забанили. Все эти причины тянут за собой уже изменение самого парсера....
AR
Viktor
ну не загрузил он к примеру с 3 попыток страницу с пагинацией, он же не будет туда до упора ломиться?)
5 раз по дефолту (вроде)
AR
а отследить постфактум можно в логе
V
а допаршиваете сайт как? чтобы он по удачно сохраненным ссылкам не бегал больше?
AR
от задачи зависит
AR
зачем его нужно допарсивать?
V
ну прошла неделя, месяц, появился новый контент
МС
Viktor
ну прошла неделя, месяц, появился новый контент
юзать что то вроде этого
https://github.com/scrapy-plugins/scrapy-deltafetch
https://github.com/scrapy-plugins/scrapy-deltafetch
AR
и типа новые продукты надо парсить, а старые не надо?
V
да, старые уже не нужны, только новые
V
к ид не привязаться
AR
ну тогда вон то, точнее есть замена получше
AR
а к урлу привязаться?
МС
ну тогда вон то, точнее есть замена получше
ну, это была первая ссыль в гугле 😂
я просто не помню название второй либы
я просто не помню название второй либы
V
о спасибо, похоже это то что надо)
МС
Viktor
о спасибо, похоже это то что надо)
ты погугли, есть какая то еще либа, может эта и "не торт" окажется
V
а есть кто парсит большие объемы? где итемсов набирается по 50 штук. каждую страницу в отдельный json парсить это рационально?