Size: a a a

2020 October 21

ДТ

Даниил Трофимов... in Scrapy
к примеру яндекс карты
источник

ЛГ

Лев Гареев in Scrapy
У меня есть подозрения, что во время парсинга у меня отваливаются некоторые данные, как это фиксить или отслеживать?
источник

ЛГ

Лев Гареев in Scrapy
запись в файл csv идет по 50 или поменьше, если за ним следить
источник

ЛГ

Лев Гареев in Scrapy
но я уверен, что есть процент потерь, в логах парсинга точно мелькают все итемы
источник

ЛГ

Лев Гареев in Scrapy
Не могу понять, на каком этапе они просираются
источник

К

Кирилл in Scrapy
Посмотри в статах сколько итемов
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Посмотри в статах сколько итемов
поточнее
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Посмотри в статах сколько итемов
я прост овижу на сайте 3400
источник

ЛГ

Лев Гареев in Scrapy
парсит 2500-2700
источник

К

Кирилл in Scrapy
Когда паук закрывается там в логах пишет, сколько было страниц, сколько айтемов и т.п. Там и смотри где числа маленькие
источник

К

Кирилл in Scrapy
На сайтах часто врут, сколько у них там товаров или еще чего
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Когда паук закрывается там в логах пишет, сколько было страниц, сколько айтемов и т.п. Там и смотри где числа маленькие
там просто ровноекол-во
источник

ЛГ

Лев Гареев in Scrapy
страниц
источник

ЛГ

Лев Гареев in Scrapy
и везде по 20 дивов
источник

ЛГ

Лев Гареев in Scrapy
он простой
источник

ЛГ

Лев Гареев in Scrapy
ща мелкую категорию жахну и посмотрю, что пишет
источник

К

Кирилл in Scrapy
Может там где-то 404 ошибки или дубли фильтруются. Если по логам не видно, тогда в дэбагере ищи
источник

AR

Andrey Rahmatullin in Scrapy
Лев Гареев
но я уверен, что есть процент потерь, в логах парсинга точно мелькают все итемы
как ты уверен что точно все?
источник

ЛГ

Лев Гареев in Scrapy
Andrey Rahmatullin
как ты уверен что точно все?
это будет тупо
источник

ЛГ

Лев Гареев in Scrapy
но я много раз садился и следил за операциями
источник