К
Size: a a a
2019 December 11
AB
А он ретрай там сделает ?)
AB
Или скипает просто?
AB
2019-12-11 17:25:59 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <B> from <A>
AB
A == B у меня
AB
это могут быть оборонительная автоматика сайта?
AB
спасибо, погрепал получше, айтемы таки забираются
AB
еще такой вопрос: kernel киляет мой проект с несколькими пауками (Out of memory: Kill process), в результате половина из них не завершаются. Что можно подкрутить в scrapy чтобы избежать такого?
АП
еще такой вопрос: kernel киляет мой проект с несколькими пауками (Out of memory: Kill process), в результате половина из них не завершаются. Что можно подкрутить в scrapy чтобы избежать такого?
Фикси код, он памяти много ест.
AB
эх, попробую, а вот здесь ниче не поможет?)
МС
по умолчанию там 16 потоков, обычно приходится повышать, для скорости, иногда понижать из-за защиты (если без проксей). Но уж точно не понижать из-за нехватки ресурсов... Так что смотри что там у тебя в коде
AB
да, похоже узкое место в моем pipeline, я там гененрирую кастомный xml через ET😇
2019 December 12
OM
Есть парсер на node js кто может поправить перестали парсить правильно
OM
Есть парсер на node js кто может поправить перестали парсить правильно
Парсил магазины etsy.com а потом перестал, видать изменили в коде что-то