ᅠ
Size: a a a
2020 January 13
AR
наверно
М
ну и если уж привык костылить custom_settings, то чо б остальное туда же не вписать
Почему костылить то, очень удобная, кстати, форма записи, когда в одном проекте пауки с разными настройками. Например где то прокси ротатор нужен, где то клаудфлэйр обойти, где то тор включить😁
AR
Почему костылить то, очень удобная, кстати, форма записи, когда в одном проекте пауки с разными настройками. Например где то прокси ротатор нужен, где то клаудфлэйр обойти, где то тор включить😁
потому что когда "сеттингс не видит" надо это чинить, а не писать всё в custom_settings
AR
в spider, но вне функции это как?
AR
выставляй переменные класса в рантайме
AR
в from_crawler обычно
AR
или так
МС
Кхм, я что то потерял нить разговора. С чего пошел разговор про пайпы и экспортёры? Вроде никто не говорил про хитромудрый csv . А обычный и из коробки (без указания пайпа) норм csv пишет.
МС
yield items это нужно чисто для pipeline?
это отдать айтем на обработку.
да, можно и на прямую в файл писать, только, если я не ошибаюсь, встроеный пайп/экспотер использует отложенную запись. Так что, и скорость будет по шустрее.
и да, что бы запустить сброс с csv файл надо просто задать
scrapy crawl "имя твоего паука" -o file_name.csv
ну, это если ты вдруг не знал...
да, можно и на прямую в файл писать, только, если я не ошибаюсь, встроеный пайп/экспотер использует отложенную запись. Так что, и скорость будет по шустрее.
и да, что бы запустить сброс с csv файл надо просто задать
scrapy crawl "имя твоего паука" -o file_name.csv
ну, это если ты вдруг не знал...
AR
только для этого нужно yield items, ага