c
Size: a a a
2020 February 05
AR
🤷♂️
c
New error: No module named 'scrapy.conf'
AR
as I said, 🤷♂️
AR
impossible to answer with just that one screenshot
AR
if you use Scrapy 1.8, that module doesn't exist anymore
VB
Можно как-то заставить сплеш ждать загрузки страницы без Lua скриптов?
VB
Подскажите плиз, кто парсил поисковую выдачу амазон. К чему можно привязаться чтобы найти рекомендованные элементы
2020 February 06
ВЛ
Привет, скажите, пж, хочу отфильтровать большой диапазон ip адресов по точном соответствии по регулярке,
вот так правильно, для примера?
вот так правильно, для примера?
^31\.13\.24\.0$|^31\.13\.24\.1$
AR
есть онлайн-тестеры регексов
ВЛ
G⚔
Привет, скажите, пж, хочу отфильтровать большой диапазон ip адресов по точном соответствии по регулярке,
вот так правильно, для примера?
вот так правильно, для примера?
^31\.13\.24\.0$|^31\.13\.24\.1$
G⚔
зы. а мне помог на днях вот такой вариант на жоес https://stackoverflow.com/a/26445549 для проверки вводимых значений на фронтах. Там расписан каждый блок в регулярке. Если захотеть - можно и переписать по до, что угодно.
МС
народ, а кто нить вообще подружил puppeteer & scrapy? а то я какой-то глупенький.... нихрена не получается....
AR
да, через мидлварь, а что именно не получается?
AR
через pyppetteer не пробовал
МС
эм, если честно, вааще не получается ничего 😂
https://github.com/clemfromspace/scrapy-puppeteer
https://github.com/lopuhin/scrapy-pyppeteer
у меня даже примеры не работают....
причем просто скрипт на python + puppeteer сработал (ну, за исключением того, что сайт тормозил и по таймауту вылетал)
https://github.com/clemfromspace/scrapy-puppeteer
https://github.com/lopuhin/scrapy-pyppeteer
у меня даже примеры не работают....
причем просто скрипт на python + puppeteer сработал (ну, за исключением того, что сайт тормозил и по таймауту вылетал)
МС
а если скрапи, то скорость "0 pagen/min"
AR
на продакшен сайте тестил или на каком-нибудь простом?
AR
ну и есличо второе-то с обычным скрапи не работает