Size: a a a

2020 February 14

EB

Elisei Badanin in Scrapy
izzz zzi
в любом случае выгоднее чем SH)
при нормальном объеме там вообще цена растет в небеса(
источник

iz

izzz zzi in Scrapy
Elisei Badanin
ру аналоги, это фасты? если да, то политика скорее всего таже, мне раз отрубили сервер за скрипт кидди ддос(меня же), неделя ушла на восстановление
зомро пользовался
источник

iz

izzz zzi in Scrapy
Elisei Badanin
при нормальном объеме там вообще цена растет в небеса(
+ данные идут через них 🙂
источник

VB

Vladyslav Babych in Scrapy
Подскажите момент при использовании сплэша пауки всё работает синхронно? И как можно это ускорить?
источник

EB

Elisei Badanin in Scrapy
ну тут не факт, что они их как-то смогут использовать, на их объемах отследить полезность достаточно сложно
источник

iz

izzz zzi in Scrapy
Elisei Badanin
ну тут не факт, что они их как-то смогут использовать, на их объемах отследить полезность достаточно сложно
но все равно , этот факт немного пугает)
источник

EB

Elisei Badanin in Scrapy
так любой хостер в теории может использовать + у хостера есть намного более ценные данные(логи)
источник

iz

izzz zzi in Scrapy
ну в теории да , но хост не занимается парсингом в промышленом маштабе)
источник

EB

Elisei Badanin in Scrapy
хост может сливать логи, по которым можно кучу всего интерестного по маркетингу откопать
источник

iz

izzz zzi in Scrapy
Elisei Badanin
при нормальном объеме там вообще цена растет в небеса(
ну как минимум что ты платишь за 1 ядро и 1 озу такие бабки это странно)
источник

EB

Elisei Badanin in Scrapy
izzz zzi
ну как минимум что ты платишь за 1 ядро и 1 озу такие бабки это странно)
там все еще веселее, я так и не смог сделать парсинг без задержки…(
источник

iz

izzz zzi in Scrapy
50% от цены отдавать индусу и он будет все расклаывать )
источник

EB

Elisei Badanin in Scrapy
в итоге там даже это ядро и озу утилизировать нереально
источник

iz

izzz zzi in Scrapy
Elisei Badanin
там все еще веселее, я так и не смог сделать парсинг без задержки…(
ну да он настройки паука на тролинг игнорит
источник

iz

izzz zzi in Scrapy
щас стало выскакиевать
twisted.internet.error.TimeoutError: User timeout caused connection failure: Getting URL took longer than 180.0 seconds..

как пофиксить?
DOWNLOAD_DELAY добавил
источник

AR

Andrey Rahmatullin in Scrapy
но ведь DOWNLOAD_DELAY это сколько ждать перед отправкой запроса
источник

AR

Andrey Rahmatullin in Scrapy
izzz zzi
ну да он настройки паука на тролинг игнорит
если речь про автотроттлинг, то он просто включен по дефолту и его надо выключить настройкой
источник

iz

izzz zzi in Scrapy
Andrey Rahmatullin
но ведь DOWNLOAD_DELAY это сколько ждать перед отправкой запроса
ну на стаке нашел что советовали его добавить
источник

AR

Andrey Rahmatullin in Scrapy
ну это должно помочь задыхающемуся серверу, да
источник

iz

izzz zzi in Scrapy
Andrey Rahmatullin
но ведь DOWNLOAD_DELAY это сколько ждать перед отправкой запроса
ошибка стала меньше но все равно появляется
источник