Size: a a a

2019 November 01

EB

Elisei Badanin in Scrapy
Не, они публикуют нормально, ну может там минута задержки, но тренд дольше идёт
источник

EB

Elisei Badanin in Scrapy
У реутерса есть фид какой-то, но как я понял для дистрибуторов(типа яху), но всеравно запросил инфу, посмотрим что ответят
источник

R

Roma in Scrapy
Ок, ладно, ушел трик о тритить с детьми
источник

EB

Elisei Badanin in Scrapy
На новую квартиру переехал никого нет,  до этого толпами ходили..
источник

E

Evgen in Scrapy
Я бы на scrapyrt завязал
источник

E

Evgen in Scrapy
Только к вопросу о блумберге - если будете какие то обычные прокси юзать, то придется рекаптчу обходить)
источник

R

Roma in Scrapy
глянул гитхаб и доку блумберга - у них есть API news - вот только как получить доступ к нему
источник

R

Roma in Scrapy
источник

R

Roma in Scrapy
А ты юзал scrapyrt в бою ?
источник

E

Evgen in Scrapy
Я знаю проект в котором он используется весьма себе используется
источник

f

fatklass in Scrapy
Встречал кто хорошие примеры работы с асинхронным database api Twisted?
источник

i

ildar in Scrapy
Я сам не пробовал, но то, что всплывает по первым линкам в гугле не подошло? Типа https://stackoverflow.com/questions/21983041/how-to-make-asynchronous-database-operations-with-twisted
источник

К

Кирилл in Scrapy
Roma
А ты юзал scrapyrt в бою ?
Люше такого не делать)
источник

EB

Elisei Badanin in Scrapy
Evgen
Я бы на scrapyrt завязал
Как он тут поможет? Стандартизировать апи? Проблему запуска раз в секунду итд он не решает же
источник

К

Кирилл in Scrapy
Elisei Badanin
Или можно ли создать запрос, чтобы он запустился через определенное время
DELAY это и есть вызвать через время
источник

E

Evgen in Scrapy
Можно написать отдельный сервис который будет дергать страницу с любой частотой. И я считаю что это лучшее решением с точки зрения стабильности
источник

EB

Elisei Badanin in Scrapy
Вызвать через время после создания запроса или через ремня после предыдущего? На сколько стабильно оно себя поведёт, когда нужно именно через 1 сек, а не не меньше, чем через 1?
источник

К

Кирилл in Scrapy
Если важно скорость реагирования, то я бы сделал как ты написал, бесконечный луп запрашивает фид, если есть что-то новое, дальше два варианта, если предполагается большое количество обновлений то обновление по редису передается в отдельный скрапи который стоит на идле и ждет инкома, второй же вариант, если мало обновлений то, тот же паук который фиды лупит он же и скачивает
источник

К

Кирилл in Scrapy
Все в отдельных процессах
источник

E

Evgen in Scrapy
Сеть глюканет или паук или ещё что то. И упадет. А через scrapyrt ну не пройдет там часть запросов и пофиг вообще
источник