Size: a a a

2019 November 01

EB

Elisei Badanin in Scrapy
Может кто-то копался, как там все устроено
источник

EB

Elisei Badanin in Scrapy
Или можно ли создать запрос, чтобы он запустился через определенное время
источник

EB

Elisei Badanin in Scrapy
Если вешать на idle, то при падении одного из сайтов будет висеть все, пока он не отвалится по таймауту
источник

R

Roma in Scrapy
но в теории каждый спайдер(сайт) должен сам по себе - если один сайт упал - то процесс не должен вставать....Блин это ваще реально сделать?
источник

EB

Elisei Badanin in Scrapy
Ну это сводится к по процессу на сайт..тогда и скрапи уже не так важен
источник

EB

Elisei Badanin in Scrapy
Скрапид тут оверхед + он не решает проблем мониторинга, тогда уже каждого паука через супервизорд пускать
источник

R

Roma in Scrapy
Дождись утра - у ребят еще спроси. Но реально интерсно
источник

R

Roma in Scrapy
это не твиттер?
источник

EB

Elisei Badanin in Scrapy
Не, реутерс/блумберг/ссбн и подобные
источник

EB

Elisei Badanin in Scrapy
Твитер думал, но они с задержкой репостят
источник

R

Roma in Scrapy
а у них есть реал-тайм фид?Круто так то
источник

EB

Elisei Badanin in Scrapy
Хз про фид(могут и кешировать), в крайнем случае страницу с последними новостями буду
источник

EB

Elisei Badanin in Scrapy
Хотя есть подозрение что у кого-то есть ранете доступ
источник

EB

Elisei Badanin in Scrapy
Тот-же Гугл покупает фитбит закупать начали в 45мин, а новость в 46 с чем-то опубликовали
источник

EB

Elisei Badanin in Scrapy
Но я всеже склоняюсь к недостоверности истории цен(тики так и не смог достать)
источник

R

Roma in Scrapy
Блуиберг и Рейтера по-любому должны иметь реал тайм фид
источник

R

Roma in Scrapy
Но вот сколько стоит
источник

EB

Elisei Badanin in Scrapy
Ну я не думаю, что они инсайдерам сливают, их бы уже сек нагнул за такое + вой бы подняли вокруг этого
источник

EB

Elisei Badanin in Scrapy
На сайте публикуют они, я даже через веб архив проверял даты
источник

R

Roma in Scrapy
Нет конечно же не сливают, все официально, просто может дохера стоит
источник