В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 November 01

EB

Elisei Badanin in Scrapy
Тут есть интересная задача, кто бы как делал? Есть ряд новостных сайтов(несколько десятков), необходимо получать новости как можно скорее(секунды решают...), вот думаю: в скрапи бесконечно генерировать запросы на загрузку фида, или по отдельному демону пустить на каждый сайт и в цикле раз в секунду генерировать, или....? У кого какие идеи?
источник
02:05пожаловаться#1

R

Roma in Scrapy
Реально интересно....У меня подобной задачи не было - могу быть не прав....Мне кажется запуск должен быть с одного места - генерить бесконечный запрос внутри скрапи не верно
источник
02:12пожаловаться#2

EB

Elisei Badanin in Scrapy
Самое простое, идти в лоб и по демону на сайт, а там бесконечный цикл
источник
02:12пожаловаться#3

EB

Elisei Badanin in Scrapy
Но как-то костыльно
источник
02:13пожаловаться#4

R

Roma in Scrapy
Ну тебе ж надо - чтобы можно было легко дописать один спайдер и подключить к фиду и так же убрать
источник
02:13пожаловаться#5

EB

Elisei Badanin in Scrapy
В скрапи запрос генерировать «нормально»... вот только за стабильность переживаю
источник
02:13пожаловаться#6

R

Roma in Scrapy
ну честно говоря - раз в секуду - нехило так то
источник
02:13пожаловаться#7

EB

Elisei Badanin in Scrapy
Мне нужно финансовые новости получать и обрабатывать(отдельная история), там в случае чего интересного через несколько минут новость уже теряет актуальность
источник
02:15пожаловаться#8

EB

Elisei Badanin in Scrapy
Сайты крупные, им мои раз в секунду как слону дробинка
источник
02:15пожаловаться#9

R

Roma in Scrapy
Да понимаю - для трейдинга -я б все таки выбирал запуск через API - все спайдеры в одном проекте - просто лупом перебирал, так чтобы можно было легко добавить спайдер - легко убрать спайдер и не делать дополнительного демона - один демон на всех
источник
02:19пожаловаться#10

R

Roma in Scrapy
или такой вариант - не успеет запустить все за секунду?
источник
02:19пожаловаться#11

EB

Elisei Badanin in Scrapy
Скрапи? И на idle генерировать новый запос к фиду?
источник
02:20пожаловаться#12

EB

Elisei Badanin in Scrapy
Ну в теории можно в scrapyd это все завернуть..
источник
02:21пожаловаться#13

R

Roma in Scrapy
я про него так то и думал
источник
02:21пожаловаться#14

R

Roma in Scrapy
да не запустит за сек точно
источник
02:21пожаловаться#15

EB

Elisei Badanin in Scrapy
Ну так-то да, но нужно сам скрапид опрашивать
источник
02:21пожаловаться#16

EB

Elisei Badanin in Scrapy
Думал два паука и между ними очередь...первый грузит фиды, если есть что-то новое, то отправляет в очередь. Второй уже парсит сами новости
источник
02:23пожаловаться#17

EB

Elisei Badanin in Scrapy
Ну или и правда по процессу на сайт и бесконечный цикл, может и костыльно, но зато стабильно
источник
02:24пожаловаться#18

R

Roma in Scrapy
Блин - даж не знаю - но я за надежность все таки - чтобы потом не е....я раскопками
источник
02:26пожаловаться#19

EB

Elisei Badanin in Scrapy
А вот интересно, если довнлоэд_дэлэй поставить и достаточно потоков, и в каждом кэлбэке снова кидать запрос к этому же фиду, выйдет ли раз в секунду или там все в итоге загнётся
источник
02:28пожаловаться#20