f
Size: a a a
2019 November 05
МС
народ, разбирался кто с периодическим запуском паука? к примеру, каждую минуту.
пока, все что нашел:
https://github.com/ljanyst/scrapy-do - какя то приблуда, вроде можно запустит через своего демона
https://stackoverflow.com/questions/37904173/how-can-i-schedule-scrapy-spider-to-crawl-after-certain-time - тут классически, через крон
есть каки еще "умные" варианты?
пока, все что нашел:
https://github.com/ljanyst/scrapy-do - какя то приблуда, вроде можно запустит через своего демона
https://stackoverflow.com/questions/37904173/how-can-i-schedule-scrapy-spider-to-crawl-after-certain-time - тут классически, через крон
есть каки еще "умные" варианты?
АП
Целери бит таска.
КБ
Ребят, в правда что можно спарсенные данные класть в elasticsearch, если просто прописать пару строчек как тут сказано: https://github.com/noplay/scrapy-elasticsearch
?
?
КБ
2019 November 06
AS
Да
AS
Оно работает :)
КБ
я запустила паука, работает, а как мне проверить что в elasticsearch действительно загрузились данные ?
КБ
инсрукции все выполнила правильно думаю. файл настройки прописала, докер контейнер подняла с бд.
EB
а зачем их туда грузить?
EB
наверное можно и проверить такимже способом
КБ
эта бд быстрая и туда много инфы можно залить
EB
продолжение эпопеи с “кластером”?
EB
http://dbeaver.io — удобный клиент к большому количеству бд…всем советую)