М
Size: a a a
2020 January 09
AR
а ты уже умеешь определять, что новая информация появилась?
AR
не представляю как, но ок
МС
1. придумываешь как определить "новость данных"
2. https://docs.scrapy.org/en/latest/topics/email.html, сам не юзал, но, похоже на то что надо
2. https://docs.scrapy.org/en/latest/topics/email.html, сам не юзал, но, похоже на то что надо
AR
именно что не в тему
AR
ну приспособить можно наверно
МС
тут, думается, главная проблема определить что что-то есть новое. Отправить то можно хоть из паука...
AR
ну да
МС
выгружать в базу и одновременно сохранять в файл. а перед каждым запуском файл удалять. если что новое - джобдир пропустит в файл. звучит дико костыльно конечно)))
Порой диференты, не помню названий. Есть плаги для скрапи, для инкремента.
Но, я бы сделал так:
1. Данные в базе со статусом "обработано"
2. Новые данные без этого признака
3.после парса смотришь, есть ли новые данные, отправляешь оповещение и проставляешь признак "обработано"
Точнее, у меня так и сделано в одном проекте
Но, я бы сделал так:
1. Данные в базе со статусом "обработано"
2. Новые данные без этого признака
3.после парса смотришь, есть ли новые данные, отправляешь оповещение и проставляешь признак "обработано"
Точнее, у меня так и сделано в одном проекте
М
Порой диференты, не помню названий. Есть плаги для скрапи, для инкремента.
Но, я бы сделал так:
1. Данные в базе со статусом "обработано"
2. Новые данные без этого признака
3.после парса смотришь, есть ли новые данные, отправляешь оповещение и проставляешь признак "обработано"
Точнее, у меня так и сделано в одном проекте
Но, я бы сделал так:
1. Данные в базе со статусом "обработано"
2. Новые данные без этого признака
3.после парса смотришь, есть ли новые данные, отправляешь оповещение и проставляешь признак "обработано"
Точнее, у меня так и сделано в одном проекте
да, так наверное правильнее
МС
но у меня отдельный скрипт запускает пауков (там несколько на полную обработку) и отправляет оповещалки
М
но у меня отдельный скрипт запускает пауков (там несколько на полную обработку) и отправляет оповещалки
ну subprocess никто не отменял