К
Size: a a a
2020 September 17
JW
есть scrapydweb+scrapyd, там каждые 2 минуты запускаю пауков, как то можно сделать, чтобы пауки запускались только по завершению преведущего?
МС
есть scrapydweb+scrapyd, там каждые 2 минуты запускаю пауков, как то можно сделать, чтобы пауки запускались только по завершению преведущего?
в ините проверка что процесс не запущен...
МС
думаю, примерно так
JW
в ините проверка что процесс не запущен...
у меня linux apline контейнер,
ps -o pid,vsz,rss,tty,stat,time,ruser,argsтак посмотреть запущеные процессы? и как определить именно нужного паука?
МС
при старте варианты:
1. пишешь маркер в базу
2. создаешь заблокированный файл
при финише, удаляешь/освобождаешь
тогда, при следующем старте, можешь проверить...
с освобождением дескриптора файла, вроде как, даже лучше. Он освобождается, даже если процесс не стандартно завершился (свет вырубили, по эксепшену вылетел)
1. пишешь маркер в базу
2. создаешь заблокированный файл
при финише, удаляешь/освобождаешь
тогда, при следующем старте, можешь проверить...
с освобождением дескриптора файла, вроде как, даже лучше. Он освобождается, даже если процесс не стандартно завершился (свет вырубили, по эксепшену вылетел)
МС
JW
ок есть что погуглить, спасибо
МС
там есть ссыль на похожую проблему, думаю направление поймаешь :)
OS
Всем привет! Подскажите плз, я могу в мидлваре подменить response из 200 например на 404
МС
ээээ, ну, оно, вроде объект, так что, наверное, можно
только вопрос - нахрена?
только вопрос - нахрена?
m
Приветствую. Splash умеет блокировать рекламу?
К
Приветствую. Splash умеет блокировать рекламу?
Скорее нет, чем да
m
Скорее нет, чем да
И наверное палится антиботами?
AR
Смотря какими
2020 September 19
МС
Чёт я не верю, что такое в свободном доступе будет.
Слишком серьезная разработка
Слишком серьезная разработка
МС
Гуглотранслит в помощь😂
Или в чем проблема?
Или в чем проблема?