EB
Если запустить паука крутиться на scrapid ему можно как то скармливать новые url для Парсинга?
там http api
Size: a a a
2019 October 31
М
но как это к исключениям относится?
Отвал сторонней бд например, и какие действия в связи с этим предпринять
АП
Упасть.
EB
Отвал сторонней бд например, и какие действия в связи с этим предпринять
как связанно с твистедом?
EB
имхо, не нужно из скрапи сохранять в бд, при маломальских(потоков 5-10) объемах это все загнется….
М
имхо, не нужно из скрапи сохранять в бд, при маломальских(потоков 5-10) объемах это все загнется….
Так надо... Постгре вроде держит, но отвалы бывают все таки
f
там http api
А можно ссылку на документацию по этой теме или по каким ключам искать ? Интересует конкретно что то на подобии очереди
АП
имхо, не нужно из скрапи сохранять в бд, при маломальских(потоков 5-10) объемах это все загнется….
Можно пайплайном собирать итемы в список а при завершении вставлять в базу.
АП
Но согласен, если есть возможность то лучше так не делать.
М
Можно пайплайном собирать итемы в список а при завершении вставлять в базу.
Так и происходит, но иногда коннект с базой пропадает просто
f
имхо, не нужно из скрапи сохранять в бд, при маломальских(потоков 5-10) объемах это все загнется….
Блин есть задача нужен контент с N сайтов для почт обработки как его ещё то получить))
EB
небольшой лигбез….в скрапи только сетевая часть работает асинхронно(несколько потоков), а вот калбеки и соответсвенно сохранение в бд идет синхронно(в одном потоке), допустим минимальный запрос на сохранение 50мс — 20 итемов в секунду максимум….а если перед созранением что-то достать нужно, то там вообще все печально будет
EB
ну или просто в файл сохраняем — скрапи отработал, обрабатываем файл в отдельном скрипте….
EB
ну или правильнее(но геморнее) складываем в очередь(тот же редис), а в отдельном воркере обрабатываем
М
ну или просто в файл сохраняем — скрапи отработал, обрабатываем файл в отдельном скрипте….
Это боль... Собрать на один сервер, потом обработать и передать на другой...
EB
Да время не важно
там проблема не времени, а блокирующие операции
АП
небольшой лигбез….в скрапи только сетевая часть работает асинхронно(несколько потоков), а вот калбеки и соответсвенно сохранение в бд идет синхронно(в одном потоке), допустим минимальный запрос на сохранение 50мс — 20 итемов в секунду максимум….а если перед созранением что-то достать нужно, то там вообще все печально будет
Насколько я помню разбор html идёт многопоточно, но общей сути это не меняет.
EB
Это боль... Собрать на один сервер, потом обработать и передать на другой...
ну как вариант, запускаем из питона, форкаем, в одном процесе скрапи, в дргом(других) пишем в бд, между процесами стандартная очередь