хм, интересный подход

кстати, тут кто-про просил сложный спайдер посмотреть. @Molfar_Page

пожалей человека... он просил сложного паука, а не секасом заняться😂

хах 🤣 вчера сел смотреть этот аспнет, как полдня и не было 🙂

Спасибо, уже залип

человеки, сугубо творчески вопрос оптимизации производительноси/памяти.
у меня за проход обрабатывается ~200-400 тыс айтемов (рекорд, пока, ~4 млн)
все пишется в постгрес базу, с контроем уникальности, чанками по 10 тыс. и открытием/закрытием транзакции
какой подход более подходящий для "тру программиста"
1. бросаем все в базу, а там двиг уже сам разберется дубликат или нет (дубликаты игнорятся) - так сейчас и есть
2. держим в памяти список ID (длинное  целое) смотрим дубликаты по нему....

редис

но это так, от балды

😂,ну, блин, ну, спасибо

мы как то такую вундерфлю сделали
scrapyd[...] -> .csv -> rsync ->  pg-copy (из csv  в raw таблицу общею)
дальше уже sql функция расскидывала ads из raw таблицы по целевым (фирма/контакты/объявление)
*спайдеры запускал speeder-keeper - внутри не сложный но кривой
*импортом занимался celery
—
время на разработку 1 год, в результате даже альфу не выкатели из за преждеверменных оптимизаций : (

ну парсить оно парсило) а вот сайт агригатор с поиском так и не собрали для релиза

А чего не сделали? Это же не рокетсайсн

деньги закончились у заказчика)

Какой сайт парсил?

да там штук 10 hh авито, ljob и всякие там job)

может даже 15

ну  8 стабильно работали, остальные 4-6 стабильно ломались

задача была сразу сделать мировой сайт с мего нагрузкой, а надо было хотя бы до hh уровня или авито

Они же тащат инфу друг у друга. Можно было найти один эталон и его парсить😂

ну заказчих хотел обкатать на российском рынке и после только наращивать парсеры под европу, штаты