всем доброго, пните, плз, в верном направлении.
Паук собираем данные в базу (MySQL), должен быть контроль уникальности (товар несколько раз присутствует в каталоге)
В холостую (без записи в базу) - ~4000 страниц в минуту
в боевом режиме - ~3000 страниц в минуту
так то 25% падение производительности....
что подскажите насчет ускорения? есть пара мыслей:
1. писать "сырые" данные в ту же монгу, потом преносить уже в базу с контролем уникальности
2. бросать данные на "прокладку", что то вроде Redis. т.е с одной сторны паук бросает данные и не ждет как они обработаются, а с другой стороны они потихоньку обрабатываются... Но тут я нубятина, почти полная. Не знаю, правильно я мыслю или полная ерись.

Так что, накидайте идеек :)

основа основ это индексное ли поле в БД по которому ты ищешь существующий товар?

я чёт призадумался выйграешь ли ты по скорости писав в рэббит...

кролика надо глянуть, селери я даже не знаю как по английски пишется 😆