Вот я как то так и думал сделать

Так и и делай

хм, а нельзя порубить на два паука. Один собирает основные данные, второй - если надо, дособираешь детали... 🧐

а я про что сразу написал?

ну у меня примерно так реализовано в одном месте, там конечно база плачет, что "вы меня со всех сторон вызываете, айайай так нельзя вообще-то", но работает. А работает, не трогаю)

и не надо будет базу кошмарить по каждому чиху

а смысл? это все-равно не решит проблемы плача синхронного доступа к базе. Ну если только для облегчения архитектуры в духе map-filter-reduce

смысл в том, что ты блоками можешь писать. У меня похожее по 10 тыс записей туда/сюда дергает

а не по одной записи насиловать двиг

хммм, ну я как-то пробовал так сделать, но у меня не взлетело. база там взмолилась типа ты офигел в меня писать тут в одном месте транзакцию открыл, в другом закрыл. а как ты при этом транзакцию пишешь?

правда я не знаю, как у него доп. данные запрашиваются, может там какой коротко живущий токен

Можно посмотреть ?

ну можно типа вне класса просто if'ом делать проверку что набралось 10000 элементов, по-идее

и потом если набралось открываешь транзакцию и пишешь

просто там же по-факту может быть кол-во пауков умноженное на конкарренси - и когда я такое попробовал, видать ударился в две одновременно открытые транзакции и все сдохло. ну и подзабил с мыслью  - "работает, не трогай"

или в классе методом класса, аля статическим методом

и еще стоп-сигнал на то, что другой кто-то открыл транзакцию тогда надо делать. хотя бы на файликах)

нельзя, это искать надо. Там суть такая была (в одном пауке)
1. в базе таблица со ссылками. Это типа очередь со статусами и с признаком, в какой колбек отправлять ссылку.
2. при старте и по событию spider_idle смотришь в базу, если там есть ссылки, которые надо обработать - обрабатываешь.
3. в базу пишешь в пайпе блоками (у меня было примерно 10 тыс)

примерно так. У меня по такому алгоритму спокойно обработало, примерно, 20 млн постов в инсте.

о, т.е. можно команду послать, чтобы все встало на время? прикольно

еще могу совет дать - лучше юзай постгресс, потом легче будет)