b
почему.
по мунчану
from multiprocessing import Event, Process, QueueЕсть второй процесс который синхронно складывает product в очередь, save_offers сохраняет их в базу, есть проблемы:
q = Queue(maxsize=100)
continue_running = Event()
def save_product(evnt, queue):
def save_offers(product):
...
with ThreadPoolExecutor(max_workers=10) as pool:
while evnt.is_set():
product = queue.get()
pool.submit(save_offers, product)
write: Process = Process(
target=save_product,
daemon=True,
name='consumer',
args=(continue_running, q),
)
continue_running.set()
continue_running.wait()
wite.start()
1) Докер контейнер в котором упаковано это добро, создаёт просто кучу
--multiprocessing-fork в ос, может несколько десятков, хотя есть всего 5 процессов, основной, который запускается через ювикорн (фастапи, на 4 воркера), и 4 демона, в одном из которых запускается пул (выше написал его), ювикорн с 4 воркерами единожды запускает все процессы, очередь используют только 2 процесса2) В базе как то появляются дубли, очень рандомно и очень редко, хотя в коде save_offers стоит проверка (возможно кликхаус виноват и буферная модель).
3) контейнер ограничен 8гб ОЗУ и все они забиты, хотя 100 штук в очереди вообще никак не могут такое потребление вызвать и очередь почти всегда нулевая (мб тредпул резервирует)
