Хочу поделится интересным проектом, размышлял на днях чем же заменить Celery или Dramatiq, нашел и внедрил это решение, некоторые знают, но как я выяснил не все, прошу в студию - Nameko.
Всегда мне не нравилась идея внедрения в проект, тот же Flask, который я очень люблю, сторонних инстурументов для имитации асинхронного взаимодейстаия, я твердо убежден, каждый должен заниматься своим делом и четко делегировать, те обязанности на которые он изначально не был заточен, как говорится принцип единственной ответственности.
Данный проект как раз призван это сделать, все просто четко и лаконично, в данный момент с 3-х утра после внедрения следил за процессингом и его работой, на достаточно нагруженном участке системы, поднято было 4 экземпляра в Docker контейнерах на одной машине, 8 ядер 16 гб опереативной памяти, ~ число отправленных сообщений 50 тыс rpc, я думал не справится, но вроде пока тянет, а так можно
если что добавить воркеров на асинхронные rpc.
Все в идеалах микросервисов, как все мы любим, да и основные приложения фласка шустрее заработали на серверах без celery, смотрите пробуйте, проект как по мне очень даже ничего, для своих задач.
https://github.com/Shulyakovskiy/nameko-example