я почему-то спроецировал гуникорн воркеры на селери воркеры и был уверен что это может быть кастомный класс

но доку к этому не нашёл

Хмм

Чёт так себе звучит

Ну то где-то штука типа celery -A project worker разворачивается в питон-код

Короче да, я просто добавил bootsteps.StartStopStep и на start докинул запуск сервера в треде

Кстати, может быть я вообще не в ту степь пошёл, но у меня задача — собирать кастомные прометеус-метрики с приложения. Некоторые из этих прометеус-метрик изменяются в celery-тасках, и мне надо с воркеров собирать эти метрики.

Ничего лучше, чем просто запустить сервер, отдающий метрики, рядом с воркером в отдельном треде я не придумал 👀

Была ещё идея выгребать метрики отдельным мини-приложением из result-бекенда, но идея с тредом мне нравится больше

А метрики какие именно
По логам и системым штукам не достаточно?

ну прям прометеус-метрики, я хочу их видеть в прометеусе

не очень технические, т.е. кастомные, завязаны на бизнес-логику

качество пролетающих журавлей над петербургом, например

🤔
Не очень понимаю сферическое в вакууме (и не очень понимаю шо такое прометеус-метрики) но энивей
А отдельный микросервис для метрик почему не сделать тогда?

Ну это надо городить какую-то магию поверх prometheus_client. Т.е. есть уже готовый prometheus_client, который знает о разных типах метрик, умеет с ними работать (не даст сделать фигню, даёт интерфейс) и шарить их между процессами.

Если я буду писать свой микросервис для сбора-отдачи метрик (экспортер), мне надо будет придумывать механизм передачи этих метрик (через резалт-бекенд / http запросы / отдельную очередь), разворачивать этот сервис и всякое такое. Звучит сильно дороже чем просто херакнуть в тред рядом

Я вроде видел где-то библиотечку с prometheus метриками для селери. И да, она запускает фласк в отдельном треде

Или мы сами такое делали..

А вы собирали метрики самой celery или какие-то свои кастомные метрики, которые редактировались внутри тасок?

celery_exporter'ы есть, но они собирают текущее состояние celery читая celery events

А нет. Это был не селери. Это был воркер на асинке, который кролика слушал. Prometheus client позволяет запустить в отдельном треде фласк, и там оттопыривать метрики. И да, мы туда писали свои кастомные метрики

Все эти библиотеки построены вокруг того же клиента, и скорее всего можно дотянуться до их регистри, и дописать туда свои метрики

А нет. Для селери они все сделаны как отдельные сервисы (

this has been implemented as a standalone-service

Привет всем)
Нужно ли оборачивать в транзакцию простой select id from table  запрос в БД? Может ли быть вообще в этом необходимость?

Одиночные запросы сама СУБД оборачивает.

Встречный вопрос: в чём профит от оборачивания операции чтения в транзакцию?