а ещё из других абстракций канваса можно собрать адски удобный пайплайн:

chain([
   prepare_data.s(),
   group([
      ...
   ]),
   process_result.s(),
]).delay()

а, понял о чём ты

ну в небольших приложениях проще хранить всё рядом, потому что логика между приложением и фоновыми тасками шаренная (общие модели, общие куски бизнес-логики, етс)

но даже если кидать в очередь по имени — остаётся вопрос как потом собрать результат 🤔

Всё равно захочется сделать сначала группу из task_name, а потом результат этого выполнения получить

Это понятно, но все равно запрашивает все поля модели, когда требуется лишь одно.

А вроде нет речи, что результат нужен на месте. Воркер имеет информацию о бэкенде, куда может опционально писать результат.

переопределить get_queryset на использование с only

Вообще можно подхачить и использовать чистый .save(update_fields=[...]) 🤔

не уверен что это много сэкономит

Есть веб-сервис на Python 3.7.
Флоу следующее:
1. Пользователь может загружать файлы (xls/csv) либо давать урл на гугл таблицу.
2. В таблице может быть неограниченное число строк - до 80к, например.
3. В каждой строке хранятся данные. Из каждой строки создаётся новая запись в базе данных (postgresql)
4. Каждая запись при сохранении индексируется в ElasticSearch.
5. Перед сохранением записи в бд нужно циклом пройти по каждой строке, чтобы привести данные в нужный формат.

Много времени уходит на саму обработку данных, чтобы привести их к нужному формату. Ну и делать 80к итераций это тоже зашквар ещё тот.

Всё это дело я вынес в celery.
Как можно оптимизировать? Потоки? Мультипроцессы? Селери чанки?

мб пандасы всякие для обработки таблицы? А так наверное на асинхронщину переписывай

Не думаю, что пандас тут особо поможет. Нужно как-то разбивать и параллелить, но хз как.

Пользователь должен видеть результат/прогресс выполнения в реалтайме или вообще?

У меня много таких задач - всякий раз "велосипеды".

Вообще не важно

Привет, есть тут python Junior программисты с города Астана?

ребят, а как переопределить удаление с админки сущности? def delete_model(self, request, object): чет не вызывается при удалении

кастомный Queryset по умолчанию, в нем переопределить .delete()

а в модели, хмм спасибо

> Много времени уходит на саму обработку данных, чтобы привести их к нужному формату.

Мультипроцессы - должны помочь

+ действительно обрабатывать данные какой-то специальной библиотекой, написанной на Си

Сложна

А не вынести преобразование на сторону базы? 😈