Что имеешь ввиду?

расскажи чуть подробнее про преобразование

кажется что проблема где-то там

если я бы решал влоб, то я бы распаллелил воркерами селери, благо их несложно скейлить

размер чанка нужно подобрать, чтобы оверхед на селери был не таким большим по отношению к затратам на саму логику

ну и пандас/numpy на самом деле хороший совет, скорее всего преобразования можно заметно ускорить, если разобраться

Ну вот в ячейках хранятся разные данные.
Например, тэги, категории записаны в одну строку и разделены каким-то символом. Мне нужно их сплитить по этому символу, чтобы сделать список, так как в бд они хранятся, как mtm.
Есть данные с символами, которые нужно просто удалить.
Есть различные форматы дат, которые нужно привести к одному.
Есть ячейке с пустыми значениями, хотя в бд их нужно заполнять.

В общем, таблицы заполняет, какой-то мудак, а мне нужно настроить все это, чтобы оно сохранялось в бд адекватно.

100% пандас

Если нет запросов наружу во время обработки, то пандас знатно должен ускорить процесс

Если строки друг от друга не зависят, то запараллелить в таску, если нужно решить в лоб и сейчас

Не зависят

Мне это не горит. Просто в будущем придётся оптимизировать.
Вот думаю, либо селери чанки, либо процессы брать

селери, кмк, удобнее — легче скейлить, можно легко вынести на соседний сервер по-мощнее при необходимости

не нужно думать о том, что придёт сразу много запросов и выжрешь пул процессоров, потому что пул воркеров от кода приложения независим, и всё не поместившееся будет ждать в очереди

А об этом я не подумал, кстати

Спасибо

Если я запускаю 4 воркера, есть 4 таски в параллеле, это значит, что каждый воркер будет выполнять свою таску? Или я что-то не так понимаю?

Да, все так. Свободный воркер возьмёт таску из очереди

Где в Питере можно англ вариант Django for professional найти?

Мб в коворкинге каком есть

А можно чтобы она код вместо меня тестами покрывала?