Ну, выносить эту логику на уровень докера и спаунить нужное количество контейнеров
У меня надо обработать в несколько потоков кучу урлов и потом все данные объеденить и постобработать.
Мне кажется это будет очень уж монструозно, если использовать именно разные контейнеры.
Но я, вообще, рассказываю, что выгода там от расспаралеливания сомнительна, так что такое…