Надо хрень которая будет хранить, отдавать задачи, принимать репорты о их выполнения, отправлять на перевыполнение в случае если воркер давно не репортил прогресс, отображать веб гуй, желательно авторизацию, складывать логи и результаты выполнения в базу и т.п.
А написать хрень которая посмотрит сколько ядер, сделает http запросы за входными аргументами процессов, и запустит столько воркеров сколько надо, а потом будет репортить прогресс и результат это ебота на 50 строк кода