KP
Или ещё что-нибудь из классических кластерных оркестраторов
Size: a a a
2021 August 18
KP
Если и правда надо эластично ресурсы под загрузку подбирать — то реально кубернетес (его же и клиентам ДЦ продавать). И дальше смотреть, потребуется ли тебе какой-нибудь планировщик задач поверх него, или и так сойдёт
@
не. это выглядит как жуткий оверкил. но понятно куда копать
@
хотя чую я что по итогам проще окажется написать велосипед
KP
Или там в датацентре совсем бареметал, и кубернетесы эти все не хочется тащить?
KP
Если не хочется — то как происходит перевод железки из "простаивающей, можно гонять датасаенс" в "занятую основными обязанностями, не беспокоить"?
YB
Два скрипта и кафка
СК
btw, был проект для тренировки ML моделек на кубернетесе как раз https://www.kubeflow.org/ (но там не кейс занятия простаивающих машинок, а full time)
@
Да для начала тупо по расписанию.
@
Там счас баре метал и гитлаб ранер
IK
Эмм, celery? Только визуализацию результата придётся самостоятельно пилить. Если хочется всё сразу то какой-нибудь оркестратор типа airflow
V
Если решишь написать велосипед - пиши на эрланг, там разве что балансировки нагрузки нет искаропки
С
Какой HPC на эрланге? Разве что для оркестровки
V
Именно что только для оркестровки
KP
Вычисления через NIF реализовать, скажем через https://github.com/rusterlium/rustler — а от Эрланга акторы-координацию-рантаймы.
Но да, это довольно далеко от того, с чего разговор начинался
Но да, это довольно далеко от того, с чего разговор начинался
@
Не. Именно воркера реализовать это по большому счёту можно уложиться строчек в 50 на го под мою задачу.
@
А админку пилить на эрланге - пиздец нахуй