«я думал там ebs “

ну чел если не может онлайн в жаспере получить отчет, приходит в специальную веб-морду, выбирает тип выгрузки, задает параметры, создается задача, которая валится в https://github.com/yandex-money-tech/db-queue  
специально обученный процесс-координатор выбирает задачи (приоритет и время прихода) и раздает их воркерам, которые болтаются в кубере. воркеры выполняют «в базе» запрос, делают файл и сваливают его в минио, а у заказчика появляется ссылка на скачивание. потом условный гарбадж коллектор ходит и выносит всякое старье. система прав самодельная.

спасибо, а давно пилите?

активно с начала года где-то. сейчас в основном специфичные воркеры-выгружаторы.

там всякий кровавый энтырпрайз типа spring mvc, eureka ,Feign, ribbon и вот это вот все.

У нас в аналитикопс так сделана раздача моделей и других артефактов (и загрузка моделей, если пользователь принёс свой PMML, mleap или onnx), сам бэкенд только генерит ссылки для чтения и загрузки

о spring cloud

давно с ним не работал

есть даже проектики на гитхабе с ним

а почему не consul, кстати?

eureka удобнее?

расскажите подробнее

Да куда уж подробнее, пользователь смотрит на свои модели, результаты оценки, а если что-то хочет скачать - выдаём ему ссылку (а графики всякие тут же в UI рендерим)

круто

Я тут хотел рассказать на Москоу спарк, показать тож

не очень моя поляна, если честно. могу уточнить.

нене, необязательно, я просто спросил

товарищи, кто-то использует формат хранения Hudi? используете ли hudi-cli.shhudi-cli.sh ?

Рибята! EMR 6.1 релизнулся! https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

Ну что дропаем старые спарки и скалу 2.11?