Т.е. все маленькие справочники идут в сателиты? Без выделения в хабы?

если ваш "справочник" относится только к одной сущности - то делайте его ее сателлитом

Линки делаете между каждым хабом (если есть FK связь между ними). Дальше уже начинается вопрос с оптимизацией: если пол - это вовсе не справочник (т.е. его нет как отдельной бизнес сущности), то зачем хаб для него - можно и в сателлит положить.

this

кто нибудь поднимал спринг бут с таким стартером camel-debezium-postgres-starter? не приходит хедер before в кеммел. сорри если не по теме

Докер мозга? Сам хадуп работает на cgroups, а вы его еще внутрь cgroups положите. Как нормально?

норм работает (что здесь хадуп только?)

Главное не делать два контейнера с датанодами на одну и ту же корзину с HDD😆

А то будет write only memory)

)) по сети ещё что бы не было оверхеда надо

Привет всем
Есть один не очень однозначный вопрос
Я подумываю использовать kafka для обмена данными между пользовательским интерфейсом и spark
Задача стоит организовать взаимодействие пользователя с данными на hdfs с использованием собственного UI и тут возник вопрос - место того чтобы городить огород с какими то распараллелинными rest звпросами к spark гонять по kafka запросы в один топик и получать ответ в другой.

а вопрос-то где?)

Вопрос - не оттаргает ли такое решение? Нет ли каких то явных проблем?

Я почему то не могу найти примеров такой итеграции.

похоже на spark streaming

ну, его запросы к кафке

но им не пользовался

Мне просто интересно, есть ли в принципе у кого опыт выдачи данных в кастомный интерфейс с испольщованием spark. И с использованием какого транспорта. Мне кажется что kafka тут вроде не плохо ложится. но боюсь что у меня ограниченные знания и я не вижу каких то очевидных проблем

отторгает где-то на уровне пользовательского интерфейса для спарка

ну и ui опыт у пользователя будет классным со временем доставки кафки и чтения кафки из спарка