Size: a a a

2020 August 10

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Ребят, вопрос, как вы менеджите свои стримовые джобы и где храните продуктивную конфигурацию для них
CI/CD для конфига релиза, всякие консулы и ЗК + очереди для контрол плейна в рантайме
источник

K

KrivdaTheTriewe in Data Engineers
ЗК не нравится тем, что условно это доп требование
источник

K

KrivdaTheTriewe in Data Engineers
а для gitlaba есть какие-нибудь красивые вьюхи, чтобы можно  было статусы текущие отображать
источник

t

tenKe in Data Engineers
KrivdaTheTriewe
вообще, я пока думаю еще build инфо, версию конфига и прочие радости
это правильная тема, тк не всегда надо перезагружать все стримы с новым билдом
источник

t

tenKe in Data Engineers
KrivdaTheTriewe
ЗК не нравится тем, что условно это доп требование
ну он везде есть
источник

K

KrivdaTheTriewe in Data Engineers
tenKe
ну он везде есть
а если в кубере стартуете?
источник

K

KrivdaTheTriewe in Data Engineers
источник

t

tenKe in Data Engineers
без ZK-подобного и lease'ов я прост хз как ты будет от дубликатов избавляться
источник

t

tenKe in Data Engineers
ты ж правильно написал что он может запустится и в зомби превратиться, там столько мест где он помереть может, что страшно становится 😷
источник

K

KrivdaTheTriewe in Data Engineers
не, тут больше не про то, что не делать что-то зк подобное. Я пошел по пути, что когда я ярном запустил аппликуху, она уже как -то поработала с апишкой зк, пусть ярн все и контролирет, а если съехать на другой менеджер ресурсов - то переделывать ничего не придется
источник

K

KrivdaTheTriewe in Data Engineers
типа ярн уже и так все это реализовал
источник

t

tenKe in Data Engineers
ну ярн тебе не покажет где например слушается AM UI (на каком порту)
источник

t

tenKe in Data Engineers
тебе его один хрен надо куда то сохранить
источник

АЖ

Андрей Жуков... in Data Engineers
KrivdaTheTriewe
а если в кубере стартуете?
кубовый оператор?
источник

K

KrivdaTheTriewe in Data Engineers
tenKe
ну ярн тебе не покажет где например слушается AM UI (на каком порту)
через ярн юай отображается где AM UI же
источник

K

KrivdaTheTriewe in Data Engineers
проксирует он
источник

t

tenKe in Data Engineers
ну хотя да
источник

t

tenKe in Data Engineers
покажет
источник

K

KrivdaTheTriewe in Data Engineers
Андрей Жуков
кубовый оператор?
я думал об этом , но пока не созрел
источник

АЖ

Андрей Жуков... in Data Engineers
KrivdaTheTriewe
я думал об этом , но пока не созрел
ну это как бы правильный путь, чтобы контролировать, чем там деплой занимается
источник