Size: a a a

2020 September 14

SS

Sergey Sheremeta in Data Engineers
3) в gitlab-ci потом вызывается непосредственно деплой артефакта с конкретным конфигом
источник

SS

Sergey Sheremeta in Data Engineers
делали по мотивам проекта https://github.com/renardeinside/databricks-jobs-jsonnet
за что Ивану огромное спасибо!
источник

K

KrivdaTheTriewe in Data Engineers
Спасибо
источник

SS

Sergey Sheremeta in Data Engineers
пример json-файла, который формируется из jsonnet
источник

R

Renarde in Data Engineers
Jsonnet кстати не единственный, знаю одну скала команду, которая для этих целей предпочитает HOCON - он сразу в fatjar заворачивается:


https://github.com/lightbend/config
источник

SS

Sergey Sheremeta in Data Engineers
и внутри deploy/launcher.py происходит отображение json-файла на Livy REST API
источник

DZ

Dmitry Zuev in Data Engineers
Renarde
Jsonnet кстати не единственный, знаю одну скала команду, которая для этих целей предпочитает HOCON - он сразу в fatjar заворачивается:


https://github.com/lightbend/config
Ну как бэ application.conf. но это не гибко. Если новые окружения?
источник

SS

Sergey Sheremeta in Data Engineers
нам бы не фатджар, а какой-то сервис для хранения конфигов... типа schema registry, с версионированием
источник

DZ

Dmitry Zuev in Data Engineers
Sergey Sheremeta
нам бы не фатджар, а какой-то сервис для хранения конфигов... типа schema registry, с версионированием
Гит
источник

R

Renarde in Data Engineers
Dmitry Zuev
Ну как бэ application.conf. но это не гибко. Если новые окружения?
А там можно разные окружения прописать и от энв переменной решать, какой конфиг использовать
источник

DZ

Dmitry Zuev in Data Engineers
Renarde
А там можно разные окружения прописать и от энв переменной решать, какой конфиг использовать
Ну через -D пожалст
источник

R

Renarde in Data Engineers
Dmitry Zuev
Ну через -D пожалст
Да, именно
источник

SS

Sergey Sheremeta in Data Engineers
а что-то в этом есть... отдельный репо для конфигов.
у вас так сделано?
источник

DZ

Dmitry Zuev in Data Engineers
Нет конечно. Мы все у кода храним
источник

DZ

Dmitry Zuev in Data Engineers
Код+деплой+конфиги
источник

K

KrivdaTheTriewe in Data Engineers
У нас тоже
источник

DZ

Dmitry Zuev in Data Engineers
Ну сборка и вот это вот всё
источник

K

KrivdaTheTriewe in Data Engineers
Вернее не совсем так, две репы , конфиги рядом
источник

SS

Sergey Sheremeta in Data Engineers
сотни файлов? в resources
источник

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
Вернее не совсем так, две репы , конфиги рядом
Но зочем? Как быть если конфиг поменялся по структуре?
источник