A
@asm0dey а в переписке было уже про Прошанта который делал релиз 2.4.6?
Size: a a a
2021 January 19
ПФ
@asm0dey а в переписке было уже про Прошанта который делал релиз 2.4.6?
Нет :)
A
На днях ливи разбирался, там в контейнер запихал spark 2.4.6
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
A
Спарк на билд тайме захватывает переменную урла от гит репозитория
ПФ
На днях ливи разбирался, там в контейнер запихал spark 2.4.6
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
Ох огонь
ME
На днях ливи разбирался, там в контейнер запихал spark 2.4.6
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
Открыл логи и вижу баннер от спарка
Blablabla
Version...
Commit id...
URL: https://Prashant:password@gitbox.apache.org/repo/spark.git
Наверное он уже поменял пароль)
A
Пока ещё не проверял создавать ветки
ПБ
Салют! Коллеги, а что то получше бесплатного apache atlas есть? А то дюже грфовая база непривычна
AZ
Салют! Коллеги, а что то получше бесплатного apache atlas есть? А то дюже грфовая база непривычна
смотря что нужно делать.. и атлас не бесплатный (ох не бесплатный), он с открытым кодом
ПБ
смотря что нужно делать.. и атлас не бесплатный (ох не бесплатный), он с открытым кодом
Минимум: er моделька, связи, описание витринки
AZ
Минимум: er моделька, связи, описание витринки
у атлас есть ключевое отличие от остальных фреймворков в опенсорсе: он позволяет создавать свои типы для сущностей и связей, если вам это не нужно то можно подобрать и доработать инструмент который подойдет для вашего стека - Lyft Amundsen, Netflix Metacat, Linkedin Datahub
ПБ
у атлас есть ключевое отличие от остальных фреймворков в опенсорсе: он позволяет создавать свои типы для сущностей и связей, если вам это не нужно то можно подобрать и доработать инструмент который подойдет для вашего стека - Lyft Amundsen, Netflix Metacat, Linkedin Datahub
Бесплатные? Спасибо
AZ
Бесплатные? Спасибо
открытые)
T
Минимум: er моделька, связи, описание витринки
если данных немного можно самому на neo4j на велосипедеть
AZ
если данных немного можно самому на neo4j на велосипедеть
да, это очень популярный вариант, я сам велосипедил несколько отличных датакаталогов, которые даже с коллиброй и алейшеном могут поспорить
AZ
это совсем не сложно, а если основание хорошее заложить то можно выйти на удобную реализацию Feature Store, бизнес правил для качества данных, вся вот эта мякотка
T
да, это очень популярный вариант, я сам велосипедил несколько отличных датакаталогов, которые даже с коллиброй и алейшеном могут поспорить
Ага, тоже так сделал в прошлом году, отлично работает для кейсов моей команды
AZ
я бы сказал что если вы делаете большую реализацию датаволта или якорей то вам просто не обойтись без фреймворка с метаданными который замыкается на такой каталог (а накрутить на нем поиск это потом вопрос пары дней)
АА
подскажите плиз, а в амбари можно создать вью которая будет позволять рестартить zeppeline
АА
т.е пользователю надо дать разрешение на рестарт только одного сервиса