Size: a a a

2021 April 06

b

burzum in Data Engineers
ну и мпартикал "под ключ" все целиком или там по частям кажется можно что-то подключать
источник

b

burzum in Data Engineers
ну и поделитесь пожалуйста примерно какой сетап был / какие нагрузки
источник

GB

Gennadiy Bbb in Data Engineers
Всем привет! Подскажите, какие стандартные метрики к Zabbix для мониторинга жизни hive есть? Могли бы скинуть ссылку на детали?
источник

E

Evgeny in Data Engineers
шта? берешь jmx и парсишь то, что нужно
источник

GB

Gennadiy Bbb in Data Engineers
источник

e

er@essbase.ru in Data Engineers
источник

T

T in Data Engineers
Очень токсично ^
источник

VP

Vitaly Pismarev in Data Engineers
Если интересует сертификат клоудеры, то рекомендую ITversity (там и с кластером можно поиграться и задачек для изи прохождения экзамена достаточно, и стоят копейки). Про русскоязычные курсы забудь, там задания практические все на англ.
источник

e

er@essbase.ru in Data Engineers
😍 я не топик стартер , но за 13 $ я тоже поучусь ))
источник

T

T in Data Engineers
А кто нибудь сталкивался с тем что parquet-tools cat -j  для колонки у который тип array<struct>в место массива отдаёт только первый элемент ?
источник

e

er@essbase.ru in Data Engineers
что то какие то они заброшенные
  пей-пал не але и авторизация через раз работает

аналогов нет ?
источник

D

Daniil in Data Engineers
благодарю за совет, попробую👍
источник

VP

Vitaly Pismarev in Data Engineers
наверное есть, я только ими пользовался. Можно купить этот же курс на udemy и  так же дадут кластер.  Из полезного на их форуме можно поспрашивать недавно сдавших, клоудера помнится окружение частенько меняла.
источник
2021 April 07

VN

Venera Nasyrova in Data Engineers
Всем привет. Подскажите, пожалуйста, есть ли тут кто-то, кто работает/работал с системами управления данными (Data Governance)? Хотелось бы узнать какими системами пользовались для ведения бизнес-глоссария?
источник

AZ

Anton Zadorozhniy in Data Engineers
а что вы потом с этими метаданными делать хотите?
источник

VN

Venera Nasyrova in Data Engineers
Ну по сути нас интересуют аналоги Apache Atlas и Informatica. Т.е. мы хотим описывать бизнес-термины (методику и прочее) и далее связывать их с реальными объектами в БД (с колонками таблиц, например).
источник

AZ

Anton Zadorozhniy in Data Engineers
тут спектр широкий, от помянутого Atlas (только это не продукт, а фреймворк на котором надо строить решение для работы с метаданными) до коммерческих продуктов вроде Alation, и часто берется опция "написать свой" - это совсем не сложный компонент, зато его можно сделать под конкретные нужды, а не воевать с  проприетарным инструментом
источник

AZ

Anton Zadorozhniy in Data Engineers
в консалтерском прошлом я все эти подходы видел и делал, однозначно правильного нет, зависит от вашего конкретного случая
источник

A

Aleksey in Data Engineers
Атлас можно брать на старт, т.к. у вас будет много методологической работы, но когда распробуете, то тут действительно придется или дорабатывать Atlas до продукта или использовать, что-то другое.
источник

AZ

Anton Zadorozhniy in Data Engineers
у него только инфраструктурные запросы неслабые, HBase + Solr + Kafka (не обязательно, но очень удобно)
источник