VE
Чтоб сам добавлял или апдейтил схемы
Size: a a a
2019 November 07
VE
может Atlas такое может?
AZ
может Atlas такое может?
по HDFS нет (надо самому краулера написать), есть Atlas Hive hook который может из хайва все вытащить
VE
А вообще обычно кто ответственен за синхронизацию метадат с хайвом, дата инженеры?
То есть вот например ктот взял создал новую папка на HDFS с parquet из спарка, кафки или типа того.
То есть вот например ктот взял создал новую папка на HDFS с parquet из спарка, кафки или типа того.
VE
и вот например забыли создать хайв таблицу, а потом и про папку забыли
VE
кому по рукам дают обычно в таком случае?)
A
создал и создал =) раз не зарегал нигде, то значит не надо никому
K
будет больно и дорого (гугл не хочет чтобы вы съезжали), лучший способ который мне известен - экспорт в авро в GCS и уже забирать оттуда
Мы такое практикуем ежедневно
K
Работает
K
спадёт, если сейчас у пары компаний эксперимент провалиться, то потом можно ждать отдых от идиотизма
Мне кажется вам все таки придётся начать читать документацию
VE
создал и создал =) раз не зарегал нигде, то значит не надо никому
ну с точки зрения data governance это очень плохая практика, например что если нужно проверить на соответсвие GDPR/CCPA
СХ
Мне кажется вам все таки придётся начать читать документацию
🙄боюсь меня был целый кластер этого ужаса и чего не коснись было в когда-нибудь починим
K
🙄боюсь меня был целый кластер этого ужаса и чего не коснись было в когда-нибудь починим
И документацию таки прочтёте Наконец-то
GP
🙄боюсь меня был целый кластер этого ужаса и чего не коснись было в когда-нибудь починим
у тебя истории постоянно - то пориамиисты странные то ещё что
GP
вон Дима дело советует
VE
все дата ассеты должны быть задокументированы гдет, и постоянно проверяться а не появилось ли там PII информация
AZ
Мы такое практикуем ежедневно
Я не говорю что не работает, просто не бесплатно и оверхед
AZ
кому по рукам дают обычно в таком случае?)
Кто-то не может взять и просто так создать директорию :)
VE
Кто-то не может взять и просто так создать директорию :)
да ну, кучу раз сами так делали на PoC :D
AZ
да ну, кучу раз сами так делали на PoC :D
Я имею в виду что на зарегулированной системе это просто так невозможно