Size: a a a

2021 April 07

A

Aleksey in Data Engineers
+1
источник

VN

Venera Nasyrova in Data Engineers
Ну мы вот сейчас больше все же склоняемся именно как раз к Apache Atlas, но хочется посмотреть еще на другие продукты, чтобы более осознано выбор сделать) Спасибо большое за ответы)
источник

A

Aleksey in Data Engineers
недавно смотрел презентацию по Azure Purview - судя по всему они не постеснялись сделать этот сервис на основе Atlas версии 2.0
источник

UR

Uncle Ruckus in Data Engineers
Это уже не бизнес-глоссарий. И даже не управление одними метаданными
источник

AZ

Anton Zadorozhniy in Data Engineers
Alation посмотрите, очень приятный продукт
источник

UR

Uncle Ruckus in Data Engineers
Meta metaintegration, она же Oracle metadata management. Там еще и бизнес-процессы до кучи
источник

AZ

Anton Zadorozhniy in Data Engineers
обычно там много разных ролей и кейсов, если для комплайнса и импакт анализа - довольно просто самим написать, или Атлас внедрить; если для дата дискавери - сложнее, Атлас вообще не поможет (я поэтому спросил что делать хотите, метаданные ради метаданных это редкое явление)
источник

PM

Polina Maslova in Data Engineers
Для дата дискавери что лучше? Кто-нибудь qlik использовал?
источник

AZ

Anton Zadorozhniy in Data Engineers
смотря что у вас есть, какие процессы; помянутый Alation неплохо с дискавери справляется (есть профайлинг, сэмплинг, всякие аналитические подсказки)
источник

AZ

Anton Zadorozhniy in Data Engineers
у дата дискавери два вызова (это если вы сами беретесь писать):
1. Недостаточно метаданных которые можно собрать из кода, надо либо смотреть на query log или другие источники того КАК данные используют пользователи, либо давать пользователям обогащать метаданные своими знаниями
2. Надо в сами данные смотреть, а если у вас много разных платформ - на каждую нужен коннектор

поэтому ответ зависит от конкретной ситуации
источник

KC

Kseniya Chudakova in Data Engineers
Это Data Glossary получается 🙂
источник

AE

Alexey Evdokimov in Data Engineers
ну надо же, в апдейте идеи завезли поддержку WSL, и пары лет не прошло
источник

AE

Alexey Evdokimov in Data Engineers
и ещё запуск в докере и по ссш.
ещё бы mixed filesystem case sensitivity подправили, стало бы совсем удобно. а то так и приходится держать студию для питона
источник

AE

Alexey Evdokimov in Data Engineers
тем временем, https://www.microsoft.com/openjdk
источник

A

Alexander in Data Engineers
Только для мавен и градл проектов :(
источник

ПБ

Повелитель Бури... in Data Engineers
Lyft  также сделал. Атлас отлично строит lineage. Но этого мало,надо допиливать. Мы сейчас пилим свое приложение, если взлетит попробуем законтрибьютить в атлас. Доработка касается построения er model. Добавления новых asset. Таких как view , py скриптов
источник

DZ

Dmitry Zuev in Data Engineers
Атлас и отлично в одном предложении?
источник

ПБ

Повелитель Бури... in Data Engineers
Да, а что не понравилось?
источник

AT

Al T in Data Engineers
да бог с ним с Атласом, вы лучше скажите почему на фото пасту десертной вилкой едите?
источник

DZ

Dmitry Zuev in Data Engineers
Примерно все
источник