AZ
А расскажите, господа и госпожи инженеры, какие в России популярны дата каталоги?
Size: a a a
2020 September 22
K
А расскажите, господа и госпожи инженеры, какие в России популярны дата каталоги?
Confluence
AZ
Confluence
какими-то интеграциями наполняют, или так, руками?
K
какими-то интеграциями наполняют, или так, руками?
я и пошутил и нет, но оч часто видел ситуацию, когда в конфлюенсе указано, что где и как лежит
AZ
я и пошутил и нет, но оч часто видел ситуацию, когда в конфлюенсе указано, что где и как лежит
кмк нормальный сэтап для небольших команд
K
какими-то интеграциями наполняют, или так, руками?
что под дата каталогом вы понимаете
K
у меня оч большое желание сделать фронт над декларативными дагами в эирфлоу, чтобы показать, куда, что и как скидывается
AZ
что под дата каталогом вы понимаете
компонент где описывается связь физических данных с бизнесом: метаданные, бизнес-глоссарии, lineage; часто с социальным компонентом или такой интеграцией, с профайлером и какими-то фичами по качеству
AZ
всякие alation, waterline, collibra и всякие OSS wannabies
K
компонент где описывается связь физических данных с бизнесом: метаданные, бизнес-глоссарии, lineage; часто с социальным компонентом или такой интеграцией, с профайлером и какими-то фичами по качеству
Атлас использовали
N
компонент где описывается связь физических данных с бизнесом: метаданные, бизнес-глоссарии, lineage; часто с социальным компонентом или такой интеграцией, с профайлером и какими-то фичами по качеству
Таблиц немного-действительно можно в Confluence запилить, пока так живем. Поднял недавно Amundsen, но он довольно сыроват. Даже просто обзор каталога надо руками напилить, иначе ресурс только в поиске увидите или в neo4j нанеофоджеите.
AE
а есть где-нибудь по этой теме вайтпейпер почитать?
N
Таблиц немного-действительно можно в Confluence запилить, пока так живем. Поднял недавно Amundsen, но он довольно сыроват. Даже просто обзор каталога надо руками напилить, иначе ресурс только в поиске увидите или в neo4j нанеофоджеите.
Amundsen типа сам сканить ресурсы умеет по расписанию, можно превью запилить через редаш
AE
я так понимаю, что бывают пассивные каталоги, когда просто реестр метаданных в каком-то виде, а бывают и системы, которые напрямую позволяют увязывать одно с другим
AE
пассивный реестр можно и в конфлюенсе вести, да
N
А расскажите, господа и госпожи инженеры, какие в России популярны дата каталоги?
В корпорат толкают informatica, прости господи, enterprise data catalog и Axon, но с ними столько боли и страданий, что лучше сразу после обеда не вспоминать.
AE
эту хрень можно на s3 натравить, чтобы она собрала саммари по ассетам?
Д
Информатика die и edc, вполне нормально, если без насилия и с умом.
T
Таблиц немного-действительно можно в Confluence запилить, пока так живем. Поднял недавно Amundsen, но он довольно сыроват. Даже просто обзор каталога надо руками напилить, иначе ресурс только в поиске увидите или в neo4j нанеофоджеите.
Я тут не полгода назад все в neo4j описал с метаданамт в связях но у нас всего 700 таблиц
T
Я тут не полгода назад все в neo4j описал с метаданамт в связях но у нас всего 700 таблиц
Теперь просто каждый раз когда делаем пр ещё в него миграцию для neo4j добавляем