Size: a a a

2021 April 24

AZ

Anton Zadorozhniy in Data Engineers
я имел в виду что логически это готовая часть, технически затащить вызов конечно, но с другой стороны я видел не одну (и построил одну) MDM которая либо заранее в хранилище вела свои записи, либо имела готовый, от разработчиков, механизм репликации в хранилище
источник

AZ

Anton Zadorozhniy in Data Engineers
MDM это уже интеграция с историей, положите рядом с DV и обращайтесь к ним когда строите витрину
источник

MV

Mitya Volodin in Data Engineers
С точки зрения обработки данных - это не "ошибки". Раз они так заполняют, значит значения такие в определённый период. А период действия MDM сама фиксирует
источник

e

er@essbase.ru in Data Engineers
ну если подумать то любую проблему программисты решают добавлением новым слоем абстракции 😂😉

ключи в витринах постоянны
в MDM новые значения на эти ключи
источник

MV

Mitya Volodin in Data Engineers
Ну вот это правильный ход, согласен ))
источник

AZ

Anton Zadorozhniy in Data Engineers
(если только вам не надо интегрировать данные двух MDM, или «доинтегрировать» данные из другого источника который не попадает в MDM - тогда мои вам соболезнования)
источник

ДН

Дмитрий Негреев... in Data Engineers
Т.е. не раскладывать справочники в примитивы dv, а просто отреплицировать в хранилище as is?
источник

AZ

Anton Zadorozhniy in Data Engineers
Да
источник

AZ

Anton Zadorozhniy in Data Engineers
Особенно если у вас MDM не аналитический, а операционный - тогда вообще все просто
источник

ДН

Дмитрий Негреев... in Data Engineers
Интересно, спасибо, почему то казалось если dds в dv, то в нем все должно быть в примитивах dv
источник

ДН

Дмитрий Негреев... in Data Engineers
У нас период задаёт пользователь, но мне сложно сказать правильно это или нет.
Например если ведём какую-то географию в справочнике, хотелось бы понимать когда точно сменился код города к примеру, и время когда это внесли в mdm зачастую != реальному событию
источник

ДН

Дмитрий Негреев... in Data Engineers
Однако дата реального события - это тоже история для ключа справочника
источник

MV

Mitya Volodin in Data Engineers
Нет, причем это у Линдстеда в книге есть
источник

MV

Mitya Volodin in Data Engineers
Что MDM не входит в волт
источник

AZ

Anton Zadorozhniy in Data Engineers
Аналитический MDM у вас, это все усложняет
источник

AZ

Anton Zadorozhniy in Data Engineers
Видимо реконсиляцию хотите ещё делать, ох
источник

AZ

Anton Zadorozhniy in Data Engineers
Именно из-за таких кейсов я ушёл из хранилищного бизнеса, трудная и неблагодарная работа
источник

e

er@essbase.ru in Data Engineers
*  Со знанием растёт сомнение.😉
источник

e

er@essbase.ru in Data Engineers
Есть пример из САП в части географии- в транзакциях есть сущность (billTo- юр лицо) ,(shipTo - адрес доставки.) Это неизменные сущности и они меняться не могут. , Но! У них есть атрибуты , которые зависят от отчётности в период времени. Например , регион продаж,  дистрибутор и пр.( да,здесь лять полный колхоз. ) И так. В витринах храним shipTo, атрибуты вытаскиваем в момент построения отчёта.
источник
2021 April 25

I

Ilya in Data Engineers
Всем привет. Посоветовали этот канал. Вот если у вас есть система на GCP  BigQuery и клиент, который не может использовать никакие облака. Вы бы как ему эту систему продали? Ещё там, кстати прикручено Табло (в собственном облаке самого Табло) и Кафка (в отдельном облаке confluent)...
источник