если контракты перестали вестись в старой системе, и начали вестить в новой системе - вам надо перестроить все ваши витрины чтобы учитывать новый источник, но если у вас инмоновское хранилище - вам нужно только дополнить детальный слой, весь даунстрим будет работать как раньше (а потом вы можете пропихивать туда новые атрибуты из нового источника)

Да, но если у вас будет построено несколкьо слоев витрин(сырые данные, на них сверху витрина, на нее сверху ещё витрина и так далее), то при использовании просто независимыз витрин будет больно менять что в формате/структуре сырых данных. А подходы в построении dwh позволяют вам эти боли обойти. Конечно, они требует доп издержек на себя, так как ничего бесплатного не бывает. Поэтому не всегда они и нужны, например в вас очень маленький dwh, крайне мало интеграцией со внешними поставщиками данных, мало слоев и так далее.

так мы можем создать витрину с контрактами и в неё лить данные с разных сорцов. А там уже Bus architecture и все дела, на ней могут строиться бизнесовые витрины

да, а вы создавать витрину с контрактами будете когда новый источник появился, или при первичной реализации?

Если буду знать что источников несколько то сразу.  В противном случае увы )

а как вы ее замоделируете, сразу как снежинку?

ну да

Берите snowflake
😂

ну тогда вы решите задачу консолидации, но надо будет снова все перемоделировать когда в источниках будут изменения вроде перехода от 1:М к М:М связям и SCD, разделения сущностей и проч

идея нормализованного детального слоя - заплатить авансом за гибкость и не чинить аврально когда в источниках все сильно поменялось

всё так. Но с другой стороны если бизнес говорит что есть договор, есть атрибуты договора и связей M:M там быть не может, то такой вариант может же юыть и дешевле чем поддерживать ещё один слой. Да, менее гибок, но зато бизнес сразу получит результат.

да, это называется "жить сегодняшним днем" и многие так делают

А подскажите что можно из литературы почитать про M:M, 1:M, SCD, слои и тд? Мат. часть подтянуть, хорошие практики узнать.

тут нет однозначно "правильного" ответа, как это часто бывает в проектных решениях.. спросили зачем нужна сильная нормализация в детальном слое - я попробовал пояснить зачем.. для кого-то эти причины могут быть не важны, они счастливы с даталейком из которого строят сотни независимых витрин, и даже отстаивают такой дизайн из-за джоб секьюрити)

инман, кимбал, линстедт

они счастливы с даталейком из которого строят сотни независимых витрин, и даже отстаивают такой дизайн из-за джоб секьюрити)

Датамеш ? )

нет, датамеш это не об этом

Спасибо.

Или посоветуйте чатик по клаудере

звучит немного противоестественно