GK
Alexey Mergasov
Да прошу извинить, а как по русски это сказать чтобы смысл сохранить?
Чтобы доменные команды могли быстро сами информационные продукты херачить, а не ждать, когда команда озера данных их захерачит
Size: a a a
2021 February 01
AM
Из моего опыта - главный враг ттм это управление конфигурацией интеграционного mw, всякий там etl data quality, mdm и прочий жентельменский набор. А ещё сложнее его версионно привязывать к продуктовому коду. Так вот ddd в меше превращает это хозяйство в комбинаторный ад.
AM
Или это проблемы разрабов?
GK
Alexey Mergasov
Или это проблемы разрабов?
Мы и так в аду, нам не страшно
GK
Alexey Mergasov
Из моего опыта - главный враг ттм это управление конфигурацией интеграционного mw, всякий там etl data quality, mdm и прочий жентельменский набор. А ещё сложнее его версионно привязывать к продуктовому коду. Так вот ddd в меше превращает это хозяйство в комбинаторный ад.
Что и зачем нужно привязывать к продуктовому коду?
AM
Версии конфигов етл, и другие настройки интегрционного по
AM
В операционной базе поменяли структуры, нужно поменять в озере. И во всех связанных системах
GK
Alexey Mergasov
Версии конфигов етл, и другие настройки интегрционного по
А почему к коду? ETL с данными работает, а не с кодом. ETL преобразует данные в данные.
И ещё есть ELT
И ещё есть ELT
GK
Alexey Mergasov
В операционной базе поменяли структуры, нужно поменять в озере. И во всех связанных системах
Нет конечно. В смежных системах структуры менять не нужно. А процедуры ETL не обязательно.
AM
Как это не нужно.
AM
Есть таблица «студент» 3 поля добавили ещё одно , и в oltp базах и в dwh сущность должна иметь единое представление. (Как минимум атрибутный состав).
GK
Alexey Mergasov
Как это не нужно.
Так. ETL может нивелировать изменения структуры данных в источниках.
GK
Alexey Mergasov
Есть таблица «студент» 3 поля добавили ещё одно , и в oltp базах и в dwh сущность должна иметь единое представление. (Как минимум атрибутный состав).
Не факт. Зависит от поля. Возможно его не нужно отображать в витринах.
И ещё зависит от изменений. Может просто название поменялось. Тут достаточно сделать Lineage
И ещё зависит от изменений. Может просто название поменялось. Тут достаточно сделать Lineage
AM
Я имею в виду что это требование заказчика.
AM
Причём заурядное. Это уже связка версий
GK
Alexey Mergasov
Я имею в виду что это требование заказчика.
Ну некоторые вещи неприятно делать, но нужно. И главное - неизбежно
GK
Какой смысл сокрушаться об этом?
AM
Их расхождение по сути - дефект
AM
Выбранная архитектура может привести к полностью противоположному эффекту от требуемой цели ттм
GK
У вас всего два варианта:
1. Реализовать требования
2. Не реализовать требования
1. Реализовать требования
2. Не реализовать требования