Size: a a a

Архитектура ИТ-решений

2019 September 12

KK

Kirill Khromov in Архитектура ИТ-решений
Kirill Khromov
Коллеги, а подскажите придумало ли человечество замену связки ms sql analysis services (кубы Olap) плюс доступ через excel чтобы специально обученные люди строили различные отчеты быстро. Данных не очень много (несколько миллионов строк). Всякие power bi и прочие self-service bi конечно красивые, но для них нужны уже почти программисты и они плохо влезают в сценарий «аналитик построил отчёт и отослал начальству».
Сейчас все нравится, но лицензия на ms sql кусается, облака можно но люди боятся
источник

VS

Vladislav 👻 Shishkov in Архитектура ИТ-решений
Замен вагон, но по условию понятно, что хочется "все и бесплатно", а такого нет...
источник

V

Valery in Архитектура ИТ-решений
CSV файлики
источник

V

Valery in Архитектура ИТ-решений
И бесплатно и эксель умеет
источник

MI

Mik I. in Архитектура ИТ-решений
Kirill Khromov
Сейчас все нравится, но лицензия на ms sql кусается, облака можно но люди боятся
источник

KK

Kirill Khromov in Архитектура ИТ-решений
Это вроде как про реляционные, а хочется аналитики. Mdx всякого и чтобы работало быстро
источник

D

Dmitry in Архитектура ИТ-решений
Kirill Khromov
Коллеги, а подскажите придумало ли человечество замену связки ms sql analysis services (кубы Olap) плюс доступ через excel чтобы специально обученные люди строили различные отчеты быстро. Данных не очень много (несколько миллионов строк). Всякие power bi и прочие self-service bi конечно красивые, но для них нужны уже почти программисты и они плохо влезают в сценарий «аналитик построил отчёт и отослал начальству».
google data studio с коннекцией к mysql. красивые и простые репортики строит сносно
источник

KK

Kirill Khromov in Архитектура ИТ-решений
Dmitry
google data studio с коннекцией к mysql. красивые и простые репортики строит сносно
Спасибо, гляну
источник

D

Dmitry in Архитектура ИТ-решений
расчитано на повер юзера
источник

VP

Vasily Pozhidaev in Архитектура ИТ-решений
Dmitriy Larionov
А можно уточнить, почему Вы относите формирование SCD2 к MDM? Разьве MDM это не инструмент для управления справочниками в нормализованном виде?
SCD2 возможно не лучшее решение, но надо хранить и историю изменений и будущие состояния элементов и, возможно, версии/ветки
источник

DL

Dmitriy Larionov in Архитектура ИТ-решений
SCD2 не лучшее решение для чего? Чтобы расставить всё по местам, посмотрите как я рассуждаю.

Про SCD2. D это Dimension (Измерение). Измерение и факт - понятия витрины, той части ХД, откуда генерируются отчёты и визуальные представления. Эти реляционные объекты (в данном случае измерения) имеют большую денормализацию. SCD2 это измерение, в которое добавляются записи отражающие изменённые состояния некоторых (иногда многих или всех) входящих в него атрибутов. Согласны?

Про MDM. Это управление справочной информацией. У записи справочной информации может быть версия, конечно. Но это нормализованные данные. Данные справочников из MDM становятся атрибутами измерений когда попадают в витрины через цепочку преобразований в ETL-процессах.

Может получиться, что атрибутами одного измерения будут данные многих взаимосвязанных справочников. Согласны?

Поэтому, я увидел вот что:
- есть терминологическая ошибка в том, чтобы называть версионируемые данные MDM словом SCD2.
- если говоря SCD2 вы говорили про измерения, тогда инструмент который вы ищите должен покрывать проектирование витрин и управление мастер-данными одновременно.

И я спросил, поэтому, как вы относите формирование SCD2 к этому инструменту, чтобы понять, чтоже вы ищите. Дело в том, что инструмент проектирования это одно, скажем PowerDesigner это такой инструмент, а инструмент управления мастер-данными это другое, скажем есть MDM в составе Enterprise и BI редакции SQL Server.
источник

VP

Vasily Pozhidaev in Архитектура ИТ-решений
Artemy Melchuk
а почему не использховать моделлер для MySQL в комбинации с git?
от безысходности, возможно, примерно так и сделаем на первых этапах ) но хорошо бы иметь возможность получать отчеты-представления по мета-модели было-стало-будет и навешивать на элементы меты дополнительную служебную атрибутику
источник

AS

Aleksandr Stavrovskiy in Архитектура ИТ-решений
источник

VP

Vasily Pozhidaev in Архитектура ИТ-решений
Dmitriy Larionov
SCD2 не лучшее решение для чего? Чтобы расставить всё по местам, посмотрите как я рассуждаю.

Про SCD2. D это Dimension (Измерение). Измерение и факт - понятия витрины, той части ХД, откуда генерируются отчёты и визуальные представления. Эти реляционные объекты (в данном случае измерения) имеют большую денормализацию. SCD2 это измерение, в которое добавляются записи отражающие изменённые состояния некоторых (иногда многих или всех) входящих в него атрибутов. Согласны?

Про MDM. Это управление справочной информацией. У записи справочной информации может быть версия, конечно. Но это нормализованные данные. Данные справочников из MDM становятся атрибутами измерений когда попадают в витрины через цепочку преобразований в ETL-процессах.

Может получиться, что атрибутами одного измерения будут данные многих взаимосвязанных справочников. Согласны?

Поэтому, я увидел вот что:
- есть терминологическая ошибка в том, чтобы называть версионируемые данные MDM словом SCD2.
- если говоря SCD2 вы говорили про измерения, тогда инструмент который вы ищите должен покрывать проектирование витрин и управление мастер-данными одновременно.

И я спросил, поэтому, как вы относите формирование SCD2 к этому инструменту, чтобы понять, чтоже вы ищите. Дело в том, что инструмент проектирования это одно, скажем PowerDesigner это такой инструмент, а инструмент управления мастер-данными это другое, скажем есть MDM в составе Enterprise и BI редакции SQL Server.
SCD2 обозначил как один из подходв к хранению прошлых и будущих версий справочников. Хранение измерений в витринах в SCD2 - одно из применений SCD2, но не вижу противоречий, если история + будущие версии записей справочника будут храниться в таком же формате (StartDate, EndDate). Для ветвлений версий придется усложнить, наверно. Добавить ссылку на реестр веток, одна из которых основная.

С версиями (ветвлениями) в МДМ все-таки придется иметь дело, поскольку: 1) часть справочников могут формироваться на основе записей, поступающих из разных систем и до выбора эталонной записи (экспертом или автоматическими правилами) в БД будут одновременно храниться несколько версий, либо моделировать эту ситуацию как разные справочники с одной структурой. 2) надо обеспечить плановую работу эксперта по подготовке будущих редакций справочников. Т.е. нормализованные данные в МДМ могут быть только "в моменте", либо в виде view-представлений, либо в виде таблиц типа матриализованных представлений.

Да, PowerDesigner смотрю для ведения логической модели первое время, далее можно либо его штатным генератором физических моделей из логических (когда-то пользовался этим), либо собственным кодогеном генерировать физическую с добавлением атрибутов типа StartDate, EndDate. Но это выглядит как дорожка в сторону создания своего велосипеда с UI для эксперта и администратора. SQLServer Enterprise покопаю, спасибо, хотя  ограничен выбором из OpenSource и забесплатно или же свой велосипед изобретать :)
источник

DL

Dmitriy Larionov in Архитектура ИТ-решений
Vasily Pozhidaev
SCD2 обозначил как один из подходв к хранению прошлых и будущих версий справочников. Хранение измерений в витринах в SCD2 - одно из применений SCD2, но не вижу противоречий, если история + будущие версии записей справочника будут храниться в таком же формате (StartDate, EndDate). Для ветвлений версий придется усложнить, наверно. Добавить ссылку на реестр веток, одна из которых основная.

С версиями (ветвлениями) в МДМ все-таки придется иметь дело, поскольку: 1) часть справочников могут формироваться на основе записей, поступающих из разных систем и до выбора эталонной записи (экспертом или автоматическими правилами) в БД будут одновременно храниться несколько версий, либо моделировать эту ситуацию как разные справочники с одной структурой. 2) надо обеспечить плановую работу эксперта по подготовке будущих редакций справочников. Т.е. нормализованные данные в МДМ могут быть только "в моменте", либо в виде view-представлений, либо в виде таблиц типа матриализованных представлений.

Да, PowerDesigner смотрю для ведения логической модели первое время, далее можно либо его штатным генератором физических моделей из логических (когда-то пользовался этим), либо собственным кодогеном генерировать физическую с добавлением атрибутов типа StartDate, EndDate. Но это выглядит как дорожка в сторону создания своего велосипеда с UI для эксперта и администратора. SQLServer Enterprise покопаю, спасибо, хотя  ограничен выбором из OpenSource и забесплатно или же свой велосипед изобретать :)
На период исследований можете взять SQL Server Developer Edition, он не отличается от Enterprise вообще никак, ни функционально, нет никаких ограничений на объём, нагрузку и т.п. Только юридически, лицензия не допускает коммерческого использования.
источник

DL

Dmitriy Larionov in Архитектура ИТ-решений
Свободно официально выкачивается.
источник

KG

Kirill Gorin in Архитектура ИТ-решений
источник
2019 September 13

PG

Paul Golubev in Архитектура ИТ-решений
источник

PG

Paul Golubev in Архитектура ИТ-решений
Деплой монолита
источник

AP

Alexey Pryanishnikov in Архитектура ИТ-решений
музыку надо было из какого-нибудь Вольтрона, когда остальные экскаваторы начали подъезжать
источник