Size: a a a

Архитектура данных

2020 January 21

АЖ

Артем Жданов in Архитектура данных
er@essbase.ru
а че , просто смотреть на базу не умеет?
Более менее сложный дашборд в момент открытия генерирует десятки запросов к источнику. Желательно, чтобы суммарное время укладывалось хотя бы в 5 секунд, а лучше в 2-3. Поэтому надо быть очень уверенным в своем источнике, чтобы строить дашборд поверх него.
Кубы являются in-memory column store database, их использование позволяет снять нагрузку с источника. Также плюсом мы получаем - возможность работы с кубом из Excel (а это ощутимо быстрее, чем SmartView) и написание более сложных мер в DAX (в случае DirectQuery доступны не все функции в DAX).
источник

PD

Phil Delgyado in Архитектура данных
Mikha Stas
Кликхаус это же просто колоночная субд, или я чего-то не знаю?
Ну, она быстрая, а что ещё нужно для BI?
источник

PD

Phil Delgyado in Архитектура данных
Артем Жданов
Более менее сложный дашборд в момент открытия генерирует десятки запросов к источнику. Желательно, чтобы суммарное время укладывалось хотя бы в 5 секунд, а лучше в 2-3. Поэтому надо быть очень уверенным в своем источнике, чтобы строить дашборд поверх него.
Кубы являются in-memory column store database, их использование позволяет снять нагрузку с источника. Также плюсом мы получаем - возможность работы с кубом из Excel (а это ощутимо быстрее, чем SmartView) и написание более сложных мер в DAX (в случае DirectQuery доступны не все функции в DAX).
А обновление кубов насколько быстро идёт?
источник

MS

Mikha Stas in Архитектура данных
Phil Delgyado
Ну, она быстрая, а что ещё нужно для BI?
Визуализация, не? Пересчет кубов для суточных отчетов у нас проблемы не вызывает.
источник

PD

Phil Delgyado in Архитектура данных
Для визуализации столько инструментов.... От банальной графаны, того же табло и до просто react.
источник

АЖ

Артем Жданов in Архитектура данных
Phil Delgyado
А обновление кубов насколько быстро идёт?
Зависит от многих факторов: от типа источника, от объёма данных, как построены секции.
источник

PD

Phil Delgyado in Архитектура данных
Mikha Stas
Визуализация, не? Пересчет кубов для суточных отчетов у нас проблемы не вызывает.
А что, отчёты раз в сутки считаются? Это что за бизнес, где все так не торопливо? И зачем для суточных отчётов вообще BI, там оно и по базе обычно нормально считает.
источник

АЖ

Артем Жданов in Архитектура данных
Phil Delgyado
А что, отчёты раз в сутки считаются? Это что за бизнес, где все так не торопливо? И зачем для суточных отчётов вообще BI, там оно и по базе обычно нормально считает.
Вы мешаете всё в одну кучу. Какой основной вопрос сейчас? Что за бизнес, где отчёт собирают раз в сутки?
источник

DT

Denis Troyan in Архитектура данных
Ну в банках регулярно раз в сутки собирают
источник

PD

Phil Delgyado in Архитектура данных
И где для этого используют bi систему.
источник

CO

Chern Oleksander in Архитектура данных
а тут случайно не кто не работал в Google Cloud ?
Не создавал Cloud Function ?
источник

АЖ

Артем Жданов in Архитектура данных
Denis Troyan
Ну в банках регулярно раз в сутки собирают
Наверняка в банках есть отчёты, что собирают и реже? Я не знаю, просто предполагаю
источник

АЖ

Артем Жданов in Архитектура данных
Наверняка квартальные какие-нибудь
источник

DT

Denis Troyan in Архитектура данных
Ну, вы с Филом так напали на человека, что это невероятно, что какому-то большому бизнесу отчёты нужны не чаще раза в сутки
источник

PD

Phil Delgyado in Архитектура данных
Есть суточные, месячные, квартальные, годовые. BI и кубы для них не нужны )
источник

DT

Denis Troyan in Архитектура данных
Почему это не нужны. Всем нужна визуализация и вертеть/крутить разрезы
источник

PD

Phil Delgyado in Архитектура данных
Denis Troyan
Ну, вы с Филом так напали на человека, что это невероятно, что какому-то большому бизнесу отчёты нужны не чаще раза в сутки
Непонятно, зачем до, суточных отчётов кубы и BI.
источник

АЖ

Артем Жданов in Архитектура данных
Denis Troyan
Ну, вы с Филом так напали на человека, что это невероятно, что какому-то большому бизнесу отчёты нужны не чаще раза в сутки
Я наборот за то, что бизнес может собирать отчёты так часто, как ему угодно. А Фил вешает ярлыки "неторопливый бизнес"🙂
источник

DT

Denis Troyan in Архитектура данных
Измерений может быть много, данных может быть много, отчеты могут быть со сложной логикой и визуализацией
источник

MS

Mikha Stas in Архитектура данных
Phil Delgyado
Непонятно, зачем до, суточных отчётов кубы и BI.
Я не понимаю, нормальные бизнес-репорты раз в сутки, бывает и раз в неделю не везде источники данных в онлайне данные передают. Кубы за тем чтобы пользователям цепляться из привычного экселя.
источник