AG
Просто где граница, если по моему последнему примеру, когда конечная цель это передача файлов другой системе (xml,Json), то это обычная служба/сервис. Но если конечная цель это аналитика этих данных, то это уде аналитическая система. Так?
Size: a a a
2021 October 26
AE
в аглийской википедии статья про dwh хорошая
AE
начать с неё
AG
Понял
AG
Спасибо
AZ
я обычно три задачи описанные выше ставлю для хранилища, если они решаются в объеме который устраивает пользователей - это работающее хранилище
rG
По двх в рутубе - Голов Николай и Ермаков Евгений шарят.
AG
Всем спасибо! Очень много ещё изучать конечно
AE
главное сразу Инмона не бросаться читать, а то очень в дебри сразу будет
AE
хотя кому как, может и норм
AZ
в 2002ом мне было норм
ПБ
я видел хранилище на кликвью, мне понравилось, этакий спарк на 1 ноде )
AZ
мой бывший студент показывал хранилище на 20 ТБ данных на одном ПГ, вполне норм, спарк это все-таки узкая ниша
AG
Да я сильно в архитектуру пока не ухожу, больше по инструментам, технологиям
ПБ
ну это классика, а вот на плоских файлах это редкость была лет 6 назад
AZ
основное хранилище одного из топ3 телекомов в РФ довольно долго было на SAS SPDS, это по сути проприетарный хадуп
YI
Кто-нибудь использовал atlas? Если конкретнее - интересует построение column-level-lineages. У всех это выглядит также вырвиглазно, или есть нюансы, которые я упустил?
AZ
Использовал атлас, но UI всегда был свой, там как хотим так и рисуем (атлас это не продукт а фреймворк)
YI
А в чем тогда смысл атласа? Чисто использовать api? И просто данные из hbase забирали и визуализировали отдельно?
AZ
там вы можете замоделировать любые типы дата ассетов и процессов которых их связывают, наливать туда данные и задавать вопросы через апи