GK
Не вижу сходства ни в чём.
Да, для решения этой задачи можно задействовать компоненты data lake, но сами концепты совершенно разные.
Да, для решения этой задачи можно задействовать компоненты data lake, но сами концепты совершенно разные.
Size: a a a
2021 May 31
П
Под созвучием я подразумевал не сходство, а комплиментарность. Data lake -- большой массив данных структурированных очень разными способами, а цеттель способ построить между ними связи для организации которых нет готовой таксономии.
П
И я тут говорю больше не про какой-то конкретный инструмент, а про способ организации когда данные линкуются непосредственно
GK
Тогда уж лучше говорить о data mesh. Особенно если мы имеем ввиду знания о данных.
П
Спасибо, попробую углубиться в эту тему
GK
Впрочем, речь тогда о data governance. Просто в data mesh элементы data governance необходимы с самого начала, а в data lake ими можно до определенного момента пренебречь (но лучше не пренебрегать).
П
Сценарий использования примерно такой: наприме у вас может быть митинг на котором кто-то из коллег рассказывает об аномалиях на графиках построенных на основе данных из базы и вы через год найдя у себя в ящике поиском письмо хотите раскрутить всю цепочку: письмо - митинг - слайд - база данных - дашборд с данными
GK
Очень крутая мысль.
И да, это можно отнести к data governance. А точнее к data quality (DQ), которая является частью data governance.
Цепочка такая: аномалии на графиках -> аномалии в данных -> DQ -> data governance
DQ - это процесс в рамках data governance.
И да, это можно отнести к data governance. А точнее к data quality (DQ), которая является частью data governance.
Цепочка такая: аномалии на графиках -> аномалии в данных -> DQ -> data governance
DQ - это процесс в рамках data governance.
П
А что можно почитать про data governance?
П
Причем от цеттеля тут сама идея лингка между произвольными данными. Напрмер между базой данных и презентацией, презентацией и встречей. Если создавать какой-то документ в конфе, то непонятно куда его класть (встречи, базы, аномалии?) и как потом искать.
П
Спасибо
GK
Современного ничего. А так DAMA-DMBOK2
GK
The Enterprise Big Data Lake: Delivering the Promise of Big Data and Data Science: Gorelik, Alex: 9781491931554: Amazon.com: Books
https://www.amazon.com/Enterprise-Big-Data-Lake-Delivering/dp/1491931558
https://www.amazon.com/Enterprise-Big-Data-Lake-Delivering/dp/1491931558
GK
Вот эта книга must read с моей точки зрения. Там про таксономии, в том числе, здравые вещи написаны, как мне кажется.
П
Спасибо, записал
PD
Оно не работает без удержания в памяти этого графа (или очень крутой системы поиска, а ее в популярных решениях для цеттеля нет). Так что для коллективной БД не взлетит, нет возможности прописать ссылки.
Технологически то любой конфлюенс такое может сделать.
Технологически то любой конфлюенс такое может сделать.
GK
На фолксономии стоит обратить внимание
AZ
@dphil вы недавно упоминали в контексте логов использование clickhouse + lighthouse. хотел поинтересоваться про опыт использования lighthouse. Потому что отзывов нигде интересных не видел + проект выглядит (полу-)заброшенным - свой форк имеете?
PD
Зачем форк? Оно работает, логи показывает. Разработчику веб-морда к логам не нужна, а для службы мониторинга хватает
П
Так я же и личную базу не могу удержать в голове, я вот из сообщений выше сейчас набросал несколько карточек чтобы потом не вспоминать мучитально "что же за глевую кнгиу по big data мне в каком-то чате посоветовалаи"