ЕП
датабрикс это сразу несколько типов инструментов под одним интерфейсом?
Size: a a a
2021 April 09
S
А заканчивается все питоном и пг/вертикой
AZ
это как раз data lakes (или lakehouse, как они себя промоутят сейчас) платформа, а у вас под data lakes указаны два объектных стораджа, один сторадж для даталейков, и формат хранения данных
ЕП
Лично мне была бы полезна картинка из 5-6 инструментов со связями и комментария "а потом наросла еще куча инструментов и почему это было кому-то нужно". Моя мечта )
AZ
если вы хотите нормально рассказывать архитектуру то надо рисовать не логотипы, а capability model, где пояснять что делают конкретные блоки, а потом уже имена рисовать
AZ
иначе получается что автор вообще не понимает что такое data lake, если смотреть на эту картинку
ЕП
В моем случае даже читатель не понимает 😏 пошел гугглить capability model
AZ
грубо говоря вы берете ваш набор требований/пожеланий/мечт ваших пользователей и заказчиков, и формируете список того что вам нужно (безотносительно продуктов), а потом выбираете что нужно
NN
*схватил инсульт*
NN
2/3 вообще не знакомы, чисто стартапный клауд какой-то. И, чувствую, что большая часть инструментов оч узкие и сырые могут оказаться. Так можно кошмарный зоопарк нагородить и кучу легаси уже в первый год)
ЕП
Я может очень глупый вопрос задам, но здесь предполагается, что слева генерится куча данных внутри или вне компании, к которым есть доступ, а далеко справа есть пользователь которому что-то от этих данных нужно?
AZ
нормальный вопрос, да, это вырезано из какого-то черновика (там опечатки даже есть), не обращайте внимания на детали
AZ
там не только пользователи, там в целом потребители - хранилища, витрины, всякие операционные системы для дата сервисов
NN
Народ, а кто-нибудь apache ignite пробовал поверх существующего hadoop кластера накручивать, какие подводные камни? Читал, что вроде как можно, и не нашел чёт никаких ругательных постов и комментов по теме, только сплошное восхваление про отличный буст.
ЕП
Мне кажется в небольших проектах слева направо дистанция короткая и ее пытаются накрыть одним - двумя инструментами, а сложная архитектура уже в каком-то другом классе корпоративных систем, где разные команды за разные части отвечают
AZ
это вы верно подметили, сложные системы сложные, а простые - простые
AZ
смысл в рисовании функций (а не систем) под требования, а потом уже раскроить это по тому на чем бежать
ЕП
А потом бац - из архитектуры больших компаний начинают предлагать что-то более мелким и они начинают бредить "лейк", "шина интграции" )
ЕП
Меня беспокоит ситуация, когда из архитектуры сложных что-то прилетает в архитектуру простых и нет компетенций с этмм разобраться
ЕП
А менеджмент уже хочет лейк )