h
Спарк типа мало где используется?
Size: a a a
2021 October 26
АЖ
Относительно всего рынка датки - таки да
AZ
Не мало, но значительно меньше чем обычными СУБД
AZ
Инженеров для него надо много при этом, поэтому складывается ощущение что спарк везде и всем нужен
h
ну если спрос есть, то рано или поздно будет же много по сравнению с СУБД
UD
Два чая
GP
Взгляды на решение таких Спарко проблем меняются и эволюционируют; абсолютно не ясно
GP
не панацея короче; сейчас точно ясно
AZ
это трудно сказать, по моему пузырю как раз снижается спрос
ЕГ
А на что повышается?
ЕГ
Сноуфлейк?
ЕГ
Клик?
AZ
РСУБД: от постгри до всяких сноуфлейков и фаерболтов, оркестрация и метаданные
Основной вызов сейчас это не выразить бизнес-логику в дата пайплайнах, а сделать так чтобы они работали дешево и надежно
(еще раз напишу что все это по моей очень перекошеной выборке)
Основной вызов сейчас это не выразить бизнес-логику в дата пайплайнах, а сделать так чтобы они работали дешево и надежно
(еще раз напишу что все это по моей очень перекошеной выборке)
AZ
люди это самая дорогая часть системы, спарк в этом смысле очень требователен
UD
Спарк типичная демка закрытого продукта
UD
Добавляем туда еще хадуп
UD
И задолбаешься нанимать
AZ
this
UD
Потом вроде нанял
ЕГ
Берём одного лида, он пишет фреймворк, куда эскуэли вставлять, потом нанимаем сотню ждунов, которые пишут эскуэли