AZ
я тоже считаю что неплохое соотношение, проблема только в том что рядом почти 30 ДСов работают без инженеров, на СУБД
Size: a a a
2021 October 26
ЕГ
Как там в СУБД с ДС?
ЕГ
pd.read_jdbc?
UD
Да хоть даск какой-нибудь
UD
Или рей
AZ
Dataframe(' select ...')
ЕГ
Ну так если такой запрос выполняется, там и инженер не нужен, и кастомные настройки спарка тоже
AZ
ну то есть они SQL для подготовки используют, а потом тащат на обучение на клиента
AZ
это не спарковый датафрейм
ЕГ
Я имею в виду если влезает в пандас
ЕГ
Если влезает в постгрес, то можно обойтись олдскул аналитиками
ЕГ
Если не влезает - уже с гринпламом начинается гемор
AZ
о том и речь, для подготовки данных SQL на зрелой MPP СУБД работает лучше спарка: запросы можно писать сложнее, оптимизатор работает лучше, разделение ресурсов работает намного лучше
а когда датасет на обучение готов - в бОльшей части случаев это можно обучить локально
а когда датасет на обучение готов - в бОльшей части случаев это можно обучить локально
ЕГ
Ничё не работает, тот же шафл на терабайт и выпадение с ошибкой
ЕГ
Этой зрелой СУБД была терадата)
AZ
надо spool space попросить увеличить)
ЕГ
У нас сидело 200 человек на 4000 ядер, каждому по 20 ядер, по сути локальный комп, плюс етли больше половины, уже остаётся по 10
AZ
ну значит мне все это приснилось, вы меня убедили, спарк ничем не хуже)
2021 October 27
ЕГ
Всех ужимали, но всё стабильно работало, никто не в обиде был
ЕГ
Настройке распределения ресурсов было уделено несколько человеко-месяцев, после того, как кластер был сконфигурирован "ок"