хороним Spark ?)

выкинь уж ярн

Умеет же

Гц всеми ядрами

А сноуфлейк умеет?

жвм конечно спарк хорошо грузит так к слову

Мемцпу вебскейл

ну Антон про утилизацию кластера

а в сноуфлейке вы об этом не думаете ))

сноуфлейк тоже не подарок, на каждый класс нагрузки новый кластер

А, ну зашибись, у меня джуны тоже об этом не думали, просто эскуэли с датафреймами писали и решали бизнес-задачи

ну вот у моего последнего клиента (было два года назад, мб все починили) к каждым 2-3 сатанистам прилагался один инженер который внимательно смотрел на их код на спарке, планы, настройки джобов

при том что группа из трех десятков сатанистов спокойно работала на СУБД рядом, которую держали два обычных админа (посменно)

1) Каждый сам себе джобы настраивал?
2) девопсы были, за нагрузкой от каждого джоба следили, слишком наглые джобы прибивали?
3) кластер правильно сконфигурирован?
4) может просто штатки так выдали, 2:1?

5) инженер только за дсами следил, или джобы тоже писал?

6) соотношение ДС:ДЕ 2:1 очень даже выгодное, если всё работает и ДС не ноют, что 80% времени кодят етл вместо построения моделей

1) ну в известном смысле, им даны несколько базовых настроек, но иногда данных больше, иногда логика сложнее - надо менять настройки
2) разница как раз в том что ДСов нянчил ижненер опсового плана, причем не один (а рядом на СУБД никто никого не нянчил)
3) к кластеру претензий не было
4) ДСы начинали работать сами, без инженеров, но производительность ДСов была ужасной, и кластер много зря грел воздух
5) инженер только следил, ДСы занимались экспериментами, и когда эксперимент нормальный - весь прототип уже уходил нормальным инженерам

5) чайник кипятил и следил за процессом