Да, я немного офигел, когда не нашёл в мастере)

Какие минусы запихивания метастора/хайвсервера в ранчер?  При том, что постгрес вовне ранчера на железке.

О, вспоминаю как у них реализован был install_package

Создаём рдд пустой
Репартишен на количество воркеров
В mapPartition вызываем pip install

Мы же верим что при параллелизации каждая партиция попадёт на свой воркер

Вроде всё ок работает, даже в таком варианте)

Меня больше смутило что захват инфы какие пакеты ставились не было, то есть если у вас динамик алокация включена и добавились воркеры, то там пакеты которые вы доставили не найдёт

можно кстати кластер менеджмент н сделать на этой штуке

Не привлекая внимание девопсов)

Если речь про stand-alone metastore то ему в контейнере самое место, и скейлить проще

Вообще, не хватает примитивов работы с воркерами, типа он воркер аллокейтед и прочие такие штуки, чтобы пулами управлять

(экзекьютор)

У нас есть такие энтузиасты, который из хранимки поднимают коннекшен куда-то вовне кластера)

(У старберста так коннектор целый сделан)

там через ленивую инициализацию можно сделать пулы пер экзекьютор в форичбатче )

Классика жанра

Да ладно, вся работа с mssql в агоде построена на хранимках, а уж что за дичь там бывает пишут я вообще молчу

Точно

зато нескучно юзать наверное

Нескучная Data

Привет 👋
Хорошо всё шло.. Но дальше запнулся и что-то не знаю.. Изучаю Scala потихоньку.
Есть
| uid | timestamp|
---------------------
| 555 | 12356788|
| 555 | 16776678|
| 555 | 16657556|
Ну в общем uid дофига одинаковых есть, но из поля timestamp надо выбрать наибольшее значение и вывести с uid. Одна строка получится. Пытаюсь max(expr) использовать:
.withColumn("c_max", max(col("timestamp")))
Но что-то не так делаю. Подскажите или пример такой же скиньте плиз!?