Телеграмм чат группы hadoopusers страница 2807

Presto?

ога :)

09:13пожаловаться #1

Presto?

более того, в зависимости от дистрибутива у вас могут быть всякие плюшки вроде вытягивания статистики, имперсонации пользователей и прочая чего нету в спарке (и врядли будет, другое целеполагание)

09:59пожаловаться #2

Sergey Sheremeta in Data Engineers

Anton Zadorozhniy

я что-то затупил и не отсайзил отдельный кластер под Presto... его можно держать рядом с YARN?

10:02пожаловаться #3

я что-то затупил и не отсайзил отдельный кластер под Presto... его можно держать рядом с YARN?

раньше запускали слайдером, но это не рекомендуемый подход; лучше всего отдельными процессами, или оператор на кубере

10:03пожаловаться #4

Eduard Vlasov in Data Engineers

есть еще presto on spark но я не тестил

10:04пожаловаться #5

наверное можно докером под ярн, но я такого в дикой природе не встречал

10:04пожаловаться #6

Dmitry Zuev in Data Engineers

Anton Zadorozhniy

Есть оператор?

10:07пожаловаться #7

Dmitry Zuev

Есть оператор?

у старберста, да

10:07пожаловаться #8

работает неплохо но пока в начале пути, по-моему они IAM пока нормально на AWS не поддерживают, и какие-то там были косяки при дружбе с автоскейлером

10:10пожаловаться #9

Uncel Duk in Data Engineers

я что-то затупил и не отсайзил отдельный кластер под Presto... его можно держать рядом с YARN?

дешево и сердито отрезать эти ресуры от ярна

10:10пожаловаться #10

на GKE лучше всего работает, они под гугл разрабатывали его прежде всего

10:10пожаловаться #11

Uncel Duk in Data Engineers

пока сайзите отдельный кластер для престы/патчите престу под yarn services

10:11пожаловаться #12

Dmitry Zuev in Data Engineers

Anton Zadorozhniy

на GKE лучше всего работает, они под гугл разрабатывали его прежде всего

А что конкретно?

10:12пожаловаться #13

если вы его именно как федеративный используете то какой смысл его с ярном связывать, запускайте просто на пачке узлов где-то в сторонке, или на кубере

10:13пожаловаться #14

Dmitry Zuev

А что конкретно?

в маркетплейсе они вроде появились первыми на гугле, что-то еще было..

10:15пожаловаться #15

давно не заглядывал, думаю там все должно быть нормально на всех облаках и опеншифте сейчас