UD
Джарники принесли и все
Size: a a a
2019 November 07
A
прод хадуп говно мамонта cdh 5.8.x + спарк последний (2.4.3)
СХ
ну всё как у всех хайповых технологий, давайте ВСЁ ВСЁ ТУДА ПЕРЕНЕСЁМ, конечно это остынет неможко
но как только это остынет - большей части будет ненужен кубер
UD
Если конечно там не депрекейтед на депрекейтеде
A
вернее для разных задач там спарки некоторые еще 2.1 зашедуленные крутятся
СХ
Если конечно там не депрекейтед на депрекейтеде
прям как у тебя)))
UD
прям как у тебя)))
2.4.3+ спарк
UD
Остальное в процессе спиливания
A
@vemelianov по поводу питона полностью согласен, подготовка env окружения нужно заранее
НО есть прод кластер который в процессе тестирования сейчас (хадуп 3.2)
там уже запускал pyspark в докере на yarn
всё работает норм, включая kerberos
НО есть прод кластер который в процессе тестирования сейчас (хадуп 3.2)
там уже запускал pyspark в докере на yarn
всё работает норм, включая kerberos
VE
С 3.2 ещё не работал, уже есть не ванила? Java 11 работать будет?)
A
11 пока вроде они не закрыли все тикеты
A
но свои приложения что мешает запускать на той java какой хочется?
VE
Ну в докере на йарне свою джаву можно поставить ?
A
а, да, там что хочешь пихай
A
это же просто имейд
A
даже для старого хадупа для приложения параметром ты можешь сказать какую java использовать
A
ну или не джава а ещё что-то
A
ярну то без разницы что запускать, хоть бинарь, главное чтобы после запуска твой аппмастер нормально прошел по lifecycle и всем всё рассказал
VE
Я просто вендор/пресейлс консультант, и у нас нет возможности сказать заказчику что им другая джава нужна
VE
Работаем с тем что есть