VE
Просто у нас есть rest API сервер который запускает Спарк таски, и к нему обращаются много машин
Size: a a a
2019 November 05
AZ
научите его работать с AWS API
VE
Много времени, надо сейчас 😁
VE
Но спасибо за совет, подумаем над этим
AZ
судя по вопросам вы относитесь к EMR кластерам как к персистент железкам, как будто оно он-премис, просто взгляните на задачу как если эти кластера просто промежуточный шаг работы джоба, будет проще
AZ
плюс получите возможности вроде отложенного запуска на спотовых инстансах
EV
Просто у нас есть rest API сервер который запускает Спарк таски, и к нему обращаются много машин
я заюзал livy, полет нормальный
VE
судя по вопросам вы относитесь к EMR кластерам как к персистент железкам, как будто оно он-премис, просто взгляните на задачу как если эти кластера просто промежуточный шаг работы джоба, будет проще
Есть такое, пытаемся адаптировать существующую логику для он према для ЕМР.
Поэтому и думали делать edge node который бы сам работал со всеми EMR кластерами, мы бы ему только конфиги меняли
Поэтому и думали делать edge node который бы сам работал со всеми EMR кластерами, мы бы ему только конфиги меняли
AZ
Есть такое, пытаемся адаптировать существующую логику для он према для ЕМР.
Поэтому и думали делать edge node который бы сам работал со всеми EMR кластерами, мы бы ему только конфиги меняли
Поэтому и думали делать edge node который бы сам работал со всеми EMR кластерами, мы бы ему только конфиги меняли
кмк так себе решение, там еще с сетью и безопасностью будут проблемы, оно хотя бы к одному КДЦ цепляется?
VE
Так у ЕМР же нет KDC (kerberos), или я чего-то не пойму?
EV
есть
EV
надо security configuration настроить
EV
и внешний сервер KDC и чего нибудь там еще
VE
ага, чёт я пропустил, спасибо!
VE
но вроде пока KDC не нужен
VE
так а всё таки, edge node для спарка с ЕМР не особо практикуется значит?
EV
а пошто
VE
ну вот как у меня юс кейс :D
нужная независимая машина откуда запускаются spark-submit
нужная независимая машина откуда запускаются spark-submit
VE
понимаю что не правильно подходим к проблеме