AZ
я видел демонсетом запущенный сервис, который дергают для хаускипинга, там можно попробовать подхачить что-то
Size: a a a
2019 November 05
S
Нам важно последний выхлоп в лог... А пост хук пока добавить в экзек нельзя без костылей
S
Но вообще идейка интересная) у нас мутейшен вебхук на экзеки уже есть...
VE
Всем привет, подскажите пожалуйста как лучше всего настроить spark edge node для EMR кластера?
На AWS есть гайд как поставить все на ec2, но он очень плох, много вещей не хватает и там описано только около 30% работы
На AWS есть гайд как поставить все на ec2, но он очень плох, много вещей не хватает и там описано только около 30% работы
VE
Ещё слышал предложение сделать AMI image из мастер ноды и запускать ec2 уже с ним
VE
Edge node нужен именно чтоб spark сабмитил задачи через spark-submit и подключался к hdfs/hive (glue)
AZ
Всем привет, подскажите пожалуйста как лучше всего настроить spark edge node для EMR кластера?
На AWS есть гайд как поставить все на ec2, но он очень плох, много вещей не хватает и там описано только около 30% работы
На AWS есть гайд как поставить все на ec2, но он очень плох, много вещей не хватает и там описано только около 30% работы
а почему вы мастер не хотите использовать как эдж?
VE
Будет несколькл кластеров, хотелось бы иметь возможность переключаться между ними с одной машины
VE
Просто разные конфиги ставить
VE
А вообще обычно мастер и используется как edge?
VE
Просто мне ещё кажется что это не очень хорошая практика, вдруг будет много Спарк джобов которые заберут всю память у ноды и мастер отвалится
VE
Ну и ещё проблемы с тем что айпи разные у мастер при пересоздании кластера
EV
На мастере нагрузка не запускается
AZ
да, обычно мастер для запуска используется
AZ
там работают мастер сервисы, но с учетом того что EMR кластера редко многопользовательские и многозадачные, то риски не большие; я в своей практике никогда не ронял мастер, правда я скажем ноутбуки запускаю все-таки на отдельных нодах / кластерах
AZ
Ну и ещё проблемы с тем что айпи разные у мастер при пересоздании кластера
так есть же AWS API, можно через него получить адреса при запуске
AZ
или вообще запускать джоб при создании кластера, как завещали создатели EMR
VE
так есть же AWS API, можно через него получить адреса при запуске
Можно, но дополнительно все это нужно будет настраивать и менять айпишники во многих местах
AZ
Можно, но дополнительно все это нужно будет настраивать и менять айпишники во многих местах
вы просто в своем планировщике указываете не spark-submit, а wrapper скрипт который запускает джоб на кластере / сам кластер