AE
хм, в кластере висят старые сессии цеппелина, мб они там все ресурсы съели
ну ещё бы не съели. цеплин довольно тяжёл
Size: a a a
2020 September 10
ME
Я ведь верно понимаю, что без ssh доступа сессию нормально не кильнуть? в UI ярна вроде нет такого
SS
Я ведь верно понимаю, что без ssh доступа сессию нормально не кильнуть? в UI ярна вроде нет такого
ежели у вас Zeppelin, то настройте в нем sh-интерпретатор,
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
%sh
yarn app -kill orphanFuckingAppIDME
ежели у вас Zeppelin, то настройте в нем sh-интерпретатор,
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
%sh
yarn app -kill orphanFuckingAppIDспасибо, хорошая идея)
SS
не для продакшна конечно
ME
Тут nonprod, в проде ярн не запускаем (по крайней мере пока...)
AZ
ежели у вас Zeppelin, то настройте в нем sh-интерпретатор,
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
и в ноутбуке Zeppelin вызывайте (sudo -u hadoop там если надо)
%sh
yarn app -kill orphanFuckingAppIDтогда уж aws emr terminate-clusters, чтобы два раза не вставать
SS
дяденька, я таких слов не знаю (((
SS
мы тут все домашними серверами перебиваемся
ME
тогда уж aws emr terminate-clusters, чтобы два раза не вставать
прав нету( Всё через терраформ у нас
AZ
прав нету( Всё через терраформ у нас
terraform destroy -auto-approve
ME
terraform destroy -auto-approve
ах если бы( Там ентерпрайзный терраформ и куча аппрувов и секьюрити гейтов(
ME
любое изменение в шаблон по неделе ревьювится(
AZ
любое изменение в шаблон по неделе ревьювится(
молодцы, с этим спешить не надо
AZ
но да, Сергей все правильно сказал, вам нужно хадупного завести (по аналогии с домовым и лесным) - санитара кластера, кто бы ходил приятным голосом просил убить приложения
AZ
заодно смотреть за размерами контейнеров, файликов, ну там есть за чем посмотреть короче
AZ
вполне себе фултайм джоб даже на небольших группах пользователей
ME
заодно смотреть за размерами контейнеров, файликов, ну там есть за чем посмотреть короче
логи чистить))
AE
клауд биг дата дворник
ME
После убийства цеппелина Livy стал сыпать просто рандомными ошибками на старт сессии, кажется всё пошло куда-то не туда)