GP
зета еще
Size: a a a
2021 April 22
AZ
А вторая причина в том что жизненный цикл контейнера в ярне построен с запасом, и между тем как нагрузка закончилась от одной задачи и началась для другой - довольно большая пауза
NN
Я так понимаю, что динамическая аллокация ресурсов в том же спарке не смогла решить эту проблему?
NN
Интересно, не знал, спасибо
AZ
Динамическая аллокация это довольно тупая штука, она не настолько умная чтобы с этим помочь (он тупо смотрит на pending tasks, никакую утилизацию не меряет, запросы ресурсов не меняет в зависимости от утилизации)
AZ
Там heartbeat протокол, по умолчанию 3 или 5 секунд, так что для коротких задач простои довольно заметные
ЕГ
Она опять же только на выделенные ресурсы работает, но не на реально используемые
K
Кека
AZ
Все эти проблемы от того что аллокация не связана с утилизацией, ярн раздаёт по сути квоты, ничего не зная (и даже не имея механизма узнать) об утилизации
t
lolkek-architecture
ЕГ
Пока таск ждёт от неймноды инфу о местоположении блока, проц не используется
NN
Вот это мой уровень
ME
Архитектор посмеяться нарисовал, а заказчик одобрил?)
K
А потом как начнет считать пару часов
NN
А что-то из нового/современного позволяет эту проблему хоть как-то уменьшить? Применительно к хадуп/ярн. Или все уже сваливают в облака, и там с этим лучше?
AZ
В облаках с этим лучше только за счёт гибкости, всякие EMR maxSparkResourceAllocation есть
ЕГ
Там вроде всё то же самое, платишь за выделенное, с не за используемое
ЕГ
Я как-то забыл кластерок в азуре выключить