AZ
мы щас выясним какие познания и опыт у человека 😊
Size: a a a
2021 April 21
D
у нас 100%. данные валят сплошным потоком, думаю у всех в ентерпрайзе. и у автопроизводителя, темболее третьего линии работают круглосуточно, продажи идут 24/7
T
Все большие кластеры которые я видел не были загружены даже на половину в пике
AZ
у вас на хадуп кластере 100% утилизация CPU и памяти, по метрикам из прометея/графаны (не по YARN Allocations)? вам надо срочно подаваться на конференции, такого на моей памяти никому не удавалось сделать, устойчиво и без ошибок по ООМ
T
Кластер какого размера?
T
+++
AZ
и какой версии, мб у вас уже Opportunistic Containers во всю, был бы крутой рассказ
D
порядка 600 vcpu, бывает 90% опускается, потому что наш шедуллер подглючивает
AZ
😞 это не утилизация, это аллокация (сколько ядер попросили приложения)
AZ
посмотрите в железный мониторинг
ПБ
что то облака не предлагают hdfs as service
T
Кстати в копилку плюсов отдельных кластеров: удобно обновлять пайплайны. И тестить новые версии тулзов
K
Емр?
K
Трет?
AZ
трет
K
Сейчас я поправлю
AZ
видимо не заслужил
D
D
90-100% всю неделю
K
Попробуйте пожалуйста