А
как вы закладываете рост компании? Обычно рекомендуют не загружать железо на 65%, все что выше уже сайзить и добавлять железа
Size: a a a
2021 April 21
AZ
кому интересно про Allocation vs Utilization https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/OpportunisticContainers.html#Overview
AZ
работает!
K
Над своего бота делать
D
это ентерпрйз. там всегда все забито на 100%. в любой момент времени. наша задача лишь определить размер батчей
AZ
это из СМ вроде график? это не утилизация, это аллокация
D
если будет рост, а железа не дадут, значит шедуллер какие-то пайпланы начнет чуть реже запускать. неужели у кого-то как-то подругому в ентерпрайзе ?
так в чем прикол отдельный кластер поднимать / опускать, я реально не понимаю
так в чем прикол отдельный кластер поднимать / опускать, я реально не понимаю
AZ
вы не поднимаете и опускаете кластер руками 😊
AZ
у вас сабмит джоба включает команду подъема кластера, и он терминируется когда джоб закончен, сам
T
Ещё и размер кластера автоматически можно настраивать
T
Оч дёшево выходит
D
я в курсе. но зачем кластер опускать если работа есть ? я еще могу понять ноды прибавлять убавлять
T
Если взять армовские споты особенно
AZ
я тут перевел в своем сервисе все постгри на армовые инстансы - красота, 25% экономия, на он-деманде!
D
ога, в ковид пик было дешего получить отлуп
AZ
так запускайте еще
T
Да мы тоже очень хорошо сэкономили на них на предыдущей работе
D
это утиизация. пошел на датаноду, вижу именно 80%+
AZ
хорошо опенсорсу, мы тут столько ресурсов уже вложили на переделку под арм, и конца не видно 😞
AZ
100% вроде писали? выполните free -h на ноде