Балансировка по равномерной загрузке дискового пространства

Условно на всех утилизация 50% места

С недавних пор добавили и балансировку в пределах ноды между дисками

Раньше была проблема когда было 2 диска, докинули 3й, и все новые данные на него, а со старых на новый не балансируется

Сейчас даже в пределах ноды можно попросить чтобы все диски одинаково были заполнены

Это не проблема, а контролируемое поведение. Есть параметр отвечающий за вес

:) веса появились в момент когда ввели tier

?

До этого диски по round Robin  долбились,

потом добавили проверку на свободное место, чтобы более равномерно заполнялись

Потом добавили балансировка в пределах ноды

оу, вы настолько древние версии вспомнили

я подумал что речь про современный hadoop, сорян

Ну в современном и указал что там и в пределах ноды сейчас многие проблемы с балансировкой решили :)

А какая настройка ?

А по каким словам поискать про этот алгоритм? Если он пишет по round robin , то можно рассчитывать на больший сроупут

Вот если у меня допустим 5 датанод. Нейнода будет выделять  одну из датанод для записи блока и если каждый раз для одной датаноды блоки будут в разные маунтпоинты попадать , то можно рассчитывать , что и читать я буду со всех дисков в параллель ( когда много тасков )

Клиент стучится на неймноду говорит хочу писать файл

Она отвечает пиши блок вот на эту датаноду

Клиент подключился и пишет в пределах размера блока

Потом стучится повторно на неймноду и говорит хочу дальше писать

Неймнода отвечает  пиши следующий блок вот на эту ноду

Неймнода не знала раньше про то сколько дисков у Датаноды, была инфа только какие блоки на какой датаноде лежат

Роундробин и тд это внутренняя реализация в датаноде

Название параметра переключения алгоритмов на датаноде я так и не вспомню сейчас

Датаноды ничего не знают о файлах, просто блок айди и все

Один это файл или разные никаких данных они не имеют

Это как диск не понимает о том какие блоки к какому файлу принадлежат, для этого служит fs на уровне операционки

может кто-то сталкивался: на маке развернут докер контейнер с постгрес, хочу с другого компа по локалке обратиться к контейнеру, не видит. Кто нить сталкивался?