A
/mnt/disk1
/mnt/disk2
И тд
/mnt/disk2
И тд
Size: a a a
2020 January 06
A
Первый блок файла на первый диск, второй блок на второй
T
Первый блок файла на первый диск, второй блок на второй
А блоки эти какого размера ?
A
Настраиваются
A
Можно 64мб, можно 1 гб
A
Хадуп ведь про параллельную обработку
A
Когда один воркер одну часть молотит, второй другую часть
T
Когда один воркер одну часть молотит, второй другую часть
Выходит , что один воркер ( одна таска) все же работает в ситуации , когда она один блок читает с одного диска и соответственно ее скорость ограничена этими 100 мб/сек
A
Ну один блок да, ограничен
A
Но если есть репликация, то ничего не мешает читать на разных машинках этот блок в параллели
T
А вот если на датаноде работают одновременно 2 таски , то они потенциально могут и с большей скоростью читать , если данные на разных дисках. Но тут вопрос как тот же hdfs пишет блоки. Будет ли он стараться записывать разные блоки одного и того же файла на разные диски
A
А это никто не предскажет :) никто не гарантирует что они даже на одной машинке окажутся, не говоря об одном диске
A
А если добавить что в hdfs для экономии места есть и их внутренний raid5 то все ещё веселее
T
А это никто не предскажет :) никто не гарантирует что они даже на одной машинке окажутся, не говоря об одном диске
Но это плохо тогда. Если нет никаких политик. Тогда можно рассчитывать только на скорость в условных 100 м/с на каждой датаноде
A
Почему?
A
Вы теоретизируете, а люди в проде гоняют и проблем не видят :)
A
Запущены обычно не 1 и не 2 таски на кластере, причём совершенно разных задач, так что все диски обычно более менее равномерно загружены
T
Почему?
Трудно тогда оценить время , например той же группировки набора данных в N гигабайт
A
Простой пример:
Кластер на 100 машин (в каждой по 100 ядер)
Запущенно 600 приложений
В каждом приложении воркеров достаточно, так что вы выедаете почти все ядра
Будете вы в этом случае думать чтобы блоки отдельного файла точно не оказались на одном диске?
Кластер на 100 машин (в каждой по 100 ядер)
Запущенно 600 приложений
В каждом приложении воркеров достаточно, так что вы выедаете почти все ядра
Будете вы в этом случае думать чтобы блоки отдельного файла точно не оказались на одном диске?
E
В hdfs есть балансировка данных по надах