M
да еще и нетривиального на 3 этапа
Любой джоин с фильтрацией думаю будет не очень тревиальнвм
Size: a a a
2020 January 06
M
И какая-нибудь агрегация в конце
A
Tatiana
А какие бывают варианты.сколько дисков ... 1,2,...24? Это ведь всегда не рейд?
Неймнода и журналноды зачастую рейд на имейдж и wal
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
A
Варианты разные бывают, все зависит от бюджета и задачи
A
Бывают и в hdfs пихают ssd для tier разных, та же hbase умеет запрашивать нужный tier для wal
A
Данные на hdd, wal на ssd
ʏᴍ
Tatiana
А какие бывают варианты.сколько дисков ... 1,2,...24? Это ведь всегда не рейд?
Рейд только на системном разделе имеет смысл, и то только в том случае если в сервере много дисков, чтобы лишний раз не делать декомиссию. грубо говоря можно выделить два конфига - 1U и 4U
ʏᴍ
Неймнода и журналноды зачастую рейд на имейдж и wal
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
у меня есть бигмаки по 36 дисков по 14Tb
С
у меня есть бигмаки по 36 дисков по 14Tb
Мне два бигмака и кока-колу
С
Прости не удержался
T
Неймнода и журналноды зачастую рейд на имейдж и wal
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
Датаноды обычно просто точки монтирования (до 20 встречал)
Можно и рейд 0 или желательно ссд для фолдеров куда yarn временные файлы пишет
Если скорость чтения с одного диска условные 100-150 мб в секунду , то получается , что датаноды тоже выдают скорость чтения в этом диапазоне ? И например если на датаноде запускается spark executor ,то все таски в нем будут делить эти 100-150 мб/сек между собой ?
A
Если у вас один диск то да
A
Но там очень много НО :)
A
Но таски могут ходить в локальный диск, могут не ходить
A
У Датаноды может быть один диск
А для yarn использоваться другой и уже на него будут сбрасывать спарки свои шафл файлы
А для yarn использоваться другой и уже на него будут сбрасывать спарки свои шафл файлы
T
Если у вас один диск то да
А если дисков 10, но ведь они без рейда . Значит то же предел.
A
Эм, то есть?
A
Каждый по 100
T
Каждый по 100
Почему ? Если нет рейд , то он будет читать всегда только с одного .
A
Что такое рейд?
Железяка раскидывает блоки по разным дискам
В софтварном ядро раскидывает
Что мешает в датаноде по разным фолдерам раскидывает блоки?
Железяка раскидывает блоки по разным дискам
В софтварном ядро раскидывает
Что мешает в датаноде по разным фолдерам раскидывает блоки?