ага. самый первый.

Значит на одном митапе были :)

Вопрос про диски на 14+ТБ.
Мне тут шепчут что у клодеры с ними замарока какая-то и что надо их разбивать на раразделы..

Кто-нибудь вкурсе про эту тему?

а можно узнать что за замароки шепчут?

что нельзя целиком большой диск для датаноды использовать

есть ограничения

но чёт пока ничего внятного не нашёл

у меня cloudera 5.15 на Oracle BDA

вероятно скорость ввода/вывода будет низкая, если 1 большой диск на 1 ноде, вместо N небольших дисков и нод

и на новых нодах X8 диски 14ТБ побиты на два раздела 10 и 4

но разделами это не решится

именно

вот я и подвис...

я так понял у оракла на одну железку максимум 12 дисков. и больше ни-ни

основная проблема что встречалась это когда все блоки в память не влазили (метаданная по ним, датанода в gc уходила, подымалось xmx, но опять же вопросы к большому хипу появлялись)
и когда в сама датанода большая то в один репорт плохо влазило и досили неймноду (поэтому добавили в хадупе отправлять чанками репорт)

но ни одна из этим проблем не разруливается разделами

Всю ночь экстендил кластер, новые ноды приехали.. такой дичайший шаманизм...

а у нас еще самовыпускные SSL сертификаты - это ппц

там всё на костылях Puppet + RUBY

пришлось часть косяков правкой шаблонов костылить на лету

dfs.blockreport.split.threshold

If the number of blocks on the DataNode is below this threshold then it will send block reports for all Storage Directories in a single message. If the number of blocks exceeds this threshold then the DataNode will send block reports for each Storage Directory in separate messages. Set to zero to always split.


возможно переживают что на очень больших дисках даже в один репорт будет залазить с трудом