MB
Size: a a a
2020 August 08
MB
принято, спасибо за наводку
A
вот описание, что даже это не спасает
патч делали, но не влили
патч делали, но не влили
A
https://issues.apache.org/jira/browse/HDFS-11313
вот где я сегментирование видел, но тоже ещё не сделано
вот где я сегментирование видел, но тоже ещё не сделано
A
ну и там же про
https://issues.apache.org/jira/browse/HADOOP-16452
Increase ipc.maximum.data.length default from 64MB to 128MB
в 3.3, но это можно сделать и без обновления хадупа, просто параметром
https://issues.apache.org/jira/browse/HADOOP-16452
Increase ipc.maximum.data.length default from 64MB to 128MB
в 3.3, но это можно сделать и без обновления хадупа, просто параметром
S
Я бенчил ванильный хадуп3 на 14 тб, проблем не заметил. Правда я его и не забивал на значимую цифру, просто скорость выжимал. И дисков было много, 30+
MB
30+ на 1 ноду?
S
Да
S
30+ дисков
MB
ничётак...
MB
через СХД или напрямую подключали?
S
Напрямую жбод
A
а зачем jbod ?
потеря одного утягивает все диски в связке
потеря одного утягивает все диски в связке
A
некорректный вопрос, я с другим перепутал
A
я со SPAN перепутал
S
Ага. Но целевое решение сильно больше по обьемам, решили не ставить хдфс. Хотя побенчам он упёрся в шину, и архитектура похожа
A
просто все сетапы где явно упоминался jbod построены были на “сделать конкатенацию дисков в один большой логический”
но в контексте hdfs который поддерживает разные точки datadirs не совсем понятен был смысл
так как лишь усложняет обслуживание при выходе одного из дисков
но в контексте hdfs который поддерживает разные точки datadirs не совсем понятен был смысл
так как лишь усложняет обслуживание при выходе одного из дисков
S
просто все сетапы где явно упоминался jbod построены были на “сделать конкатенацию дисков в один большой логический”
но в контексте hdfs который поддерживает разные точки datadirs не совсем понятен был смысл
так как лишь усложняет обслуживание при выходе одного из дисков
но в контексте hdfs который поддерживает разные точки datadirs не совсем понятен был смысл
так как лишь усложняет обслуживание при выходе одного из дисков
Да это бессмысленно на таких объёмах. Но все конечно зависит от кейса
A
да