GP
Size: a a a
2021 April 12
ЕГ
В 3 хадупе namenode federation
ЕГ
В азуре не может быть никакого одного сервера, который хранит весь wasb, на такой сервер никакой оперативки не хватит. Наверняка у них там некий хадуп, который хранит и выдаёт инфу по блокам файлов васб, выдавая себя за неймноду
ЕГ
Поэтому всё так тормозит)
N
я его выпилил, но теперь новая идея развалилась
GP
зря, на 2.13 и скалу 3 переползать не будешь?
N
пока нет. спрак 2.4.5 не позволяет, а на 3 не можем перейти из-за ряда либ, которые под 3 не умеют
N
Да,вы правы, там он не один( он хранит определенный кусок всего ) , но идея там та же.
ME
конечно есть, можно на MapR посмотреть например:)
K
каких
N
hudi
N
не поехало с ходу
UD
А напомните четам с шафлером спарка?
UD
Прямую/обратную совместимость не завезли?
AS
с чем совместимость?
UD
external shuffle service
UD
Допустим стоит двойка везде