ДГ
Size: a a a
2021 September 26
ДГ
Ладно, парни, спасибо за подсказки, это уже что то, постараюсь разобраться.
D
у тебя все сервисы остановлены
D
там на самом верху clusters, там посмотри hosts. все ли в порядке там
D
если с hosts все ок, поднимай кластер, тыкай сюда, там start
D
2021 September 27
NN
Народ, а я правильно понимаю, что, например, при чтении спарком колонок из орка/паркета некий стейт по ним сохраняется в память куда-то в user memory, и если перестараться с их количеством, то можно получить oom на экзекуторах? Или такого нет?
ЕГ
Ты там решил мою витринку ещё в 3 раза расширить?😆
ЕГ
Есть страйп, или как его там, сколько строк хранится одним куском
NN
Я твою витрину не трогаю, просто хочу предотвратить будущие коллапсы, развесив повсюду красные флаги)
ЕГ
Если переборщить, то будут проблемы с чтением одного куска
ЕГ
Если там особенно есть строки с джисоном в одной колонке на 8 мегабайт
ЕГ
Там вроде есть параметры, по сколько рядов один кусок записывать, но не на виду где-то
NN
Не, погоди, это чуть другое - ты мне сейчас о том, что самый мелкий кусок файла, на который его можно разбить при чтении (страйп/страйд), если размером оказывается больше, чем памяти доступно на экзекуторе, вызывает оом, да?
ЕГ
Да
ЕГ
А ты про экзекушен план, в который надо 200 тыщ колонок вписать?
NN
А я ещё про другое - именно про количество колонок. Т.е., например, там норм размеры страйпов, все помещается на экзекуторе. Но у них же ещё есть некий стейт/мета, которая тоже в память подгружается. И, если это так, то, наверное, валится в юзер мемори, а не в сторадж и не в экзекьюшн мемори. И вот там может засада возникнуть, потому что оттуда ничего не спиллится. Про такое знаешь что-нибудь?
ЕГ
Что за стейт? Мне кажется это только для фильтрации используется непосредственно при чтении из файла
ЕГ
Потом просто распаковываются только данные в оперативку
NN
Ну, типа, как rdd dependency, я хз.
Я в какой-то статье на медиуме прочитал про это, но найти не могу.
Я в какой-то статье на медиуме прочитал про это, но найти не могу.