K
подойдет
Size: a a a
2021 November 03
S
спарк заменил хадуп?
AZ
как пройду - обязательно подключусь
K
а про общие практики свои рассказать?
AZ
я вечером посвящаю время семье, извините, в другой раз
D
да, мы все увеличивали executor.memory, дошли до 20G не помогало, выставили 14G executor.memory и 6G spark.executor.memoryOverhead - заработало (2.4.7)
K
да в другой раз)
SA
ловко)
GP
ну понятно, одно то сеттинги жвм а другое хард лимиты контейнера * (я без контекста набросил)
оом случится или что в жвм не попадает или оом киллер прибиывает за баунды вылезает
видишь какой хороший жава код у вас)
оом случится или что в жвм не попадает или оом киллер прибиывает за баунды вылезает
видишь какой хороший жава код у вас)
K
оч расстроился из за фейр скедулера
GP
почему? не честный?
D
я понял это не наш код - а spark с некой версии научился хранить датафрейм в off-heap и это больше его косяк
T
Всем спасибо, особая благодарность тем кто задавал вопросы!
AF
Ого, а драйвер сколько? Меня убедили, что кластер слабый и больше 16 на драйвер и 12 на экзекьютор нельзя и вот оверхед не подбирался ни при больших ни при меньших величинах, так витрину и не построили в проме:(
N
Ребят, учусь создавать и загружать json данные в таблицы hive из hdfs, хотелось узнать, какой тип поля для таблицы указывать если у меня значение в одном поле в виде словаря?
AF
Спасибо, отличный митап
D
драйвер тоже огромный, 20+G - но там живет долгоиграющая спарк апликуха, которая работает неделями и создает спарк сессии, в которых запускает разные джобы. драйвер у нас дох из-за оргомных массивов, что хранит spark ui :) ограничили хранение истории джобов - наладилось
AF
Спасибо, это может пригодиться в моём кластере, да и про тот тоже спрошу, хотя уже не актуально:( нет моей витрины:(
V
А запись будет?)