AA
А дока у них сейчас по сути общая же
Да, сейчас там местами каша, но дисты все равно разные пока
Unity что обещали я пока не видел
Size: a a a
2020 October 09
A
UD
Постмортем такой:
Пользователь пускает селект через hive cli
Запрос падает по OOM
Гугл рекомендует пользователь накинуть общего хипа через HADOOP_HEAPSIZE (дальше там есть через рекомендация через параметр хайва, что понятнее)
При передаче увеличенного значения хипа через HADOOP_HEAPSIZE запрос успешно выполняется
Пользователь пускает селект через hive cli
Запрос падает по OOM
Гугл рекомендует пользователь накинуть общего хипа через HADOOP_HEAPSIZE (дальше там есть через рекомендация через параметр хайва, что понятнее)
При передаче увеличенного значения хипа через HADOOP_HEAPSIZE запрос успешно выполняется
Хип можно посмотреть через jps
A
По хортону могу более точно сказать завтра, когда к компу доберусь
UD
И лучше использовать билайн вместо хайвкли
AA
Хип можно посмотреть через jps
jps кажет pid процесса, который смотрю через ps. Просто мне так удобно
AA
По хортону могу более точно сказать завтра, когда к компу доберусь
Про особенности дистров это понятно. Тут же, имхо, дистронезависимый кейс. Запускатся в шелле hive cli, в нем селект в базу
UD
jps кажет pid процесса, который смотрю через ps. Просто мне так удобно
-mlvV
UD
а так отгрепайте скрипты который тащатся за хайвкли
UD
у всех дистров там месиво
AA
Да я вижу конкретную jvm с запросом
AA
Там указан дефолтный xmx, который задан в tez’е
AA
Поэтому не врубаю как эта переменная окружения разворачивается
AA
Ощущение, что никак. Но передаёшь её с увеличенным хипом - запрос отрабатывает
A
Про особенности дистров это понятно. Тут же, имхо, дистронезависимый кейс. Запускатся в шелле hive cli, в нем селект в базу
Вот тут и начинается веселье
Никогда не стоит недооценивать дистростроителей
Никогда не стоит недооценивать дистростроителей
AA
По хортону могу более точно сказать завтра, когда к компу доберусь
Не утруждайтесь в выходной)
Спасибо
Спасибо
UD
if [ "$SERVICE" = "cli" ]; then
if [ -z "$DEBUG" ]; then
export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xms10m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:+UseParNewGC -XX:-UseGCOverheadLimit"
else
export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xms10m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:-UseGCOverheadLimit"
fi
fi
UD
хортон
UD
для сравнения билайн
UD
beeline -u 'jdbc:hive2:/hive_dns:port/' -n %username% --hiveconf tez.queue.name="dev" --hiveconf tez.am.resource.memory.mb=15000 --hiveconf mapreduce.map.memory.mb=30000 --hiveconf hiveconf mapreduce.reduce.memory.mb=30000 --hiveconf hive.exec.max.dynamic.partitions.pernode=40000 --hiveconf hive.exec.max.dynamic.partitions=50000 --hiveconf hive.server2.logging.operation.level=VERBOSE