AA
tez
Size: a a a
2020 October 09
A
Так в этом случае xmx на шёл это сколько локально у вас в клиенте, и не уверен что там hadoop параметры подтягиваются, на само выполнение это не сильно влияет
AA
Постмортем такой:
Пользователь пускает селект через hive cli
Запрос падает по OOM
Гугл рекомендует пользователь накинуть общего хипа через HADOOP_HEAPSIZE (дальше там есть через рекомендация через параметр хайва, что понятнее)
При передаче увеличенного значения хипа через HADOOP_HEAPSIZE запрос успешно выполняется
Пользователь пускает селект через hive cli
Запрос падает по OOM
Гугл рекомендует пользователь накинуть общего хипа через HADOOP_HEAPSIZE (дальше там есть через рекомендация через параметр хайва, что понятнее)
При передаче увеличенного значения хипа через HADOOP_HEAPSIZE запрос успешно выполняется
AA
Т.е. выглядит так, что эта переменная окружения перед запросом в hive cli работает.
Если так, то хочу увидеть фактическое отображение переданного значения и хипа.
Если так, то хочу увидеть фактическое отображение переданного значения и хипа.
AA
Можно конечно зайти с другой стороны, и подиагностить сам запрос. Но тут я уже вопрос не сформулирую
A
Возможно у вас вывод ответа в память не влазит если какой селект используете
Насколько я помню стартовые скрипты клоудеры, то там shell скрипт запуска указанного сервиса по очереди перебирает от более специфичных для сервиса до более generic
Типо
Hive_cli_heapsize
Если нету то
Hadoop_heapsize
И тд
Формирует строку запуска и уже запускает нужный Jar с параметрами main класса и jvm опциями
Насколько я помню стартовые скрипты клоудеры, то там shell скрипт запуска указанного сервиса по очереди перебирает от более специфичных для сервиса до более generic
Типо
Hive_cli_heapsize
Если нету то
Hadoop_heapsize
И тд
Формирует строку запуска и уже запускает нужный Jar с параметрами main класса и jvm опциями
A
Посмотрите shell скрипт который hive cli запускает
AA
Так ну это же тогда должно отображаться в параметрах конретного процесса в системе
AA
Да там без шелл скрипта. Прямо из консоли проверяю
A
Да, потом в ps вы увидете
AA
Ну вот ps кажет дефолтное значение, а не то, которое было через переменную окружения передано
A
А консоль что запускает?
Там 2 варианта, либо beeswax или java клиент :)
Там 2 варианта, либо beeswax или java клиент :)
A
Ну вот ps кажет дефолтное значение, а не то, которое было через переменную окружения передано
Странно, должно проставиться
AA
А консоль что запускает?
Там 2 варианта, либо beeswax или java клиент :)
Там 2 варианта, либо beeswax или java клиент :)
java
A
Есть ещё нюанс, с клоудерой сталкивался, что они по очереди ставят Xmx от всех параметров, в итоге у вас на процессе их несколько штук, выигрывает последний :)
AA
Просто думаю, что не работает эта переменная окружения и это просто совпадение, что запрос отрабатывает, когда она задана
AA
Есть ещё нюанс, с клоудерой сталкивался, что они по очереди ставят Xmx от всех параметров, в итоге у вас на процессе их несколько штук, выигрывает последний :)
Я клаудеровскую доку упоминул просто так. Цитата там удобная была
A
У клоудеры и хортона много своих оберток по запуску конкретных сервисов
Что-то от апача используют, что-то сами дописываеют, поэтому знать желательно что именно запускаете
Что-то от апача используют, что-то сами дописываеют, поэтому знать желательно что именно запускаете
AA
Так чисто hive cli
AA
Ну дистрибутив хадупа от хортона