AA
“Set the Tez container size to be a larger multiple of the YARN container size”
Я не понимаю этого выражения
Я не понимаю этого выражения
Size: a a a
2020 October 12
AA
В доках аренадаты предлагают выставлять 1x или 2x от минимума в ярне
А
его нужно выставлять необходимого размера, если есть 64гб и 8цпу, то ставить 64/8, что бы утилизировать все ресурсы
AA
Ну из этого можно сделать вывод, что через hiveconf его выставлять нельзя
А
Ну из этого можно сделать вывод, что через hiveconf его выставлять нельзя
его можно выставлять при старте хайв hive, типа так, если нужно больше, чем стандартно:
hive --hiveconf hive.tez.container.size=8000 --hiveconf tez.queue.name=...
AA
Это уже влияние уровня кластера. Хотелось чисто под конкретные запросы пользователя
AA
его нужно выставлять необходимого размера, если есть 64гб и 8цпу, то ставить 64/8, что бы утилизировать все ресурсы
Так такое и выставлено)
AA
Т.е. это не гибкий параметр
N
Это уже влияние уровня кластера. Хотелось чисто под конкретные запросы пользователя
можно и на конкретный запрос задать размер контейнера
N
set
hive.tez.container.size=100500PbAA
Да это понятно. Технически и через —hiveconf при запуске hive cli можно выставлять
AA
Только что выставлять? Написано “larger multiple”
N
Ну имеется ввиду что тез контейнер = целое число*размер ярн контейнера
N
Чтобы не получалось, что ярн 6 гб, тез 8 гб, ярн выделяет 12 Гб, используется 8.
N
В доках аренадаты предлагают выставлять 1x или 2x от минимума в ярне
все ж написано
AA
Но не больше количества ядер
AA
Чтобы не получалось, что ярн 6 гб, тез 8 гб, ярн выделяет 12 Гб, используется 8.
Откуда 12?
AA
Ааа
AA
Понял, спасибо
AE
2к "дата инженегров" в чятике