SK
Да и я переключил по мануалу на Fair
Size: a a a
2020 December 20
DT
который, в ярне или в спарке?
DT
если речь про yarn-site.xml, то видимо в ярне
DT
так после этих изменений в интерфейсе ярна он какой планировщик показывает?
SK
В нём Fair Share
SK
В fair-sheduler.xml единственное для эксперимента прописал значения некоторые и там показания теперь для zeppelin не лучшие
DT
ну все ок значит, применилось
DT
планировщик в спарке указывается в spark-defaults.conf
DT
spark.scheduler.mode
SK
А это у меня одно приложение и очереди под одним пользователем:
- anonymous
- anonymous
SK
spark.scheduler.mode
Получается чисто номинально прописать там и всё?
SK
А он из hadoop не схватывает сам? Я ожидал, что схватит и покажит установленный режим..
DT
это разные пулы и разные планировщики,
я бы советовал поподробнее почитать про них, чтобы не гадать
я бы советовал поподробнее почитать про них, чтобы не гадать
SK
Так я прописав fair вырубил fifo
SK
В hadoop
SK
А в том то и дело, что spark показывает fifo это настораживает
DT
да не должно тут ничего настораживать, все тут в порядке)
DT
еще раз: это РАЗНЫЕ пулы
DT
в ярне планировщик делит ресурсы между приложениями,
SK
А... Сейчас