Но дист кеш это когда ты закидываешь с локал фс и оно должно быть доступно в класспасе позже

Работает с путями на хосте, заливает на хдфс,  потом корректно прописывается в класспас и локализует

В моем примере после того как у тебя на руках config, то можешь попытаться сразу взять эти пути, добавить свой путь и сделать обратно

conf.setStrings

Дальше создавать job context и тд

Пути для апмастера сформируются дальше корректно

А в чем проблема :)

Ну и плюс посмотришь что в выводе этого списка все что ты прислал на скриншоте исключая твой jar

Важно: NodeManager ничего не добавляет в путь при старте, все переменные и весь класспасс формируется в момент сабмита, поэтому если ты поменял этот параметр в UI кластера, то ничего не произойдёт для твоего приложения, пока ты не подсунешь ему новый xml обновленный

а откуда по дефолту берется java.class.path на старте?

Ну вот оттуда что я описал

Основные замены что делает ноде менеджер это сетает pwd и пути отдаёт от дисткеша

Но дист кеш как работает:
Проходит локализация по разным путям, потом в те которые ты указал он скидывает симлинки

И в итоге в pwd у тебя вроде как твои ресурсы и доступны

В твоём скрине он сформирован из:

{{PWD}}<CPS>вагон либ из переменной что выше описал<CPS>{{PWD}}/slice-maker.jar

Это все сетается в переменную
{{CLASSPATH}}

Обращаю внимание что строки вот с этими скобками и тд так и передаются

Внутренний формат коммуникации для нужных переменных

Дальше ноде менеджер из описания джобы берет эти строки и делает замены

CPS заменяется корректным разделителям для нужной ос (; на Window, : Linux)

PWD это локализованный путь к ярн апликейщену на диске

CLASSPATH пойдёт в джавовый класспас

После этого запуск команды которая пришла

Не обязательно там будет java :)

Поклон и лучи уважения

Пойду пробовать

Откуда тогда заполнился java.class.path, если HADOOP_CLASSPATH пустой?

Ещё раз: все эти переменные приходят от того кто запускал задачу

Неймнода в этом плане шлангом прикидывается :) мне сказали - я сделала

Поэтому сформировав неправильные пути на клиенте не получится ничего запустить

Сам был сразу не сообразил почему на hdp кластере оно ищет пути от cdh

А оказалось конфиги не те сервису сунул