A
java.class.path это переменная {{CLASSPATH}} присланная клиентом
Size: a a a
2019 October 18
A
А твоём случае бут приложением
A
A
И дальше по тексту, все тул ранены, спарк сабмиты и тд делают примерно эти же шаги
N
java.class.path это переменная {{CLASSPATH}} присланная клиентом
То есть бут приложение, запущенное от имени пользователя hadoop, взяло переменную окружения $CLASSPATH пользователя hadoop и передала его в YARN, верно?
A
Не совсем :)
Оно взяло конфиг файл, вычитала там
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
Так как первую маловероятно что ты сетал, то взяла дефолт
Залила jar свой
Сформировала {{CLASSPATH}} переменную и просетапила это в джоб конфиг
Дальше ноде менеджер вычитал эту переменную
Сделал замены
Просетал все в java.class.path
Попытался запустить
Оно взяло конфиг файл, вычитала там
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
Так как первую маловероятно что ты сетал, то взяла дефолт
Залила jar свой
Сформировала {{CLASSPATH}} переменную и просетапила это в джоб конфиг
Дальше ноде менеджер вычитал эту переменную
Сделал замены
Просетал все в java.class.path
Попытался запустить
A
Да, сори,
$CLASSPATH да
$HADOOP_CLASSPATH нет
$CLASSPATH да
$HADOOP_CLASSPATH нет
A
Когда ты формируешь {{CLASSPATH}} то можно там через разделитель добавить и ${HADOOP_CLASSPATH} прямо так строкой
Но гарантий что он будет просетан на ноде нету
Но гарантий что он будет просетан на ноде нету
N
Не совсем :)
Оно взяло конфиг файл, вычитала там
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
Так как первую маловероятно что ты сетал, то взяла дефолт
Залила jar свой
Сформировала {{CLASSPATH}} переменную и просетапила это в джоб конфиг
Дальше ноде менеджер вычитал эту переменную
Сделал замены
Просетал все в java.class.path
Попытался запустить
Оно взяло конфиг файл, вычитала там
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
Так как первую маловероятно что ты сетал, то взяла дефолт
Залила jar свой
Сформировала {{CLASSPATH}} переменную и просетапила это в джоб конфиг
Дальше ноде менеджер вычитал эту переменную
Сделал замены
Просетал все в java.class.path
Попытался запустить
Но в yarn-site.xml(и в остальных *-site.xml) не встречается вообще слово classpath. Откуда взялся дефолт?
A
YarnConfiguration.YARN_APPLICATION_CLASSPATH
YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH
YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH
A
Куда ведут данные переменные?
N
YarnConfiguration.YARN_APPLICATION_CLASSPATH=yarn.application.classpath
YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH=[{{HADOOP_CONF_DIR}}, {{HADOOP_COMMON_HOME}}/share/hadoop/common/*, {{HADOOP_COMMON_HOME}}/share/hadoop/common/lib/*, {{HADOOP_HDFS_HOME}}/share/hadoop/hdfs/*, {{HADOOP_HDFS_HOME}}/share/hadoop/hdfs/lib/*, {{HADOOP_YARN_HOME}}/share/hadoop/yarn/*, {{HADOOP_YARN_HOME}}/share/hadoop/yarn/lib/*]A
Ну вот :) они потом тебе и разыменовываются в ту портянку
A
Ещё можно сказать что у тебя норм проставлены все параметры окружения, видишь как они передаются
Так как неизвестна что за система на ноде, а в Windows и Linux разный формат то {{variable}}
Так как неизвестна что за система на ноде, а в Windows и Linux разный формат то {{variable}}
N
На сервере, где исполняется, Ubuntu 18
A
нет, я про то что {{variable}}
в линукс это ${variable}
в виндовс %variable%
вот хадуп ввел свой формат еще =)
в линукс это ${variable}
в виндовс %variable%
вот хадуп ввел свой формат еще =)
AE
handlebars какой-нибудь поди используется для парсинга и подстановки
DZ
нет, я про то что {{variable}}
в линукс это ${variable}
в виндовс %variable%
вот хадуп ввел свой формат еще =)
в линукс это ${variable}
в виндовс %variable%
вот хадуп ввел свой формат еще =)
Jj
DZ
Jingja
A
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
// тут добавь вывод что ты получил в paths
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
// так же можно добавить в paths свои пути к hbase на файловой системе на нодах и сделать
conf.setStrings(YarnConfiguration.YARN_APPLICATION_CLASSPATH, newPaths);
// blabla
int ret = ToolRunner.run(new CopyTable(conf), args);