pierrevillard
Спасибо
Size: a a a
2019 October 18
N
я думаю ты можешь кинуть hbase в класспас кластера
Это
$HADOOP_CLASSPATH , верно?GP
Это
$HADOOP_CLASSPATH , верно?ага
GP
на каждую ноду кластера закинь хбейс жарки
A
:) грязный хак, но сойдет, потом желательно переделать
N
на каждую ноду кластера закинь хбейс жарки
там есть ужо
A
Hdp?
A
Хотя без разницы
N
ванилька
A
Секунду, найду тот параметр
N
но блин
root@host:/store/hadoop/logs/userlogs# sudo -u hadoop echo $HADOOP_CLASSPATH
root@host:/store/hadoop/logs/userlogs# echo $HADOOP_CLASSPATH
root@host:/store/hadoop/logs/userlogs# sudo -i -u hadoop echo $HADOOP_CLASSPATH
This account is currently not available.
root@host:N
это вообще законно?
A
Вот так
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
Там есть один параметр который отвечает за формирование класпасе, где и что искать, сейчас открою ноут и закину.
Добавишь в своём коде пути чтобы искал на фс и все будет ок
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
Там есть один параметр который отвечает за формирование класпасе, где и что искать, сейчас открою ноут и закину.
Добавишь в своём коде пути чтобы искал на фс и все будет ок
A
Главная фишка что почти все пути всегда сетаютмя на сабмите читая из конфига этого
A
Вот почему важно использовать корректный клайнт конфиг
N
Вот так
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
Там есть один параметр который отвечает за формирование класпасе, где и что искать, сейчас открою ноут и закину.
Добавишь в своём коде пути чтобы искал на фс и все будет ок
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
Там есть один параметр который отвечает за формирование класпасе, где и что искать, сейчас открою ноут и закину.
Добавишь в своём коде пути чтобы искал на фс и все будет ок
Типа
DistributedCache.addFileToClassPath ?A
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH,
YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
classPath = String.join("<CPS>",
Lists.asList("${PWD}/*", "{{CLASSPATH}}", paths));
A
я просто в некоторых сервисах напрямую с ярн работаю и отсылаю запрос в ярн на запуск моих приложений, следовательно надо чтобы с разными конфигами специфичными работали
A
данный код формирует корретный пас для
cdh с подсунутыми cdh клайнт конфигами
и для hdp с подсунутыми hdp клайнт конфигами
cdh с подсунутыми cdh клайнт конфигами
и для hdp с подсунутыми hdp клайнт конфигами
A
Типа
DistributedCache.addFileToClassPath ?да