A
handlebars какой-нибудь поди используется для парсинга и подстановки
Size: a a a
2019 October 18
AE
да уж
AE
приди мне такое на ревью, не прошло бы.
K
Оч нравится , что переменная называется var
GP
Оч нравится , что переменная называется var
они не думали что такое случится с жавой
AE
ну там весь коммит выглядит весьма колоритно. странно что за прошедшие 6 лет особо не правил никто
A
А зачем? Ресурсов всегда не хватает, а большинству кто использует достаточно что yarn как-то запускает контейнеры
A
Дальше spark/hadoop submit доходит мало, кто через api запускает задачи ещё меньше
A
Поэтому все верят в святой код :)
AE
ну, возникают же вопросы про странный синтаксис. уникальный причём, нигде больш не встречающийся
AE
а это нехороший знак
A
Этот синтаксис когда ты уже сам через апи начинаешь что-то кидать, таких мало
AE
тем более
AE
чтобы кинуть через апи, надо перепрыгнуть дополнительное препятствие
AE
блин. пойду посмотрю щас своё апи, не напридумывал ли я где странный синтаксис для сабмита спарковых тасок %)
A4
А где это у нас такому учат?)
какому такому?)
M
какому такому?)
Ну курс cо стеком Spark/HDFS/MapReduce
N
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));
// тут добавь вывод что ты получил в paths
String[] paths = conf.getStrings(
YarnConfiguration.YARN_APPLICATION_CLASSPATH, YarnConfiguration.DEFAULT_YARN_CROSS_PLATFORM_APPLICATION_CLASSPATH);
// так же можно добавить в paths свои пути к hbase на файловой системе на нодах и сделать
conf.setStrings(YarnConfiguration.YARN_APPLICATION_CLASSPATH, newPaths);
// blabla
int ret = ToolRunner.run(new CopyTable(conf), args);
Спасибо, все получилось. Теперь валится по другой причине, но классы слава богу все нашел
N
Ну курс cо стеком Spark/HDFS/MapReduce
MIT может?