Size: a a a

2019 October 18

N

Nikita Blagodarnyy in Data Engineers
Но этот класс живет в той же зависимости hbase-server
источник

N

Nikita Blagodarnyy in Data Engineers
И она указана в POMнике
источник

A

Alex in Data Engineers
Ну я бы проверил для уверенности что она в Jar действительно запакована, а то мало ли что
источник

A

Alex in Data Engineers
В том jar что в ярн уходит
источник

N

Nikita Blagodarnyy in Data Engineers
При этом если я в коммандной строке напишу /opt/hbase-default-current/bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=host1,host2,host3:2181:/hbase --starttime=100500 --endtime=100501 --new.name=STG.NEW_NAME OLD_NAME 2>>/logfile.log >>/logfile.log
то все будет ништяк
источник

N

Nikita Blagodarnyy in Data Engineers
Кстати, если есть предположения/опыт, как еще можно эффктивно снять инкремент с hbase по timestamp (по ключу, увы, не варик) - буду рад услышать.
источник

РА

Рамиль Ахмадеев in Data Engineers
у тебя jar - uber?
источник

РА

Рамиль Ахмадеев in Data Engineers
мапредьюс вроде не может зависимости подсасывать из инета как спарк
источник

РА

Рамиль Ахмадеев in Data Engineers
ну и ты сабмитишь узями?
источник

N

Nikita Blagodarnyy in Data Engineers
Рамиль Ахмадеев
у тебя jar - uber?
Да. Спринг-бут собирает
источник

N

Nikita Blagodarnyy in Data Engineers
Рамиль Ахмадеев
ну и ты сабмитишь узями?
Сабмичу кодом.
источник

РА

Рамиль Ахмадеев in Data Engineers
т.е. там этот класс стопроциков есть?
источник

C

Combot in Data Engineers
jihad Bui has been banned! Reason: CAS ban.
источник

N

Nikita Blagodarnyy in Data Engineers
Вот так
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("./resources/hbase-site.xml"));
conf.addResource(new Path("./resources/hdfs-site.xml"));
conf.addResource(new Path("./resources/yarn-site.xml"));
conf.addResource(new Path("./resources/mapred-site.xml"));
conf.addResource(new Path("./resources/core-site.xml"));

ExecutionContext jobContext = GetJobContext(chunkContext);
Long StartTimestamp = (Long) jobContext.get("StartTimestamp");
Long EndTimestamp   = (Long) jobContext.get("EndTimestamp");

String args[] = new String[5];
args[0]="--starttime=" + StartTimestamp.toString();
args[1]="--endtime="   + EndTimestamp.toString();
args[2]="--new.name=STG.NEW_NAME;
args[3]="--peer.adr=host1,host2,host3:2181:/hbase";
args[4]="OLD_NAME";

int ret = ToolRunner.runrun(new CopyTable(conf), args);
источник

РА

Рамиль Ахмадеев in Data Engineers
а у тебя там ни где сопроцессоров нет?
источник

РА

Рамиль Ахмадеев in Data Engineers
у нас похожая трабла была с hbase с сопроуессором
источник

N

Nikita Blagodarnyy in Data Engineers
Рамиль Ахмадеев
т.е. там этот класс стопроциков есть?
Я расковыряю еще джарник, но вот это не валится  и джар собирается
источник

РА

Рамиль Ахмадеев in Data Engineers
и это ему чего-то не хватало, но эта ошибка поднималась каким то образом до логов самой джобы
источник

N

Nikita Blagodarnyy in Data Engineers
Рамиль Ахмадеев
а у тебя там ни где сопроцессоров нет?
Моих самописных нету. Там феникс стоит, в нем какие-то должны быть.
источник

РА

Рамиль Ахмадеев in Data Engineers
я тогда целый день убил на подкладывание зависимостей
источник