РА
Моих самописных нету. Там феникс стоит, в нем какие-то должны быть.
я бы в ту сторону копнул
Size: a a a
2019 October 18
N
я бы в ту сторону копнул
В каком смысле?
C
Nathan Boy has been banned! Reason: CAS ban.
N
Ну я бы проверил для уверенности что она в Jar действительно запакована, а то мало ли что
A
У бута собственный класлоадер из вот этих вот lib фолдера
Твой базовый класс скорее всего в самом ярне валяется
org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Он пытается подгрузить твой бутовый джар как зависимость и конечно вложенных зависимостей не находит
Как результат класс нот фаунд
Твой базовый класс скорее всего в самом ярне валяется
org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Он пытается подгрузить твой бутовый джар как зависимость и конечно вложенных зависимостей не находит
Как результат класс нот фаунд
A
Так понимаю это случается в момент старта апп мастера в самом ярне?
N
A
Попробуй сказать буту чтобы распаковал либы в нормальную jar
A
https://dzone.com/articles/spring-boot-classloader-and-class-override
Немного дичи как стартует бут приложение :)
Немного дичи как стартует бут приложение :)
A
Не помню как ToolRunner стартует, но судя по beam/flink он смотрит текущий клослоадер на jar и докидывает их в класспас
В итоге твоё приложение jar то там оказывается, но как зависимость она бесполезна......
В итоге твоё приложение jar то там оказывается, но как зависимость она бесполезна......
N
Спасибо, пойду раскуривать
GP
Контейнер валится с ошибкой
2019-10-18 12:48:21,045 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not found
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$3.call(MRAppMaster.java:554)может хадуп компакт нужен
GP
минимальный пак при работе с хбейзом обычно сервер, клаент, коммон и два компакта
N
пробовал оба компакта-результат не меняется
GP
а какая hbase?
GP
такая и есть? 1.4.10?
GP
выглядит как мистика
если все версии совпадают и все ок то я б делал ставку на то что не так собрано и класслоадер действительно не может найти нужные классы
если все версии совпадают и все ок то я б делал ставку на то что не так собрано и класслоадер действительно не может найти нужные классы
GP
может есть полный трейс?
N
такая и есть? 1.4.10?
Да
N
cat syslog
2019-10-18 12:48:20,610 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1570445698838_0037_000002
2019-10-18 12:48:20,755 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster:
/************************************************************
[system properties]
os.name: Linux
os.version: 4.4.0-131-generic
java.home: /usr/lib/jvm/java-8-openjdk-amd64/jre
java.runtime.version: 1.8.0_222-8u222-b10-1ubuntu1~16.04.1-b10
java.vendor: Private Build
java.version: 1.8.0_222
java.vm.name: OpenJDK 64-Bit Server VM
java.class.path: куча хадупа, в самом конце :/hbase/02/yarn/usercache/hadoop/appcache/application_1570445698838_0037/container_1570445698838_0037_02_000001/slice-maker-0.0.1-SNAPSHOT.jarjava.io.tmpdir: /hbase/02/yarn/usercache/hadoop/appcache/application_1570445698838_0037/container_1570445698838_0037_02_000001/tmp
user.dir: /hbase/02/yarn/usercache/hadoop/appcache/application_1570445698838_0037/container_1570445698838_0037_02_000001
user.name: hadoop
************************************************************/
2019-10-18 12:48:20,809 INFO [main] org.apache.hadoop.security.SecurityUtil: Updating Configuration
2019-10-18 12:48:20,930 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Executing with tokens: [Kind: YARN_AM_RM_TOKEN, Service: , Ident: (appAttemptId { application_id { id: 37 cluster_timestamp: 1570445698838 } attemptId: 2 } keyId: -1742380926)]
2019-10-18 12:48:20,982 INFO [main] org.apache.hadoop.conf.Configuration: resource-types.xml not found
2019-10-18 12:48:20,983 INFO [main] org.apache.hadoop.yarn.util.resource.ResourceUtils: Unable to find 'resource-types.xml'.
2019-10-18 12:48:20,996 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Using mapred newApiCommitter.
2019-10-18 12:48:20,998 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: OutputCommitter set in config null
2019-10-18 12:48:21,039 INFO [main] org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.mapreduce.v2.app.MRAppMaster failed in state INITED
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not found
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$3.call(MRAppMaster.java:554)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$3.call(MRAppMaster.java:534)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.callWithJobClassLoader(MRAppMaster.java:1802)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.createOutputCommitter(MRAppMaster.java:534)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit(MRAppMaster.java:311)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$6.run(MRAppMaster.java:1760)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1757)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1691)
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2596)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getOutputFormatClass(JobContextImpl.java:223)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$3.call(MRAppMaster.java:551)
... 11 more
Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2500)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2594)
... 13 more
2019-10-18 12:48:21,045 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster