ну или просто fat jar сделать

но вот этот совет конечно лучше

нет

мне интересно почему обычный лоадер не находит классов? я не читал статьи что ты кинул))

Это и есть fat jar. Просто со специфическими путями внутри. Которые, как я понял, может разжевать boot class loader, но не может разжевать хадупор

Смотри ситуацию:
У тебя есть Jar с минимумом классов для бутстрапа

java -jar app.jar запускает этот бутстрап класс

Тот создаёт кастомный класлоадер, лезет в кишки jar и добавляет из папочки либ все нужные классы

Для работы используется он и вроде все хорошо

Когда ты внутри делаешь сабмит, то доходят до парента, находят твой app.jar и заливают его как зависимость

Дальше в твоём случае получается жопа:
Основной класс апмастера лежит отдельно и твой джар это как зависимость подгруженная, поэтому он находит только бутстрап классы, все что внутри lib он не знает

Хадуп просто не знает формат как этот Jar сформирован и что там оказывается ещё где-то другие jar как ресурсы лежат

А если вот сюда докинуть hbase либы?

Я помню код из beam/spark/flink это происходит: берётся текущий класлоадер у класса, кастится небезопасно к urlclassloader, а у того есть список файлов что находятся в класспасе

Это не работает с 11 джавой, так как поменялась иерархия класлоадеров, и теперь AppClassloader не имеет в иерархии urlclassloader

я думаю ты можешь кинуть hbase в класспас кластера

и тогда заведется

Да, один из вариантов

У тебя же полетело, нашло slice-maker.jar, залило его, но толку мало

аааа понятно

и правда

но я думаю можно чтото придумать со сборкой то чтобы завелось

А не помню можно ли буту сказать чтобы он распаковал все классы внутри и получил именно fat jar, но сейчас с мобилки :) гуглить неудобно

Народ, а что почитать на тему best practices при настройке найфая?

pierrevillard