Привет!
Вопрос!
Есть спарк. И я его запускал в клиент моде в кубах. Ща решил запустить в кластер моде, а он делает что-то странное:
все файлы (.py, jar, json) через s3 попадают в /tmp/spark-fa1d609c-9f6c-410f-a146-d65d01b567d5/ (spark-… генерится во время создания пода), а вот потом он эти файлы не видит, т.к. пытается искать файлы по тому же пути, что и на машине, с которой я запускаю, но в поде драйвера.
Мб опции какой не хватает? Чота бред какой-то.

исполняемый файл вообще видит только если указывать как s3a://path/to/file

я б посоветовал adoptopenjdk/openjdk8:alpine-slim, ну, и еще distroless образы есть
на стандартном openjdk:8-jre-alpine я заебался разбираться почему у меня криво половина стандартных либ не работает, которые вроде должны работать, но не работают

Нахуй jvm на алпайне. Там нет glibc. Почти любая jni зависимость не будет работать.

не, там заводится костылями

основная говнина алпайна их либцэ медленная

и лучше образ в 4гб

Не надо об этом вслух

чем оно блядь тормозить будет

там сама jvm уже ставит glibc-compat так как саму jdk с musl только на 16 версию таргетят
https://openjdk.java.net/jeps/386

Ну мне компата не хватило

Не могу вспомнить что конкретно это было. Но это был Спарк на кубе

у меня там были проблемы с rocksdb либами

так как тоже долго и упорно воевал с compat в итоге забил

Не, у меня с каким-то нативным сетевым стеком

я победил двумя способами)

но от альпайна не отступил пока, может со временем...

ну, если человеку нужен компактный образ с джавой

То пусть возьмёт минимальный на дебиане

+100500