Size: a a a

2020 October 08

OI

Oleg Ilinsky in Data Engineers
Привет!
Вопрос!
Есть спарк. И я его запускал в клиент моде в кубах. Ща решил запустить в кластер моде, а он делает что-то странное:
все файлы (.py, jar, json) через s3 попадают в /tmp/spark-fa1d609c-9f6c-410f-a146-d65d01b567d5/ (spark-… генерится во время создания пода), а вот потом он эти файлы не видит, т.к. пытается искать файлы по тому же пути, что и на машине, с которой я запускаю, но в поде драйвера.
Мб опции какой не хватает? Чота бред какой-то.
источник

OI

Oleg Ilinsky in Data Engineers
Oleg Ilinsky
Привет!
Вопрос!
Есть спарк. И я его запускал в клиент моде в кубах. Ща решил запустить в кластер моде, а он делает что-то странное:
все файлы (.py, jar, json) через s3 попадают в /tmp/spark-fa1d609c-9f6c-410f-a146-d65d01b567d5/ (spark-… генерится во время создания пода), а вот потом он эти файлы не видит, т.к. пытается искать файлы по тому же пути, что и на машине, с которой я запускаю, но в поде драйвера.
Мб опции какой не хватает? Чота бред какой-то.
исполняемый файл вообще видит только если указывать как s3a://path/to/file
источник

P

Pavel in Data Engineers
Жмака
Всем привет. Проблема такая- делаю докер имейдж для питоновской аппликации. Требуются джава и другие пакеты как LLVM10. Имейдж использует FROM ubuntu потому что на докерхабе python3-buster не включает нужные os пакеты. В итоге имейдж растет до 4 гига. Есть какой то способ уменьшить размер имейджа?
я б посоветовал adoptopenjdk/openjdk8:alpine-slim, ну, и еще distroless образы есть
на стандартном openjdk:8-jre-alpine я заебался разбираться почему у меня криво половина стандартных либ не работает, которые вроде должны работать, но не работают
источник

DZ

Dmitry Zuev in Data Engineers
Нахуй jvm на алпайне. Там нет glibc. Почти любая jni зависимость не будет работать.
источник

UD

Uncel Duk in Data Engineers
не, там заводится костылями
источник

UD

Uncel Duk in Data Engineers
основная говнина алпайна их либцэ медленная
источник

UD

Uncel Duk in Data Engineers
и лучше образ в 4гб
источник

DZ

Dmitry Zuev in Data Engineers
Не надо об этом вслух
источник

UD

Uncel Duk in Data Engineers
чем оно блядь тормозить будет
источник

A

Alex in Data Engineers
Dmitry Zuev
Нахуй jvm на алпайне. Там нет glibc. Почти любая jni зависимость не будет работать.
там сама jvm уже ставит glibc-compat так как саму jdk с musl только на 16 версию таргетят
https://openjdk.java.net/jeps/386
источник

DZ

Dmitry Zuev in Data Engineers
Ну мне компата не хватило
источник

DZ

Dmitry Zuev in Data Engineers
Не могу вспомнить что конкретно это было. Но это был Спарк на кубе
источник

A

Alex in Data Engineers
у меня там были проблемы с rocksdb либами
источник

A

Alex in Data Engineers
так как тоже долго и упорно воевал с compat в итоге забил
источник

DZ

Dmitry Zuev in Data Engineers
Не, у меня с каким-то нативным сетевым стеком
источник

P

Pavel in Data Engineers
Alex
у меня там были проблемы с rocksdb либами
я победил двумя способами)
источник

P

Pavel in Data Engineers
но от альпайна не отступил пока, может со временем...
источник

P

Pavel in Data Engineers
Dmitry Zuev
Нахуй jvm на алпайне. Там нет glibc. Почти любая jni зависимость не будет работать.
ну, если человеку нужен компактный образ с джавой
источник

DZ

Dmitry Zuev in Data Engineers
То пусть возьмёт минимальный на дебиане
источник

UD

Uncel Duk in Data Engineers
Dmitry Zuev
То пусть возьмёт минимальный на дебиане
+100500
источник