DZ
На нормальном рантайме
Size: a a a
2020 October 08
AS
То пусть возьмёт минимальный на дебиане
а потом ему понадобится еще нормальный питон, и приплыли
UD
800 метров
P
как сейчас модно писать в коментах на ютубе
docker: i came to free you of dependency hell
devcommunity: .i.
docker: i came to free you of dependency hell
devcommunity: .i.
DZ
как сейчас модно писать в коментах на ютубе
docker: i came to free you of dependency hell
devcommunity: .i.
docker: i came to free you of dependency hell
devcommunity: .i.
Кто венвы каждый раз накатывает, тот над докером не смеётся
OI
Привет!
Вопрос!
Есть спарк. И я его запускал в клиент моде в кубах. Ща решил запустить в кластер моде, а он делает что-то странное:
все файлы (.py, jar, json) через s3 попадают в /tmp/spark-fa1d609c-9f6c-410f-a146-d65d01b567d5/ (spark-… генерится во время создания пода), а вот потом он эти файлы не видит, т.к. пытается искать файлы по тому же пути, что и на машине, с которой я запускаю, но в поде драйвера.
Мб опции какой не хватает? Чота бред какой-то.
Вопрос!
Есть спарк. И я его запускал в клиент моде в кубах. Ща решил запустить в кластер моде, а он делает что-то странное:
все файлы (.py, jar, json) через s3 попадают в /tmp/spark-fa1d609c-9f6c-410f-a146-d65d01b567d5/ (spark-… генерится во время создания пода), а вот потом он эти файлы не видит, т.к. пытается искать файлы по тому же пути, что и на машине, с которой я запускаю, но в поде драйвера.
Мб опции какой не хватает? Чота бред какой-то.
UPD: такая лажа только с питоном. Со скалой всё работает (зависимости я пока не пробовал). Шо делать с пейтоном, хз)
DN
пейтон, теперь так и буду его называть
RS
я слышал как кто то python называет пуфоном...
AS
сейчас слушал вебинар по применению Akka для IoT, в примере использовалась https://github.com/yugabyte/yugabyte-db база,
ее кто нибудь пробовал использовать?
ее кто нибудь пробовал использовать?
R
Всем привет, у меня отработали все джобы в моем спарк приложении и дальше оно висит минут 15-20 в такой стадии
INFO Hive: Replacing src: .hive_staging/src dest: dest. Датафрейм не очень большой - 30гб, файлов создается 1000. Что можно потюнить?
P
P
Флинк на кубе в режиме job cluster, первый чекпойнт чаще всего отрабаиывает, скидывает на s3, стейт работает на rocksdb. Остальные чекпрйнты не скидываются, через некоторое время в fail. Знает кто??
R
Всем привет, у меня отработали все джобы в моем спарк приложении и дальше оно висит минут 15-20 в такой стадии
INFO Hive: Replacing src: .hive_staging/src dest: dest. Датафрейм не очень большой - 30гб, файлов создается 1000. Что можно потюнить?
А данные куда сохраняете? Не в s3 ли?
ME
В файловую или объектную систему?)
R
А данные куда сохраняете? Не в s3 ли?
В шдфс через инсертинто
2020 October 09
DT
В файловую или объектную систему?)
<приготовил КРАСНЫЙ ФЛАЖОК 🚩 >
O
Коллеги ни у кого нет dama-dbok? Нужна в личных целях, немного жаба давит платить 60$
O
готов порадовать переводом на пиво или компот
O
вторая часть