Ну, лучше так, чем job failure. Но да, костыль

и остальные  версии тоже нужно бампать условным стьюартом, хватит плодить лигасню

да это нормальный вариант, особенно если масштаб не такой большой чтобы держать свои форки и сборки основных зависимостей.. я к тому что об этом мало думают формируя команды и считая бюджеты

"зачем нам платить, все же бесплатное?" 😊

всем привет, я тут вчера спрашивал как timeout spark для jdbc задать, подсказали что в .option можно queryTimeout прописать. попробовал, но не пойму как это работает. прописал 1200 (секунд). вместо 20 минут более двух часов провис, но выдал новую ошибку
com.mysql.cj.jdbc.exceptions.MySQLTimeoutException: Statement cancelled due to timeout or client request
т.е. timeot похоже работает, но странное время. ок, поставил 400 - через пару минут прибил квери, поставил 900 - через 7 минут прибил. не пойму как это работает

Окружение может обновиться. Например у вас что - то по дефодту пмхается в класс пасс на запуске. И вот это стандартное взяли и обновили и у вас появился конфликт.

Ддарник с вашим кодом, который вы деплоите?
Как деплоите?

а что за коннектор, там же jedis просто как грабли, что особенного  в этом коннекторе?

особенность в том что джедис не работает с скала 12

Чтобы быть более конкретным. Зависимость orc-mapreduce.jar, если я включаю этот jar в HADOOP_CLASSPATH, то все работает, если собираю джарник со своей джобой и зависимостями (включая orc-mapreduce.jar), но не прописываю orc-mapreduce.jar в HADOOP_CLASSPATH, то не работает. Запускаю как обычную mapreduce задачу hadoop jar /opt/jar/export-items.jar packagename.JobName

прикольно, это на каком jvm?

Это вообще большая проблема, потому что обычно люди, которые считают бюджет, живут в другом информационном пространстве. Более того многие разраьочтики тоже этого не понимают.
Я долго думал, как же это решается и понял,что особо никак. Вроде бы redhat в свое время так и взлетел, что брал на себя решение всех проблем с обновлениями и поддержкой и так далее. А до этого люди на местах сами собирали линукса с разным по и были проблемы с обновлениями. По сути клоудера, emr, хортон(r.i.p) тоже отчасти предлагают эту услугу, помимо удобство эксплуатация, утсанвоки, мониторинга и тд

да хз, восьмая наверное давно не лазил

а у тебя работает на свежей?

я видел что в код была добавлена поддержка скала 12 но коннектор так и висит только для скала 11 в мавен централ

сейчас проверю, тот кусок что с редисом работает у нас до сих пор на 2.11

проверил, работает на jvm 8 для скалы 2.12.10

о круто спасибо!!
а у вас "org.apache.bahir" %% "flink-connector-redis" % "1.0",
или "org.apache.flink" %% "flink-connector-redis" % "1.0",

?

но я думаю что понимаю откуда проблема, разбирайтесь с sbt, как заставить его искать в репозиториях без указания версии scala

нет, я тестировал jedis, про него была речь в условии задачи :)