AB
Норм писать из флинка в редис. А то, что возникают траблы с версиями, это хз, не эксперт по скале))
а понял)
Size: a a a
2021 March 26
AB
там не много данных - это уже даже не агрегаты а вычесленные значения
P
Я из-за этой поеботы с версиями скалы ооказался писать джобы флинка на скале. Это реально жесть была на стадии PoC. Тестовая джоба через пару месяцев просто отказалась взлетать, че-то там обнрвилось, и все зависимости по пизде пошли
P
там не много данных - это уже даже не агрегаты а вычесленные значения
Даже если много, пайплайн в редис всё вполне хорошо пережуёт
AB
Я из-за этой поеботы с версиями скалы ооказался писать джобы флинка на скале. Это реально жесть была на стадии PoC. Тестовая джоба через пару месяцев просто отказалась взлетать, че-то там обнрвилось, и все зависимости по пизде пошли
да согласен есть такой минус - я вот тоже с этим столкнулся- одни либы работают на одной но не работают на другой и надо как то идти на компромисс)))
AB
Даже если много, пайплайн в редис всё вполне хорошо пережуёт
а вы флинк джобы на питоне пишите?
P
а вы флинк джобы на питоне пишите?
😁 только жава
AB
😁 только жава
слышал что на восьмой не сильно от скалы отличается как бы синтаксиис но глубже не копал
P
слышал что на восьмой не сильно от скалы отличается как бы синтаксиис но глубже не копал
Так да. В этом и причина. Пишешь то же самое практически, но без лишних пиздостраданий свойственных скале.
AB
Так да. В этом и причина. Пишешь то же самое практически, но без лишних пиздостраданий свойственных скале.
)))👍👍
s
Я из-за этой поеботы с версиями скалы ооказался писать джобы флинка на скале. Это реально жесть была на стадии PoC. Тестовая джоба через пару месяцев просто отказалась взлетать, че-то там обнрвилось, и все зависимости по пизде пошли
А если фиксировать все версии зависимостей?
ВА
Ребят, привет. Кто может рассказать в чем может быть проблема. Мне говорится об ошибке во время запуска моего mapreduce Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.orc.mapreduce.OrcOutputFormat not found, хотя я открываю джарник руками и вижу этот класс в этом пакете. Если я делаю export HADOOP_CLASSPATH этой либы из зависимостей, то работает
P
А если фиксировать все версии зависимостей?
Да не, ну, это же тоже не айс, динамика версий тоже должна быть - какие-то либы обновить надо на свежие, где-то баги пофиксили. С джавой тоже не всё прям так гладко, но dependecy hell заметно меньше
P
В конце концов, tiobe есть
AB
А если фиксировать все версии зависимостей?
хз не пробовал
AB
А если фиксировать все версии зависимостей?
ну я хз как сделать разные версии скалы к зависимостям
AB
может как то можно - видел чтото такое в мавене
s
Да не, ну, это же тоже не айс, динамика версий тоже должна быть - какие-то либы обновить надо на свежие, где-то баги пофиксили. С джавой тоже не всё прям так гладко, но dependecy hell заметно меньше
Согласен. Кажется, во всех языках есть есть фреймворки у которых есть ломкие зависимости
P
ну я хз как сделать разные версии скалы к зависимостям
Use java! 🕺
AZ
А если фиксировать все версии зависимостей?
Job security!