ну она в марте вышла, спарк 2.4.5 не был обновлён
в 5й от января был тоже ещё 2.4.4, а вот в майский апдейт подвезли 2.4.5

поэтому правильно говорить не УЖЕ, а ЕЩЁ

скорее бы они на спарк 3 перекатились

Ребят, а кто нить может подсказать, как в спарке в бэкграунде подсчитать статистику по количеству строк в записанном рдд?

Дружили третий с третьими хайвом и хадупом. Или с этим проблем нет?

Там просто все, хочется именно третий спарк на старье

Здравствуйте.
Обращаюсь по поводу такой вещи как Informatica. А точнее pmrep и deployment groups.
Есть у меня скрипт, который дерлоит фалы в разные репо.
Мне надо сделать под это все rollback.
Я нашел что есть такая вещь как 'rollbackdeployment'.
Самое интересное, что rollback deployment не видит такую группу.
Например.
1. Делаю pmrep connect
2. Делаю pmrep listobjects -o deploymentgroup
В ответ получаю что есть такая група как GroupAB1J
3. Делаю pmrep rollbackdeployment -p GroupAB1J -t 1
В ответ получаю:
The deployment group GroupAB1J cannot be found.
Хотя listobjects говорит что все есть.
Подскажите - куда смотреть и копать?
Informatica версии 9.6.1

а почему третий спарк на старье не работате?

что пишет?

поидее спарк 3 в рантайме то на старье зависит

в класспасе дистрибутива могут быть зависимости конечно несовсместимые; но это можно вылечить разделением класспасов

Пример трейса

У хайва такое

Хайв старый значит

Т.е я думаю на какую-то говнину в зависимостей дистрибутива

ясно

Хайв 2.1