K
тогда в фатжаре будет три копии гуавы :/
и что?
Size: a a a
2020 December 08
K
вы же гуаву новую зачем то исполбзуете?
AE
не, юзаем для удобства ту, которая уже и так есть, чтобы как раз поменьше зависимостей было
K
ну это тоже правильный вариант
GP
А на скала 2.12 тяжко переезжать с 2.11?
нет, если ты скалист
I
Вот блин, заинтриговал.
K
А на скала 2.12 тяжко переезжать с 2.11?
кнопку compile нажать
AE
а что, под 2020.3 Big Data Tools не обновляли? какой у вас там roadmap?
r
+1. Плагин с октября не обновлялся.
AE
не понял; если у себя используешь шейди (это _правильно_) менять в рантайме это надеяться на то что не стрельнет в колено
посмотрел щас. если не запутался (вечер всё же), то в ванильном спарке соответствующих версий зашейдена 26 гуава, в хадупе в класпасе болтается 19-ая. а на амазоновской сборке спарк тоже с 26-й, а хадуп юзает какую-то другую. короче, зоопарк.
значит, локально и под емр надо собирать с разными профилями теперь, по ходу.
значит, локально и под емр надо собирать с разными профилями теперь, по ходу.
DZ
а что, под 2020.3 Big Data Tools не обновляли? какой у вас там roadmap?
да , чет не ставится оно даже
ПФ
а что, под 2020.3 Big Data Tools не обновляли? какой у вас там roadmap?
Там всё грустно, но скоро выйдет
ПФ
rubonz
+1. Плагин с октября не обновлялся.
Мы там поддержку питона пилим хоть какую-то, релиз получился сложный.
Ну и на следующей неделе вроде должно выйти
Ну и на следующей неделе вроде должно выйти
2020 December 09
SS
приветики! в профильном чате перекати-поле... спрошу тут:
——
подскажите, почему может не коннектиться NiFi к внешнему zookeeper?
версия NiFi - 1.12.1 - последняя релизная
сетевая связность с узлов NiFi до зукиперов есть, телнет по 2181 порту проходит
все равно в nifi-app.log вижу
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss
at org.apache.zookeeper.KeeperException.create(KeeperException.java:102)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:862)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.processBackgroundOperation(CuratorFrameworkImpl.java:647)
at org.apache.curator.framework.imps.WatcherRemovalFacade.processBackgroundOperation(WatcherRemovalFacade.java:152)
at org.apache.curator.framework.imps.FindAndDeleteProtectedNodeInBackground$2.processResult(FindAndDeleteProtectedNodeInBackground.java:104)
at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:630)
at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:510)
——
подскажите, почему может не коннектиться NiFi к внешнему zookeeper?
версия NiFi - 1.12.1 - последняя релизная
сетевая связность с узлов NiFi до зукиперов есть, телнет по 2181 порту проходит
все равно в nifi-app.log вижу
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss
at org.apache.zookeeper.KeeperException.create(KeeperException.java:102)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:862)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.processBackgroundOperation(CuratorFrameworkImpl.java:647)
at org.apache.curator.framework.imps.WatcherRemovalFacade.processBackgroundOperation(WatcherRemovalFacade.java:152)
at org.apache.curator.framework.imps.FindAndDeleteProtectedNodeInBackground$2.processResult(FindAndDeleteProtectedNodeInBackground.java:104)
at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:630)
at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:510)
UD
приветики! в профильном чате перекати-поле... спрошу тут:
——
подскажите, почему может не коннектиться NiFi к внешнему zookeeper?
версия NiFi - 1.12.1 - последняя релизная
сетевая связность с узлов NiFi до зукиперов есть, телнет по 2181 порту проходит
все равно в nifi-app.log вижу
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss
at org.apache.zookeeper.KeeperException.create(KeeperException.java:102)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:862)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.processBackgroundOperation(CuratorFrameworkImpl.java:647)
at org.apache.curator.framework.imps.WatcherRemovalFacade.processBackgroundOperation(WatcherRemovalFacade.java:152)
at org.apache.curator.framework.imps.FindAndDeleteProtectedNodeInBackground$2.processResult(FindAndDeleteProtectedNodeInBackground.java:104)
at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:630)
at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:510)
——
подскажите, почему может не коннектиться NiFi к внешнему zookeeper?
версия NiFi - 1.12.1 - последняя релизная
сетевая связность с узлов NiFi до зукиперов есть, телнет по 2181 порту проходит
все равно в nifi-app.log вижу
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss
at org.apache.zookeeper.KeeperException.create(KeeperException.java:102)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:862)
at org.apache.curator.framework.imps.CuratorFrameworkImpl.processBackgroundOperation(CuratorFrameworkImpl.java:647)
at org.apache.curator.framework.imps.WatcherRemovalFacade.processBackgroundOperation(WatcherRemovalFacade.java:152)
at org.apache.curator.framework.imps.FindAndDeleteProtectedNodeInBackground$2.processResult(FindAndDeleteProtectedNodeInBackground.java:104)
at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:630)
at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:510)
Какая версия зк?
SS
zookeeper.version=3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
SS
покрылась плесенью уже, да?
UD
Нужно конфиг поправить на стороне найфая
UD
С 1.10 они притащили зк 3.5