A
@hide100 вариантов много
Size: a a a
2019 December 06
OP
А без динамики, если экзекьютор упал он не факт что на той же машине запустится ?
A
Где ему ресурс менеджер выделит ресурсы там и будет
A
Гарантий никаких
N
А кто перезапустит экзекьютор ?
A
то есть кто?
A
у вас упал процес/контейнер
спарк драйвер это обнаружил
запросил у ресурс менеджер новый контейнер и предоставил ему нужные параметры
тот запустил воркер и он вошёл в спарк кластер подключившись к драйверу
спарк драйвер это обнаружил
запросил у ресурс менеджер новый контейнер и предоставил ему нужные параметры
тот запустил воркер и он вошёл в спарк кластер подключившись к драйверу
Ik
Привет, в чем может быть проблема, что spark streaming не пишет логи из try catch?
Ik
Отовсюду пишет, но из try сatch нет. Причем проблема возникает в кластерном режиме
Ik
в локалке отрабатывает как надо
DZ
Как пишете? Куда пишете?
A
может это блок который на воркерах обрабатывается?
A
вы там смотрели?
Ik
Как пишете? Куда пишете?
stderr, log.error() <- log4j
DZ
Тогда, как заметил коллега, ищите на логах воркеров
Ik
Тогда, как заметил коллега, ищите на логах воркеров
понял спасибо
N
Гарантий никаких
Я как-то давно смотрел кино на edx, там афроамериканец из беркли утверждал, что «инфасотка» упавший executor перезапустится на другой машине.
N
хотя может это фишка датабрикса
A
а если в кластере только эта машинка свободна
то что произойдёт?
менеджер не вернет тебе контейнер или же запустит на том же самом?
то что произойдёт?
менеджер не вернет тебе контейнер или же запустит на том же самом?