руками менять оффсеты в чекпойнт-хранилище джоба?

остановить джоб и запустить заново с хитрыми настройками оффсета?  вроде можно для Кафки, но не для HDFS-каталога...

Доброе утро! Скажите пожалуйста
Зачем hdfs просит 9 нод, когда у меня 3 . Т.е. по идее я данные не потеряю

Erasure Coding RS-6-3 ?

ага)

6 + 3 = 9

я документацию почитал ) зачем ему еще 6? )

Что значит зачем?

6 блоков данных + 3 блока проверочных

Это не про репликацию, если блок потерян то на основе остальных его можно востановить

Чтобы минимизировать риски каждый на своей машине лежит

документацию надо читать всю, а не только Getting Started :)

другими словами  это обезопасить если весь шкаф упадет?

Привет. Пытаюсь в скале аппликации запустить spark.sql запрос и выдает ошибку table or view not found. На уровне emr коефигурация hive.metastore.client.factory.class есть. Через спарк шелл могу запустить запрос. В аппликации трейт sparksessionsetup, который запускает сессию с конфигами и этот трецт экстендит сервис класс в котором весть flow и мэйн функция создает сервис инстанс и запускает метод execute в котором флоу. Не пойму в чем проблема

Смотря на кого

Извините

Привет! Ловлю ошибку SparkOutOfMemoryError, подскажите плиз куда можно покопать.
Пробовал увеличивать memoryOverhead и executor memory - пока не помогает. В запросе 2 window functions по разным полям, обрабатывается инфа за день, на некоторых днях работает норм, на некоторых нет.

упавший стейдж

пока смотрю чо за перекос в данных