что значит умерли? что пишет CM, NN, что в логах агентов и DN?

Initialization failed for Block pool <registering> (Datanode Uuid b6fcbf7b-6c5a-461c-a497-a25d6ebf6a4d) service to 8022. Exiting.
java.io.IOException: All specified directories have failed to load.

dfs.datanode.data.dir доступны?

скорее всего айдишник кластера неймноды и датаноды разошлись
случайно не форматировали?

кмк он явно репортит Incompatible clusterIDs в таком случае, хотя мб и нет, я давно последний раз такое чинил

возможно,  если удалю кластер исправиться?

clusterID можно вроде посмотреть в current/VERSION, сравните их между неймнодой и датанодой

скорее всего проблема здесь Lock on /data/dfs/dn/in_use.lock acquired by nodename

коллеги, привет!
работаю из DBeaver со Spark Thrift Server, при некотором простое рвется соединение - приходится его рефрешить. как следствие пропадают закешированные вьюхи-запросы.
как лечить?

spark.sql.hive.thriftServer.singleSession=true

оно?

/data

подскажите, какие существуют "наилутшие" практики в перепроцессинге сырых данных в DataLake?
вот валится мне из Кафки поток json'ов - я его приземляю в parquet как текстовый столбец через spark structured streaming (это как говорят нынче "бронза").
другим SSS-джобом я парсю "бронзу" согласно схеме (определенной контрактом с поставщиком данных).
в какой-то момент выясняется, что схема изменилась (вот неожиданность-то!!!). либо я где-то напортачил в трансформациях...

и вот я судорожно поправил код джоба, передеплоил его! а что сейчас сделать с некорректными данными от прошлой версии джоба?

Хотите получать курсы по программированию?

давай

отправь смс «не лох» на 4242

не, надо «не мамонт» на 1337

чем больше смс отправишь тем больше ты “не …”

Загибаем пальцы: 3 копии данных в кафке, потом 3 копии в каком то сыром паркете, от 3 до 4 копий (а уж если есть бекап витрин, то множитель зашкаливает ) на следующем уровне :)
Основы курса - как сделать бигдату :)

Если серьёзно, если в потоке нет версии формата того, что летит - можно вроде изголяться как хочется. Включая проверку каким нить гоблиным данных на валидность модели в промежутке

просто "наспросить", а почему паркет, я всегда считал что для такого лучше авро.