просто у вас в WAL будут еще и апдейты по уже существующим ключам

Там вроде каждый раз новый ключ, но не уверен: не моя кухня. Сделаю тогда так. Спасибо!

Народ привет, а кто нибудь в курсе, можно ли включить аулит лог hdfs, по конкретному локейшену?

привет
вроде эта штука включается на неймноде на все категории хадупца :(
только если выгрепывать нужное по маске и складировать куда-то себе

А что от аудита нужно?

Есть такой забавный костыль https://github.com/paypal/NNAnalytics

если у вас есть рейнджер - можно включить аудит только на нужных вам политиках

От аудита, нужно видеть какие пользователи что читают и пишут в локейшен

hdfs-audit.log (стандартную фичу самого HDFS) надо парсить, но у вас вроде хадуп есть?

Я вижу нужную мне инфу в аудит логах hive и impala, но когда пользователь пишет напрямую не фиксируют

покажите log4j.properties с неймноды, там должны быть строчки про log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit - куда они пишутся, какой уровень стоит

а почему хочется аудит на конкретный локейшн? а не на все
пользователи же могут права на корень поменять :D

Всем привет! А есть ли какой нибудь простой мануал как запилить yarn-client и yarn-server для Spark? Я бы хотел запаковать свое приложение в Докер при этом. Вообще не силен в этих yarn, где про это почитать можно?

а можно подробней что значит yarn-client yarn-server
и если с первым ещё можно догадаться, то что подразумевается под вторым?

10 к 1 речь про spark.deploy-mode=client|cluster

а докер тут при чём?

Коллеги, такой вопрос - есть DataFrame в котором одно поле - json который я преобразую в итоге в Map
Если делать на Dataset с case классами не оч понимаю как оно работает а apply методом.
Например

case class myTest(id: Long, json: String)

df.as[myTest]

все хорошо и ожидаемо

делаем

case class myTest(id: Long, json: Map[String, String])

и apply который принимает (id: Long, json: String) но оно ругается на то что поле не того типа - есть как-то честный красивый способ его заставить использовать apply?
Да можно сделать withColumn + dropColumn и все что надо реализовать но хотелось бы все логику спрятать на case class

да

я хочу свое приложение запаковать в докер, не знаю как оно все уживается, потому и спрашиваю

case class myTest(id: Long, json: String)

df.as[myTest]

case class myTest(id: Long, json: Map[String, String])

но json это не Map[String, String]