А просто сделать hdfs dfs -chmod 766 на эту папку не помогает? При каждой новой джобе права сбрасываются?

Все так. При каждом старте права сбрасываются

Ошибка связана скорее с YARN, советую в yarn-site посмотреть, правильно ли yarn.nodemanager.local-dirs выставлен.

<configuration>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>C:/hadoop-2.8.0/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>C:/hadoop-2.8.0/yarn/logs</value>
</property>

<!-- Site specific YARN configuration properties -->

</configuration>

А эти директории существуют в файловой системе?

Была ошибка. Забыл версию на 3.1.3 поменять. Но суть не меняется org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir C:/hadoop-3.1.3/yarn/local, which was marked as good.       Я выдаю пермишены вручную, но после старта они сбрасываются

Ок, тогда такой вопрос, диск С под NTFS?

Проблема в том, что у меня только один диск - SSD.

Ребят, всем привет. Нужна помощь, не могу разобраться. Есть spark, он генерит dataframe и должен сохранить его в виде parquet файла как партицию hive external table.

write.mode(sm).partitionBy(partitions: _*).format("parquet").save(path)

Сам механизм сохранения уже давно работает в приложении. Добавилась новая таблица/новый датафрейм. Код отрабатывает, исключений нет, но по факту файл не создается. Никаких сообщений или ошибок в логах не вижу. Схемы сверил, различий не вижу. Где еще можно поискать причину?

данных нет в дф?

Есть. пробовал добавить show

Вообще, если к примеру будут  не совпадать схемы, тип данных ряда столбцов, например. Что должно произойти? Будет ошибка?

Если NTFS, то больше идей нет.

не совпадать с чем?

Есть hive external table, у нее есть определенная схема: имя столбца + тип данных. Если вдруг при записи датафрейма у него будут не совпадать имена таблиц или тип данных.  
Короче опытным путем выяснено, что ошибок не будет. При отличии типов данных может возникнуть ошибка при чтении данных через hive, например.

Файл не создаётся? Или не виден в хайве?

Не создается

Msck repair сделан?

Точно в path нет?

Я не знаю что это) Новенький в этой теме. Вообще у меня с двумя таблицами такая проблема. В одной нашел не соответсвие имен, она стала сохраняться. Вторую сейчас построчно сверил, все сходится, включая типы данных, но не сохраняется файл.