Например, у нас сабмитятся порядка 30 джобсов параллельно через scala futures, джобсы читают и пишут данные в hdfs. периодически в некоторых джобсах возникает ошибка JavaIO Filesystem closed (идёт от Hadoop DFSClient). То есть, как будто бы в середине таска кто-то вызывает fsClient.close(), и, соответственно, текущий таск падает. Может ли это Быть из-за параллелизма?

если запись идет в один путь, то может быть

Один путь - это один файл? Или одна file system?

не, один путь в someDf.write.parquet(...)

а что значит сабмитися поролельно через фучи?

сабмит имеется ввиду спарк сабмит

Думаю тут от юскейса зависит тк шедулинг делается не по джобе а по таскам, иногда имеет смысл выделить фиксированные ресурсы вместо динамического распределения

или имеется ввиду что у вас драйвер и сабмит в этом случае будет просто редьюс нескольких тасок на драйвер асинхронно

что есть сабмит на спарк короче тут

Грубо говоря, в каждой future инициализируется SparkSession через getOrCreate()и вызывается отдельно одна джоба  (df.write). Причём df в каждом future разный. По идее без параллелизации (если просто по порядку написать их в scala) эти джобы будут выполняться последовательно, хотя в принципе их можно выполнять параллельно

понятно, тогда можно ж одну сессию глобально оставить и не инициалировазть через геткриейт в каждой (т.к. семантически тоже самое будет)

да так можно делать; но вот верно @tenKe заметил и это нормально делать пока ресурсы на кластере есть (в целом он прост заскедулит таски если нет ресурсов и надо будет дождаться)

а что конкретно за JavaIO Filesystem closed?

Точно, спасибо

У нас cloudera , периодически возникает ошибка в приложениях spark на Yarn и Hadoop : FetchFailedException : failed to fetch shuffle block. И вроде как она появляется из-за filesystem closed. Причём не всегда это одно и то же приложение, которое падает. Единственный найденный воркэраунд - ребутить кластер cloudera. Хватает примерно недели на две, потом снова возникает эта ошибка. Завтра смогу скинуть более подробный текст ошибок

@testudinateklev привет Стас!!!))))

Очень многие джобы в рамках приложения мы запускаем именно так. Джобы условно независимые, записывают свои данные в разные папки, содержимое папок потом перемещается (после обработки, на драйвере вызывается fileSystem.rename()), сессия используется одна, количество джобов в каждый момент времени ограничено. Используем только FIFO scheduling, FAIR не применяем. Тоже клаудера. Ошибок с файловой системой никогда не было.

Ошибка «failed to fetch shuffle block», как мне кажется, возникает из-за того, что на некоторых нодах возникают проблемы с локальной файловой системой. Надо смотреть, не остаётся ли на нодах лишних процессов и как yarn настроен. Подробнее подсказать не могу

Могу кинуть ссылку на сниппет в скасти, как сделано ограничение количества запускаемых джобов. Но у нас были проблемы, только когда их создавались сотни одновременно, поэтому и решили ограничивать

😄

Подскажите рабочий пример конфигураций для yarn-site.xml, mapred-site.xml. Для реализации задачи в HIVE.

О сниппет интересует) Спасибо, будем смотреть дальше

Конфигурации для hadoop,

согалсен с @KaiNie_R ну тут или с фс проблемы или с оперативкой (оом замаскированный например)
может что течет еще конечно