Вот я и не хочу их путать, исторически сложилось, что persist (cache) не помог на рабочих данных ни разу, только на метаинформации. А чекпоинта не использовал вообще, видя аннотацию Experimental. Хотя сейчас может быть очень актуально, потому что для восстановления я делю приложение на этапы, этапы на шаги и так далее. Приложение само узнаёт, где завершилось и надо ли продолжать. Но если какой-то шаг длится несколько часов и падает ближе к окончанию, то мой подход не годится. Похоже, чекпоинты могли бы помочь, но я не уверен, что их вообще можно использовать в проде с таким описанием

можно использовать их в проде

но тебе перед исопльзованием чекпйонта придется использовать кеш

так что ситуация патовая

чекпойнт афаик триггерит рекомпут всей рдд / датасета
так что без кеша перед чекпойнтом ты рискуешь два раза делать одно и тоже

Извини, не могу понять, в чем же профит?

рестарт на фейле и транкейт дага

в млях пригождается часто для линеаризации рдд

ну над просто по месту использовать
скажем бездумный кеш / персист действительно чаще всего только захламляет память кластера

Спасибо!
Я прочитаю, что пишет Яцек, поищу статьи и попробую применить обычные чекпоинты там, где они могут быть полезны

хорошая идея, лучше чем он нет вообще источников по спарку

На сайте спарка, в доках видел примеры из источника Яцека) как мне показалось, сначала Яцек у себя написал их, а потом со временем, они попали в офф доку.

(как правильно его имя пишется, не знаю, к сожалению)

проще по его доке навигироаться тогда уж)

Ребя, кто знает, в настройке fair-scheduler в yarn можно вот так комбинировать настройки-минимум в килограммах, а максимум в процентах?

Его имя уже что-то вроде мема))
Но объём spark, походу, такой огромный, что FixMe на ресурсах Яцека встречаются повсеместно, меня это сильно раздражает

Вопрос - кто нибудь делает тестирование проектов BD ? на каких принципах построено ?

это про интеграционное и юнит-тестирование, а вот про дата-кволити - https://cprosenjit.medium.com/implementing-data-quality-with-amazon-deequ-apache-spark-adcdf7c0a8da