Подскажите, как побороть эту проблему?

можно только один иметь конеткст стримовый

если вам несколько нужно, стоит посмотреть в сторону структурного стриминга

коллеги, хочу на Spark Structured Streaming сделать доставку данных из Кафки в ДатаЛейк (бронзовый слой) и одновременно парсинг/процессинг этих данных (серебряный слой)
ну там лямбда-чики-пуки...
через 2 writeStream не хочу - буду дважды вычитывать данные и оффсеты разойдутся.
через foreachBatch не хочу - там нет атомарности двух df.write (или есть?)

что вы используете для такого? строго один writeStream в stage/bronze и отдельный поток приземленные в stage/bronze данные для парсинга/процессинга?

Я в драг металлах не силён, но звучит как 2 стрима: один кафка -> сырые данные. Второй сырые данные -> предобработанные данные.

Там же из кафки данные в директорию кладутся?

и вторым стримом постоянно делать листинг базового каталога на предмет появления новых файлов?

ладно, если какая-нибудь DeltaLake-таблица, там вычитываются метаданные с путями до новых файлов

Можно организовать подобие лямбда архитектуры и писать в foreachBatch в два слоя, но потом добивать серебро батчами, ну или  сделать подобие транзакции, но тут думаю надо велосипедить

мне странно, что нет готовых решений... ведь все мы в той или иной степени черпаем тазиками из струяющейся жижи в болота данных

Но у каждого тазик свой, сделанный собственноручно)

Так сделайте второй топик куда сырье льёте )

я хочу одним "черпком" тазика и резервуар с говном дополнить и сразу грубую очистку тяжелых фракций сделать. чтобы в потом в резервуар питьевой долить

если два черпальщика двумя тазиками будут черпать - то рано или поздно разойдутся по жиже внутри, если одним тазиком сначала в грязный чан вливать. то потом надо как-то быстро извлекать новую порцию второму черпальщику-очищальщику

(жизнь научила, что без грязного чана - нельзя! рано или поздно приходится в нем повторно юарахтаться)

Spark ? Закешируй в середине  и два раза write

через foreachBatch? нет гарантий атомарности... батрак черпанул один раз. влил в грязный чан и сдох от работы. чистый чан не дозаполнился, а оффсеты уже сдвинулись

тьфу, наборот