Локально в файл запиши строку. А соседним приложением переложи из файла в кафку

т.е. всё-таки самому посредника придётся реализовывать? В экосистеме Кафки ничего подобного нет?

Так как кафка сохранит если она упала)

Нужен посредник или нет зависит от твоих требований.
Можно ли тебе дважды положить в кафку одно и тоже сообщение.
Можешь ли ты отличить обработанные сообщения от необработанных в обработчике.

У вас же несколько нод, надо выставить сервису прооизводителю опцию при отправке "подтвердить получение сообщения когда записадось на все реплики" (ALL) коэффициент репликации должен быть не 1 конечно: 3 на пример. И тогда вы будете защищены от потери сообщенек в случае падения кафки

Кажется, Роману хочется обработать ситуацию когда весь кластер недоступен

Коэффициент репликации 5. Реально вообще положить асе в таком случае?

в том то и дело, что если микросервис X не может в Кафку надёжно записать событие то он не может продолжать работать, а это плохо. Решить это можно надёжным локальным посредником между кафкой и микросервисом (side-car) в который мы надёжно записываем события а дальше уже асинхронно пишем их в Кафку когда та доступна

и мой вопрос был: придётся ли этого посредника самому писать или в экосистеме Кафки подобная весчь уже реализована? Например некий клиент который уже таким образом пишет в кафку

какие гарантии что side-car не свалится?

Тут как бы все просто

Если без кафки жить нельзя и она упала

То её надо поднимать

это гораздо менее вероятно чем network split между X и кафкой, это локальный процесс на той-же тачке

network split это тоже форс мажор так-то

ретраями не решить?

однако вероятнее локального отказа

всмсл?

ну сервис пытается записать сообщение в кафку пока она не поднимется

Kafka Connect + Debezium?