Господа, вечер добрый! Есть поток, который несет информацию , но не порождает бизнес процесс. Возможно ли и нормальное ли решение, хранить эту инфу в KTable и селектить по надобности? Инфа должна храниться пару - тройку дней. Или лучше по старине все сливать в базу данных?

А есть какой нибудь список или статьи, как тестировать устойчивость приложений/микросервисов использующих ту же кафку.
Хочется как то убедится что закрыл все сценарии типа "упал один брокер", упал продюсер и тд

Иван, сомневаюсь, что есть, из-за того, что реализация данных юзкейсов может быть разной, хотя конечно паттерны можно обобщить. Лично я уже вижу что Кафка не имеет реализации EOS, если продьюсер упал.

А мне даже не только про кафку, а в целом, какие вот кейзы проверять.
Есть микросервисы и шина данных

retries=Integer.MAX_VALUE не подходит?

Рекомендую почитать про интеграционные тесты. Одна из сложных задач в реализации. Тестировщики много чего накручивают, чтобы покрыть данные варианты.

Тут только вариант, если брокер недоступен...

Ну хоть основные ошибки потестить. Убедится что не теряю сообщения при падении брокеров и продюсера консумера.

Для простоты наверное кейз из трёх акторов. Продюсер, шина и консьюмер (с группой и офсетом)

Да, не, я больше не про то как тестировать, а про то н епропускаю ли я случаев каких то.

Вот у меня есть скажем простая схема (продьюсер) -> (3x брокера) -> (консьюмер)
Я хочу at-least-once например.

Микросервисы все написаны, шлют сообщения так что я могу определить потери и out-of-order
Что дальше?

Я вижу очевидные случаи:
а) внезапный рестарт брокеров к котором подключены продьюсер/консумер
б) рестарт продьюсера
в) рестарт консьюмера

что то ещё?

Повторное чтение.

Рассинхронизация данных Кафки и других БД (есть записи о сущностях, которых нет в БД и наоборот)

Если в терминах сценария: восстановили из бэкапов БД и Кафку, а бэкапы были сняты в разные моменты времени.

ну это же про потерю и out of order? я собираюсь это без БД ловить просто посылая последовательные сообщения

Всем привет. Есть на убунту какая-то UI Kafka тулза?

kafkatool

Kafkacat. Тебе не нужен гуй

Я использовал Kafka Tool и Xeotek. Сойдёт, но всё от лукавого, разумеется.

Плюсану kafkacat и от себя добавлю ещё kt - она умеет делать вещи вроде "newest-100" и консьюмить из нескольких партишенов хитрыми способами.