Непонятно как это вписать в fault tolerance схему. В смысле если этот новый узел в единственном числе с outbox table ебнется.

Кто-то проходил курс этот https://www.linkedin.com/learning/learn-apache-kafka-for-beginners? Удавалось получить доступ к Twitter developer account? Можете поделится акком, плиз?

с twitter account всё сложно. Я в похожем курсе просто добавил генератор json (https://github.com/everwatchsolutions/json-data-generator)

Всем добрый день/вечер. Kafka streams! Есть несколько топиков, которые нужно обогащать данными друг друга, чтобы на выходе получилось нужная запись для дальнейшей обработки. Соответственно, использую цепочку join операций. Для этого сначала нужен "rekey": map, selectKey... Создаются внутренние топики repartition. Под нагрузкой лаг в них растет. Эта проблема решаема? Под нагрузкой показывает не совсем удовлетворительный результат. Думаю KS может быстрее работать.

Топики однопартиционные. Нода одна. Планируется переход на кластер.

на какой нагрузке начинает расти лаг?

Коллеги, глупый вопрос, но в кафке можно как-то p2p реализовать кроме как читать из топика все и откидывать ненужное?

может тоже глупый ответ, но на каждое ребро p2p содавать новый топик?

А не слишком ли это дорого будет?