кафка есть, просто требования к одному кейсу такие.

спасибо за подсказку

Можно ли сгенерив 5К сообщений в Kafka за раз сразу же их получить там ибо когда я пробую высылать 5К за раз то количество порциями прилетает но не сразу. Если такое возможно то каким параметром/параметрами на стороне producer или самой Kafka?
На Producer у меня стоят следующие параметры:
"queue.buffering.max.messages=5120",    
"queue.buffering.max.ms=1000",
"batch.num.messages=5120

На самой Kafka в AWS:
auto.create.topics.enable=false
default.replication.factor=3
min.insync.replicas=2
num.io.threads=8
num.network.threads=5
num.partitions=1
num.replica.fetchers=2
replica.lag.time.max.ms=30000
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
socket.send.buffer.bytes=102400
unclean.leader.election.enable=true
zookeeper.session.timeout.ms=18000

Транзакционный продюсер не подойдёт?)

у меня в качестве продюсера rsyslog выступает

Подскажите пожалуйста есть ли возможность Topology или TopologyDescription (Kafka Stream Java API) перевести в ksql запрос (вывод, печать).
Т.е есть Stream app, вывести запрос который будет выполняться? Т.е топологию в запрос.
Написать ksql не проблема, но вопрос с тестированием, используя Stream API значительно легче тестировать стримы.
Спасибо!

Всем привет!
Поискал по чату - ответ на свой вопрос не нашёл, хотя наверняка кто-то интересовался.
У каждого топика существует 2 настраиваемых ограничения:
1. время хранения данных в топике (похоже 7 дней по умолчанию)
2. объем памяти, занимаемый топиком на диске

Подскажите пожалуйста, где и как их настраивать?

Спасибо!

А в чем проблема тестировать ksqlDB? ksql-test-runner - куда уж проще?

да, но сообщения в Protobuf, понимаю что требования мягко говоря специфичные.
Да ну и как то не разгуляешься в тестах (ksql-test-runner inputFile expectedResult).

А какая разница в какой формате? Работает с и protobuf

Я 2мя руками за StreamAPI + полноценные тесты, но требование использовать только KSQL.
Так мне проще написать Stream app и прогнать полноценные тесты чем тестировать запросы на подготовленных файликах.
Спасибо @gamussa , тогда буду тестировать с ksql-test-runner.

Нашел такое https://github.com/lensesio/ksql-streams
Думал есть и обратное. (Смотря что считать прямым и обратным :) )

Это прям очень странное но может быть кому-то полезно

Да, это точно, из DSL -> KSQL еще логично (код->строка запроса), но парсить строки что бы стрим построить объектными средствами - странно.

Файлики не читабельные (не понятно кто что тестировал и что отправляем), разве что их генерировать из кода, а потом запускать tool.

Ну ksqlDBна джаве написан, можно парсер выдрать

Парни, для общего развития, max.message.bytes на топике это размер сжатого сообщения или нет?

если не ошибаюсь, это размер до сжатия.

Плюс эта штука древняя как какашка мамонта