Так, уточнить.
Люди в курсе, люди работают ©️

Сейчас не работает но активно ведётся работа над этим

Почему @StreamListener @Binder задеппеккйтили в спринг бут 2.4?

Потому что в spring cloud stream 3 правильный способ это аннотировать функциональные интерфейсы (Function, Consumer, Supplier)

Т.е. всё в настройках теперь?

Как-то так https://github.com/confluentinc/demo-scene/pull/165/files#diff-aa23340defad060a645119d1a6cc0ded4ca89e2bb68c7d92293b6a6b709e74a7

https://github.com/confluentinc/demo-scene/pull/165/files#diff-7cf48625b5b5a6e494bffb5d6a7ec18ec1ea14a9c4fe0ba2e6758be5edc3972b

Ок, спасибо

Круто будет когда появится такая возможность :)

Привет

Вопрос может не совсем по кафке, но всё же спрошу тут. Нужно настроить SSL для клиента кафки и есть два pem-файла (сертификат + ключ). Как эти ключи конвертнуть в jks?  Гуглением нашёл как оба файла импортировать в один jks, но мне судя по всему нужен отдельно trustStore и keyStore и указать их в параметрах консьюмера:

"ssl.truststore.location","cert.jks";
"ssl.keystore.location", "key.jks";

+ пароли

Может кто делал такое?

maybe вот так?
https://docs.oracle.com/cd/E35976_01/server.740/es_admin/src/tadm_ssl_convert_pem_to_jks.html

А удалось по этой инструкции нормальные jks сгенерить? Я её пробовал, но не завелось (  Пишет не могу распознать сертификато, как то так

Но возможно это мои руки

Всем привет. Есть вопрос по оптимизации кластера с большим кол-вом топиков (до 10к) и партиций (больше 50к), и низкой частотой сообщений (1k-5к/cek), и умеренными требованиями по producer latency (до 50 msec P90). кластер на 5 брокеров.
текущая идея - управлять через replica.fetch.min.bytes , поднять с 1 (default) до большего значения (которое уберет срабатывание по данному параметру), и снизить replica.fetch.wait.max.ms с 500 до 30msec.
первые тесты показывают что рейты FetchFollower упали до расчетных 30/сек (1000/ replica.fetch.wait.max.ms),  а было где-то 800/ceк на брокер. Это дроп где-то в раз 30, за счет того что num.replica.fetchers вернули в 1 (было 32).
вроде бы хорошо, но вылезла проблема - CPU usage улетел в область глубокой сатурации (90%). Ну и соотвественно, все тайминги просели сразу.
единственная зацепка пока это метрика  kafka_network_RequestMetrics_OneMinuteRate{request="Fetch",name="ErrorsPerSec",error="NONE"}, она скакнула в 4-5 раз, (это при том что FetchFollower упали в 30 раз), и теперь где-то 50к/сек на кластер (близко к кол-ву партиций).
Пока не могу понять что за хрень такая, может у кого есть идеи? Спасибо

смотрел в связи с этим https://cwiki.apache.org/confluence/display/KAFKA/KIP-227, там вроде пишут что  FetchFollower должен возвращать ответ только если метаданные топика меняются, те, по идее, response rates должны быть низкими (соответсвовать реальному траффику)

проверил IncrementalFetchSessionEvictionsPerSec, все по нулям

Попробуй импортировать keypair Keystore Explorerом
https://keystore-explorer.org/
Не обязательно иметь  2 jks можно тот же и как keystore и как trustore

профиль выполнениея с брокера. похоже, incremental FetchRequests KIP-227 не такой уж и инкрементальный. непонятно, нафига он ломится читать лог файлы всех партиций, когда у лидера, по идее, все метаданные должны быть уже в кеше ??

100%... kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:70)

85.7%kafka.server.KafkaApis.handle(KafkaApis.scala:129)
80.0%kafka.server.KafkaApis.handleFetchRequest(KafkaApis.scala:827)
53.8%kafka.server.ReplicaManager.fetchMessages(ReplicaManager.scala:920)
35.7%... kafka.server.ReplicaManager$$Lambda$883/2092893048.apply()

35.5%kafka.server.ReplicaManager.$anonfun$readFromLocalLog$8(ReplicaManager.scala:1102)
32.0%... kafka.cluster.Partition.readRecords(Partition.scala:1048)

31.0%kafka.cluster.Partition.$anonfun$readRecords$1(Partition.scala:1058)
29.8%kafka.log.Log.read(Log.scala:2337)

спс

Подскажите, а что бы воспользоваться вот этим коннектором https://docs.confluent.io/kafka-connect-s3-sink/current/index.html#install-the-amazon-s3-sink-connector мне нужна какая-то особая сборка кафки? Я скачал официальную с apache, но при запуске connect-standalone жалуется на java.lang.ClassNotFoundException: io.confluent.connect.storage.StorageSinkConnectorConfig

скачать https://www.confluent.io/hub/confluentinc/kafka-connect-s3 и подложить в папку с плагинами

я так и сделал :(