Какие-то надо особые действия делать чтобы считать сообщение с помощью авро?
Проблема в том что по какой-то причине при десериализации не находится схема
Could not find class specified in writer's schema
Я сначала зарегал схему в авро, по ней сгенерил класс через плагин, отправил сообщение
По этой же схеме сгенерил класс в другом сервисе, указал у consumer-a specific.avro.reader: true и value-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
И все равно получаю что readerSchema=null, хотя при этом writerSchema тащится
Магия какая-то :/
Мне кажется я настолько чат засрал - что меня забанят скоро)

ты не используешь schema registry? с ним у меня на спринге работает с минимальным набором настроек

Использую - отправить то у меня удалось

Схему глянул через confluent center, как бы все ок
И вот самый прикол в том что все должно работать - потому что пример простой)

мои настройки:

spring:
  kafka:
    bootstrap-servers:
      - XXX
    consumer:
      auto-offset-reset: earliest
      key-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
      value-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
      group-id: XXX
      properties:
        specific.avro.reader: true
    producer:
      key-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer
      value-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer
    properties:
      schema.registry.url: XXX

spring:
  kafka:
    bootstrap-servers:
      - XXX
    consumer:
      auto-offset-reset: earliest
      key-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
      value-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
      group-id: XXX
      properties:
        specific.avro.reader: true
    producer:
      key-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer
      value-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer
    properties:
      schema.registry.url: XXX

kafka:
   bootstrap-servers:
     - localhost:9092
   properties:
     schema.registry.url:  http://localhost:8081
   consumer:
     group-id: test_id
     auto-offset-reset: earliest
     key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
     value-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
     properties:
       specific.avro.reader: true
   producer:
     key-serializer: org.apache.kafka.common.serialization.StringSerializer
     value-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer

Точь-в-точь

один и тот же туториал проходили 😂

ставлю

helm install incubator/kafka  --namespace=test --name=kafka-test

подключаюсь

kubectl port-forward svc/kafka-test 9092 -n test

проверяю

kafkacat -b 127.0.0.1:9092 -L            
Metadata for all topics (from broker -1: 127.0.0.1:9092/bootstrap):
 3 brokers:
  broker 2 at 10.13.137.34:9092
  broker 1 at 10.13.136.25:9092 (controller)
  broker 0 at 10.13.131.27:9092
 0 topics:

еще проверяю через https://www.conduktor.io/   вот он пишет что нельзя подключиться https://prnt.sc/rmcmpg  вопрос реально работать с kafka через port-forward не используя нодепорт лоадбаланс?  Проблема как я понимаю в KAFKA_ADVERTISED_LISTENERS  сейчас  KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://${POD_IP}:9092   и видимо мой комп хочет подключиться напрямую к POD_IP но не может. Можно ли скорректировать KAFKA_ADVERTISED_LISTENERS так что кафка с любого адреса пускала?

господа, никто не сталкивался с тем что кафка хватает эксепшн при попытке удалить логфайл? Версия 1.

ERROR Error while deleting segments for __consumer_offsets ….
java.io.IOException: Delete of log 00000000000000000000.log.deleted failed.

происходит это дело на первый взгляд рандомно

кому интересно - есть таска - https://issues.apache.org/jira/browse/KAFKA-6194

ERROR Error while deleting segments for __consumer_offsets ….
java.io.IOException: Delete of log 00000000000000000000.log.deleted failed.

Я сталкивался, когда embedded kafka использовал. дико бесило. В итоге написал модуль для Testcontainers :D

Я вообще правильно понимаю, что у EmbeddedKafka бывают проблемы? Мы с самого начала на TopologyTestDriver для KStreams + TestContainers для интеграционных тестов. Практика уже показала, что TopologyTestDriver ловит не все проблемы. Но какие есть проблемы у EmbeddedKafka?

привет всем, настроил ssl на брокерах. какие нужны acl для самих нод кафки?

В чём отличие ksqldb-server от cp-ksql-server ?

у меня embedded kafka очень нестабильно себя вела, плюс напрягало иметь такую тяжёлую зависимость (которая ещё и скалу приносит за собой)

@gamussa можно сделать объявление по теме форума?

это касается мероприятия Cloudera которое перенесли в виртуальный формат из-за коронавируса

давай