VG
это какая фича кафка коннекта. Не углублялся еще в эту сторону
конфиг коннекта самого
Size: a a a
2020 April 15
ЮХ
конфиг коннекта самого
В докере развернут.
Конфиг контейнера или sink connect-а?
Конфиг контейнера или sink connect-а?
ЮХ
вы в json формате пишите в топик?
Судя по формату в топике json.
По умолчанию используется AVRO сериализатор, который что-то в scheme registry пишет.
https://docs.confluent.io/current/schema-registry/serdes-develop/serdes-avro.html
По умолчанию используется AVRO сериализатор, который что-то в scheme registry пишет.
https://docs.confluent.io/current/schema-registry/serdes-develop/serdes-avro.html
ЮХ
при использовании кафка коннекта схема создается автоматически
ЮХ
Она вроде как есть
ЮХ
попробуй эту схему зарегать под test-topic-value
Я думал, что название топика роли не играет - это ведь просто название файлика в системе
h
State store локален (часть KStreams приложения). сначала пишется в state store, потом в кафку
А можно плиз ссылочку на чтиво?
То есть source of truth будет именно state store, а не kafka, верно? Иначе говоря мб такая ситуация, что fold state в state store новее чем в кафке?
То есть source of truth будет именно state store, а не kafka, верно? Иначе говоря мб такая ситуация, что fold state в state store новее чем в кафке?
V
Подскажите, пожалуйста, чем можно отправлять логи с windows в kafka с поддержкой sasl scram. Спасибо!
V
Может кто-то использовал?
h
humanoid
А можно плиз ссылочку на чтиво?
То есть source of truth будет именно state store, а не kafka, верно? Иначе говоря мб такая ситуация, что fold state в state store новее чем в кафке?
То есть source of truth будет именно state store, а не kafka, верно? Иначе говоря мб такая ситуация, что fold state в state store новее чем в кафке?
Ответ на это я вроде сам нашел)
Вот тут хорошо расписано
https://www.confluent.fr/blog/enabling-exactly-once-kafka-streams/
Вот тут хорошо расписано
https://www.confluent.fr/blog/enabling-exactly-once-kafka-streams/
VG
СГ
Эхо
2020 April 16
М
Народ, подскажите пожалуйста, в чём может быть дело?
Разворачиваю kafka в docker командой
(yml - https://pastebin.com/mANXpb5D)
Затем захожу в контейнер:
Стартую топик:
И когда пытаюсь получить список топиков
получаю ошибку:
Подскажите, как решать?
Разворачиваю kafka в docker командой
docker-compose -f docker-compose.yml up -d
(yml - https://pastebin.com/mANXpb5D)
Затем захожу в контейнер:
docker exec -it kafka bin/sh
Стартую топик:
bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic topico(selfruts)
И когда пытаюсь получить список топиков
bin/kafka-topics.sh --list
получаю ошибку:
Exception in thread "main" java.lang.IllegalArgumentException: Only one of --bootstrap-server or --zookeeper must be specified
at kafka.admin.TopicCommand$TopicCommandOptions.checkArgs(TopicCommand.scala:666)
at kafka.admin.TopicCommand$.main(TopicCommand.scala:51)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
/opt/kafka_2.12-2.4.1 # bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions
1 --topic topico
Подскажите, как решать?
