Size: a a a

2020 October 22

VG

Vik Gamov in pro.kafka
Дмитрий Моцик
Ребят, добрый день!
Новичек в работе с кафкой, поэтому нужна помощь)
Есть такой конфиг докера
version: '3.7'
networks:
 analytic:
   driver: bridge
services:
 zookeeper:
   image: bitnami/zookeeper:3.6.2
   env_file: zookeeper/.env
   networks:
     - analytic
   ports:
     - 2181:2181
 kafka:
   image: bitnami/kafka:2.6.0
   ports:
     - 9092:9092
   environment:
     KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
     ALLOW_PLAINTEXT_LISTENER: 1
   depends_on:
     - zookeeper
   networks:
     - analytic

При попытке отправить сообщение ничего не выходит
kafkacat -L -b 127.0.0.1:9092
Metadata for all topics (from broker -1: 127.0.0.1:9092/bootstrap):
1 brokers:
 broker 1010 at bcd7d80f3442:9092 (controller)
2 topics:
 topic "events" with 1 partitions:
   partition 0, leader -1, replicas: 1005, isrs: 1005, Broker: Leader not available
 topic "__consumer_offsets" with 50 partitions:
   partition 0, leader -1, replicas: 1001, isrs: 1001, Broker: Leader not available
   ....


echo '{"action": "read","event": "sdfsdf","service_name": "profile","session": "c3f94c52-6e05-4cfd-b974-14850a1335ba","user": "254c966d-f361-4f38-862d-4ee9717d8224"}' | kafkacat -P -b 127.0.0.1:9092 -t events

Что я делаю не так ?)
А чего бы не взять нормальный рабочий композ из любого Кафка туториала? https://kafka-tutorials.confluent.io/kafka-console-consumer-producer-basics/kafka.html#get-confluent-platform
источник

ДМ

Дмитрий Моцик... in pro.kafka
Сейчас попробую, я где то на гитхабе на такой натыкался
источник

VG

Vik Gamov in pro.kafka
Дмитрий Моцик
Сейчас попробую, я где то на гитхабе на такой натыкался
Я тебе прислал ссылку. Просто копипасти
источник

VA

Vektor AB in pro.kafka
День добрый. В трейс иногда встречаю Skipping fetch for partition xxx because previous request to yyy has not been processed. Логируется в классе .consumer.internals.Fetcher. По коду не совсем понимаю что это значит, поясните пожалуйста.
источник

AS

Alexandr Smirnov in pro.kafka
незакоммичены офсеты
источник

VA

Vektor AB in pro.kafka
Alexandr Smirnov
незакоммичены офсеты
А как с этим бороться? Приложение написано на spring cloud stream с kafka streams
источник

RK

Rustam Karimov in pro.kafka
@gamussa Виктор, добрый вечер. Делаю пример по вашей статье: https://www.confluent.io/blog/schema-registry-avro-in-spring-boot-application-tutorial/
код брал из вашего git репозитария. При генерации схемы avro строки пишутся как charSequence. Настройки avro-maven-plugin для stringType=String при генерации игнорируются. Не понятно что с этим делать. Как сгенерировать правильную схему?
источник

VG

Vik Gamov in pro.kafka
Rustam Karimov
@gamussa Виктор, добрый вечер. Делаю пример по вашей статье: https://www.confluent.io/blog/schema-registry-avro-in-spring-boot-application-tutorial/
код брал из вашего git репозитария. При генерации схемы avro строки пишутся как charSequence. Настройки avro-maven-plugin для stringType=String при генерации игнорируются. Не понятно что с этим делать. Как сгенерировать правильную схему?
Надо смотреть. Сейчас не могу. Вообще хз почему я мавен взял для этой статьи. Gradle моё все
источник

AS

Alexandr Smirnov in pro.kafka
Vektor AB
А как с этим бороться? Приложение написано на spring cloud stream с kafka streams
Так хз
Надо смотреть
источник

AS

Alexandr Smirnov in pro.kafka
Возможно это и норм
источник
2020 October 23

IF

Ivan Fedorov in pro.kafka
Всем привет. Никто случаем не в курсе можно ли в KSQL прокинуть переменные окружения, например название топика ?
источник

AD

Alexander Domoryonok in pro.kafka
Привет, у меня появился вопрос, вероятно нубский:)
Я пишу программу которая общается с кафкой по ее протоколу, хочу удалять топики блокируя весь процесс пока топик не удалится полностью, есть какие-нибудь способы проверить что топик был удален (не помечен на удаление, а именно что уделен) кроме как пытаться получить инфу об этом топике раз в какое-то время? Может что-то более элегантное?
источник

I

Ivan in pro.kafka
sleep(60)
источник

AD

Alexander Domoryonok in pro.kafka
не ну это даж стремней чем просто чекать топик на существование)))
источник

I

Ivan in pro.kafka
Я помню у нас в тестах было пересоздание топиков.
источник

AD

Alexander Domoryonok in pro.kafka
/admin/delete_topics/{topic_name} вроде можно чекать вот эту ноду в зукипере
источник

I

Ivan in pro.kafka
И там было толи три толи четыре фазы удаления.
источник

AD

Alexander Domoryonok in pro.kafka
но я не уверен что дает ее наличие
источник

I

Ivan in pro.kafka
Сначала удаляем, ждем пока получим ok
источник

AD

Alexander Domoryonok in pro.kafka
Alexander Domoryonok
/admin/delete_topics/{topic_name} вроде можно чекать вот эту ноду в зукипере
типо топик помечен на удаление или уже удален
источник