Телеграмм чат группы proKafka страница 1581

2020 November 17

V

Vadim in pro.kafka

Vik Gamov

Докер (точнее докер компоуз)

тебя не слышно

источник

19:45пожаловаться #1

N

Nick in pro.kafka

Кемель

Добрый вечер. Появилась такая проблема. Не мог запустить сервер и удалил папку zookeeper и logs. Запустил заново, однако, когда я записываю цифры от 1 до 10, кафка заполняет его так 30,31,32,33... и цифра 10 превращается в 3031. В чем может быть проблема?
P.S. Я менял dir не помогло. Прошелся по всем stackoverflow, их советы не помогли

30h в ascii есть код символа "0", 31 -> 1 и т.д. Проблема с кодировками гдето или вы смотрите бинарные данные в хексе

К

30h в ascii есть код символа "0", 31 -> 1 и т.д. Проблема с кодировками гдето или вы смотрите бинарные данные в хексе

Я только знакомлюсь с кафкой. Не могли бы Вы подсказать подробнее как это исправить. У меня ключ-значение string-string.
Странное то, что работало все хорошо, появилось ошибка(сервер не запускался), я ее исправил и эта проблема появилось уже как следствие.

источник

19:55пожаловаться #3

N

Nick in pro.kafka

Кемель

Я только знакомлюсь с кафкой. Не могли бы Вы подсказать подробнее как это исправить. У меня ключ-значение string-string.
Странное то, что работало все хорошо, появилось ошибка(сервер не запускался), я ее исправил и эта проблема появилось уже как следствие.

проблема в сериализаторе/десериализаторе. Проверьте kafka-console-consumer -ом, если покажет нормально - значит десериализатор кривой, иначе - сериализатор

К

проблема в сериализаторе/десериализаторе. Проверьте kafka-console-consumer -ом, если покажет нормально - значит десериализатор кривой, иначе - сериализатор

Показал нормально - проблема в десериализаторе. Не подскажите, что делать дальше?
Я выводил данные в kafka-tools. Возможно с ним нужно что-то сделать?

источник

20:17пожаловаться #5

N

Nick in pro.kafka

Кемель

Показал нормально - проблема в десериализаторе. Не подскажите, что делать дальше?
Я выводил данные в kafka-tools. Возможно с ним нужно что-то сделать?

не работал с тулами

К

не работал с тулами

Спасибо большое за помощь.

источник

20:20пожаловаться #7

A

Asviel in pro.kafka

Коллеги, добрый вечер. Кто может подсказать, можно ли сделать коммит сообщения для консьюмера из вне? Ну т.е. есть у меня есть консьюмер без авто коммита и я хочу из внешней системы для этого консьюмера изменять положение оффсета

источник

20:40пожаловаться #8

В

Вячеслав in pro.kafka

Кемель

Показал нормально - проблема в десериализаторе. Не подскажите, что делать дальше?
Я выводил данные в kafka-tools. Возможно с ним нужно что-то сделать?

kafka-tools или всё-таки kafka tool?
Если второе - там в настройках на топике можно выбрать формат - binary или string

источник

20:54пожаловаться #9

lk

leonid khomenko in pro.kafka

Asviel

Коллеги, добрый вечер. Кто может подсказать, можно ли сделать коммит сообщения для консьюмера из вне? Ну т.е. есть у меня есть консьюмер без авто коммита и я хочу из внешней системы для этого консьюмера изменять положение оффсета

можете сместить offset

источник

20:55пожаловаться #10

К

Кемель in pro.kafka

Вячеслав

kafka-tools или всё-таки kafka tool?
Если второе - там в настройках на топике можно выбрать формат - binary или string

kafka tool. Я в итоге удалил топик и создал новый. Все стало работать как прежде - правильно.

источник

20:55пожаловаться #11

В

Вячеслав in pro.kafka

Если что:
https://i.stack.imgur.com/zRv54.png

источник

20:57пожаловаться #12

A

Asviel in pro.kafka

leonid khomenko

можете сместить offset

Чем? Можно название функции из Kafka API или ссылку?

источник

21:11пожаловаться #13

VG

Vik Gamov in pro.kafka

Vadim

тебя не слышно

Да? Фигово, мне никто не сказал

источник

21:12пожаловаться #14

V

Vadim in pro.kafka

Ну потом стало слышно

источник

21:13пожаловаться #15

A

Anatoly in pro.kafka

Мне все время было слышно

источник

21:28пожаловаться #16

VG

Vik Gamov in pro.kafka

Я понял про что Вадим говорит. Я там отжал педальку и пытался говорить. На видео наверное было видно

источник

21:31пожаловаться #17

lk

leonid khomenko in pro.kafka

Asviel

Чем? Можно название функции из Kafka API или ссылку?

Перепроверил . Не рабочий вариант вообще. Работать с офсетом при активных подключениях нельзя. Если сложная логика потребления сообщений , то комитайте мануально

источник

21:32пожаловаться #18

A

Asviel in pro.kafka

leonid khomenko

Перепроверил . Не рабочий вариант вообще. Работать с офсетом при активных подключениях нельзя. Если сложная логика потребления сообщений , то комитайте мануально

Услышал вас. Спасибо

источник

21:33пожаловаться #19

2020 November 18

a

appatit in pro.kafka

Коллеги, а что включает в себя мнжброкерное взаимодействие при дефолтных настройках Kafka?
Раньше я думал что это актуально если у нас кластер. Т.е. когда несколько брокров

источник

00:03пожаловаться #20