Телеграмм чат группы proKafka страница 1466

2020 August 24

YA

* Rebuilt URL to: telnet://remote_cloud_server:9092/
* Trying remote_cloud_server...
* TCP_NODELAY set
* Connected to remote_cloud_server (remote_cloud_server) port 9092 (#0)

источник

14:48пожаловаться #1

YA

Yerlan A in pro.kafka

большинство директив на кафке по умолчанию. Возможно что то добавить/изменить надо?

источник

14:51пожаловаться #2

В

Вячеслав in pro.kafka

Вот есть какая-то штука с external/internal network:
https://stackoverflow.com/questions/42998859/kafka-server-configuration-listeners-vs-advertised-listeners

Stack Overflow

Kafka server configuration - listeners vs. advertised.listeners

To get Kafka running, you need to set some properties in config/server.properties file. There are two settings I don't understand.

Can somebody explain the difference between listeners and advert...

источник

14:53пожаловаться #3

В

Вячеслав in pro.kafka

Т.е. надо видимо advertised.listeners ковырять

источник

14:55пожаловаться #4

В

Вячеслав in pro.kafka

Если там стоит внутренний адрес - то возможно клиент получает его от брокера и пытается по нему подключиться, и обламывается

источник

14:55пожаловаться #5

YA

Yerlan A in pro.kafka

Спасибо. Буду копать

источник

15:07пожаловаться #6

AB

Artem Batalov in pro.kafka

Подскажите команду для инициации процедуры ребалансинга.

источник

15:28пожаловаться #7

Y

Yuriy in pro.kafka

ребалансинга парт?
или лидера

источник

15:32пожаловаться #8

Y

Yuriy in pro.kafka

zookeeper-shell {host:port} rmr /controller
если контроллера кафки

источник

15:32пожаловаться #9

V

Vadim in pro.kafka

а где-то есть подробное описание как параметр broker.rack работает, в документации очень скудно

источник

15:49пожаловаться #10

AB

Artem Batalov in pro.kafka

Yuriy

ребалансинга парт?
или лидера

Партишнов, переназначить их консюмерам.

источник

15:51пожаловаться #11

OP

Oleg P in pro.kafka

Нужна Ваша помощь!

Использую бинарники Кафки и коннектор MongoDb (JAR файл).

В конфигурации Кафки (connect-distributed.properties) указал путь к файлу JAR.
Далее в конфиге плагина MongoSourceConnector.properties указал настройки для подключения к Mongo.

Запушен zookeeper, запущена кафка, созданы соответствующие топики для MongoDb Source -> Kafka

Как стартануть mongoDb connector? Сейчас при insert в mongo, данные не приходят в топик

источник

16:20пожаловаться #12

AD

Alex Dev in pro.kafka

Там тип монгодб должен быть определенный

источник

16:21пожаловаться #13

AD

Alex Dev in pro.kafka

режим реплика сет вроде

источник

16:22пожаловаться #14

VG

Vik Gamov in pro.kafka

Yuriy

там confl

Он везде!

источник

16:28пожаловаться #15

OP

Oleg P in pro.kafka

Alex Dev

Там тип монгодб должен быть определенный

Не совсем понял, я полагаю запуск должен быть с указание файла конфига - или плагин сам найдет конфигурацию? И как понять что Кафка подхватила плагин?

источник

16:34пожаловаться #16

AR

Alexander Ryzhenko in pro.kafka

Oleg P

Не совсем понял, я полагаю запуск должен быть с указание файла конфига - или плагин сам найдет конфигурацию? И как понять что Кафка подхватила плагин?

Путь надо указывать при запуске коннектора. Узнать с каким конфигом - по рест апи
GET http://localhost:8083/connectors

GET http://localhost:8083/connectors/connectorname/config

источник

17:17пожаловаться #17

AI

Alexander Iskuskov in pro.kafka

Oleg P

Нужна Ваша помощь!

Использую бинарники Кафки и коннектор MongoDb (JAR файл).

В конфигурации Кафки (connect-distributed.properties) указал путь к файлу JAR.
Далее в конфиге плагина MongoSourceConnector.properties указал настройки для подключения к Mongo.

Запушен zookeeper, запущена кафка, созданы соответствующие топики для MongoDb Source -> Kafka

Как стартануть mongoDb connector? Сейчас при insert в mongo, данные не приходят в топик

запущена кафка - кафка коннект тоже запущен?

источник

17:33пожаловаться #18

OP

Oleg P in pro.kafka

Alexander Iskuskov

запущена кафка - кафка коннект тоже запущен?

Вопрос - как его запустить?

источник

17:33пожаловаться #19

AR

Alexander Ryzhenko in pro.kafka

Oleg P

Вопрос - как его запустить?

bin/Kafka-connect-distributed.sh
Или что-то в этом роде

источник

17:37пожаловаться #20