Size: a a a

2020 November 18

lk

leonid khomenko in pro.kafka
appatit
Коллеги, а что включает в себя мнжброкерное взаимодействие при дефолтных настройках Kafka?
Раньше я думал что это актуально если у нас кластер. Т.е. когда несколько брокров
если один брокер то нет межброкерной комуникации. не с кем же
источник

AS

Alexander Strakh in pro.kafka
leonid khomenko
если один брокер то нет межброкерной комуникации. не с кем же
Вот и я про что! А зачем тогда в конфиге по умолчанию нужно забивать соединеине PLAINTEXT для межброкерного взаимодейтсвия?
источник

AS

Alexander Strakh in pro.kafka
Настроил ACL и SASL_SSL, при этом оставил PLAINTEXT для межброкерного взаиможейтсвия и получаю
org.apache.kafka.common.errors.ClusterAuthorizationException
Кто-то сталкивался?
источник

AS

Alexander Strakh in pro.kafka
Alexander Strakh
Настроил ACL и SASL_SSL, при этом оставил PLAINTEXT для межброкерного взаиможейтсвия и получаю
org.apache.kafka.common.errors.ClusterAuthorizationException
Кто-то сталкивался?
Забавно что с ошибкой укзаан PLAINTEXT - т.е. это и есть то самое межброкерное взаимодейтсвие.
источник

AS

Alexander Strakh in pro.kafka
Есть такая мысль - запускается одновременно сервер Kafka и контроллер и этот контроллер коннектится к серверу и это и есть межброкерное взаимодействие. Есть у кого информация по этому поводу?
источник

VG

Vik Gamov in pro.kafka
Alexander Strakh
Есть такая мысль - запускается одновременно сервер Kafka и контроллер и этот контроллер коннектится к серверу и это и есть межброкерное взаимодействие. Есть у кого информация по этому поводу?
Контроллер это подпроцесс брокера. Если стартует один брокер, то контроллер внутри брокера
источник

AS

Alexander Strakh in pro.kafka
Странно, зачем тогда кому-то коннектится на порт PLAINTEXT и обновлять LEADER_AND_ISR. Не знаете что это за клиент такой? при условии что кроме самой Kafka ничего не запускал
источник

AS

Alexander Strakh in pro.kafka
Также выполняется запрос UPDATE_METADATA этим странным клиентом
источник

VS

Vladimir S. in pro.kafka
Небольшой офтоп
источник

РА

Рамиль Ахмадеев... in pro.kafka
небольшой?!
источник

VG

Vik Gamov in pro.kafka
Не, не надо
источник
2020 November 19

YK

Yurii Khmelevskii in pro.kafka
Что вы думаете о таком использовании ksql push query:
есть веб-сокет соединения, внутри коннекта каждого из соединений мы делаем push query к стриму. Например:
socket.on('connect', (event) => {
 const data = kafka.query('select * from MY_STREAM where user_id = ${event.user_id} emit changes');

 // todo something with data
})

Меня беспокоит то, что если у нас много соединений по ведсокетам, мы создадим много пуш-кверей в ksqldb, что не думаю что хорошая идея. Так же, если я правильно понимаю, на каждый такой запрос будет создана отдельная query job которая будет крутится в ksqldb. Что тоже выглядит больно.
Что можете сказать про такой подход и чем он череват?
источник

SG

Serg Gorelli in pro.kafka
всем привет! Кто-то пользовался таким калькулятором кластера https://github.com/purbon/kafka-cluster-size-calculator? Насколько он правдив?
источник

VG

Vik Gamov in pro.kafka
Serg Gorelli
всем привет! Кто-то пользовался таким калькулятором кластера https://github.com/purbon/kafka-cluster-size-calculator? Насколько он правдив?
Лучше вот это kafka.new
источник

SG

Serg Gorelli in pro.kafka
Vik Gamov
Лучше вот это kafka.new
спасибо большое!
источник

YK

Yurii Khmelevskii in pro.kafka
Это нормально, использовать несколько консьюмеров в разных консьюмер группах в одном приложении?
источник

VG

Vik Gamov in pro.kafka
Yurii Khmelevskii
Это нормально, использовать несколько консьюмеров в разных консьюмер группах в одном приложении?
Из одного топика?
источник

YK

Yurii Khmelevskii in pro.kafka
Ха, интересует оба случая :) Из одного топика и из разных.
источник

YK

Yurii Khmelevskii in pro.kafka
Кстати, где можно почитать про best/bad practice использования Kafka
источник

SG

Serg Gorelli in pro.kafka
на последнем митапе ребята говорили, что у них 25 и 60 гигабит входящего в кафку трафика. Какой у них размер кластера можно узнать?
источник