Size: a a a

2020 May 06

AD

Alex Dev in pro.kafka
👍
источник

AD

Alex Dev in pro.kafka
А почему ты ориентирован на англ аудиторию?
источник

VG

Vik Gamov in pro.kafka
Alex Dev
А почему ты ориентирован на англ аудиторию?
Работа такая
источник

AK

Andron Ka in pro.kafka
Vik Gamov
Я так планирую и сделать
Готов подносить кофе :-)
источник

VG

Vik Gamov in pro.kafka
источник

DP

Dmitry P in pro.kafka
Сорян если нубский вопрос, временное потихоньку превращается в постоянное поэтому надо сделать ансамбль из single-node zookeeper + еще 2 ноды добавить. Есть ли какие то подводные если я просто засинкаю между ними конфиги, добавлю айдишники и рестартану? Не похерится инфа о топиках которая уже была на первом зукипере?
источник

NM

Nikita Matveenko in pro.kafka
О, крутая тема и правдивый заголовок на превью для видео, а ты там рассказываешь почему тестов нет в самих кафка стримах на ребаланс и корректное восстановление стейта? Или уже добавили (я давно ченжлог не читал, последний раз 2.2rc1)?

Правдивая история - тк после сабмита бага в кафка стримы тебя просят протестить :) и я признаюсь не всегда находил время перепроверить
источник
2020 May 07

VG

Vik Gamov in pro.kafka
Nikita Matveenko
О, крутая тема и правдивый заголовок на превью для видео, а ты там рассказываешь почему тестов нет в самих кафка стримах на ребаланс и корректное восстановление стейта? Или уже добавили (я давно ченжлог не читал, последний раз 2.2rc1)?

Правдивая история - тк после сабмита бага в кафка стримы тебя просят протестить :) и я признаюсь не всегда находил время перепроверить
Хороший вопрос, хз если чество
источник

VG

Vik Gamov in pro.kafka
Nikita Matveenko
О, крутая тема и правдивый заголовок на превью для видео, а ты там рассказываешь почему тестов нет в самих кафка стримах на ребаланс и корректное восстановление стейта? Или уже добавили (я давно ченжлог не читал, последний раз 2.2rc1)?

Правдивая история - тк после сабмита бага в кафка стримы тебя просят протестить :) и я признаюсь не всегда находил время перепроверить
Я так научился корректно running average считать - я засабмитил багу - мол дубликаты прилетают, а мне Матиас - напиши-ка тест, я такой, надо да. В итоге он мне сказал что я был не прав *я был не прав
источник

OK

Oleg Kovalov in pro.kafka
cool
источник

MY

Michael Yeryomenko in pro.kafka
Привет!
А есть какой то пример как имплементировать что то типа global consumer?
Я сделал следующим образом: просто использую manual partitions assignment при старте консюмера и ассаайню все партишины к данному консюмеру. Но иногда этот консюмер просто перестает работать. С чем это может быть связано?
источник

C

Coffee in pro.kafka
А можно с помощью кафка клиента посмотреть параметры, такие как например max.poll.interval.ms или group.initial.rebalance.delay.ms?
источник

OK

Oleg Kovalov in pro.kafka
привет, вот до такого я дошел c SASL_PLAINTEXT, выкинул контейнеры, решил взяться за обычный Embedded Kafka, получаю такой красивое исключение. И как-то неоч понятно, почему оно не хочет прочиатть KafkaServer в jaas,

2020-05-07 11:14:06.766 ERROR kafka.server.KafkaServer - [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown
java.lang.IllegalArgumentException: Could not find a 'KafkaServer' or 'sasl_plaintext.KafkaServer' entry in the JAAS configuration. System property 'java.security.auth.login.config' is /home/oleg/jaas.conf


jaas.conf
KafkaServer {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret"
  user_admin="admin-secret"
  user_kafkaclient="client-secret";
}
Client {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret";
};
источник

N

NH in pro.kafka
Oleg Kovalov
привет, вот до такого я дошел c SASL_PLAINTEXT, выкинул контейнеры, решил взяться за обычный Embedded Kafka, получаю такой красивое исключение. И как-то неоч понятно, почему оно не хочет прочиатть KafkaServer в jaas,

2020-05-07 11:14:06.766 ERROR kafka.server.KafkaServer - [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown
java.lang.IllegalArgumentException: Could not find a 'KafkaServer' or 'sasl_plaintext.KafkaServer' entry in the JAAS configuration. System property 'java.security.auth.login.config' is /home/oleg/jaas.conf


jaas.conf
KafkaServer {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret"
  user_admin="admin-secret"
  user_kafkaclient="client-secret";
}
Client {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret";
};
тебе же нужен
"sasl.jaas.config": "org.apache.kafka.common.security.scram.ScramLoginModule required username="user" password="pasword"
"security.protocol":  "SASL_PLAINTEXT"
"sasl.mechanism", "SCRAM-SHA-512" или какой он у тебя
источник

N

NH in pro.kafka
для SASL_PLAINTEXT
источник

OK

Oleg Kovalov in pro.kafka
NH
тебе же нужен
"sasl.jaas.config": "org.apache.kafka.common.security.scram.ScramLoginModule required username="user" password="pasword"
"security.protocol":  "SASL_PLAINTEXT"
"sasl.mechanism", "SCRAM-SHA-512" или какой он у тебя
так это для клиента ж, а у меня проблемка в ставании сервера
источник

OK

Oleg Kovalov in pro.kafka
(забавно, если нет)
источник

OK

Oleg Kovalov in pro.kafka
конкретно на KafkaServerStartable.start() проблема
источник

OK

Oleg Kovalov in pro.kafka
самое приятное, что этот же подход работает в этой репе https://github.com/salesforce/kafka-junit

(даже если кафку с 1.х до 2.х обновить)
источник

OK

Oleg Kovalov in pro.kafka
ммм, все же не работает у них) та же ошибка, хах
источник