Size: a a a

2020 September 24

OG

Oleg Gavrilov in pro.kafka
Не знаю
источник

O

Oleg in pro.kafka
@gamussa а cp-kafka-connect образы можно запускать под java11-14 ?
источник

АВ

Алексей Васин... in pro.kafka
всем привет) есть у кого нормальный гайд по подключению к кафке через ssl, спринг-бутового приложения
источник

Y

Yuriy in pro.kafka
источник

АВ

Алексей Васин... in pro.kafka
жалко там нету про генерацию ключей)
источник

Y

Yuriy in pro.kafka
так тебе генерация ключей надо?
источник

АВ

Алексей Васин... in pro.kafka
для начала да)
источник

Y

Yuriy in pro.kafka
Как вариант

https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-demo-ssl-authentication.html#step-2


Но endpoint algorithm ставь пусто, если не нужно проверять хост
источник

Y

Yuriy in pro.kafka
Гугл же есть)
Просто быстрее нагуглить чем тут спрашивать иногда)
источник

Y

Yuriy in pro.kafka
И вопрос не является специфичным)
источник

НИ

Николай Ижиков... in pro.kafka
Алексей Васин
жалко там нету про генерацию ключей)
В исходниках есть тестики, которые, по сути, выполняют ssh команды. Можно глянуть примеры команд там - должно быть понятно - https://github.com/apache/kafka/blob/trunk/tests/kafkatest/services/security/security_config.py#L54
источник

Y

Yuriy in pro.kafka
Николай Ижиков
В исходниках есть тестики, которые, по сути, выполняют ssh команды. Можно глянуть примеры команд там - должно быть понятно - https://github.com/apache/kafka/blob/trunk/tests/kafkatest/services/security/security_config.py#L54
Да, кстати как вариант
источник

НИ

Николай Ижиков... in pro.kafka
def generate_ca(self):
       """
       Generate CA private key and certificate.
       """

       self.runcmd("keytool -genkeypair -alias ca -keyalg RSA -keysize 2048 -keystore %s -storetype JKS -storepass %s -keypass %s -dname CN=SystemTestCA -startdate %s --ext bc=ca:true" % (self.ca_jks_path, self.ca_passwd, self.ca_passwd, self.startdate))
       self.runcmd("keytool -export -alias ca -keystore %s -storepass %s -storetype JKS -rfc -file %s" % (self.ca_jks_path, self.ca_passwd, self.ca_crt_path))

   def generate_truststore(self):
       """
       Generate JKS truststore containing CA certificate.
       """

       self.runcmd("keytool -importcert -alias ca -file %s -keystore %s -storepass %s -storetype JKS -noprompt" % (self.ca_crt_path, self.truststore_path, self.truststore_passwd))
источник

НИ

Николай Ижиков... in pro.kafka
Если у тебя серьезный энтерпрайз и CA сертификаты уже есть - значит нужно их получить и в jks засунуть
источник

АВ

Алексей Васин... in pro.kafka
спасибо)
источник

И

Иван in pro.kafka
Добрый день, столкнулся с проблемой - развалилась репликация, потом убрали запись в кафку, но уже несколько часов брокеры не могут синхронизироваться, плюс в логах такая ошибка:
[2020-09-24 07:05:48,161] WARN [ReplicaFetcher replicaId=1, leaderId=5, fetcherId=0] Error in response for fetch request (type=FetchRequest, replicaId=1, maxWait=500, minBytes=1, maxBytes=10485760, fetchData={<topic-name1>-46=(fetchOffset=2710954135, logStartOffset=2710752957, maxBytes=1048576, currentLeaderEpoch=Optional[14]), __consumer_offsets-39=(fetchOffset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[16]), <topic-name2>-0=(fetchOffset=12261749, logStartOffset=10724067, maxBytes=1048576, currentLeaderEpoch=Optional[15]), <topic-name>-6=(fetchOffset=2710929727, logStartOffset=2710706952, maxBytes=1048576, currentLeaderEpoch=Optional[14]), __consumer_offsets-19=(fetchOffset=0, logStartOffset=0, maxBytes=1048576, currentLeaderEpoch=Optional[15]), <topic-name1>-26=(fetchOffset=2710936619, logStartOffset=2710740353, maxBytes=1048576, currentLeaderEpoch=Optional[14])}, isolationLevel=READ_UNCOMMITTED, toForget=, metadata=(sessionId=1359199963, epoch=INITIAL), rackId=) (kafka.server.ReplicaFetcherThread)
java.net.SocketTimeoutException: Failed to connect within 30000 ms
   at kafka.server.ReplicaFetcherBlockingSend.sendRequest(ReplicaFetcherBlockingSend.scala:103)
   at kafka.server.ReplicaFetcherThread.fetchFromLeader(ReplicaFetcherThread.scala:197)
   at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:286)
   at kafka.server.AbstractFetcherThread.$anonfun$maybeFetch$3(AbstractFetcherThread.scala:133)
   at kafka.server.AbstractFetcherThread.$anonfun$maybeFetch$3$adapted(AbstractFetcherThread.scala:132)
   at scala.Option.foreach(Option.scala:274)
   at kafka.server.AbstractFetcherThread.maybeFetch(AbstractFetcherThread.scala:132)
   at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:114)
   at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:89)


Версия кафки: 2.3.0 (scala 2.12)
В Jira нашел https://issues.apache.org/jira/browse/KAFKA-8537, она ссылается на https://issues.apache.org/jira/browse/KAFKA-7697 (которую встречал в старой версии, но она должна быть уже пофикшена)
Есть идеи?
источник

И

Иван in pro.kafka
Конечно можно перезагрузить и оно решится само - но это как-то не серьезно, хочется научиться избегать причины этого
источник

N

Nikolay in pro.kafka
а почему вы думаете, что там именно те джиры? у вас такое впечатление, что 5й брокер недоступен
источник

N

Nikolay in pro.kafka
если посмотреть в netstat, то какие там статусы по нему?
источник

И

Иван in pro.kafka
Nikolay
а почему вы думаете, что там именно те джиры? у вас такое впечатление, что 5й брокер недоступен
Он доступен, но кажется что-то с ФС. хмм, а мониторинги все зеленые, ушел смотреть
источник