V
Size: a a a
2020 September 18
SM
Подскажите, плиз
сделал всё, как в гайде:
https://kafka.apache.org/25/documentation.html#security_ssl
чтобы настроить mTLS. Запустил брокер, теперь хочу подключиться из другого узла к нему, имея соответсвующие keystore и truststore, а в логах всё равно:
INFO [SocketServer brokerId=0] Failed authentication with /*.*.*.* (SSL handshake failed) (org.apache.kafka.common.network.Selector)
Как понять, где ошибка?
сделал всё, как в гайде:
https://kafka.apache.org/25/documentation.html#security_ssl
чтобы настроить mTLS. Запустил брокер, теперь хочу подключиться из другого узла к нему, имея соответсвующие keystore и truststore, а в логах всё равно:
INFO [SocketServer brokerId=0] Failed authentication with /*.*.*.* (SSL handshake failed) (org.apache.kafka.common.network.Selector)
Как понять, где ошибка?
АК
Привет всем, подскажите пожалуйста. Создал топик для справочной информации через kafka tools и вычитываю его весь из kafka streams, получается вычитать 4-5 раз всего и после данные уже не вычитывает. Пробовал выставлять ConsumerConfig.AUTO_OFFSET_RESET_CONFIG = earliest. Какие настройки еще можно посмотреть или как понять в чем причина?
S
Привет всем, подскажите пожалуйста. Создал топик для справочной информации через kafka tools и вычитываю его весь из kafka streams, получается вычитать 4-5 раз всего и после данные уже не вычитывает. Пробовал выставлять ConsumerConfig.AUTO_OFFSET_RESET_CONFIG = earliest. Какие настройки еще можно посмотреть или как понять в чем причина?
А что значит уже не вычитвает? Ошибка или что?
Я думаю, что у вас просто данные протухли. Посмотрите, есть ли в топике данные вообще и retention.ms проверьте на топике.
Я думаю, что у вас просто данные протухли. Посмотрите, есть ли в топике данные вообще и retention.ms проверьте на топике.
VG
Всем привет.
Судя по документации работы debezium с Postgresql, он оборачивает значение полей JSON/JSONB в строку.
Есть ли способы как-то это обойти на уровне коннектора или KSQLDB?
Судя по документации работы debezium с Postgresql, он оборачивает значение полей JSON/JSONB в строку.
Есть ли способы как-то это обойти на уровне коннектора или KSQLDB?
Есть smt который этот envelope разворачивает.
АК
А что значит уже не вычитвает? Ошибка или что?
Я думаю, что у вас просто данные протухли. Посмотрите, есть ли в топике данные вообще и retention.ms проверьте на топике.
Я думаю, что у вас просто данные протухли. Посмотрите, есть ли в топике данные вообще и retention.ms проверьте на топике.
смотрю данные так же через kafka tools и они в топике есть, а не вычитывает в том смысле, что сейчас отлаживаю приложение и каждый раз его запускаю, и при каждом запуске я вычитываю данные в топика в стрим, получается несколько раз запустить когда данные вычитывает корректно и я их вижу(например в консоль печатаю), а раз на 5-6 такое ощущение, что их там нет
АК
Ну, это судя по всему приложение стоит на конце топика. Попробуйте пульнуть туда в этот момент что-то.
А вы уверены, что те самые 5-6 раз когда вроде корректно у вас данные каждый раз с начала читаются, а не продолжают дальше читаться?
А вы уверены, что те самые 5-6 раз когда вроде корректно у вас данные каждый раз с начала читаются, а не продолжают дальше читаться?
да, я перепроверил, там условно говоря 200 строк, все они приходят)
АК
Мне кажется, вы не совсем правильно понимаете как работает AUTO_OFFSET_RESET_CONFIG и смотрите на разные данные, а не одни и те же в разных прогонах, это единственное объяснение.
возможно) спасибо за помощь
IF
Есть smt который этот envelope разворачивает.
Не подскажешь какая именно?
VG
Не подскажешь какая именно?
IF
использую
"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
"transforms.unwrap.drop.tombstones": "true",
"transforms.unwrap.delete.handling.mode": "rewrite",
"transforms.unwrap.add.fields": "table",
IF
Единственное что - использкуется JsonConverter а не авро
ЧП
Подскажите, плиз
сделал всё, как в гайде:
https://kafka.apache.org/25/documentation.html#security_ssl
чтобы настроить mTLS. Запустил брокер, теперь хочу подключиться из другого узла к нему, имея соответсвующие keystore и truststore, а в логах всё равно:
INFO [SocketServer brokerId=0] Failed authentication with /*.*.*.* (SSL handshake failed) (org.apache.kafka.common.network.Selector)
Как понять, где ошибка?
сделал всё, как в гайде:
https://kafka.apache.org/25/documentation.html#security_ssl
чтобы настроить mTLS. Запустил брокер, теперь хочу подключиться из другого узла к нему, имея соответсвующие keystore и truststore, а в логах всё равно:
INFO [SocketServer brokerId=0] Failed authentication with /*.*.*.* (SSL handshake failed) (org.apache.kafka.common.network.Selector)
Как понять, где ошибка?
Возможно имя узла не совпадает с cn в сертификате
Например, в сертификате имя Хоста, а обращается по ip
Например, в сертификате имя Хоста, а обращается по ip
ЧП
Обычно с этим связно handshake failed
SM
Чёрный Плащ
Возможно имя узла не совпадает с cn в сертификате
Например, в сертификате имя Хоста, а обращается по ip
Например, в сертификате имя Хоста, а обращается по ip
так
правильно ли я понял, что при указании
keytool -keystore server.keystore.jks -alias localhost -validity {validity} -genkey -keyalg RSA -ext SAN=DNS:{hostname}
после, когда спросят ввести CN, нужно ввести это же самое hostname?
правильно ли я понял, что при указании
keytool -keystore server.keystore.jks -alias localhost -validity {validity} -genkey -keyalg RSA -ext SAN=DNS:{hostname}
после, когда спросят ввести CN, нужно ввести это же самое hostname?
ЧП
Я дословно не помню
Но имя в сертификате должно совпадать с именем Хоста и с тем именем, по которому вы к нему обращаетесь
Но имя в сертификате должно совпадать с именем Хоста и с тем именем, по которому вы к нему обращаетесь
ЧП
Можно включить отладку tls при запуске Java и посмотреть что пишется в отладке