В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1534 membersпожаловаться на группу
2019 November 20

AP

Andrey Polubotko in pro.kafka
Всем привет
Настроил кластер Кафки для работы с SASL/PLAIN все подключения (consum/produce ) настроены и отрабатывают согласно правилам ACL, НО в логах постоянно валится ошибка

[2019-11-20 11:01:08,571] INFO [SocketServer brokerId=0] Failed authentication with /0:0:0:0:0:0:0:1 (Unexpected Kafka request of type METADATA during SASL handshake.) (org.apache.kafka.common.network.Selector)

Может кто сталкивался с чем то подобным ?
источник
12:29пожаловаться#1

Y

Yuriy in pro.kafka
Скрин конфига где listener пришли
источник
13:05пожаловаться#2

AP

Andrey Polubotko in pro.kafka
broker.id=0
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
super.users=User:dev-admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
security.protocol=SASL_PLAINTEXT
advertised.listeners=SASL_PLAINTEXT://kafka1:9092
источник
13:08пожаловаться#3

AP

Andrey Polubotko in pro.kafka
Screenshot 2019-11-20 at 13.15.31.png
(156.66 Кб)
преступление раскрыто(с)
источник
13:17пожаловаться#4

AP

Andrey Polubotko in pro.kafka
спасибо
источник
13:17пожаловаться#5

DE

Dmitriy Ermolin in pro.kafka
citius
нашел, пересеклось с другим инстансом, и там в докере действительно 172.20.х.х
вопрос теперь как ему вместо этого атоопределения передать нормальный адрес, который он должен слушать.
там weave на хосте, и у контейнеров есть нормальный routable приватный адрес.
вам нужно прокинуть переменную ADVERTISED_HOST_NAME, гляньте тут https://github.com/debezium/docker-images/blob/master/connect-base/0.10/docker-entrypoint.sh , кроме того, можно прокидывать любые параметры, например CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE преобразуется в value.converter.schemas.enable и запишется в конфиг
GitHub
debezium/docker-images
Docker images for Debezium. Please log issues in our JIRA at https://issues.jboss.org/projects/DBZ/issues - debezium/docker-images
источник
13:30пожаловаться#6

c

citius in pro.kafka
Dmitriy Ermolin
вам нужно прокинуть переменную ADVERTISED_HOST_NAME, гляньте тут https://github.com/debezium/docker-images/blob/master/connect-base/0.10/docker-entrypoint.sh , кроме того, можно прокидывать любые параметры, например CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE преобразуется в value.converter.schemas.enable и запишется в конфиг
GitHub
debezium/docker-images
Docker images for Debezium. Please log issues in our JIRA at https://issues.jboss.org/projects/DBZ/issues - debezium/docker-images
да, вчера разобрался уже.

там основная проблема была с тем, что у меня используется отдельный сетевой драйвер weave, в контейнере получается два интерфейса, и Kafka connect неверно определяла нужный адрес.
источник
13:32пожаловаться#7

c

citius in pro.kafka
спасибо )
источник
13:32пожаловаться#8

DE

Dmitriy Ermolin in pro.kafka
можно прокинуть HOST_NAME=0.0.0.0, тогда будет слушать на всех, если я правильно понял, о чем вы
источник
13:34пожаловаться#9

c

citius in pro.kafka
слушать то будет, но я так понимаю, что этот адрес используется для обмена между воркерами, так что они должны еще и понимать куда стучаться
источник
13:35пожаловаться#10

c

citius in pro.kafka
в общем проблему я вчера решил, так что не суть )
источник
13:35пожаловаться#11

SR

Sergey Rublev in pro.kafka
Такой вопрос, есть консьюмер группа с ручным коммитом, легитимно ли коммитить только последний оффсет, для того, чтобы пометить что этот и все предыдущие отработаны, или надо коммитить все?
источник
15:37пожаловаться#12

A

Alex in pro.kafka
комиты же пер партицию
и да, лучше комитить сразу батч который вы отпроцессили
источник
15:38пожаловаться#13

A

Alex in pro.kafka
per element комитить можно, но есть вопросы с производительностью данного подхода
источник
15:38пожаловаться#14

SR

Sergey Rublev in pro.kafka
последний для партиции тогда
источник
15:38пожаловаться#15

A

Alex in pro.kafka
тогда это стандартный и ожидаемый патерн использования кафки
источник
15:39пожаловаться#16

SR

Sergey Rublev in pro.kafka
вопрос как раз в том, может и не надо батч коммитить, а только последний в партиции оффсет, с тем же эффектом
источник
15:39пожаловаться#17

A

Alex in pro.kafka
что значит батч комитить ?
источник
15:40пожаловаться#18

A

Alex in pro.kafka
вы вычитали Х элементов
потом ещё Y
отпроцессили
закомитили maxOffset(X, Y)
источник
15:41пожаловаться#19

SR

Sergey Rublev in pro.kafka
понял, я так и хочу делать. Батч имеется ввиду - в рамках одного топика и партиции
источник
16:16пожаловаться#20