AM
нет, все таки локалхост специфическая штука для специфических задач
А можно как-то конкретнее?
Size: a a a
2019 November 14
GM
AM
Ну, в общем-то, да, но тогда вопрос, как это корректно конфигурировать? Передавать именно личные IP машин? А если они динамические - вообще не задавать avertised.listeners?
A
advertised.listeners была изобретена для случаев
1) у вас несколько ip на хосте и вы хотите завести клиентов на конкретный
2) у вас запускается в докере и внешний ip не совпадает с внутренним, jvm ничего не знает о внешнем ip, но клиенты должны подключаться на него
3) варианты когда ваша kafka может быть за натом и проброшены только некоторые порты или вообще на промежуточном файрволе идёт port remaping
1) у вас несколько ip на хосте и вы хотите завести клиентов на конкретный
2) у вас запускается в докере и внешний ip не совпадает с внутренним, jvm ничего не знает о внешнем ip, но клиенты должны подключаться на него
3) варианты когда ваша kafka может быть за натом и проброшены только некоторые порты или вообще на промежуточном файрволе идёт port remaping
AM
advertised.listeners была изобретена для случаев
1) у вас несколько ip на хосте и вы хотите завести клиентов на конкретный
2) у вас запускается в докере и внешний ip не совпадает с внутренним, jvm ничего не знает о внешнем ip, но клиенты должны подключаться на него
3) варианты когда ваша kafka может быть за натом и проброшены только некоторые порты или вообще на промежуточном файрволе идёт port remaping
1) у вас несколько ip на хосте и вы хотите завести клиентов на конкретный
2) у вас запускается в докере и внешний ip не совпадает с внутренним, jvm ничего не знает о внешнем ip, но клиенты должны подключаться на него
3) варианты когда ваша kafka может быть за натом и проброшены только некоторые порты или вообще на промежуточном файрволе идёт port remaping
Теперь понятно, спасибо. Пока не начал разбираться с вариантом сборки в докере, я его и не использовал, но во всех гайдах по кафке в докеру этот параметр почему-то используется и задаётся в localhost
YP
Привет всем!
Кто-нибудь пытался работать с TimescaleDB через Kafka JDBC sink connector?
Кто-нибудь пытался работать с TimescaleDB через Kafka JDBC sink connector?
YP
У меня падает NullPointerException при попытке вычитывания Kafka topic
АБ
Откуда могут быть конвертации?
Я только что обновил все продьюсеры. Везде указал v2 версию. По факту испоьзуем 2.1.1.
Я только что обновил все продьюсеры. Везде указал v2 версию. По факту испоьзуем 2.1.1.
АБ
Никаих системных топиков кроме __consumer_offsets я не вижу. И не думаю что это что то системное пишет не в том формате.
Y
Коллеги, подскажите
11к топиков
11 брокеров
По 4.5 парт на брокер
Нормальная нагрузка на брокеры?
И сколько нормальная? (По партициям)
11к топиков
11 брокеров
По 4.5 парт на брокер
Нормальная нагрузка на брокеры?
И сколько нормальная? (По партициям)
Y
По 4.5к парт на брокер
Y
Пока получаем просадки по производителельности
A
правила выбора кол-во partitions https://www.confluent.io/blog/how-choose-number-topics-partitions-kafka-cluster
A
и там же ссылка на вторую статью
https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-cluster
https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-cluster
Y
Тут уже у нас не исправить
Подтвердить, ну зато можно подтвердить, что из-за этого проблемы)
Подтвердить, ну зато можно подтвердить, что из-за этого проблемы)