Size: a a a

2020 November 05

V

Vadim in pro.kafka
в строку запуска кафки как-то можно передать параметр где хранить логи ?
источник

V

Vadim in pro.kafka
или переменные окружения может оно подхватывает
источник

Z

Zellox in pro.kafka
Ребята, подскажите пожалуйста в consumer.properties как указать корректно передачу логина пароля в sasl
источник

Z

Zellox in pro.kafka
пробую в таком виде:
источник

Z

Zellox in pro.kafka
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="test-user" password="test-user";
источник

Z

Zellox in pro.kafka
не принимает
источник

VG

Vik Gamov in pro.kafka
Zellox
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="test-user" password="test-user";
Ковычки
источник

Z

Zellox in pro.kafka
спасибо большое
источник

AB

Alexandr Bolbat in pro.kafka
Подскажите, может кто-то сталкивался

- Java 11
- kafka-clients 2.3.0/2.4.0 отлично коннектится к брокеру в докер контейнере и работает как нужно

- при апдейте клиента на 2.4.1/2.5.x/2.6.0 насыпает в WARN следующее:
o.a.kafka.clients.NetworkClient:1024 - [Producer clientId=producer-1] Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected

конфигурация продюсеров/консьюмеров само собой не меняется
в докере брокер на версии 2.4.1/2.5.1/2.6.0 - роли не играет

примитивный конфиг компоуза (чисто для интеграционных тестов, месяцами работает без единого сбоя)
https://pastebin.com/RnHF93VY

по конфигу продюсеров/консьюмеров тоже все примитивно
- bootstrap.servers=127.0.0.1:9092
- key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
- value.deserializer=org.apache.kafka.common.serialization.StringDeserializer
- group.id=some_sink
- auto.offset.reset=earliest
- enable.auto.commit=false
остальное все на дефолтах

релиз ноуты 2.4.1 прошерстил, ничего особеного не заметил
гуглом основательно прошелся, но все на тему ssl/etc, а у меня в даном случае PLAINTEXT все коммуникации
источник

AB

Alexandr Bolbat in pro.kafka
Alexandr Bolbat
Подскажите, может кто-то сталкивался

- Java 11
- kafka-clients 2.3.0/2.4.0 отлично коннектится к брокеру в докер контейнере и работает как нужно

- при апдейте клиента на 2.4.1/2.5.x/2.6.0 насыпает в WARN следующее:
o.a.kafka.clients.NetworkClient:1024 - [Producer clientId=producer-1] Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected

конфигурация продюсеров/консьюмеров само собой не меняется
в докере брокер на версии 2.4.1/2.5.1/2.6.0 - роли не играет

примитивный конфиг компоуза (чисто для интеграционных тестов, месяцами работает без единого сбоя)
https://pastebin.com/RnHF93VY

по конфигу продюсеров/консьюмеров тоже все примитивно
- bootstrap.servers=127.0.0.1:9092
- key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
- value.deserializer=org.apache.kafka.common.serialization.StringDeserializer
- group.id=some_sink
- auto.offset.reset=earliest
- enable.auto.commit=false
остальное все на дефолтах

релиз ноуты 2.4.1 прошерстил, ничего особеного не заметил
гуглом основательно прошелся, но все на тему ssl/etc, а у меня в даном случае PLAINTEXT все коммуникации
вообщем переехал на
- confluentinc/cp-zookeeper:latest
- confluentinc/cp-kafka:latest
и все заработало
источник

VG

Vik Gamov in pro.kafka
Alexandr Bolbat
вообщем переехал на
- confluentinc/cp-zookeeper:latest
- confluentinc/cp-kafka:latest
и все заработало
Ну latest это всегда bold move 😅
источник

AB

Alexandr Bolbat in pro.kafka
само собой так не останется, но сейчас для тестов сойдет 🙂
источник
2020 November 06

ET

Ed Tsoy in pro.kafka
Коллеги, кто разбирается, подскажите, пожалуйста: возможно ли использовать комьюнити-версию Confluent Schema Registry с бесплатной кафкой, или этот инструмент работает только вместе с платной Confluent Platform?
Быстрое гугление не помогло найти ответ на этот вопрос.
источник

VG

Vik Gamov in pro.kafka
Ed Tsoy
Коллеги, кто разбирается, подскажите, пожалуйста: возможно ли использовать комьюнити-версию Confluent Schema Registry с бесплатной кафкой, или этот инструмент работает только вместе с платной Confluent Platform?
Быстрое гугление не помогло найти ответ на этот вопрос.
Да возможно. А чего не взять бесплатную кафку от Confluent?
источник

KZ

Kostya Zgara in pro.kafka
Vik Gamov
Да возможно. А чего не взять бесплатную кафку от Confluent?
Так а где её взять? Я видел только версию которая будет активна 30 дней а дальше вообще не понятно что случится)
источник

VG

Vik Gamov in pro.kafka
Kostya Zgara
Так а где её взять? Я видел только версию которая будет активна 30 дней а дальше вообще не понятно что случится)
Не, есть же community версия где все синтегрировано
источник

VG

Vik Gamov in pro.kafka
Kostya Zgara
Так а где её взять? Я видел только версию которая будет активна 30 дней а дальше вообще не понятно что случится)
Идёшь https://www.confluent.io/download в низу есть кнопка Community features - это бесплатно и там есть SR.
Сорян что так витеевато, growth hackers не дают нормально адвокатам работать - все время придумывают всякие хитрости
источник

VC

Vladimir Chernyi in pro.kafka
Kostya Zgara
Так а где её взять? Я видел только версию которая будет активна 30 дней а дальше вообще не понятно что случится)
Я взял вот тут
https://docs.confluent.io/current/installation/installing_cp/zip-tar.html

Специально выбрал "Confluent Platform using only Confluent Community components", то есть файл

http://packages.confluent.io/archive/6.0/confluent-community-6.0.0.zip

Там есть schema registry, запускается и ничего не говорит про 30 дней
источник

VG

Vik Gamov in pro.kafka
Vladimir Chernyi
Я взял вот тут
https://docs.confluent.io/current/installation/installing_cp/zip-tar.html

Специально выбрал "Confluent Platform using only Confluent Community components", то есть файл

http://packages.confluent.io/archive/6.0/confluent-community-6.0.0.zip

Там есть schema registry, запускается и ничего не говорит про 30 дней
источник

VG

Vik Gamov in pro.kafka
Все правильно сделал
источник