Телеграмм чат группы proKafka страница 1596

2020 November 26

BT

Не понимаю зачем у Kafka java продьюсера есть аргументы keySerializer и valueSerializer https://kafka.apache.org/20/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html, если я могу передать их в конфиге как

"key.serializer"    "io.confluent.kafka.serializers.KafkaAvroSerializer"
"value.serializer" "io.confluent.kafka.serializers.KafkaAvroSerializer"

так под капотом этот метод и вызывается 😃

BT

так под капотом этот метод и вызывается 😃

и гибкость. может, у тебя сложная логика сериализации, которая зависит от, например, сертификата. тогда экземпляр сериализатора можно создать вручную

источник

12:57пожаловаться #2

FL

First Last in pro.kafka

Привет. Подскажите, правильно ли я понимаю логику?

Есть кластер кафка, в топик продюсер записал N сообщений, консюмер прочитал N сообщений.
Если кластер упал, продюсер переключился на другой кластер, он продолжит писать в топик, но опять с 0 оффсета. А консюмер будет ждать оффсет N+1?

источник

13:22пожаловаться #3

ЮХ

Юра Ходырев... in pro.kafka

First Last

Привет. Подскажите, правильно ли я понимаю логику?

Есть кластер кафка, в топик продюсер записал N сообщений, консюмер прочитал N сообщений.
Если кластер упал, продюсер переключился на другой кластер, он продолжит писать в топик, но опять с 0 оффсета. А консюмер будет ждать оффсет N+1?

Если в другом кластере у тебя оффсесеты с 0 начнутся, то да

источник

13:35пожаловаться #4

ЮХ

Юра Ходырев... in pro.kafka

А хотя погоди.
Где у тебя консюмер хранит состояние?

источник

13:36пожаловаться #5

ЮХ

Юра Ходырев... in pro.kafka

First Last

Привет. Подскажите, правильно ли я понимаю логику?

Есть кластер кафка, в топик продюсер записал N сообщений, консюмер прочитал N сообщений.
Если кластер упал, продюсер переключился на другой кластер, он продолжит писать в топик, но опять с 0 оффсета. А консюмер будет ждать оффсет N+1?

В данной ситуации видимо и консюмер и продюсер отпадут на 0-ой оффсет

источник

13:36пожаловаться #6

FL

First Last in pro.kafka

Юра Ходырев

А хотя погоди.
Где у тебя консюмер хранит состояние?

пока нигде, думаю, как сделать. но вероятнее всего это будет zk

источник

13:40пожаловаться #7

ЮХ

Юра Ходырев... in pro.kafka

First Last

пока нигде, думаю, как сделать. но вероятнее всего это будет zk

Продьюсер и консюмер в дистрибьют режиме от kafka-connect сохраняет свое состояние в отдельном топике в самой кафке.
Хорошо это или плохо, не знаю. Но по мне лучше уж тогда и писать сразу в кафку.
Там вроде бы в каких то будущих реализациях могут отказаться от существования zk при работе с кафкой

источник

13:42пожаловаться #8

ЮХ

Юра Ходырев... in pro.kafka

KIP-500, которые люди ждут))

источник

13:42пожаловаться #9

PS

Paul Shevtsov in pro.kafka

Юра Ходырев

KIP-500, которые люди ждут))

Уж сколько лет. :)

источник

13:44пожаловаться #10

ЮХ

Юра Ходырев... in pro.kafka

Paul Shevtsov

Уж сколько лет. :)

но нельзя исключать возникновение такого события)))
У меня с zk например одно время была боль, которую сложно было тюнить.
Когда СХД педрила, кластер zk часто разваливался))
Поэтому я бы хотел пощупать данную реализацию)))

источник

13:46пожаловаться #11

FL

First Last in pro.kafka

Юра Ходырев

Продьюсер и консюмер в дистрибьют режиме от kafka-connect сохраняет свое состояние в отдельном топике в самой кафке.
Хорошо это или плохо, не знаю. Но по мне лучше уж тогда и писать сразу в кафку.
Там вроде бы в каких то будущих реализациях могут отказаться от существования zk при работе с кафкой

ок, я понял. спасибо!

источник

13:50пожаловаться #12

GK

Gregory Koshelev in pro.kafka

First Last

Привет. Подскажите, правильно ли я понимаю логику?

Есть кластер кафка, в топик продюсер записал N сообщений, консюмер прочитал N сообщений.
Если кластер упал, продюсер переключился на другой кластер, он продолжит писать в топик, но опять с 0 оффсета. А консюмер будет ждать оффсет N+1?

Если кластер упал, то продьюсер уже никуда писать не сможет. Если RF = 1, то даже падение одного брокера приведёт к невозможности писать сообщения.

источник

17:00пожаловаться #13

FL

First Last in pro.kafka

Gregory Koshelev

Если кластер упал, то продьюсер уже никуда писать не сможет. Если RF = 1, то даже падение одного брокера приведёт к невозможности писать сообщения.

там чуть дальше написано, что продьюсер переключился на второй кластер:)

источник

17:30пожаловаться #14

GK

Gregory Koshelev in pro.kafka

А Consumer что при этом будет делать?

источник

17:35пожаловаться #15

GK

Gregory Koshelev in pro.kafka

Это какой-то странный способ работы с Кафкой 🙂

источник

17:36пожаловаться #16

S

SeniorAnykey in pro.kafka

Всем привет! Никто не сталкивался с segmentino/Kafka-go ?
При записи на stand-alone кафку - вроде бы все хорошо, а при использовании кластера - начинаются проблемы и отклик доходит до 1-5с

источник

17:36пожаловаться #17

GK

Gregory Koshelev in pro.kafka

Разделять на несколько кластеров имеет смысл, если они географически сильно удалены.

источник

17:36пожаловаться #18

FL

First Last in pro.kafka

Gregory Koshelev

Разделять на несколько кластеров имеет смысл, если они географически сильно удалены.

Именно так. Разные цоды, нужен DR, потому два кластера.

Консьюмер тоже переключится на второй кластер.