Телеграмм чат группы proKafka страница 1329

Евгений Красюк... in pro.kafka

16:18пожаловаться #1

2020 May 13

ЕК

имеем проблему со сбросом оффесетов после ребалансировки кластера
т.е. когда меняется количество брокеров в кластере, происходит ребалансировка партиций и для некоторых топиков происходит сброс оффсетов, т.е. консюмеры начинают вычитывать все имеющиеся сообщения сначала
кто-нибудь сталкивался с подобной проблемой? куда копать?

08:06пожаловаться #2

YZ

Yuri Zavyalov in pro.kafka

Евгений Красюк

имеем проблему со сбросом оффесетов после ребалансировки кластера
т.е. когда меняется количество брокеров в кластере, происходит ребалансировка партиций и для некоторых топиков происходит сброс оффсетов, т.е. консюмеры начинают вычитывать все имеющиеся сообщения сначала
кто-нибудь сталкивался с подобной проблемой? куда копать?

А оффсеты коммитятся автоматически или в коде "ручками" через CommitSync/Async?

Евгений Красюк... in pro.kafka

09:14пожаловаться #3

ЕК

Руками через CommitSync

11:02пожаловаться #4

ЮБ

Есть ли способ узнать оффсет последнего сообщения в топике без учёта оффсетов без сообщений? endOffset может указывать на оффсет, для которого нет сообщения.

12:37пожаловаться #5

РХ

Хм, в доках к консьюмеру на Java вижу
For {@code read_committed} consumers, the end offset is the last stable offset (LSO), which is the minimum of the high watermark and the smallest offset of any open transaction.
При уровне изоляции read_committed вы не должны получать оффсет для "незначимых" сообщений

12:47пожаловаться #6

ЮБ

Ринат Харисов

Хм, в доках к консьюмеру на Java вижу
For {@code read_committed} consumers, the end offset is the last stable offset (LSO), which is the minimum of the high watermark and the smallest offset of any open transaction.
При уровне изоляции read_committed вы не должны получать оффсет для "незначимых" сообщений

Консьюмер с read_committed

13:03пожаловаться #7

РХ

Юрий Бадальянц

Консьюмер с read_committed

Да, я написал неверную инфу

13:12пожаловаться #8

ЮБ

Есть какой-то канал где можно это у разработчиков кафки узнать?

13:19пожаловаться #9

РХ

знаю только про slack https://launchpass.com/confluentcommunit

13:24пожаловаться #10

ЮБ

Ринат Харисов

знаю только про slack https://launchpass.com/confluentcommunit

Page not found.

13:25пожаловаться #11

РХ

Юрий Бадальянц

Page not found.

Сперва нужно зарегаться https://launchpass.com/

13:27пожаловаться #12

VG

Vik Gamov in pro.kafka

Ринат Харисов

знаю только про slack https://launchpass.com/confluentcommunit

оно

This Slack Team will focus on the Apache Kafka® technology and its ecosystem, also allowing its members to interact and share their use cases, do and don't, how to's, etc.
We will also hear about the Confluent Platform and topics like Kafka's Connect API and streaming data pipelines, Kafka’s Streams API and stream processing, Security, Microservices and anything else related to Apache Kafka.

13:31пожаловаться #13

VG

Vik Gamov in pro.kafka

Только cnfl.io/slack

LaunchPass

confluentcommunity on LaunchPass

13:32пожаловаться #14

VG

Vik Gamov in pro.kafka

Юрий Бадальянц

Есть какой-то канал где можно это у разработчиков кафки узнать?

@lmnet89 ☝🏻

13:32пожаловаться #15

ЮБ

Спасибо

13:52пожаловаться #16

ЮХ

Юра Ходырев... in pro.kafka

Всем привет.
А может кто нибудь поделится информацией, как происходит ребалансировка при добавлении "нового", восстановлении старого брокера?

15:00пожаловаться #17

ЮХ

Юра Ходырев... in pro.kafka

У меня ситуация. Сдох брокер, вместе с зукипкером (были в контейнерах).
Подмонтированные волюмы остались, поднял на их место новые контейнеры, но при этом кластер не согласовался.

15:01пожаловаться #18

ЮХ

Юра Ходырев... in pro.kafka

в kafka-manager, столбец Under Replicated % = 100

15:03пожаловаться #19

AS

Alexandr Smirnov in pro.kafka

Завист от unclean.leader.election.enable