В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2134 membersпожаловаться на группу
2020 December 10

VG

Vik Gamov in pro.kafka
Ihar Tigar
@gamussa может дашь инсайд, планируется ли kafka-streams lib для non jvm языков? (видел какой-то кустарный проект только для шарпов)
Не думаю. Вернее знаю что не работают. Есть кустарный проект на шарпе и на питоне. Есть вариант использовать ksqlDB через API и потреблять результаты
источник
01:46пожаловаться#1

IT

Ihar Tigar in pro.kafka
спасибо за ответ
источник
01:47пожаловаться#2

IT

Ihar Tigar in pro.kafka
sticker.webp
(23.21 Кб)
источник
01:48пожаловаться#3

PA

Petr Antonov in pro.kafka
Приветствую! Вопрос по оффсетам. Что произойдёт с оффсетами для консьюмергруппы, если будет превышено время retention.ms?
источник
09:44пожаловаться#4

AB

Andrey Belyakov in pro.kafka
Petr Antonov
Приветствую! Вопрос по оффсетам. Что произойдёт с оффсетами для консьюмергруппы, если будет превышено время retention.ms?
Офсеты сохранятся как были, просто данных не будет
источник
09:46пожаловаться#5

PA

Petr Antonov in pro.kafka
Andrey Belyakov
Офсеты сохранятся как были, просто данных не будет
а если при этом в топике __consumer_offsets тоже retention.ms протух?
источник
09:47пожаловаться#6

PA

Petr Antonov in pro.kafka
то сообщения начнут вычитываться с начала топика?
источник
09:48пожаловаться#7

AB

Andrey Belyakov in pro.kafka
Petr Antonov
то сообщения начнут вычитываться с начала топика?
Я не знаю точного ответа, но, в моем понимании,если текущие офсеты консьюмера протухли, то он начнёт читать в зависимости от auto.offset.reset настройки (earliest, latest, none)
источник
09:50пожаловаться#8

IT

Ihar Tigar in pro.kafka
вообще за хранение оффсетов отдельный параметр у брокера даже есть: offsets.retention.minutes
источник
09:53пожаловаться#9

PA

Petr Antonov in pro.kafka
проблема в том что я никак не могу понять в какой момент консьюмер производит коммит оффсета (т.е., как я понимаю, сообщает кафке что сообщение обработано). по какой-то непонятной причине консьюмер перестал коммитить
источник
09:53пожаловаться#10

AB

Andrey Belyakov in pro.kafka
Petr Antonov
проблема в том что я никак не могу понять в какой момент консьюмер производит коммит оффсета (т.е., как я понимаю, сообщает кафке что сообщение обработано). по какой-то непонятной причине консьюмер перестал коммитить
Может авто коммит не включён ?
источник
09:54пожаловаться#11

AB

Andrey Belyakov in pro.kafka
Petr Antonov
проблема в том что я никак не могу понять в какой момент консьюмер производит коммит оффсета (т.е., как я понимаю, сообщает кафке что сообщение обработано). по какой-то непонятной причине консьюмер перестал коммитить
Проверь настройки enable.auto.commit и auto.commit.interval.ms
источник
09:55пожаловаться#12

SB

Sergey Bezrukov in pro.kafka
Petr Antonov
проблема в том что я никак не могу понять в какой момент консьюмер производит коммит оффсета (т.е., как я понимаю, сообщает кафке что сообщение обработано). по какой-то непонятной причине консьюмер перестал коммитить
У вас не спринг часом? Где-то в недрах спрингового клиента попадалась прибитая гвоздями настройка асинхронного коммита - то есть даже если вы явно "коммитили" сообщение и получали ок, это на практике не приводило к реальному коммиту.  Может и исправили уже.
источник
10:00пожаловаться#13

PA

Petr Antonov in pro.kafka
Sergey Bezrukov
У вас не спринг часом? Где-то в недрах спрингового клиента попадалась прибитая гвоздями настройка асинхронного коммита - то есть даже если вы явно "коммитили" сообщение и получали ок, это на практике не приводило к реальному коммиту.  Может и исправили уже.
cпасибо за наводку, да, спринг, надо будет посмотреть
источник
10:02пожаловаться#14

SB

Sergey Bezrukov in pro.kafka
в любом случае, если с коммитом что-то не так (не выполняются требования по acks и т.п.) - в логах должны быть какие-то следы
источник
10:15пожаловаться#15

YM

Yalkun Mametsupiyev in pro.kafka
всем привет, не подскажете куда копать, почему медленно отправляются сообщения в кафку?
источник
11:14пожаловаться#16

YM

Yalkun Mametsupiyev in pro.kafka
отправляю 20к , смотрю через kafka-console-consumer.sh приходят 1-2 сообщения
источник
11:15пожаловаться#17

AB

Andrey Belyakov in pro.kafka
Yalkun Mametsupiyev
отправляю 20к , смотрю через kafka-console-consumer.sh приходят 1-2 сообщения
А с каким оффсетом сообщения приходят? Может где-то другой консьюмер запущен случайно, который их успевает все вычитать?
источник
11:18пожаловаться#18

YM

Yalkun Mametsupiyev in pro.kafka
у меня связка кафка+логстеш
источник
11:19пожаловаться#19

YM

Yalkun Mametsupiyev in pro.kafka
в индекс так же прилетают 1-2 сообщения
источник
11:19пожаловаться#20