В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1596 membersпожаловаться на группу
2020 February 16

YB

Yelena Bunina in pro.kafka
Sergei Beilin
Спасибо. У нас в тонкой обвязке вокруг клиентов реализовано, другими словами, консюмеры сами отправляют эту метрику (и другие) - и даже, в теории, когда не смогли сообщение обработать и оффсет закоммить.
и продюсеры? потому что  тайм лаг считается грубо говоря от разницы во времени последнего запродюсеного сообщения и времени последнего законсюмленного
источник
14:58пожаловаться#1

SB

Sergei Beilin in pro.kafka
Да, в нашем случае это скорее не лаг, а лейтенси. Потому что сравнивается не с последним сообщением, а с текущим обрабатываемым. Поэтому собственно и используем штамп времени в сообщении.
источник
15:02пожаловаться#2

GM

Gleb Mekhrenin in pro.kafka
Sergei Beilin
Спасибо. У нас в тонкой обвязке вокруг клиентов реализовано, другими словами, консюмеры сами отправляют эту метрику (и другие) - и даже, в теории, когда не смогли сообщение обработать и оффсет закоммить.
а какой системой мониторинга пользуетесь? во что отрпавляете?
источник
15:30пожаловаться#3

SB

Sergei Beilin in pro.kafka
Gleb Mekhrenin
а какой системой мониторинга пользуетесь? во что отрпавляете?
DataDog
источник
15:37пожаловаться#4

AB

Andriy Bashuk in pro.kafka
Привет ребят, подскажите пожалуйста. Продюсер почему-то работает медленее намного если большие данные передавать (большой json). Есть где почитать об єтом?
источник
16:06пожаловаться#5

N

Nikolay in pro.kafka
Andriy Bashuk
Привет ребят, подскажите пожалуйста. Продюсер почему-то работает медленее намного если большие данные передавать (большой json). Есть где почитать об єтом?
Включите компрессию на продюсере и убедитесь , что вы не синхронно шлете
источник
16:11пожаловаться#6

AB

Andriy Bashuk in pro.kafka
Nikolay
Включите компрессию на продюсере и убедитесь , что вы не синхронно шлете
шлю асинхронно, но мне чтобы не делать потом лишние запросы к БД проще сразу данные пачкой передаватью
источник
16:11пожаловаться#7

AB

Andriy Bashuk in pro.kafka
Но я заметил что если массив данных чуть больше то и продюсер медленее работает
источник
16:12пожаловаться#8

AB

Andriy Bashuk in pro.kafka
какую компрессию лучше всего выбрать?
источник
16:12пожаловаться#9

N

Nikolay in pro.kafka
Andriy Bashuk
какую компрессию лучше всего выбрать?
Любую. Снэпи , например. Посмотрите по статистикам потом сколько у вас в пачку сообщений набивается
источник
16:14пожаловаться#10

AB

Andriy Bashuk in pro.kafka
Nikolay
Любую. Снэпи , например. Посмотрите по статистикам потом сколько у вас в пачку сообщений набивается
я делаю вот так. У меня poll с timeout = 0 что делает его non-blocking а так же flush раз в 1000 сообщений делаю. При этом сам массив данных, json который может содержать кроме того что тут еще достаточно большой набор данных, но с ними продюсер работает раз в 5-10 быстрее. Но если их не передавать то потом нужно еще дополнительно запросы делать в консюмерах.
источник
16:16пожаловаться#11

AB

Andriy Bashuk in pro.kafka
Nikolay
Любую. Снэпи , например. Посмотрите по статистикам потом сколько у вас в пачку сообщений набивается
а какая разница между кодеками?
источник
16:19пожаловаться#12

AB

Andriy Bashuk in pro.kafka
Компррессия кстати в плане производительности ничего не дает
источник
16:23пожаловаться#13

AB

Andriy Bashuk in pro.kafka
Даже наоборот
источник
16:23пожаловаться#14

N

Nikolay in pro.kafka
ну я бы все же посмотрел на статистику. на то какой размер пачки получается, например. размер в байтах и штуках. Флуш на мой взгляд можно убрать. зачем он вам
источник
16:24пожаловаться#15

AB

Andriy Bashuk in pro.kafka
так flush отправляет сообщения в kafka
источник
16:26пожаловаться#16

AB

Andriy Bashuk in pro.kafka
источник
16:27пожаловаться#17

N

Nikolay in pro.kafka
тут пишут скорее, что нельзя выходить из приложения без флуша, но я предполагаю, что у вас оно в бесконечном цикле крутится.
источник
16:28пожаловаться#18

N

Nikolay in pro.kafka
сам флуш не тригерит сообщения. он ожидается, что все сложенные до этого в очередь будут отправлены
источник
16:29пожаловаться#19

AB

Andriy Bashuk in pro.kafka
Nikolay
сам флуш не тригерит сообщения. он ожидается, что все сложенные до этого в очередь будут отправлены
Я так полагаю что при обработке событий нужно делать flush. Но так как я использую php и у меня процесс умирает после каждого запроса я наблюдал такое что без flush сообщеньки не продюсятся
источник
16:33пожаловаться#20