Телеграмм чат группы proKafka страница 1111

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1534 membersпожаловаться на группу

2019 November 25

A

Alex in pro.kafka

Ведь в пул тоже передаёте сколько ждать

источник

19:41пожаловаться #1

EK

Eduard Korolev in pro.kafka

да, надо попробовать. Но мне кажется что проще автокоммит и хранить в массиве последний обработанный offset тогда на каждую партицию. Спасибо за ответы

источник

19:42пожаловаться #2

EK

Eduard Korolev in pro.kafka

и еще вопрос, кто нибудь может помочь лог расшифровать?
%5|1574514053.607|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out HeartbeatRequest in flight (after 10986ms, timeout #0): possibly held back by preceeding OffsetCommitRequest with timeout in 43070ms
%4|1574514053.611|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%3|1574514053.612|FAIL|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 30063ms in state UP)
%3|1574514053.612|ERROR|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 30063ms in state UP)
%5|1574514100.720|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out HeartbeatRequest in flight (after 9985ms, timeout #0): possibly held back by preceeding OffsetCommitRequest with timeout in 49998ms
%4|1574514100.721|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%3|1574514100.721|FAIL|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 47070ms in state UP)
%3|1574514100.721|ERROR|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 47070ms in state UP)

источник

19:43пожаловаться #3

EK

Eduard Korolev in pro.kafka

я так понимаю что брокер не надолго лег, потом восстановился и запрос на сохранение offset не сохранился. Только не могу понять, сколько в логе ошибок, 2 или больше?

источник

19:43пожаловаться #4

EK

Eduard Korolev in pro.kafka

и что за первая колонка %5 %4 и т.д.

источник

19:44пожаловаться #5

GM

Gleb Mekhrenin in pro.kafka

коммитить батчами решение очевидное, а вот как отлавливать ситуации когда батч еще не набрался, а новые сообщения прикратились. У меня так и будет висеть пачка в памяти обработанных сообщений. В js каком нить можно было бы setTimeout какой нить повесить

время +размер батча

источник

22:06пожаловаться #6

АБ

Алексей Быстрый in pro.kafka

добрый вечер. Коллеги, кто нибудь использует kafka + php?

А какую библиотеку для пхп используете?

источник

23:08пожаловаться #7

АБ

Алексей Быстрый in pro.kafka

Продьюссер веб?

источник

23:08пожаловаться #8

2019 November 26

EK

Eduard Korolev in pro.kafka

из консоли все, rdkafka

источник

09:21пожаловаться #9

A

Anatoly Soldatov in pro.kafka

бутстрап-сервер может меняться динамически? Мне стоит отдать кафку в консул?

Если у вас сервис дискавери в компании уже есть, то нормальная идея находить и кафки через него (особенно если кластеров много)
Иначе придётся хардкодить адреса брокеров

источник

09:30пожаловаться #10

IE

Ivan EKbfh in pro.kafka

Anatoly Soldatov

Если у вас сервис дискавери в компании уже есть, то нормальная идея находить и кафки через него (особенно если кластеров много)
Иначе придётся хардкодить адреса брокеров

вообще есть, да.
но я думаю, что кафка у меня будет всё равно на прибитых адресах, так что подумаю

источник

09:33пожаловаться #11

AM

Anton Marchenko in pro.kafka

и еще вопрос, кто нибудь может помочь лог расшифровать?
%5|1574514053.607|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out HeartbeatRequest in flight (after 10986ms, timeout #0): possibly held back by preceeding OffsetCommitRequest with timeout in 43070ms
%4|1574514053.611|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%3|1574514053.612|FAIL|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 30063ms in state UP)
%3|1574514053.612|ERROR|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 30063ms in state UP)
%5|1574514100.720|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out HeartbeatRequest in flight (after 9985ms, timeout #0): possibly held back by preceeding OffsetCommitRequest with timeout in 49998ms
%4|1574514100.721|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/1001: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%3|1574514100.721|FAIL|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 47070ms in state UP)
%3|1574514100.721|ERROR|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator: 1 request(s) timed out: disconnect (after 47070ms in state UP)

Передаю эстафетную палочку с просьбой для больших кусков кода использовать pastebin

источник

10:25пожаловаться #12

A

Anatoly Soldatov in pro.kafka

вообще есть, да.
но я думаю, что кафка у меня будет всё равно на прибитых адресах, так что подумаю

Почему на прибитых?
В чем плюс?)

источник

10:56пожаловаться #13

IE

Ivan EKbfh in pro.kafka

Anatoly Soldatov

Почему на прибитых?
В чем плюс?)

Ну, я буду разворачивать это дело не в кубах, а на вм, поэтому оркестрация знает все адреса, поэтому это не плюсы, это наименьшая кровь. Тащить туда еще агентов SD ради этого излишне имхо

источник

11:01пожаловаться #14

A

Artjom Kalita in pro.kafka

Глупый вопрос для холи варов - Кафка на скале или её переписали на джаву ? =)

источник

12:22пожаловаться #15

A

Alex in pro.kafka

27 процентов скалы осталось

источник

12:22пожаловаться #16

A

Alex in pro.kafka

Остальное java

источник

12:22пожаловаться #17

A

Alex in pro.kafka

Оркестрация в основном на scala

Сразу переписали клиентов на java чтобы не тянуть скалу клиентам

Потом многие коре части, так как вопрос с производительностью был

источник

12:23пожаловаться #18

A

Artjom Kalita in pro.kafka

Окей спасибо

источник

12:24пожаловаться #19

RB

Raman Babich in pro.kafka

Привет, что значит префикс ccs и ce в артефактах?

https://packages.confluent.io/maven/org/apache/kafka/kafka_2.12/

источник

12:32пожаловаться #20