Телеграмм чат группы proKafka страница 1551

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1974 membersпожаловаться на группу

2020 October 30

IS

Ivan Shirokov in pro.kafka

В продолжение прошлого вопроса, поднял 3 новых брокера, делаю реассайн партишн, передаю джсон с переназначенными партициями, он мне выкидывает лог что реплики уже is replicated on [1,2], rather than [5,6] и ничего не делает

Если кому интересно проблема была в огромном джсоне, который передавал на переназначение. Кафка просто не смогла его съесть. Пришлось в несколько подходов делать

источник

23:15пожаловаться #1

2020 November 01

DK

Daniyar Kaliyev in pro.kafka

Если кому интересно проблема была в огромном джсоне, который передавал на переназначение. Кафка просто не смогла его съесть. Пришлось в несколько подходов делать

кафке ведь без разницы, что съедать, обычно затык в

net.ipv4.tcp_rmem

или

message.max.bytes

источник

08:10пожаловаться #2

BB

Bral Bral in pro.kafka

Добрый день . Очень глупый вопрос : правильно ли я понимаю, что партиционирование топика нужно для того, чтобы несколько потребителей получились один и тот же массив данных. В случае, когда нужно организовать подобие потокобезопасной очереди ( хранить имена файлов ) и нужно чтобы файл обработался только 1 раз, при множестве потребителей , необходимо ставить партицию в 1. Спасибо.

источник

12:48пожаловаться #3

S

Slava in pro.kafka

Добрый день . Очень глупый вопрос : правильно ли я понимаю, что партиционирование топика нужно для того, чтобы несколько потребителей получились один и тот же массив данных. В случае, когда нужно организовать подобие потокобезопасной очереди ( хранить имена файлов ) и нужно чтобы файл обработался только 1 раз, при множестве потребителей , необходимо ставить партицию в 1. Спасибо.

Не верно, партиции нужны для разбиения сообщений в топике для их параллельного потребления консьюмерами из одной группы.

Если у вас очень много имен файлов и вы хотите их обрабатывать более чем в один поток - канонично было бы сделать >1 партиции

источник

12:49пожаловаться #4

BB

Bral Bral in pro.kafka

Не верно, партиции нужны для разбиения сообщений в топике для их параллельного потребления консьюмерами из одной группы.

Если у вас очень много имен файлов и вы хотите их обрабатывать более чем в один поток - канонично было бы сделать >1 партиции

Понял Вас, достаточно указать одинаковую группу. Благодарю !

источник

12:50пожаловаться #5

S

Slava in pro.kafka

Но очередность гарантируется только в рамках одной партиции, так что если вам важен порядок сообщений глобальный - только одна партиция.

источник

12:51пожаловаться #6

BB

Bral Bral in pro.kafka

Но очередность гарантируется только в рамках одной партиции, так что если вам важен порядок сообщений глобальный - только одна партиция.

Очередь не важна, главное, чтобы получили имя файла только 1 раз.

источник

12:51пожаловаться #7

S

Slava in pro.kafka

Очередь не важна, главное, чтобы получили имя файла только 1 раз.

Это «гарантируется» и с множеством партиций, одно сообщение всегда попадет только в одну партицию.
Но на счет гарантий only once советую почитать всякое, оно гарантируется только на рекламных проспектах кафки, для реального only once нужно хорошенько потрудиться и на продьюсере и на консьюмере.

источник

12:54пожаловаться #8

BB

Bral Bral in pro.kafka

Это «гарантируется» и с множеством партиций, одно сообщение всегда попадет только в одну партицию.
Но на счет гарантий only once советую почитать всякое, оно гарантируется только на рекламных проспектах кафки, для реального only once нужно хорошенько потрудиться и на продьюсере и на консьюмере.

Благодарю.

источник

12:54пожаловаться #9

IS

Ivan Shirokov in pro.kafka

Daniyar Kaliyev

кафке ведь без разницы, что съедать, обычно затык в

net.ipv4.tcp_rmem

или

message.max.bytes

Спасибо, опробую

источник

13:49пожаловаться #10

AS

Andrei St in pro.kafka

Поднял дефолтную кафку но приконектиться по сети могу только по имени компьютера по ip не получаеться хотя порт открыт и на telnet отвечает

источник

16:25пожаловаться #11

D

Dmitry in pro.kafka

Starcraft2020

источник

16:31пожаловаться #12

AP

Andrey Poltavtsev in pro.kafka

Поднял дефолтную кафку но приконектиться по сети могу только по имени компьютера по ip не получаеться хотя порт открыт и на telnet отвечает

Настройки listener надо ip прописать

источник

16:34пожаловаться #13

p

promzeus in pro.kafka

Поднял дефолтную кафку но приконектиться по сети могу только по имени компьютера по ip не получаеться хотя порт открыт и на telnet отвечает

Если поднял в кубере или сворме то там не все так просто в зоокипер в листенер попадает ип pod а в реалии все обращения идут на сервис и работать такая схема нормально не будет

источник

18:40пожаловаться #14

p

promzeus in pro.kafka

Так как ип пода и сервиса отличаются

источник

18:41пожаловаться #15

AS

Andrei St in pro.kafka

Если поднял в кубере или сворме то там не все так просто в зоокипер в листенер попадает ип pod а в реалии все обращения идут на сервис и работать такая схема нормально не будет

начал с малого, пока с оф сайта , дальше хочу в docker-compose, swarm ну и k8s

источник

18:41пожаловаться #16

p

promzeus in pro.kafka

Я убил 3 дня понять почему в обычном докер композе работает а в кубере нет

источник

18:42пожаловаться #17

p

promzeus in pro.kafka

Точнее оно работает сразу но клиенты после бутстрапа после потери соединения не могут переподключиться к кафке так как получают ип пода а ходить напрямую в под нельзя нужно особое шаманство

источник

18:44пожаловаться #18

VG

Vik Gamov in pro.kafka

начал с малого, пока с оф сайта , дальше хочу в docker-compose, swarm ну и k8s

cp-helm-charts смотрел?

источник

19:07пожаловаться #19

AS

Andrei St in pro.kafka

cp-helm-charts смотрел?

посмотрел, поставил, прекрасная работа. 2 вещи мне не понятны. 1) https://prnt.sc/vba58p в grafana N/A или No data брал дашборт с https://raw.githubusercontent.com/confluentinc/cp-helm-charts/master/grafana-dashboard/confluent-open-source-grafana-dashboard.json 2) внутри кубера все ок а вот можно ли через portforward что от k8s подключиться к брокерам или делать впн внутрь k8s и видя на прямую ip pod-ов брокеров конектиться?

Captured with Lightshot

источник

20:10пожаловаться #20