В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1534 membersпожаловаться на группу
2019 December 20

AD

Aleksey Dobrunov in pro.kafka
тут надо сравнивать плюсы от прямой записи и эффект от потери данных.
в чем плюсы я так и не понял. я знаю один кейс, где без прямой записи не обойтись. но если это просто логи, то пока что выглядит как лишняя работа критически важного сервиса nginx
источник
12:41пожаловаться#1

MT

Maks Ti in pro.kafka
Aleksey Dobrunov
тут надо сравнивать плюсы от прямой записи и эффект от потери данных.
в чем плюсы я так и не понял. я знаю один кейс, где без прямой записи не обойтись. но если это просто логи, то пока что выглядит как лишняя работа критически важного сервиса nginx
Это не просто логи, это данные, данных слишком много чтобы просто писать на диск
источник
12:44пожаловаться#2

AD

Aleksey Dobrunov in pro.kafka
ага, понял о чем речь .
источник
12:44пожаловаться#3

MT

Maks Ti in pro.kafka
Сейчас думаем о замене nginxa на что то другое
источник
12:45пожаловаться#4

MT

Maks Ti in pro.kafka
Просто казалось что кейс nginx->kafka популярен
источник
12:45пожаловаться#5

I

Ilgiz in pro.kafka
George Gaál
Nginx -> rsyslog -> kafka
у нас была такая схема но если сислог по каким то причинам перестает принимать данные то они теряются. Мы перешли на файлы, потому что данные нам важнее и в случае чего их очень проще репроцессить
источник
13:06пожаловаться#6

AZ

Anton Zadorozhniy in pro.kafka
Maks Ti
Просто если есть хороший модуль для Nginx, то зачем вставлять костыли?
Протокол Кафки довольно тяжелый сам по себе (метаданные, батчинг), плюс кое-кому хочется изоляции брокеров от фронта, бывает удобно также операционно перекинуть на другой кластер
источник
13:14пожаловаться#7

VS

Vyacheslav Shvets in pro.kafka
Maks Ti
Это не просто логи, это данные, данных слишком много чтобы просто писать на диск
fluent bit данные на диск не пишет (может писать, если включить доп. настройку)
источник
14:16пожаловаться#8

Y

Yuriy in pro.kafka
Коллеги, привет
Я правильно понимаю, что client.rack говорит о том, что у клиента будет приоритет в работе с теми брокерами, у кого такой-же brocker.rack?
источник
15:56пожаловаться#9

Y

Yuriy in pro.kafka
Или в чем его смысл
источник
16:14пожаловаться#10

Y

Yuriy in pro.kafka
?
источник
16:14пожаловаться#11

g

grut in pro.kafka
привет
скажите, есть ли способ остановить стрим если в течение какого-то времени не было входящих сообщений?
источник
16:31пожаловаться#12

RB

Ramzan Bekbulatov in pro.kafka
Добрый вечер!

Есть ли возможность сконфигурировать кафку на обработку 5-15 млн событий в секунду? Железо можно взять в условно неограниченном количестве.

Или стоит всё-таки намутить агрегацию и заранее схлопывать эти события? Нет сильной необходимости хранить эти события, но хотелось бы.
источник
17:52пожаловаться#13

A

Alex in pro.kafka
можно
настройки зависят от размера сообщений

опять же:
1) вы хотите это в один топик или в разные
2) размер сообщения (чтобы оценить сколько в байтах в секунду влетать будет и прикинуть конфигурацию дисковой подсистемы)
3) комитить после каждого сообщения или батчами

ну и тд
источник
18:00пожаловаться#14

A

Alex in pro.kafka
в общем случае кафка неплохо горизонтально скейлится количеством партиций
источник
18:02пожаловаться#15

RB

Ramzan Bekbulatov in pro.kafka
Alex
можно
настройки зависят от размера сообщений

опять же:
1) вы хотите это в один топик или в разные
2) размер сообщения (чтобы оценить сколько в байтах в секунду влетать будет и прикинуть конфигурацию дисковой подсистемы)
3) комитить после каждого сообщения или батчами

ну и тд
1. Логически это один топик, но можно и разделить при необходимости
2. В бинарном формате около 10 байт ожидается
3. Тут тоже можно подстроиться, вариант с батчами возможен
источник
18:04пожаловаться#16

A

Alex in pro.kafka
при сообщении в 10 байт батчи более чем желательны, иначе у вас будет оферхед на метаинфу на порядки больше самих сообщений
источник
18:05пожаловаться#17

RB

Ramzan Bekbulatov in pro.kafka
Alex
в общем случае кафка неплохо горизонтально скейлится количеством партиций
5 брокеров достаточно? Или стоит рассмотреть больше?

Можно кинуть в меня статьей, если есть)
источник
18:05пожаловаться#18

RB

Ramzan Bekbulatov in pro.kafka
Alex
при сообщении в 10 байт батчи более чем желательны, иначе у вас будет оферхед на метаинфу на порядки больше самих сообщений
Ага, согласен
источник
18:05пожаловаться#19

A

Alex in pro.kafka
5m*10*3 (репликафактор) = 150MB/s чистой инфы
по идее 5 должно быть с запасом
только я бы поиграслся с размером буфера на клиенте

само добавление сообщения во внутренний буфер на клиенте может в вашем случае быть проблемой на таком рейте
источник
18:09пожаловаться#20