Size: a a a

2020 November 19

VG

Vik Gamov in pro.kafka
Serg Gorelli
на последнем митапе ребята говорили, что у них 25 и 60 гигабит входящего в кафку трафика. Какой у них размер кластера можно узнать?
источник

RD

Roman Dmitriev in pro.kafka
Здравствуйте!
Столкнулись с такой проблемой.
На рабочем комплексе консьюмер не считывает сообщение из кафки - выдает ошибку :
Consumer error: Broker: message too large. Т.е. сообщение не считывается из кафки, потому что большое, но при этом нормально записывается в кафку. Само сообщение чуть меньше 1мб. Пробовали на тестовом комплексе воспроизвести-
С увеличением размера ключа, с увеличение размера данных в заголовках- но так и не смогли получить на стороне коньсьюмера ошибку большого сообщения.
Может ли быть такое, что сообщение которое пришло по размеру в кафку не смогло быть получено консьюмером, хотя настройки размера и там и там одинаковые?
источник

Y

Yuriy in pro.kafka
Roman Dmitriev
Здравствуйте!
Столкнулись с такой проблемой.
На рабочем комплексе консьюмер не считывает сообщение из кафки - выдает ошибку :
Consumer error: Broker: message too large. Т.е. сообщение не считывается из кафки, потому что большое, но при этом нормально записывается в кафку. Само сообщение чуть меньше 1мб. Пробовали на тестовом комплексе воспроизвести-
С увеличением размера ключа, с увеличение размера данных в заголовках- но так и не смогли получить на стороне коньсьюмера ошибку большого сообщения.
Может ли быть такое, что сообщение которое пришло по размеру в кафку не смогло быть получено консьюмером, хотя настройки размера и там и там одинаковые?
Всего существует 4 параметра (если не ошибаюсь) указывающие размер сообщения, они все установлены правильно?
источник

SG

Serg Gorelli in pro.kafka
Подскажите, если использовать JBOD, то при вылете одного диска весь брокер вылетит?
источник

RD

Roman Dmitriev in pro.kafka
Yuriy
Всего существует 4 параметра (если не ошибаюсь) указывающие размер сообщения, они все установлены правильно?
Настройки сервера Кафки не тюнили, все параметры по умолчанию.
На консьюмере параметры не изменяли.
На тестовом комплексе сообщение в ровно 1 мегабайт проходило.
Консьюмер -это либа librdkafka, которую использует клик Хаус.
источник

A

Anatoly in pro.kafka
Serg Gorelli
на последнем митапе ребята говорили, что у них 25 и 60 гигабит входящего в кафку трафика. Какой у них размер кластера можно узнать?
самый большой - 9 брокеров и 5 зк
источник

A

Anatoly in pro.kafka
стоят на 15к сасах по 100 терабайт каждый + 10gbit
источник

SG

Serg Gorelli in pro.kafka
Anatoly
самый большой - 9 брокеров и 5 зк
а retention какой?
источник

A

Anatoly in pro.kafka
2 недели
источник

SG

Serg Gorelli in pro.kafka
спасибо
источник

A

Anatoly in pro.kafka
а дальше все идет на хранение в кликхаусы
источник

SG

Serg Gorelli in pro.kafka
Anatoly
стоят на 15к сасах по 100 терабайт каждый + 10gbit
10г это входящий трафик или сетевуха? входящий трафик какой?
источник

СК

Слава Ксенз... in pro.kafka
а у вас 5 зк потому что вы в какой-то момент уперлись в зк?
источник

A

Anatoly in pro.kafka
Serg Gorelli
10г это входящий трафик или сетевуха? входящий трафик какой?
сетевые карты
входящий где-то 2-5gbit на каждую машину
источник

A

Anatoly in pro.kafka
Слава Ксенз
а у вас 5 зк потому что вы в какой-то момент уперлись в зк?
потому что во время maintenance кластер из 3 нод не такой надежный (одну ноду вывели из кластера на время работ, например, и в это время вторая упала)
источник

A

Anatoly in pro.kafka
а оверхед держать еще пару нод очень низкий, зк почти ничего не просит для кафки
источник

YK

Yurii Khmelevskii in pro.kafka
Vik Gamov
Из одного топика?
Ха, интересует оба случая :) Из одного топика и из разных.
Кстати, где можно почитать про best/bad practice использования Kafka
источник

Ц

Цонстантин in pro.kafka
источник

GK

Gregory Koshelev in pro.kafka
Какие-то космические цифры (последние две таблицы в результатах сравнения).
источник

ЮХ

Юра Ходырев... in pro.kafka
Да, бенчмарки такая интересная штука, можно подстроить конкретно под свою систему, что бы она была более выигрышная.
Что характерно, статья написана чуваками которые входят в Apache Pulsar
источник