Да куча примеров а Gamov.dev/Tutorials

там все туториалы с композом

Благодарю) сейчас чекну

Работаем для вас ©️

гайз, а подскажите, если Leader: -1 при kafka-topics.sh *** --describe, что эт значит? При том, что репликейшн фактор 1

Брокер на котором хранилась партиция не доступен, скорее всего

Фактор реплик 1, говорит о том, что реплицированных партиций не будет на других брокерах

Добрый день! Внезапная задачка :)
Дано: +-10000 устройств, каждое генерит данные (1 сообщение в минуту, предположим). Есть мноого консьюмеров, которые должны иметь доступ каждый к определенному набору вышеописанных устройств
Вопрос: корректно ли иметь овер 10000 топиков под каждое устройство, или можно поступить иначе?

Заранее спасибо! :з

почему не писать в 1 топик, просто в каждом сообщ знать от какого устройства?

Верный способ заиметь кучу проблем.

опять же, с ростом устройсвт, колво топиков растёт, и это....ух

Отлично! Задача решена. А теперь версия это задачи со звездочкой. Что если каждое устройство генерит данные каждую секундочку? Консьюмер должен валидировать абсолютно каждое сообщение, что будет крайне медленно

10к req/s
сделайте 10 партиций
партишен кей строится на основе номера устройства
10 читателей по 1k req/s

можно сделать промежуточный топик - типа гетвей топик
в него пишутся все сообщения
а потом обработчик раскидывает сообщения по нужным топикам из которых читают консюмеры

Ага, ясненько

Спасибо, вроде появилась мысля

Если не сложно, не могли бы рассказать, какие проблемы бы меня подстерегали? Очень интересно :з

У вас 10000 устройств, вы хотите сделать 10000 топиков на каждое устройство. И того 100 000 000 топиков. Плюс наверняка фактор репликации > 1. Т.е. х2 или того круче х3. Каждый топик, если даже будет по одной партии это открытый файловый дескриптор на данные + на индекс + консьюмеров даже не знаю сколько. Чтобы это более-менее вообще шевелилось вам потребуется очень жирный кластер с мощной быстрой дисковой подсистемой.

И если честно, я даже не знаю тянет ли кафка 100 000 000 топиков

Ненене, одно устройство - один топик :)

Напишу тестики что-бы посмотреть как 10000 топиков на производительность влияют