АБ
Смотря что считать нормальным.
Согласен. Именно так будет после добавления новых партиций
Size: a a a
2019 November 05
GK
Те новые сообщения, которые попадут в новые партиции - будут обработаны быстрее.
GK
Это просто нужно иметь ввиду.
MR
Коллеги, приветсвую!
Какую латентность вам удалось добиться?
Я системный аналитик, с кафкой пока не сталкивался. У моих коллег мнение, что ~100мс, что для нас много.
Какую латентность вам удалось добиться?
Я системный аналитик, с кафкой пока не сталкивался. У моих коллег мнение, что ~100мс, что для нас много.
GK
К слову. После того, как все события будут вычитаны, можно будет уменьшить количество консьюмеров.
GK
Коллеги, приветсвую!
Какую латентность вам удалось добиться?
Я системный аналитик, с кафкой пока не сталкивался. У моих коллег мнение, что ~100мс, что для нас много.
Какую латентность вам удалось добиться?
Я системный аналитик, с кафкой пока не сталкивался. У моих коллег мнение, что ~100мс, что для нас много.
Добрый день (вечер). Латентность напрямую зависит от стабильности канала между кафками и приложениями. И от настроек.
MR
Интересует минимальная в проде, реальном продукте.
GK
Допустим,
50мс.MR
Хотелось бы статьи на эту тему. Или общая про производительности.
GK
И о каком latency мы говорим? Между Producer и Broker? Между Broker и Consumer? Между Producer и Consumer?
A
MR
благодарю
AR
Доброго всем времени суток.
Использует ли кто кафка коннект с debezium mysql connector?
Использует ли кто кафка коннект с debezium mysql connector?
AR
Столкнулся с такой проблемой. При первом запуске коннектора он делает снапшот данных в БД. На больших (25М+ записей) таблицах после снятия снапшота, падает с сообщением о несуществующих оффсетах в бинлогах.
Есть подозрение, что пока делается снапшот (40-50 минут) бинлоги уже успевают почиститься
Есть подозрение, что пока делается снапшот (40-50 минут) бинлоги уже успевают почиститься
AS
дык а случайно эта штука не в compacted топик должна писать?
2019 November 06
TH
правила выбора кол-во partitions https://www.confluent.io/blog/how-choose-number-topics-partitions-kafka-cluster
TH
для тех, кому нужно
AS
О, спасибо, как раз в тему!
BT
Никто не видел сравнения kafka и rocketmq? https://rocketmq.apache.org/docs/motivation/
SB
Прочитал статейку, по поводу гарантии очередности сообщений в партиции. max.in.flight.requests.per.connection=1 решеает проблему нарушения порядка в случае ретраев, но снижает пропускную способность. И как решение предлагается выставить такие настройки:
You can also set enable.idempotence=true without the need to decreasing max.in.flight.requests.per.connection but you need to adjust other settings according to documentation:
Note that enabling idempotence requires max.in.flight.requests.per.connection to be less than or equal to 5, retries to be greater than 0 and acks must be ‘all’.