N
Сейчас базы на одном инстанс уже по 20к комитетов в секунду выдают на ssd дисках. У меня сомнения ,что Кафка вообще вызывает fsync при коммите , а не полагается на durability через репликацию
Size: a a a
2020 September 13
nn
так вам надо не частотоу коммитов выставлять, а время на полинг и максимальный размер буфера уменьшить
это да у меня просто обработка сообщений происходит асинхронно (порядок гарантируется) и я вот думаю
мне ждать пока они все обработаются или можно кусками коммитить
а пулинг и буффер я побольше делаю
мне ждать пока они все обработаются или можно кусками коммитить
а пулинг и буффер я побольше делаю
nn
@true_teamlead ну вроде не смертельные цифры.
Вообще нужно учитывать следующий момент с комитами: в одной консумер группе все коммит реквесты отправляются на одно ноду брокера, если скажем у тебя три сервера кафки и рэйт сообщеений 1000 в секунду и ты коитишь по одному мессджу, то есть имеешь те же самы 1000 комитов в секунду то у тебя возникнет следующий дисбаланс в нагрузке на брокеров:
месаджи распределятся скорее всего равномерно по 333 на брокер, но один из брокеров будет обрабатывать 1000 комитов
Вообще нужно учитывать следующий момент с комитами: в одной консумер группе все коммит реквесты отправляются на одно ноду брокера, если скажем у тебя три сервера кафки и рэйт сообщеений 1000 в секунду и ты коитишь по одному мессджу, то есть имеешь те же самы 1000 комитов в секунду то у тебя возникнет следующий дисбаланс в нагрузке на брокеров:
месаджи распределятся скорее всего равномерно по 333 на брокер, но один из брокеров будет обрабатывать 1000 комитов
Спасибо! примерно это и хотел узнать
N
Может настройка такая есть?
ага. успел вот посмотреть, что ест настройки - когда вызывать fsync. Например flush.messages, но похоже, что как и в редисе на каждый коммит не вызывается он, а вот переодически по времени или количеству и условный commit должен быть очень легкий. завтра посмотрю внимательнее
2020 September 14
PS
??? :(
VG
Всем привет. Кто нибудь настраивал одновременную работу basic и oauth аутентификации на kafka? Или любую другую комбинацию с oauth?
A
Поясните пожалуйста смысл синхроного подхода request-reply для Kafka? Какой профит от этого по сравнению с обычным REST?
A
Описано как можно сделать тут https://callistaenterprise.se/blogg/teknik/2018/10/26/synchronous-request-reply-over-kafka/.
Но толком не написано зачем
Но толком не написано зачем
A
мне кажется это не синхронный запрос по настоящему
просто при приходе ответа, он найдет колбек и выполнит его
просто при приходе ответа, он найдет колбек и выполнит его
Просто у него пример простой. По факту будет делаться join и получится сихронный запрос. Спрашиваю, потому что в тек. проекте так построено общение с кафкой. Хочется понять что руководило автором принять такое решение
ЮН
Всем привет)
Кто-то сталкивался с ошибкой:
The size of the current ISR Set(0) is insufficient to satisfy the min.isr requirement of 2 for partition...?
Кто-то сталкивался с ошибкой:
The size of the current ISR Set(0) is insufficient to satisfy the min.isr requirement of 2 for partition...?
S
Всем привет)
Кто-то сталкивался с ошибкой:
The size of the current ISR Set(0) is insufficient to satisfy the min.isr requirement of 2 for partition...?
Кто-то сталкивался с ошибкой:
The size of the current ISR Set(0) is insufficient to satisfy the min.isr requirement of 2 for partition...?
Проверьте min.insync.replicas на кластере и сравните с replication factor на топике. Первое число не должно быть больше второго.
ЮН
Спасибо проверю
2020 September 15
VG
Все привет. Гуру Kafka Connect и ksql, подскажите по лицензиям. Могу ли я использовать их на кластере в проде с Community License? Когда-то давно пробовал, ещё до скандала с амазоном и тогда не работало больше, чем на одной ноде. Как сейчас? Читал FAQ - там вода.
Какой коннектор?