Э
Size: a a a
2020 December 14
AB
что, если partition offset превысит максимально значение?
учитывая, что offset хранится в 64 битном целом числе, максимальный оффсет будет равен 9,223,372,036,854,775,807. Пусть сообщение будет занимать даже 1 байт, получается тебе надо будет прогнать экзабайты данных. Не думаю, что стоит беспокоиться об этом кейсе в ближайшие несколько лет;
AB
В экзабайте 1_000_000 террабайт, если я не ошибаюсь)
GK
В крайнем случае можно будет завести ещё один топик 😉
2020 December 15
AU
Коллеги, вопрос может быть глупый, но подскажите плиз. Множество коннекторов может использовать общие
status.storage.topic, config.storage.topic, offset.storage.topic ?VG
Коллеги, вопрос может быть глупый, но подскажите плиз. Множество коннекторов может использовать общие
status.storage.topic, config.storage.topic, offset.storage.topic ?Если они бегут внутри одного коннект кластера
AU
Ок, спасибо
AU
Еще вопрос. Если на дев-стендах из-за большого кол-ва партишнов кафка потребляет значительные CPU ресурсы, то это как-то решаемо? Для продакшна это будет нормально и оправдано, а для дев стенда хочется что-то придумать чтобы на микро-до-нулевых нагрузках оно было бы адекватно. И не переделывать архитектуру системы.
A
Еще вопрос. Если на дев-стендах из-за большого кол-ва партишнов кафка потребляет значительные CPU ресурсы, то это как-то решаемо? Для продакшна это будет нормально и оправдано, а для дев стенда хочется что-то придумать чтобы на микро-до-нулевых нагрузках оно было бы адекватно. И не переделывать архитектуру системы.
скорей всего дело не в количестве партиций. Сколько их у вас?
ЮХ
AU
около 750 * репликейшн фактор = 3 на дев стенд. Стендов несколько. По AWS расценкам это 1 t3.large брокер это 300 партишнов. На практике там живет 500-700 норм, но все равно на пустой дев стенд 3 брокера это жирновато.
A
У меня по этому есть тоже небольшая непонятка.
Условно коннект кластер один, то есть 2 ноды имеют одинаковый group.id.
Нужно ли
Условно коннект кластер один, то есть 2 ноды имеют одинаковый group.id.
Нужно ли
config.storage.topic выставлять количество партиций > 1?У меня вот так
offset.storage.topic=connect-offsets
offset.storage.replication.factor=2
offset.storage.partitions=25
config.storage.topic=connect-configs
config.storage.replication.factor=2
config.storage.partitions=1
status.storage.topic=connect-status
status.storage.replication.factor=2
status.storage.partitions=5
offset.storage.topic=connect-offsets
offset.storage.replication.factor=2
offset.storage.partitions=25
config.storage.topic=connect-configs
config.storage.replication.factor=2
config.storage.partitions=1
status.storage.topic=connect-status
status.storage.replication.factor=2
status.storage.partitions=5
A
около 750 * репликейшн фактор = 3 на дев стенд. Стендов несколько. По AWS расценкам это 1 t3.large брокер это 300 партишнов. На практике там живет 500-700 норм, но все равно на пустой дев стенд 3 брокера это жирновато.
а это на практике такие результаты? Я вообще не заметил разницу по CPU между 1000 партиций и 10.
AU
Andrey
а это на практике такие результаты? Я вообще не заметил разницу по CPU между 1000 партиций и 10.
на практике оно самуничтожается при примерно 1000 партициями. Там не совсем нооль нагрузка, там летают пинги с интервалами типа раз в 10-15 секунд. Однако это все ж все равно должна быть какая-то пренебрежимо малая
AU
но может быть что-то упускаю из вида и надо смотреть
A
ну это надо ставить мониторинг нормальный и смотреть где конкретно затык, так гадать долго можно
A
а используется свой кластер или амазоновская кафка?