A
Это, вроде, для синка, или я ошибаюсь? Мне такое для сорс коннектора нужно провернуть
Jdbc или cdc?
Size: a a a
2020 December 30
PF
Jdbc или cdc?
jdbc
A
jdbc
Т.е. нужно чтобы не заливался снэпшот таблицы а просто сразу инкремент читался?
PF
Т.е. нужно чтобы не заливался снэпшот таблицы а просто сразу инкремент читался?
Да, именно, начинал переливать в кафку все то, что появится в базе ПОСЛЕ создания коннектора
A
Да, именно, начинал переливать в кафку все то, что появится в базе ПОСЛЕ создания коннектора
А что если в connect-offsets вставить соответвующий коннектору ключ чтобы он подумал что запускается уже не впервые? Время следующего инкремента он вычислит по timestamp
PF
А что если в connect-offsets вставить соответвующий коннектору ключ чтобы он подумал что запускается уже не впервые? Время следующего инкремента он вычислит по timestamp
В таблице нет поля таймстемпов, поэтому могу использовать только поля офсетов (они как-раз есть)
A
В таблице нет поля таймстемпов, поэтому могу использовать только поля офсетов (они как-раз есть)
А почему нельзя просто написать ограничение в sql запросе которое отсечет имеющиеся данные по оффсету?
PF
А почему нельзя просто написать ограничение в sql запросе которое отсечет имеющиеся данные по оффсету?
Актуальный офсет неизвестен на момент создания коннектора)
2021 January 03
N
Кто знает.прсветите почему в кафке нельзя создать условный миллион топиков . В какой предел ( узкое место ) мы упирается в этом случае.
N
Nikolay
Кто знает.прсветите почему в кафке нельзя создать условный миллион топиков . В какой предел ( узкое место ) мы упирается в этом случае.
первая самая банальная проблема - это выделение ресурсов на диске под хранение данных в партиции, для этого создается файл фиксированного размера (можно настаривать), даже если ужать его до 1МБ и по 1 партиции на топик, то это уже 1Тб зарезервированного места. Плюс открытые дескрипторы на каждую партицию (сам лог и индекс)
N
Потом собсна в дело идет внутрянка, за которую особо не скажу, но кафка начинает достаточно ощутимо жрать память при создании большого количества топиков (тут может кто-то детально подскажет почему так происходит)
И напоследок приятным бонусом идет перезапуск такого брокера, где он после запуска должен проверить корректность всех крайних датафайлов каждой принадлежащей ему партиции
И напоследок приятным бонусом идет перезапуск такого брокера, где он после запуска должен проверить корректность всех крайних датафайлов каждой принадлежащей ему партиции
PD
Ну, больше 100k партиций уже нужно проверять и тестировать особенно тщательно.
PD
Есть статья про 200k партиций.
PD
Yuriy
Топики - это именованная группа партиций.
Не более 4 партиций per broker
Не более 200к партиций per cluster
Не более 4 партиций per broker
Не более 200к партиций per cluster
4k per broker или 4 ровно?
Y
Не более 4000, рекомендуют на брокер
Y
Ну вот вопрос, активных партиций или всего
Y
Есть же топики, которые не используются например