говорили что где-то посередине проблемы были

где-то в Европе

Класс...

Не странно, кто знает, как они там экспериментируют

Привет всем. Есть такая задачка. База на MS SQL Enterprise, Очень большая и Очень нагруженная и Очень legacy. Нужно из десяточка-другого таблиц забирать изменения ASAP и с минимальным latency (борьба за десятки ms) выгружать ну-хоть-куда-нибудь, лишь бы за границу БД. Ну, например в Kafka. Базисты уверяют, что решения на основе встроенного CDC (типа Debezium) сильно (неприемлемо) тормозят и дают большое добавочное latency. Какие есть альтернативы?

Никаких. Добавлям реплику и цепляем CDC к реплике.

А быстро надо, чтобы меньше трогать таблички, или также быстроткуда-то передать?

CDC,ETL и даже отчёты (OLAP-Like запросы) нужно на репликах запускать, иначе почти всегда будет непредсказуемая нагрузка на операционные базы.
Или базисты что-то другое имеют ввиду? Debezium работает

Можно из транзакшн лога забирать

Насколько я помню, Debezium не всё может из лога.

Debezium не один, для Оракла есть Golden Gate, он умеет в Кафку. Из открытых, альтернатив Debezium на поверхности не видно

Быстро надо, потому что бизнес-критично-ценна скорость дальнейшей обработки и доставки этих изменений и расчетов на их основе.

Кто это умеет, и что там с latency? Дайте наводку, плиз. Мне казалось, что Debezium только из родного CDC умеет.

Про debezium мне тоже так казалось.
Про читалки лога на ms sql,  увы не наведу. Мы на db2 пропагатором когда-то делали, но он только db2шный

Вот что говорит гугл: https://docs.confluent.io/kafka-connect-cdc-mssql/current/index.html

https://docs.microsoft.com/en-us/sql/relational-databases/track-changes/about-change-tracking-sql-server

Иными словами, стоить поискать альтернативы Debezium именно для MS SQL

Но ссылки выше - это Debezium)

@IgorBespalchuk надо разбираться с Change Tracking в первую очередь

И да, у Debezium очень специфичные коннекторы к разным СУБД и нужно с каждым разбираться в деталях

А Debezium корректно хоть для какой-то БД работает?
Последний раз, как смотрел - это было что-то категорически не для продакшена

И базистам верить нельзя, нужно чтобы они детально расписали, почему именно и что тормозит. И потом разбираться либо самому, либо экспертов привлекать

Да ты знаешь, зависит от кейсов. Если можно что-то потерять, например если это не критично для задач аналитики, то почему бы и нет. Но вообще, работает. Думаю, нужно просто больше времени потратить, чтобы запустить его