e
Народ, подскажите какой лучше способ использовать для CDC из реляционной базы. Timestamp + фильтр ? Есть ли более продвинутые методы ?
Size: a a a
2020 December 17
А
redo log
AZ
Смотря какие требования, какая база, сколько денег.. лог майнеры дают сами низкий оверхед на базу, самую маленькую задержку, но сложнее архитектурно, операционно, лицензии не из дешевых
N
Ну дебезиум вроде бесплатный.
N
И куски стримсета тоже.
AZ
Хотя нет, наверное BCV это самый низкий оверхед (его нет), но там с задержками похуже
N
И куски стримсета тоже.
Работает правда тоже не как голден гейт.
AZ
Поэтому и зависит какая база, дебезиум для разных СУБД разное умеет, ну и архитектурная и операционная сложность никуда не девается
N
А в чем оверхед чтения архив логов с отдельного тома?
AZ
А в чем оверхед чтения архив логов с отдельного тома?
Если это активный том под базой, и туда она продолжает писать во время чтения лога - конкуренция за ресурсы
AZ
Про разомкнутые тома (BCV) я написал выше
AZ
Ну и потом если ваш CDC не поддерживает DDL (как дебезиум для оракла) - надо как-то его ещё доставать
А
cdc для оракла требует еще базовую лицензию GG
A
Page cache, но это не делает чтение индексным, это все равно скан
скан то скан, но там же внутри паркета тоже по страницам разбито и тот же min/max по колонке хранится отдельно, поэтому многие страницы можно будет пропускать
AZ
скан то скан, но там же внутри паркета тоже по страницам разбито и тот же min/max по колонке хранится отдельно, поэтому многие страницы можно будет пропускать
я писал что pdo + partition elimination есть конечно, но это все равно скан
A
да, всё равно скан, пускай и с пропусками
A
индексов внутри нету, они только вроде в carbon data из таких форматов присутсвуют
A
вот тут сразу и вопрос:
кто-либо пробовал этот carbon data в продакшене?
https://carbondata.apache.org/
кто-либо пробовал этот carbon data в продакшене?
https://carbondata.apache.org/
AZ
в куду вот есть primary key index, но мы все знаем где куду, хнык
AZ
вторичные индексы в аналитике вообще редкость, вендорам сложно обосновать всю эту машинерию для редких кейсов, вон в snowflake например нет индексов