К
тут такое дело. ETL из базы в базу дело НЕБЫСТРОЕ
Што такое етл?
Size: a a a
2019 July 04
AS
ты предлагаешь реплику со слейва?
Я вообще не вижу проблем в репликации со слейва для аналитики. Она по определению не есть рантайм-задача, а это значит, что отставание в репликации не играет серьёзной роли (ну, если только оно не в часах измеряется).
AS
Extract, Transform, Load.
СХ
смотри в чем беда - у тебя ETL на выгрузку очень сильно нагружает БД
так не проще в спарк етл перенести?
Ms
xargs жэ
К
так не проще в спарк етл перенести?
Зочем?
К
А тогда ладно
ИП
Я вообще не вижу проблем в репликации со слейва для аналитики. Она по определению не есть рантайм-задача, а это значит, что отставание в репликации не играет серьёзной роли (ну, если только оно не в часах измеряется).
смотри, с чем я сталкивался - ETL очень сильно грузит что мастер, что слейв. Его можно осуществлять только в ночное технологическое окно. И на больших обьемах у вас не хватает окна
К
смотри, с чем я сталкивался - ETL очень сильно грузит что мастер, что слейв. Его можно осуществлять только в ночное технологическое окно. И на больших обьемах у вас не хватает окна
Мастер слейв же
К
ИП
потом как завершлась выгруза, началась загрузка, потом строится куб
AS
смотри, с чем я сталкивался - ETL очень сильно грузит что мастер, что слейв. Его можно осуществлять только в ночное технологическое окно. И на больших обьемах у вас не хватает окна
Если у вас не хватает окна, и вы живёте на Одном Большом Сервере, у вас проблемы не с аналитикой, а с проектом вообще
К
Читай из слейв базы для оналитики
AS
Читай из слейв базы для оналитики
Ну дык.
СХ
Зочем?
затем что ему это проще делать чем mssql, он быстро вытаскивает данные в удобном для mssql oltp? а потом их обрабатывает уже
ИП
Ну дык.
слейв не успевает читать лог и делать etl одновременно!
AS
слейв не успевает читать лог и делать etl одновременно!
А, так это - самая лучшая в мире СУБД MSSQL?
ak
затем что ему это проще делать чем mssql, он быстро вытаскивает данные в удобном для mssql oltp? а потом их обрабатывает уже
мсскл прекрасно умеет в олапы
AS
Ой-ой.
ak
реплики достаточно