T
В одной?
Size: a a a
2021 April 21
Ж
Пока да
Ж
Вопрос о новых базах тоже рассматривается, потому что данные нужно записывать в dwh
Ж
Аккаунты для простоты это стринги эндпойнтов в базе с токенами. Нужно подключаться к каждому по отдельности, выкачивать дельты и закачивать все в dwh
e
CDC ?
Ж
Вопрос чем лучше cdc делать
e
отсюда не видно
e
база на чем ?
Ж
База с аккаунтами в редисе и монго
Ж
Спасибо. Изучу
D
слушайте, вот тут много говорят что хадуп не модно, модно облака. у нас тут вырисовываются планы перевезти хадуп на azure hdinside, но я особо не вижу вариантов пускать спарк без хадупа. spark on k8s эксперементальный, synapse - дорогой комбайн, с мутным огрызком от рдбмс в довесок. разве, что датабрикс остается, но ценник видимо убьет наповал.
какие еще варианты у азура spark пускать ?
какие еще варианты у азура spark пускать ?
ПБ
spark on k8s с 3 версии флаг сняли
D
у ванилы может быть, в азуре он эксперементальный. ну и нет там дата локалити + тарифицируются транзакции к adls
D
у кого-то есть что-то масштабное и энтерпрайзное на spark k8s ? сомневаюсь. разорит же
ЕГ
Спарк 3 версии сам по себе экспериментальный)
ИК
но в продакшен его уже тащат
ЕГ
Если кто-то уже дотащил - не было ли у вас проблем с шафл трекером?