IK
Нуу делать полный рефреш раз в предыдущего месяца
Но нам нужно гораздо чаще данные обновлять и видеть adjustments(( А даже раз в неделю обновлять всю таблицу в DWH как-то не очень хочется, это точно нормальная практика?)
Size: a a a
2020 April 17
IK
коннектор берёт только те данные, что есть в API, никакой доп. магии он не сделает. Разоритесь на фрилансера, который настроит вам нормальную выгрузку данных.
Так у нас есть целый отдел разработчиков для этого) Но в API гугла я не видел возможности получить информацию о сделанных эджастментах, а перезаписывать данные в DWH за весь период, чтобы отлавливать такие эджастментс, мне кажется не очень хорошей идеей
АП
не надо все данные перезаписывать разумеется. Есть такая вещь, называется CDC (change data capture), как раз для того, чтобы синхронизировать базы данных
IK
не надо все данные перезаписывать разумеется. Есть такая вещь, называется CDC (change data capture), как раз для того, чтобы синхронизировать базы данных
Но для этого же как минимум из гугл эдс надо все равно выгружать данные за весь период, сверять их с тем, что лежит в DWH, и обновлять измененные записи?
АП
Но для этого же как минимум из гугл эдс надо все равно выгружать данные за весь период, сверять их с тем, что лежит в DWH, и обновлять измененные записи?
ну да, с какого-то периода. Делаете область стейджинга, там сверяете две таблички - что поменялось, что удалилось, что новое и меняете боевую таблицу
IK
ну да, с какого-то периода. Делаете область стейджинга, там сверяете две таблички - что поменялось, что удалилось, что новое и меняете боевую таблицу
Вот я как раз не был уверен, что это хорошая идея) Спасибо за помощь, пойду разработчикам ставить задачу с уверенностью, что это хорошая практика))
OK
А как быть, если мне нужно собрать информацию с 3х аккаунтов в Google Ads и объединить ее? 🤔 Коннектор не позволяет выбрать >1 аккаунта, юнион для этого коннектора похоже недоступен, а в DWH складывать инфу не хочется, потому что гугл может обновить данные о кликах и спустя 90 дней и более, а какого-то аудита изменений в их API я не нашел((
Ну ещё можно паблишить из билдера экстракты на сервер через cli
EL
Olga Kolcheva
Ну ещё можно паблишить из билдера экстракты на сервер через cli
Ну их же надо создать и юнион сделать))
OK
Ну их же надо создать и юнион сделать))
Не понимаю в чем конфликт
EL
И желательно по расписанию
EL
В то что надо три экстракта сделать и юнион сделать им а затем напушить экстракты на сервер и повторять это по расписанию
Без кондуктора - это боль)
Без кондуктора - это боль)
OK
Или хочется делать трансформацию которая работает с опубликованными источниками как инпут узлом?
OK
В то что надо три экстракта сделать и юнион сделать им а затем напушить экстракты на сервер и повторять это по расписанию
Без кондуктора - это боль)
Без кондуктора - это боль)
Кронтаб и cli норм будут
EL
Olga Kolcheva
Кронтаб и cli норм будут
Ну человек хотел препом ())
EL
Без всякой магии
IK
В то что надо три экстракта сделать и юнион сделать им а затем напушить экстракты на сервер и повторять это по расписанию
Без кондуктора - это боль)
Без кондуктора - это боль)
Вот да, нечто такое нужно) На самом деле там еще и данные из DWH надо юнионить все равно (там инфа из Appsflyer и прочих систем), и я пытался понять, какой способ наиболее безкостыльный + удовлетворит требованиям наших безопасников
OK
Без всякой магии
Ну это можно
OK
Но если без магии дорого, то есть варианты)
EL
Olga Kolcheva
Но если без магии дорого, то есть варианты)
Не сомневаюсь))
OK
Не сомневаюсь))
Имхо для небольших технически подкованных команд я не вижу в этом большой беды