Size: a a a

2020 December 11

A

Aleksey in Data Engineers
Алексей
Коллеги, подскажите по DataVault, есть желание его применять, но боюсь начинать. Есть на входе в staging слое сотни таблиц, если их все преобразовывать, то они превратятся в тысячи. Как вы делаете? Весь staging преобразовывается в серебряном слое к datavault модели или только избранные, нужные сущности?
Можно накидать небольшой конструктор, который за вас сделает эти таблички и может даже ETL (например как у wherescape). У нас было > 10К таблиц + вьюхи поверх каждой, итого было >25К таблиц и вьюх на всех слоях. Главное, чтобы вы потом не «заблудились» в ваших данных, поэтому подумайте над дата каталогом
источник

А

Алексей in Data Engineers
Спасибо, думаю, вариант постепенного подтягивания silver слоя под отчеты более прост.
источник

А

Алексей in Data Engineers
Как потом только других заставить пользоваться этими таблицами.. Но это уже не технический вопрос
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Anton Zadorozhniy
Только те которые будут нужны в витринах и модельках
И для ad-hoc
источник

AZ

Anton Zadorozhniy in Data Engineers
Алексей
Как потом только других заставить пользоваться этими таблицами.. Но это уже не технический вопрос
Через логические или физические витрины, напрямую в ДВ ходят только аналитики которые эти витрины разрабатывают (ну или очень дотошные бизнеса)
источник

AZ

Anton Zadorozhniy in Data Engineers
В терминологии databricks это будут витрины gold слоя
источник

AZ

Anton Zadorozhniy in Data Engineers
Как вариант подумайте просто над своей нормализованной моделью, дата волт всё-таки очень специфичный подход, вот для вдохновления кое-какая критика https://timi.eu/blog/data-vaulting-from-a-bad-idea-to-inefficient-implementation/
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Ну вот на смартдате яндекс рассказали же про свой гибрид, довольно интересное решение
источник

MP

Md Palash in Data Engineers
Good night
источник

R

Ruslan in Data Engineers
привет, ребята. совсем недавно начал осваивать R, пишу простой скрипт, но не могу получить нужный результат. может кто-нибудь помочь?
источник

DZ

Dmitry Zuev in Data Engineers
Могу, не пиши на р
источник

A

Alex in Data Engineers
Cobol наше всё
источник

DZ

Dmitry Zuev in Data Engineers
С Питоном всё проще. Язык проще, комьюнити больше
источник

R

Roman in Data Engineers
Ruslan
привет, ребята. совсем недавно начал осваивать R, пишу простой скрипт, но не могу получить нужный результат. может кто-нибудь помочь?
В rstudio можно же дебажить - не помогает?
источник

R

Ruslan in Data Engineers
наверное, помогает, но я совсем нуб
источник

R

Roman in Data Engineers
Ну начни с того, чтобы разобраться как дебажить в rstudio. Инфы в интернетах много. А лучше пройди курс по r, на курсере есть много, я проходил парочку, были норм.
А совсем лучше перейди на пайтон
источник

N

Nikita Blagodarnyy in Data Engineers
Dmitry Zuev
С Питоном всё проще. Язык проще, комьюнити больше
мастадонты говорят, что в сатанизме овердохуя вещей работает в р в разы быстрее чем в пыхтоне.
источник

DZ

Dmitry Zuev in Data Engineers
Nikita Blagodarnyy
мастадонты говорят, что в сатанизме овердохуя вещей работает в р в разы быстрее чем в пыхтоне.
Может быть, но язык специфический, работы меньше чем на питоне, коммьюнити хз
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
мастадонты говорят, что в сатанизме овердохуя вещей работает в р в разы быстрее чем в пыхтоне.
и рстудио с шайни просто нереально круты, аналогов в питоне нет
источник

R

Roman in Data Engineers
Да, шайни - это прям топчик.
источник