Size: a a a

Архитектура данных

2019 July 04

AU

Alexander Utyugov in Архитектура данных
Dmitry Simonov
Коллеги! А кто-то занимался аналитическими системами? Там вообще есть понятие при ETL для зон с "грязной" информаций и "чистой"? Я имею в виду не столько разделение raw данных и структурированных, сколько модерацию полученной информации.
Этим отдельный класс cистем занимается. Data Quality (DQ) и Master Data Managment (MDM).
Или же можно развивать сильно часть Transform (в ETL) - тогда лучше делить stage и "чистые данные"
Но на ETL сложно делать объединение данных из нескольких систем.  Когда аналитику строят на данных из нескольких источников часто строят связку MDM+DQ.
источник

DS

Dmitry Simonov in Архитектура данных
Alexander Utyugov
Этим отдельный класс cистем занимается. Data Quality (DQ) и Master Data Managment (MDM).
Или же можно развивать сильно часть Transform (в ETL) - тогда лучше делить stage и "чистые данные"
Но на ETL сложно делать объединение данных из нескольких систем.  Когда аналитику строят на данных из нескольких источников часто строят связку MDM+DQ.
Спасибочки 🙏
источник
2019 July 05

KG

Kirill Gorin in Архитектура данных
Этот канал в основном состоит из данных. Данных тех кто сюда входит.
источник

RK

Roman Kolchin in Архитектура данных
Kirill Gorin
Этот канал в основном состоит из данных. Данных тех кто сюда входит.
Это не канал, а группа. Сюда писать надо, а не только читать. Welcome.
источник

KG

Kirill Gorin in Архитектура данных
меня это не канал
источник

A

Artem in Архитектура данных
Ща нальём тут небольшой Дата Лейк
источник

KG

Kirill Gorin in Архитектура данных
Artem
Ща нальём тут небольшой Дата Лейк
главное не под себя
источник

PG

Paul Golubev in Архитектура данных
Это подразумевалось как площадка для общения по архитектуре данных. На самом деле достаточно много людей испытывает проблемы, когда им говорят - а давайте теперь построим хранилище. Как построить, чем, по какому шаблону, какие правила? Какие тенденции в мире происходят? Но наверно таких мало, все уже все знают, и обсуждать нечего:)
источник

IV

Ivan Volovodov in Архитектура данных
Paul Golubev
Это подразумевалось как площадка для общения по архитектуре данных. На самом деле достаточно много людей испытывает проблемы, когда им говорят - а давайте теперь построим хранилище. Как построить, чем, по какому шаблону, какие правила? Какие тенденции в мире происходят? Но наверно таких мало, все уже все знают, и обсуждать нечего:)
Знаний мало не бывает! Здесь редко пишут, но я читаю с интересом) Спасибо за группу 👍🏻
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Paul Golubev
Это подразумевалось как площадка для общения по архитектуре данных. На самом деле достаточно много людей испытывает проблемы, когда им говорят - а давайте теперь построим хранилище. Как построить, чем, по какому шаблону, какие правила? Какие тенденции в мире происходят? Но наверно таких мало, все уже все знают, и обсуждать нечего:)
Кейс целиком упирается в средства и уже существующее у компании
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Ну и множество требований, начиная от источников и заканчивая sla, dq, dg
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Ах да, еще в команду разработки конечно 😬
источник

CO

Chern Oleksander in Архитектура данных
А что скажите по поводу создание идеальной бд для геймдев компании?
источник

CO

Chern Oleksander in Архитектура данных
источник

CO

Chern Oleksander in Архитектура данных
Хочу создать nosql+rdbms скоро буду писать uml, кому-то интересно?
источник

KG

Kirill Gorin in Архитектура данных
а что такое идеальная бд для геймдев компаний?
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Написать свой кх наверно
источник

V

Valery in Архитектура данных
Звучит как собераемся изобретать колесо
источник

CO

Chern Oleksander in Архитектура данных
Valery
Звучит как собераемся изобретать колесо
А какие есть варианты, скажите хоть одну бд которая сама может создать всю архитектуру реляционке. Буду благодарен
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
таких вариантов нет
источник