M
ребят, писали ли вы какие- либо DSL для data quality
Слишком общий вопрос какой-то, вопрос в способе описания конфига? На чём DSL написан должен быть? в каком формате данные для валидации поступают? и тд и тп
Size: a a a
2019 October 16
DZ
так писали или нет?
K
Слишком общий вопрос какой-то, вопрос в способе описания конфига? На чём DSL написан должен быть? в каком формате данные для валидации поступают? и тд и тп
gнет требований, хочу дать возможность пользователям удобно описать правила бизнес валидации , ну тоесть какой-то конфиг, но с поддержкой валидации nested полей
M
gнет требований, хочу дать возможность пользователям удобно описать правила бизнес валидации , ну тоесть какой-то конфиг, но с поддержкой валидации nested полей
Ну я описывал бизнес рулы через HOCON
K
Ну я описывал бизнес рулы через HOCON
вот я тоже думаю,есть пример?
K
меня даже не конкретная реализация интересует
PK
gнет требований, хочу дать возможность пользователям удобно описать правила бизнес валидации , ну тоесть какой-то конфиг, но с поддержкой валидации nested полей
Nested поля - шняга. Хочешь дата квалити, делай плоские таблицы
M
Nested поля - шняга. Хочешь дата квалити, делай плоские таблицы
он про конфиг, а не про то как данные лежат
K
Nested поля - шняга. Хочешь дата квалити, делай плоские таблицы
это скрыто от пользователя
M
вот я тоже думаю,есть пример?
так он полностью domain-specific, это же DSL
M
описывешь как требуется и всё
O
коллеги, какие варианты сбора логов ярна есть кроме елк?
AZ
коллеги, какие варианты сбора логов ярна есть кроме елк?
Fluentd + что хочешь для хранения и просмотра
ЛР
gнет требований, хочу дать возможность пользователям удобно описать правила бизнес валидации , ну тоесть какой-то конфиг, но с поддержкой валидации nested полей
На эту тему есть интересная поделка у амазон https://aws.amazon.com/ru/blogs/big-data/test-data-quality-at-scale-with-deequ/
K
На эту тему есть интересная поделка у амазон https://aws.amazon.com/ru/blogs/big-data/test-data-quality-at-scale-with-deequ/
Это уже под капотом у меня
ЛР
Это уже под капотом у меня
Огонь. А в чем проблема дать инструмент пользователям ?
VE
У меня конечно предвзятое отношоние по теме DQ, но как у вас пользователи работают с правилами? Как их ищут и реиспользуют?
VE
Amazon Deequ это конечно хорошо пока у вас очень мало правил и аналитиков, но это конечно не далеко ушло от хранения правил в экселе в виде SQL query
ЛР
Amazon Deequ это конечно хорошо пока у вас очень мало правил и аналитиков, но это конечно не далеко ушло от хранения правил в экселе в виде SQL query
Вся магия не в правилах и где их хранить а в наличии владельцев данных и методологий
VE
Владельцы данных у разных систем разные, а правила очень часто бывают одинаковыми. Есть оракл, хадуп и клауд, например, часто это разные люди