VE
а как часто встречаются такие зарегулированные системы? Это как то програмно ограничивается или просто best practice?
Size: a a a
2019 November 07
AZ
Либо эта директория часть пайплайна который прошёл по CD, либо это где-то в песочнице, где время жизни ограниченно и все аудируется
AZ
а как часто встречаются такие зарегулированные системы? Это как то програмно ограничивается или просто best practice?
В моей практике часто 😭
ME
А подскажите, как с точки зрения data governance в амазоне строить даталейк? Кроме Lake Formation что там ещё используется?
VE
А подскажите, как с точки зрения data governance в амазоне строить даталейк? Кроме Lake Formation что там ещё используется?
Да куча всего, или интересует именно нативный AWS?
АЖ
а как часто встречаются такие зарегулированные системы? Это как то програмно ограничивается или просто best practice?
настроить-то просто, а вот чтобы руки сами себя били, придется полюбить керберос
ME
Да куча всего, или интересует именно нативный AWS?
да. Уже есть какое-то подобие даталейка в S3, есть Glue каталоги, с ними работает афина, спарк джобы. Хочется всё это сделать красиво, по феншую)
ME
Но не совсем понятно, куда копать. Lake Formation вроде поможет зарулить права к таблицам и колонкам этих таблиц, а вот всё остальное как организовать - не совсем понятно
N
все дата ассеты должны быть задокументированы гдет, и постоянно проверяться а не появилось ли там PII информация
Вы таким путем до датастьюардов дойдете с владельцами информации и прочим DAMA DMBOK.
AZ
Но не совсем понятно, куда копать. Lake Formation вроде поможет зарулить права к таблицам и колонкам этих таблиц, а вот всё остальное как организовать - не совсем понятно
я для клиента написал сервис который интегрируется с датакаталогами и генерирует политики для IAM, но это на уровне бакет/директория с EMRFS, колоночных или построчных политик там нет
VE
Вы таким путем до датастьюардов дойдете с владельцами информации и прочим DAMA DMBOK.
конечно, мы на этом бизнес и строим :)
N
И как? Много желающих выстраивается в очередь быть владельцами информации?
ME
я для клиента написал сервис который интегрируется с датакаталогами и генерирует политики для IAM, но это на уровне бакет/директория с EMRFS, колоночных или построчных политик там нет
Возможно тоже что-то придётся написать, но пока смотрю на готовые решения, может помогут)
VE
И как? Много желающих выстраивается в очередь быть владельцами информации?
А это уже не от нас зависит, мы софт продаём ☺️
AZ
Возможно тоже что-то придётся написать, но пока смотрю на готовые решения, может помогут)
готовые решение это когда все в одной среде, например в датабрикс, если вы хотите быть гибкими - надо будет клеить вместе
AZ
например мой сервис для того клиента также интегрирован с EMR и генерирует SecurityConfiguration для нужных политик и поднимает кластер по запроу
ME
готовые решение это когда все в одной среде, например в датабрикс, если вы хотите быть гибкими - надо будет клеить вместе
вроде для EMR можно Apache Ranger заюзать и ещё другие продукты апачи
N
А это уже не от нас зависит, мы софт продаём ☺️
Умеете уже bash/python код в lineage разворачивать?
AZ
вроде для EMR можно Apache Ranger заюзать и ещё другие продукты апачи
все можно, но залазить в кишки EMR я не рекомендую, сложно будет сопровождать, мы стараемся его всегда рассматривать как сервис
VE
для lineage мы с Manta интегрируемся, но они вроде пока такое не умею