Size: a a a

2021 April 12

С

Сюткин in Data Engineers
Если ваш продуктивный кластер не такой как у сбера, просьба не приглашать меня на собес
источник

С

Сюткин in Data Engineers
источник

ПБ

Повелитель Бури... in Data Engineers
Если ваш продуктивный кластер не такой как у сбера, значит бизнес не смог это обосновать 😝
источник

С

Сюткин in Data Engineers
Если вы не сбер, значит вы не смогли это обосновать
источник

V

Vol in Data Engineers
Привет
У меня вопрос насчет GDPR и удаления личных даных
посоветуйте список практик или хорошую статью на тему
источник

АЖ

Андрей Жуков... in Data Engineers
источник

V

Vol in Data Engineers
спасибо
источник

АЖ

Андрей Жуков... in Data Engineers
что-то еще с дельтой было
источник

АЖ

Андрей Жуков... in Data Engineers
А, во, нашел в закладках
https://youtu.be/tCPslvUjG1w
источник

АЖ

Андрей Жуков... in Data Engineers
Еще парни из Дримио божатся, что с https://projectnessie.org/ это все делать легко и приятно, но юзкейс хотят с нами разобрать 🙂
источник

AZ

Anton Zadorozhniy in Data Engineers
вы лучше спросите вашего DPO, если только знакомитесь с темой, там много подводных камней, к примеру данные удалять по GDPR можно только если другие regulations это тоже разрешают
источник

AZ

Anton Zadorozhniy in Data Engineers
GDPR Article 38: The controller and the processor shall ensure that the data protection officer is involved, properly and in a timely manner, in all issues which relate to the protection of personal data.
источник

V

Vol in Data Engineers
легко и приятно звучит не очень убедительно, посмотрю, спасибо!
источник

АЖ

Андрей Жуков... in Data Engineers
ну я и говорю, что это на словах 🙂
источник

ME

Mikhail Epikhin in Data Engineers
Теперь будем гадать, что за анекдот:)
источник

N

Nikolay in Data Engineers
Вот hdfs вырос из paper про GFS. И если посмотреть на архитектуру , то они похоже - есть name node и data nodes ( master и chunk servers) . Name node фактически держит таблицу , которая определяет на каких data node расположен файл. Т.е есть некий сервер , который держит связку файла и хостов ,где он лежит. В Azure storage , судя по их пейпер то же самое. Вопрос , а ессть ли в каких то распределенных файловых системах другой подход ? Этот сервер ,который хранит связку выглядит как узкое место. Хочется понять . Бывает ли иначе.
источник

Р

Роман in Data Engineers
У админа спрашивают. У тебя когда был секс. Он - вчера, всю ночь конфигурировал hadoop, зае@ался
источник

AZ

Anton Zadorozhniy in Data Engineers
Вам всегда нужна СР хранилка метаданных, масштабировать ее можно разными способами: по хэшу, по диапазону, по неймспейсу
источник

N

Nikita Blagodarnyy in Data Engineers
А кто-нибудь пользуется бинтреем? А то он тут закрывается

https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/
источник

GP

Grigory Pomadchin in Data Engineers
Скала сообщество достаточно сильно подвязано на бинтрей, но жфрог предложили репозиторий для миграции
источник