Size: a a a

2019 November 20

СХ

Старый Хрыч in Data Engineers
а кто yarn поверх кассандры юзает?
источник

АЖ

Андрей Жуков in Data Engineers
Старый Хрыч
а кто yarn поверх кассандры юзает?
о_О
источник

DM

Daniel Matveev in Data Engineers
Старый Хрыч
а кто yarn поверх кассандры юзает?
вот сейчас было неожиданно
источник

AZ

Anton Zadorozhniy in Data Engineers
Daniel Matveev
дискавери маловато уже
опишите пожалуйста воркфлоу оптимальный для вас, интересно
источник

СХ

Старый Хрыч in Data Engineers
Требования:
- Отличное понимание Linux (Мы используем CentOS);
- Знание систем управления Ansible, Puppet;
- Владение скриптовыми языками(python, bash);
- Знание системы контроля версий git;
- Умение работать с сетевым стеком Linux и утилитами iptables/iproute2.
- Опыт эксплуатации кластеров Hadoop (Cassandra; Yarn);
- Знание Kubernetes (Rancher);
источник

АЖ

Андрей Жуков in Data Engineers
Старый Хрыч
Требования:
- Отличное понимание Linux (Мы используем CentOS);
- Знание систем управления Ansible, Puppet;
- Владение скриптовыми языками(python, bash);
- Знание системы контроля версий git;
- Умение работать с сетевым стеком Linux и утилитами iptables/iproute2.
- Опыт эксплуатации кластеров Hadoop (Cassandra; Yarn);
- Знание Kubernetes (Rancher);
хорошая вакансия, но не сюда
источник

СХ

Старый Хрыч in Data Engineers
Андрей Жуков
хорошая вакансия, но не сюда
я ток требования написал, просто я о такой связке не слыхал
источник

СХ

Старый Хрыч in Data Engineers
а завтра по ней вопросы зададут
источник

SB

Sergey Buyalsky in Data Engineers
Старый Хрыч
Требования:
- Отличное понимание Linux (Мы используем CentOS);
- Знание систем управления Ansible, Puppet;
- Владение скриптовыми языками(python, bash);
- Знание системы контроля версий git;
- Умение работать с сетевым стеком Linux и утилитами iptables/iproute2.
- Опыт эксплуатации кластеров Hadoop (Cassandra; Yarn);
- Знание Kubernetes (Rancher);
а где здесь. написано что ярн поверх кассандры запускается?
источник

АЖ

Андрей Жуков in Data Engineers
или кассандра поверх ярна
источник

СХ

Старый Хрыч in Data Engineers
Sergey Buyalsky
а где здесь. написано что ярн поверх кассандры запускается?
ну в скобках не простож так написали
источник

SB

Sergey Buyalsky in Data Engineers
Старый Хрыч
ну в скобках не простож так написали
и че? это сразу значит что ярна в кассандре? просто перечисление технологий не может быть?
источник

AZ

Anton Zadorozhniy in Data Engineers
эт наверное конкурирующая контора, хочет перетащить C* эпла с кубера на ярн))
источник

СХ

Старый Хрыч in Data Engineers
Anton Zadorozhniy
эт наверное конкурирующая контора, хочет перетащить C* эпла с кубера на ярн))
🤣🤣🤣😂😂
источник

DM

Daniel Matveev in Data Engineers
Anton Zadorozhniy
опишите пожалуйста воркфлоу оптимальный для вас, интересно
вокфлоу одного не будет, в разных кейсах подходы у двх могут отличаться

лично мне (что-то вроде двхшной фронт системы для пользователей) и моим пользователям не хватает уже сейчас помимо дискавери управления доступами
источник

AZ

Anton Zadorozhniy in Data Engineers
Daniel Matveev
вокфлоу одного не будет, в разных кейсах подходы у двх могут отличаться

лично мне (что-то вроде двхшной фронт системы для пользователей) и моим пользователям не хватает уже сейчас помимо дискавери управления доступами
ну вот когда мы клиенту пишем дата каталог с нуля (два раза было уже за 3 года), это как раз одна из причин: мы завязываем владение данными на модель безопасности через шаблонные роли, и генерируем EMR Security Config или Ranger policy по тому кто владеет активом данных, у кого есть право на чтение и так дальше
источник

AZ

Anton Zadorozhniy in Data Engineers
эт не сложно совсем, за месяц на спрингбуте, со всеми свистелками и даже тестами) но правда это без линеджа, только для одной системы хранения, например для Hive + Ranger или S3 + IAM
источник

AZ

Anton Zadorozhniy in Data Engineers
но это не совсем дата каталог, мы называем это Tenant Manager, дата каталог тут или от бедности, или мы можем зацепить внешний (сослаться на него)
источник

АЖ

Андрей Жуков in Data Engineers
фигасе, дата каталог за месяц
источник

DM

Daniel Matveev in Data Engineers
лайнэйдж пока не понятна необходимость, с одной стороны есть куда прицепить, с другой выглядит излишне сложно пока
источник