Size: a a a

2019 November 26

UD

Uncel Duk in Data Engineers
Nata
ну вот короче после пробы запуска с чекпойнтом появилась кнопа enable HA, если указывать только мастера nn, то можно даже войти в safe mode. но требуется полная остановка HDFS 🥶 🙈
Если fsimage не толстый, минут за 20 управитесь
источник

UD

Uncel Duk in Data Engineers
а так, больно да
источник

N

Nata in Data Engineers
Uncel Duk
а так, больно да
боль окончена, всё работает
источник

N

Nata in Data Engineers
источник

N

Nata in Data Engineers
thanks
источник

VE

Vladimir E. in Data Engineers
Всем привет, а кто ниб дь пробовал с Knox по grpc (protobuf) протоколу работать? Вот есть сервис который хотим поставить на edge node, но все засекьюрено через Knox
источник

VE

Vladimir E. in Data Engineers
Насколько я понимаю через Knox можно только Json гнать
источник

A

Alex in Data Engineers
knox умеет в grpc?
источник

A

Alex in Data Engineers
вообще он рест пробрасывает зачастую, а внутри не обязательно даже json иметь

knox webhdfs gateway полностью проксирует webhdfs, поэтому json там нету
источник

A

Alex in Data Engineers
и тд
источник

SB

Stas Batururimi in Data Engineers
Всем привет.
Нужны best practices по data governance как это менять/организовывать и чтобы это не был многолетний опыт и работа. Подскажите пожалуйста что можно использовать для этого
источник

A

Alex in Data Engineers
складывать в /dev/null =) никакого напряга по поддержке не будет
источник

N

Nikita Blagodarnyy in Data Engineers
Stas Batururimi
Всем привет.
Нужны best practices по data governance как это менять/организовывать и чтобы это не был многолетний опыт и работа. Подскажите пожалуйста что можно использовать для этого
DAMA DMBOK
источник

N

Nikita Blagodarnyy in Data Engineers
Там написано, как организовывать.
источник

AZ

Anton Zadorozhniy in Data Engineers
Stas Batururimi
Всем привет.
Нужны best practices по data governance как это менять/организовывать и чтобы это не был многолетний опыт и работа. Подскажите пожалуйста что можно использовать для этого
Заранее извиняюсь, но такие наверно лежат где-то рядом с секретами моментального похудания, и как быстро разбогатеть..
источник

AZ

Anton Zadorozhniy in Data Engineers
Вы попробуйте конкретный вопрос задать, чтобы вас к даме или одпи не посылать
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
knox умеет в grpc?
Нокс вроде умеет только текстовые протоколы
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir E.
Всем привет, а кто ниб дь пробовал с Knox по grpc (protobuf) протоколу работать? Вот есть сервис который хотим поставить на edge node, но все засекьюрено через Knox
Вы хотите чтобы ваш grpc сервис ходил к хадупу через нокс, или чтобы клиенты ходили к grpc сервису через нокс? Если последнее, то любопытно зачем?
источник

VE

Vladimir E. in Data Engineers
Второе. У нас есть лаунчер для Спарк заданий, который стоит отдельно от основного приложения. Лаунчер ставится на эдж нод и принимает реквесты на запуск джобы. Так как эдж нода защищена кноксом, у нас вся коммуникация раньше была через Json rest api, и кастомеры именно требовали чтоб вся коммуникация с эдж нодой происходила через кнокс.
источник

VE

Vladimir E. in Data Engineers
Сейчас думаем переписывать лаунчер, и хотели все сделать через grpc
источник