Телеграмм чат группы hadoopusers страница 1817

Но вот проблема с кноксом возникает. Если напрямую открывать порт в обход кнокса, то кастомеру это может не понравится

19:11пожаловаться #1

Alex

вообще он рест пробрасывает зачастую, а внутри не обязательно даже json иметь

knox webhdfs gateway полностью проксирует webhdfs, поэтому json там нету

Так webhdfs и есть Json rest api

19:12пожаловаться #2

Он его пробрасывает конечно

19:12пожаловаться #3

Но там все равно всякие реврайты делает

19:13пожаловаться #4

Делайте второй контур безопасности для дата сервисов над ноксом, но это для параноидальных ребят, так весь перфоманс и масштабируемость теряется; мы обычно держим кубер на эджах (ну или сворм если для бедных ) как раз для дата сервисов с доменным апи

19:18пожаловаться #5

У нас то конечно свой уровень безопасности есть, но биг дата командам не объяснишь этого, у них правило - вся коммуникация через кнокс

19:19пожаловаться #6

И кубер у вас не за кноксом?

19:20пожаловаться #7

Как там аутентификация проходит?

19:20пожаловаться #8

У нас просто с тобой разный уровень доступа к клиенту, мыж приезжаем на недельку, ставим свой софт, показываем его, и уезжаем

19:22пожаловаться #9

Ради нас никто ничего менять не хочет

19:22пожаловаться #10

И кубер у вас не за кноксом?

Нет, иначе в нокс все упрется

19:27пожаловаться #11

Как там аутентификация проходит?

Зависит от сервиса, где то в сервисе самом, где-то на ингресе

19:27пожаловаться #12

Дата сервисы же отличаются от всяких JDBC, там пользователи заранее известны, можно хоть сертификатом аутентифицировать

19:28пожаловаться #13

Тогда странно что выбрали grpc, я бы делал restful и честно интегрировался в нокс

19:29пожаловаться #14

customer requirements. Сложно спорить с data governance командой, есть прямой запрос на интеграцию с кноксом по которому оценивают вендоров. Да и для существующих заказчиков сложно будет объяснить что раньше сапортили а теперь нет.
По grpc, у нас же просто модулей 10 разных, сейчас переписываем много вещей и делаем унификацию всего и везде.

19:32пожаловаться #15

большинство этих модулей вообще не связаны с биг датой

19:33пожаловаться #16

Если кнокс всё таки grpc не поддерживают, видимо будем всё таки json делать как второй слой

19:34пожаловаться #17

но надо обдумать это всё

19:34пожаловаться #18

Нокс не поддерживает бинарные протоколы, только текстовые

19:39пожаловаться #19

Вы же эти сервисы тоже поди не стендэлоун делаете, где-то надо толкать, так что просите кубер рядом , а если заказчик хочет тормозов - ходите к хадупу через нокс