В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2053 membersпожаловаться на группу
2020 November 04

E

Evgeny in Data Engineers
Хм, 3 строки в топологии :/
источник
22:38пожаловаться#1

Д

Дмитрий in Data Engineers
Да, бывает 2 строчки кода 6 месяцев согласования ...
источник
22:39пожаловаться#2

E

Evgeny in Data Engineers
Смахивает на банковскую сферу ;)
источник
22:39пожаловаться#3

Д

Дмитрий in Data Engineers
Почти ...
источник
22:40пожаловаться#4

E

Evgeny in Data Engineers
Дмитрий
Коллеги, есть вопрос. Имеется керберизированный кластер hadoop, с настроенным KNOX (Yarn, HDFS, HIVE). Есть необходимость запускать задачи PySPARK через KNOX. Подскажите куда копать для настройки spark-submit, для запуска через KNOX.
Кстати, а у вас knox оно как? SSO?
источник
22:41пожаловаться#5

Д

Дмитрий in Data Engineers
Керберос...
источник
22:41пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
Интерактивные никак, для батча - собираете сборку, пишете на HDFS через нокс, потом через YARN клиент толкаете его
источник
22:42пожаловаться#7

E

Evgeny in Data Engineers
Ах да
источник
22:42пожаловаться#8

AZ

Anton Zadorozhniy in Data Engineers
Пример (старые, но идеи те же работать будут ) https://layer4.fr/blog/2016/11/09/spark-job-via-knox-yarn/
Layer4
Submitting Spark Job via Knox on Yarn - Layer4
Apache Knox is a REST API Gateway for interacting with Apache Hadoop clusters. It offers an extensible reverse proxy exposing securely REST APIs and HTTP based services in any Hadoop platform. Althought Knox is not designed to be a channel for high volume data ingest or export, it is perfectly suited for exposing a single entrypoint to your cluster and can be seen as a bastion for all your applications. One of the possible use-case of Knox...
источник
22:43пожаловаться#9

Д

Дмитрий in Data Engineers
Anton Zadorozhniy
Интерактивные никак, для батча - собираете сборку, пишете на HDFS через нокс, потом через YARN клиент толкаете его
Блин, так умею .... но собирать pyspark
источник
22:43пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
Дмитрий
Блин, так умею .... но собирать pyspark
Безопасность это трудно и дорого, не завидую вам
источник
22:44пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
Но Нокс отличный прокси, простенький и удобный, если нужно текстовые апишки проксить - то что надо
источник
22:46пожаловаться#12

Д

Дмитрий in Data Engineers
Да я его заценил для hbase и hive jdbc.
источник
22:46пожаловаться#13

Д

Дмитрий in Data Engineers
Но нужно строить нормальную инфраструктуру для него. А сейчас так сбоку ....
источник
22:47пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
Скорости или пропускной способности большой ждать не надо, но для небольшого клиентского ворклоада отлично подходит
источник
22:48пожаловаться#15

Д

Дмитрий in Data Engineers
Да как раз ждут от него хорошего ворклоада, но я чуда не жду ....
источник
22:49пожаловаться#16

Д

Дмитрий in Data Engineers
Особено с ssl.
источник
22:49пожаловаться#17

AZ

Anton Zadorozhniy in Data Engineers
SSL надо на чём-то нормальном терминировать
источник
22:50пожаловаться#18

Д

Дмитрий in Data Engineers
Таки да ....
источник
22:50пожаловаться#19

E

Evgeny in Data Engineers
Anton Zadorozhniy
Скорости или пропускной способности большой ждать не надо, но для небольшого клиентского ворклоада отлично подходит
Он вполне хорошо масштабируется. На тестах гигабит в лёгкую прокачивает
источник
22:50пожаловаться#20