В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу
2020 October 29

AZ

Anton Zadorozhniy in Data Engineers
Алексей Артамонов
@dartov я извеняюсь конечно, но что-то подзапутался jupyterhub-yarnspawner я ставлю на всех нодах? proxy user я так же настраиваю на всех нодах. а саму настройку(jupyterhub_config.py) произвожу на одной неймноде?
потом надо готовлю Packaging a Conda Environment with Conda-Pack и кладу его уже в hdfs
вам нужно чтобы на всех YARN воркерах (там где работает NodeManager) были окружения питона где есть три пакета (как минимум): jupyterhub-yarnspawner, jupyterhub, notebook; сам JupyterHub вы запускаете где хотите, но там должен быть клиент и конфигурация хадупа доступна
источник
17:53пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
если вы запакованные окружения используете - пакуете все модули (включая эти три обязательных) в архив, кладете его на HDFS и показываете YarnSpawner где они лежат
источник
18:00пожаловаться#2

RF

Ruslan Fialkovsky in Data Engineers
в спарк3 выпилили start-shuffle-service.shstart-shuffle-service.sh
источник
18:22пожаловаться#3

RF

Ruslan Fialkovsky in Data Engineers
как теперь запускать ?🙄
источник
18:22пожаловаться#4

M

Mi in Data Engineers
Коллеги, кто-нибудь может знает, есть ли в AWS какой-нибудь аналог zookeeper для синхронизации независимых процессов?
источник
18:23пожаловаться#5

ME

Max Efremov in Data Engineers
можно в динамо дб писать лок ключи)
источник
18:24пожаловаться#6

UD

Uncel Duk in Data Engineers
Ruslan Fialkovsky
как теперь запускать ?🙄
spark.shuffle.service.enabled true
источник
18:26пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Mi
Коллеги, кто-нибудь может знает, есть ли в AWS какой-нибудь аналог zookeeper для синхронизации независимых процессов?
вот для вдохновления https://github.com/amazon-archives/dynamodb-lock-client
GitHub
amazon-archives/dynamodb-lock-client
The AmazonDynamoDBLockClient is a general purpose distributed locking library built on top of DynamoDB. It supports both coarse-grained and fine-grained locking. - amazon-archives/dynamodb-lock-client
источник
18:26пожаловаться#8

UD

Uncel Duk in Data Engineers
у воркеров
источник
18:26пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
(но по моему опыту проще и удобнее поднять и держать консул или этсиди, там все-таки честный консенсус, и другие фичи удобные)
источник
18:27пожаловаться#10

RF

Ruslan Fialkovsky in Data Engineers
Uncel Duk
у воркеров
мне нужно отдельно только shuffle сервис запустить 😔
источник
18:28пожаловаться#11

UD

Uncel Duk in Data Engineers
Ruslan Fialkovsky
мне нужно отдельно только shuffle сервис запустить 😔
если мезос start-mesos-shuffle-service.sh
источник
18:30пожаловаться#12

UD

Uncel Duk in Data Engineers
выкинули потому что художники так видят https://github.com/apache/spark/pull/23975
GitHub
[SPARK-27056][MESOS]Remove  start-shuffle-service.sh by 10110346 · Pull Request #23975 · apache/spark
What changes were proposed in this pull request?
start-shuffle-service.sh  was only used by Mesos  before start-mesos-shuffle-service.sh.
Obviously, start-mesos-shuffle-service.sh solves some probl...
источник
18:32пожаловаться#13

RF

Ruslan Fialkovsky in Data Engineers
org.apache.spark.deploy.ExternalShuffleService
start org.apache.spark.deploy.mesos.MesosExternalShuffleService
разные классы вроде
источник
18:38пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
Ruslan Fialkovsky
мне нужно отдельно только shuffle сервис запустить 😔
в текущем спарке нет отдельностоящего external shuffle service
источник
18:38пожаловаться#15

RF

Ruslan Fialkovsky in Data Engineers
Anton Zadorozhniy
в текущем спарке нет отдельностоящего external shuffle service
откуда такая информация?
источник
18:38пожаловаться#16

RF

Ruslan Fialkovsky in Data Engineers
скопировал start-shuffle-service.sh из spark2
Вроде запустилось...
 1 Spark Command: /usr/lib/jvm/java-8-openjdk-amd64/bin/java -cp /usr/lib/spark/3.0.1/conf/:/usr/lib/spark/3.0.1/jars/* -Xmx1g org.apache.spark.deploy.ExternalShuffleService
источник
18:40пожаловаться#17

RF

Ruslan Fialkovsky in Data Engineers
вроде только скрипты убрали
источник
18:52пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Ruslan Fialkovsky
откуда такая информация?
Я думал вы про ess для кубера спрашиваете, тот класс все еще есть
источник
18:54пожаловаться#19

M

Mi in Data Engineers
Anton Zadorozhniy
(но по моему опыту проще и удобнее поднять и держать консул или этсиди, там все-таки честный консенсус, и другие фичи удобные)
тут просто использование в одном редком кейсе, хочется обойтись чем-то готовым
источник
19:09пожаловаться#20