В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2148 membersпожаловаться на группу
2020 December 15

N

Nikita Blagodarnyy in Data Engineers
Sergey Kaurov
Привет 👋
Zeppelin использует ресурс hadoop (ядра и hdfs) , поставили задачу оптимизировать процессы запроса Zeppelin через Spark к логам на hdfs. Просто на мощный запрос все ядра уходят, а остальные в очереди запросы толпятся курят. Посоветуйте литературу оптимизации yarn!? Что бы не все ядра уходили на такой запрос..
гугли yarn scheduler (fair, capacity)
источник
17:37пожаловаться#1

N

Nikita Blagodarnyy in Data Engineers
yarn queues
источник
17:37пожаловаться#2

SK

Sergey Kaurov in Data Engineers
А это = Hadoop: Capacity Sheduler
Не оно?
источник
17:38пожаловаться#3

SK

Sergey Kaurov in Data Engineers
На офф сайте апачи
источник
17:38пожаловаться#4

SK

Sergey Kaurov in Data Engineers
Просто там очереди между приложениями обсуждаются.
А у меня один на всех Zeppelin
источник
17:39пожаловаться#5

ME

Max Efremov in Data Engineers
можно в веб UI ярна зайти и глянуть, что там с очередями
источник
17:39пожаловаться#6

ME

Max Efremov in Data Engineers
по дефолту там одна очередь на всё
источник
17:39пожаловаться#7

ME

Max Efremov in Data Engineers
У меня зеплин так занимал все ресурсы и другим не хватало
источник
17:40пожаловаться#8

N

Nikita Blagodarnyy in Data Engineers
есть еще отличная документация от Arenadata, какая была переведена на русский чтобы мочь быть использованной в чтении
источник
17:40пожаловаться#9

SK

Sergey Kaurov in Data Engineers
У меня только из веб интерфейса:
источник
17:40пожаловаться#10

ME

Max Efremov in Data Engineers
тем слева шедулер
источник
17:41пожаловаться#11

ME

Max Efremov in Data Engineers
и будет раписано, какой используется и какие очереди
источник
17:41пожаловаться#12

N

Nikita Blagodarnyy in Data Engineers
ну нажми слева на ссылку скедулер
источник
17:41пожаловаться#13

N

Nikita Blagodarnyy in Data Engineers
там и так было видно что капасити
источник
17:42пожаловаться#14

SK

Sergey Kaurov in Data Engineers
источник
17:42пожаловаться#15

N

Nikita Blagodarnyy in Data Engineers
ну одна очередь в ней небось еще и фифо
источник
17:43пожаловаться#16

N

Nikita Blagodarnyy in Data Engineers
пришла одна апликуха и съела все полимеры
источник
17:43пожаловаться#17

SK

Sergey Kaurov in Data Engineers
Фифо? 😄
источник
17:44пожаловаться#18

N

Nikita Blagodarnyy in Data Engineers
у тебя че, виртуалка на писи? 48 гигов ярна и 48 вкоров
источник
17:44пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
просто на десктопе наверное ВМ
источник
17:45пожаловаться#20