В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2053 membersпожаловаться на группу
2020 November 05

AZ

Anton Zadorozhniy in Data Engineers
но все будет отваливаться
источник
20:38пожаловаться#1

АС

Артур Семенов... in Data Engineers
ну 90%
источник
20:39пожаловаться#2

АС

Артур Семенов... in Data Engineers
или максильно возможное
источник
20:39пожаловаться#3

TT

Tsh Tsh in Data Engineers
В хадупе загрузка цпу не больше 70 %
источник
20:40пожаловаться#4

TT

Tsh Tsh in Data Engineers
Потом начинается писец
источник
20:40пожаловаться#5

АС

Артур Семенов... in Data Engineers
под цпу мы имеем ввиду 70% от всего кластера в сумме или 70% от ноды ?
источник
20:41пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
это уже сильно близко к консалтингу, для интерактивных пользователей обычно берем ярн контейнеры скажем 2 ядра 4 гига (плюс какой-то шаг роста если вам надо), потом вниз от этого считаем величины спарковых настроек по известным формулам https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2019/04/02/SparAppsonEMR1.png
источник
20:42пожаловаться#7

UD

Uncel Duk in Data Engineers
Tsh Tsh
В хадупе загрузка цпу не больше 70 %
хз
источник
20:42пожаловаться#8

UD

Uncel Duk in Data Engineers
цгруппами откусил служебный зоопарк и пусть едят все остальное
источник
20:42пожаловаться#9

АС

Артур Семенов... in Data Engineers
Anton Zadorozhniy
это уже сильно близко к консалтингу, для интерактивных пользователей обычно берем ярн контейнеры скажем 2 ядра 4 гига (плюс какой-то шаг роста если вам надо), потом вниз от этого считаем величины спарковых настроек по известным формулам https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2019/04/02/SparAppsonEMR1.png
а формулы есть?)
источник
20:44пожаловаться#10

АС

Артур Семенов... in Data Engineers
те, которые кто-то может назвать "корректными"
источник
20:45пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
Артур Семенов
те, которые кто-то может назвать "корректными"
Ну вот например https://aws.amazon.com/blogs/big-data/best-practices-for-successfully-managing-memory-for-apache-spark-applications-on-amazon-emr/
Amazon Web Services
Best practices for successfully managing memory for Apache Spark applications on Amazon EMR | Amazon Web Services
In the world of big data, a common use case is performing extract, transform (ET) and data analytics on huge amounts of data from a variety of data sources. Often, you then analyze the data to get insights. One of the most popular cloud-based solutions to process such vast amounts of data is Amazon EMR. […]
источник
20:46пожаловаться#12

АС

Артур Семенов... in Data Engineers
О, эту статью как раз сегодня изучал
источник
20:47пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Но у каждого «повара» тут свои секреты)
источник
20:47пожаловаться#14

АС

Артур Семенов... in Data Engineers
сделал по инструкции, 1 контекст отожрал 70% кластера
источник
20:47пожаловаться#15

АС

Артур Семенов... in Data Engineers
как разбить это на 5-7 человек
источник
20:47пожаловаться#16

АС

Артур Семенов... in Data Engineers
разделить переменную инстансес на кол-во пользователей??
источник
20:47пожаловаться#17

AZ

Anton Zadorozhniy in Data Engineers
Поставьте предел в dynamic allocation
источник
20:48пожаловаться#18

AS

Andrey Shevchenko in Data Engineers
Артур Семенов
разделить переменную инстансес на кол-во пользователей??
per user queue + fair preemtion
источник
20:51пожаловаться#19

АС

Артур Семенов... in Data Engineers
у нас нет очередей
источник
20:51пожаловаться#20