В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1929 membersпожаловаться на группу
2020 July 28

GP

Grigory Pomadchin in Data Engineers
‘мах ресурс алокейшн’ можно и без этого флага добиться; вообще не факт что всем нужен флаг; он форсит паралелизм и колво спу на контейнеры; опасный флаг так то
источник
20:14пожаловаться#1

A

Alex in Data Engineers
так как правильно поступить для распаралеливания считывания нескольких файлов в один датафрейм?
источник
20:18пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
Grigory Pomadchin
‘мах ресурс алокейшн’ можно и без этого флага добиться; вообще не факт что всем нужен флаг; он форсит паралелизм и колво спу на контейнеры; опасный флаг так то
Для быстрого «кластер для одного джоба», без погружения в детали - очень даже подходит
источник
20:22пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Alex
так как правильно поступить для распаралеливания считывания нескольких файлов в один датафрейм?
Надо посмотреть сколько экзекьюторов, и самое простое - увеличивать их число
источник
20:23пожаловаться#4

A

Alex in Data Engineers
тоесть раздуть кластер и дальше использовать подход с spark.read.csv ?
источник
20:24пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Если у вас кластер только для этого джоба - поднимите тот флаг что я советовал, он все сделает за вас
источник
20:25пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
Alex
тоесть раздуть кластер и дальше использовать подход с spark.read.csv ?
Сначала убедиться что весь кластер используется, и потом увеличивать его размер
источник
20:25пожаловаться#7

A

Alex in Data Engineers
понял, спасибо!
источник
20:25пожаловаться#8

A

Alex in Data Engineers
да, и чья это настройка , Спарка ?  maximizeResourceAllocation
источник
20:26пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Alex
да, и чья это настройка , Спарка ?  maximizeResourceAllocation
EMR Spark
источник
20:27пожаловаться#10

H

Hleb in Data Engineers
Emr
источник
20:27пожаловаться#11

A

Alex in Data Engineers
спасибо
источник
20:27пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html#emr-spark-maximizeresourceallocation
Amazon
Configure Spark - Amazon EMR
You can configure Spark on Amazon EMR using configuration classifications. For more information about using configuration classifications, see .
источник
20:28пожаловаться#13

A

Alex in Data Engineers
принял, спасибо! буду учить матчасть
источник
20:29пожаловаться#14
2020 July 29

N

Nikita Blagodarnyy in Data Engineers
JB вон свой жупителин запилил

https://datalore.jetbrains.com/
источник
15:32пожаловаться#15

AD

Albus Dumbledore in Data Engineers
Вместо Jupiter NB?
источник
15:33пожаловаться#16

AE

Alexey Evdokimov in Data Engineers
кто их тока не пилит. микрософт вон тоже с дотнетовым ядром пилит
источник
15:42пожаловаться#17

AE

Alexey Evdokimov in Data Engineers
на кой только непонятно
источник
15:42пожаловаться#18

AD

Albus Dumbledore in Data Engineers
Ну они вроде активно R вовлекают
источник
15:42пожаловаться#19

OI

Oleg Ilinsky in Data Engineers
Вопросик
Пытаюсь подключиться к thrift серверу beeline’ом и ловлю вот такую ошибку
20/07/29 13:01:36 DEBUG SQLCompleter: fail to get SQL key words from database metadata due to the exception: java.sql.SQLFeatureNotSupportedException: Method not supported
java.sql.SQLFeatureNotSupportedException: Method not supported


подключаюсь вот так: !connect jdbc:hive2://localhost:10001/;transportMode=http;httpPath=cliservice

Что-то бред какой-то. Никто не встречал такое?
источник
16:04пожаловаться#20