А
в хайве через одинаково bucketed таблицы делается https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinOptimization#LanguageManualJoinOptimization-AutoConversiontoSMBMapJoin
Size: a a a
2020 July 28
M
но нужно иметь в виду что бакетированые датасеты в спарке возможны только если есть хайв метадата
AS
нет хайва, да это и вообще подзадача (основная задача ускорить встроенный LSH)
A
Привет! сегодня процесили Спарком 300 гб данных с S3. Почти все время было потрачено на загрузку данных с S3 в AWS EMR. Куда можно поглядеть по вопросу как максимально оптимизировать/ускорить загрузку данных в EMR с S3?
GP
Привет! сегодня процесили Спарком 300 гб данных с S3. Почти все время было потрачено на загрузку данных с S3 в AWS EMR. Куда можно поглядеть по вопросу как максимально оптимизировать/ускорить загрузку данных в EMR с S3?
Распараллелить чтение только
GP
Если это возможно
AZ
Привет! сегодня процесили Спарком 300 гб данных с S3. Почти все время было потрачено на загрузку данных с S3 в AWS EMR. Куда можно поглядеть по вопросу как максимально оптимизировать/ускорить загрузку данных в EMR с S3?
Запускать больше узлов
AE
написать свою параллельную замену s3-dist-cp.
ах да, я ж уже написал...
ах да, я ж уже написал...
A
да, еще инфа - 300 гб не в одном файле - а во множестве разных файлов
AE
и вроде ссылку сюда кидал даже
AE
йеп. много файлов -> раскидываем копирование по екзекуторам
A
спасибо!!
A
а если я читаю через spark.read.csv куда передаю масив путей к файлам ?
A
он под капотом не паралелит?
GP
он под капотом не паралелит?
паралелит но короче с особенностями
AZ
он под капотом не паралелит?
Смотря как запускать
GP
если тебе известно как конкретно ты хочешь прочитать то csv сурс убог
GP
Ни контроля параллелизма ни схемы
AZ
Можно начать с
maximizeResourceAllocationGP
Можно начать с
maximizeResourceAllocation