GP
Да вон тебе ж @KaiNie_R подсказал, репартишн делаешь и все
Size: a a a
2021 April 27
GP
Ну или заранее хорошие партиции делаешь
KS
Понял, спасибо.
KS
Сорри за возможно тупые вопросы, я ещё только в начале пути познания даоса.
ИК
на самом деле ещё не всё, если есть skew, то можно создать слишком большие таски и всё станет только хуже. Поэтому возможно придётся добавить соль - дополнительное поле, например (rand() * 10) cast IntegerType, где 10 - число, которое придётся подобрать, чтобы не было этих больших тасков.
хорошая альтернатива - repartitionByRange(numParts,f1,f2,f3)
хорошая альтернатива - repartitionByRange(numParts,f1,f2,f3)
KS
Спасибо, обязательно попробую с и без salting.
KS
Разброс в данных около 10 записей на ключ, поэтому там больших перекосов не должно быть.
По сути мне нужно что-то типа SQL
но без аггрегирующих функций
По сути мне нужно что-то типа SQL
select f1, f2, f3, f4 from t Group By f1, f2, f3
но без аггрегирующих функций
KS
Пробовал с window function, но что-то медленно
KS
То есть мне не нужно создавать файлы для каждой партиции, а просто создать дата фрейм определенной структуры и потом сохранить его как json.
KS
Предыдущий девелопер реализовал эту задачу с помощью partitionBy поэтому и создаются файлы для каждой партиции, что тормозит в определенных случаях (надеюсь, что с помощью ваших советов это значительно ускорится).
Я же хочу переписать это решение таким образом, что необходимость в создании отдельных файлов отпадет и нужно будет создать только один файл.
Я же хочу переписать это решение таким образом, что необходимость в создании отдельных файлов отпадет и нужно будет создать только один файл.
e
Народ, тут есть спецы по облачной информатике ? С чего начать познание ?🙈
AZ
А что это?
e
Informatica Cloud
A
А кто-нибудь имел опыт с parallel job submitting в Spark (через scala futures)? Есть какие-нибудь подводные камни и вообще есть ли интерес в этом?
A
+1 к вопросу выше. Тоже интересует данная тема
N
лучше начать с отказа от познания информатики.
t
> А кто-нибудь имел опыт с parallel job submitting в Spark (через scala futures)? Есть какие-нибудь подводные камни и вообще есть ли интерес в этом?
Что конкретно интересует? Смысл есть всегда, когда ваш джоб не может прогреть все воркеры и они простаивают
Что конкретно интересует? Смысл есть всегда, когда ваш джоб не может прогреть все воркеры и они простаивают
e
Не везде дата Биг 😳
D
Я делал, важно понимать что они все равно потом в очередь становятся, поєтому если сабмитить параллельно то лучше в разные очереди
t
Это не совсем верное утверждение. Если джоб 1 запустился в момент времени 1 и не выгреб все доступные ядра, то джоб 2 будет аллоцирован сразу и получит оставшиеся ядра под часть тасков