A
просто я так и не нашёл гарантий в ярне что он поместит твой контейнер на том хосте где ты запросыли, только определенные рекомендации где бы ты хотел стартовать
Size: a a a
2019 December 06
N
Ребята из ОК как-то рассказывали, что частично отказались от spark и перешли на pig, потому что спарк не релизит память после выполнения тасков и не освобождает контейнеры. Так что у него в загашнике всегда чуток имеется.
DZ
Pig 2019?
N
N
хотя может это я упоротый был и не так его понял.
AS
Ребята из ОК как-то рассказывали, что частично отказались от spark и перешли на pig, потому что спарк не релизит память после выполнения тасков и не освобождает контейнеры. Так что у него в загашнике всегда чуток имеется.
dynamic allocation уже был в те времена
d
10 GB в CSV это немного. при чтении в память это думаю спокойно влезет и в 4 GB. если же у вас проблема вообще сложная то напишите скрипты. один должен отсортировать строки всех файлов по ключу. второй скрипт для мерджа должен просто бежать последовательно по 2м файлам и соединять ключи и результат писать в файл. думаю так вы уложитесь даже в килобайты
пытался бродкаст джоином сделать, выставлял repartition на 900, дал драйверу 11 гигов и увеличил время бродкаст джоина, сваливается с Out of Memory (
d
помогите, пожалуйста, решить задачу по джоину двух меньших csv с одним большим
d
чем скасти плох?
тем что я не знаю что это такое)
DZ
а код без подсветки типа норм?
DZ
зачем бродкаст?
DZ
зачем ренеймы, а не схема?
DZ
trainDF у вас Unit
DZ
пытался бродкаст джоином сделать, выставлял repartition на 900, дал драйверу 11 гигов и увеличил время бродкаст джоина, сваливается с Out of Memory (
а чем тут репартишн поможет. будет дикий шафл да всё
d
trainDF у вас Unit
хотел для наглядности глянуть что все же сдожинилось
DZ
да, но show возвращает Unit
DZ
он покажет конечно