EV
но вдруг еще куда-то забыл посмотреть
Size: a a a
2020 September 02
АЖ
Ого. От Датабриксов рассылки на русском пошли.
EV
Привет! Ловлю ошибку
Пробовал увеличивать memoryOverhead и executor memory - пока не помогает. В запросе 2 window functions по разным полям, обрабатывается инфа за день, на некоторых днях работает норм, на некоторых нет.
SparkOutOfMemoryError, подскажите плиз куда можно покопать. Пробовал увеличивать memoryOverhead и executor memory - пока не помогает. В запросе 2 window functions по разным полям, обрабатывается инфа за день, на некоторых днях работает норм, на некоторых нет.
это точно из-за перекоса в данных, теперь ищу как решить эту проблему в window функциях
RI
это точно из-за перекоса в данных, теперь ищу как решить эту проблему в window функциях
выбрать второй ключ партиционирования, например.
AS
это точно из-за перекоса в данных, теперь ищу как решить эту проблему в window функциях
а что считаешь с помощью window?
EV
а что считаешь с помощью window?
сессии юзеров
EV
есть юзеры которые делают очень много действий
EV
там 2 стадийный window запрос, первый размечает интервалы между соседними событиями, воторй суммой с накоплением маркирует сессии
EV
ну и в общем тут ключ партиционирования не поменять, я склоняюсь сейчас к тому что просто исключать таких активных юзеров из датасета
AS
ну и в общем тут ключ партиционирования не поменять, я склоняюсь сейчас к тому что просто исключать таких активных юзеров из датасета
ты можешь по времени разбивать (считаем сначала эту неделю, потом следующую и т.д.), а потом просуммировать их
EV
и так по дням считается
EV
дальше только по часам разбивать :)
А
а почему partition by? может вынести перекошенных юзеров в отдельный расчет (дать им все ресурсы отдельным расчетом)
EV
я сомневаюсь что это поможет, датасет по одному такому юзеру не влазит в машину
EV
тут только машины пожирнее если поставить
ИК
ну и в общем тут ключ партиционирования не поменять, я склоняюсь сейчас к тому что просто исключать таких активных юзеров из датасета
Может отказаться от Windows и делать groupBy().agg()?
EV
а потом обратно джоинить? :)
ИК
Да, придётся обогащать
EV
грустно это конечно но может и взлетит ага
ИК
грустно это конечно но может и взлетит ага
Согласен, ничо веселого