В
Так… откуда доступ к орейли за 40$?…
Я смотрел - доступ стоил около сотни…
Я смотрел - доступ стоил около сотни…
Size: a a a
2021 October 15
В
В РФ
NN
Так они давно декларируют
KS
Можно ли как-то сравнить расход памяти при разных запросах в спарке?
Сегодня вылезла ошибка что закончилось место на диске из-за spill, и я обнаружил, что коллега разворачивает запрос с помощью window functions (для выделения записей с максимальным timestamp), что скорее всего и съедает все ресурсы. Я помню, что можно достичь того же результата без оконных функций и расход памяти будет значительно меньше. Вот сейчас думаю как же всё это измерить и сравнить.
Сегодня вылезла ошибка что закончилось место на диске из-за spill, и я обнаружил, что коллега разворачивает запрос с помощью window functions (для выделения записей с максимальным timestamp), что скорее всего и съедает все ресурсы. Я помню, что можно достичь того же результата без оконных функций и расход памяти будет значительно меньше. Вот сейчас думаю как же всё это измерить и сравнить.
KS
Пока что решили проблему тупо добавив больше воркеров, но знаю, что это неправильно.
I
Господа, какую из видеокарт лучше взять для того, чтобы обучать и гонять алгоритмы компуктерного зрения у себя на пека?
https://www.e-katalog.ru/PALIT-GEFORCE-GTX-1080-TI-SUPER-JETSTREAM.htm
или
https://www.e-katalog.ru/ASUS-GEFORCE-RTX-3060-TI-DUAL-V2-OC-LHR.htm
?
https://www.e-katalog.ru/PALIT-GEFORCE-GTX-1080-TI-SUPER-JETSTREAM.htm
или
https://www.e-katalog.ru/ASUS-GEFORCE-RTX-3060-TI-DUAL-V2-OC-LHR.htm
?
ЕГ
Ну, оконочки шафл хорошо поджирают
TT
Вторую
KS
Вот хотелось бы представить кейс типа вот так с, а так без, и расходы ресурсов.
ЕГ
Ну Спарк Юи пишет объем шаффла
ЕГ
Если там десятки терабайт, то уже всё очень плохо
ЕГ
Или если всё на одну ноду упало и ей диск завалило
TT
Данные скошены у тебя
KS
О, это надо проверить
KS
Солить надо?
TT
А вот хз
TT
Может не поможет
KS
Понятно, значит будем копать. Спасибо всем за идеи.