N
Size: a a a
2020 July 07
AE
Nikolay
это больше теоретический вопрос. есть такой фрэймвор для оработки данных - спарк. там можно воркерам(экзекьюторам) выдавать память. мне хочется понять какие значени хипа для одного экзекьютора являются оправданными.
Это покажут только замеры
N
если например на ноде есть условные 256 гигов, то можно запустить 2 по 128, а можно условно 10 по 20. вот и хочется понять как это вообще считать. как бы рассчитать теоретически что лучше
DP
а зачем вам вообще liquibase-core в завимостях? Есть же плагин
Чтоб при старте сервиса накатывать необходимые изменения апдейтом.
Плагином я чейнджсеты генерю для сущностей.
Плагином я чейнджсеты генерю для сущностей.
AY
Nikolay
это больше теоретический вопрос. есть такой фрэймвор для оработки данных - спарк. там можно воркерам(экзекьюторам) выдавать память. мне хочется понять какие значени хипа для одного экзекьютора являются оправданными.
это же зависит от размеров датасета и того, что Вы с ним пытаетесь сделать, нет?
для спарка куча tuning guide'ов есть.
для спарка куча tuning guide'ов есть.
AH
Nikolay
это больше теоретический вопрос. есть такой фрэймвор для оработки данных - спарк. там можно воркерам(экзекьюторам) выдавать память. мне хочется понять какие значени хипа для одного экзекьютора являются оправданными.
запускай нагрузочное тестирование и смотри сколько надо
A
Nikolay
256Гигов может много для одной JVM? накладные расходы на сборку мусора и т.п?
Для для моделирования энергии океанов
Spark worker node используют 256G и максимум 1Tb
Spark worker node используют 256G и максимум 1Tb
N
Anton
Для для моделирования энергии океанов
Spark worker node используют 256G и максимум 1Tb
Spark worker node используют 256G и максимум 1Tb
это на всю ноду. меня вот как раз и интересует как потом это 256G или 1T поделить между JVM
AL
AE
Nikolay
это на всю ноду. меня вот как раз и интересует как потом это 256G или 1T поделить между JVM
Нагрузи и так и так, посмотри какие гц паузы будут, какие накладные расходы на цпу они делают
N
Нагрузи и так и так, посмотри какие гц паузы будут, какие накладные расходы на цпу они делают
спасибо.так и буду делать. думал, что может как-то теотерически это можно посчитать. решить уравнение и получить ответ )
AE
Nikolay
спасибо.так и буду делать. думал, что может как-то теотерически это можно посчитать. решить уравнение и получить ответ )
Все зависит от типа объектов в куче, времени их жизни. Тут Ванги рядом нет, все зависит от выполняемого кода