РА
жестко
Size: a a a
2019 November 13
РА
а поробуй еще и xms задать
DM
очень красиво (с)
DM
-XX:+UseG1GC
-Xmx5578m
-Xmx5578m
эти параметры взяты у процесса?
O
да
DM
нужно смотреть полный список опций жвм
ну и гц лог прикрутить, там пишется что оно творит
ну и гц лог прикрутить, там пишется что оно творит
O
-Dproc_jar -Dhdp.version=3.1.0.0-78 -Djava.net.preferIPv4Stack=true -Xloggc:/var/log/hive/hiveserver2-gc-%t.log -XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCCause -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=10M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/hive/hs2_heapdump.hprof -Dhive.log.dir=/var/log/hive -Dhive.log.file=hiveserver2.log -Dhdp.version=3.1.0.0-78 -Xmx1024m -Dproc_hiveserver2 -Xmx5578m -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/usr/hdp/current/hive-server2/conf//parquet-logging.properties -Dyarn.log.dir=/var/log/hadoop/hive -Dyarn.log.file=hadoop.log -Dyarn.home.dir=/usr/hdp/3.1.0.0-78/hadoop-yarn -Dyarn.root.logger=INFO,console -Djava.library.path=:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64:/usr/hdp/3.1.0.0-78/hadoop/lib/native/Linux-amd64-64:/usr/hdp/current/hadoop-client/lib/native -Dhadoop.log.dir=/var/log/hadoop/hive -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/hdp/current/hadoop-client -Dhadoop.id.str=hive -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /usr/hdp/3.1.0.0-78/hive/lib/hive-service-3.1.0.3.1.0.0-78.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///usr/hdp/current/hive-webhcat/share/hcatalog/hive-hcatalog-core.jar
AS
проблема: hiveserver2 не потребляет весь выделенный heap, в ambari выставил 6Гб, по графикам видно что commited не превышает 2.8, кто сталкивался?
-XX:InitiatingHeapOccupancyPercent=45
Sets the Java heap occupancy threshold that triggers a marking cycle. The default occupancy is 45 percent of the entire Java heap.
Sets the Java heap occupancy threshold that triggers a marking cycle. The default occupancy is 45 percent of the entire Java heap.
AS
gc паузы со временем вырастают до минут, и видно что уровнь потребляемой памяти всегда идет впритык к границе 2.8гб, но где и как эта граница выставляется не могу найти
2.8 от 6 как раз и будет ~45%
DM
гц лог есть, можно смотреть на чем оно висит, разобраться в особенностях конкретного приложения и подкрутить настройки
DM
а можно пойти в гугл за рекомендациями настроек г1 для хайва
O
-XX:InitiatingHeapOccupancyPercent=45
Sets the Java heap occupancy threshold that triggers a marking cycle. The default occupancy is 45 percent of the entire Java heap.
Sets the Java heap occupancy threshold that triggers a marking cycle. The default occupancy is 45 percent of the entire Java heap.
ну это трешхолд по которому он начинает проверять хип
O
посмотрел логи гц, там нет длинных пауз, может и правда ему пока хватает памяти, а я неправильно трактовал график графаны
O
я вчера только хип увеличил, и по графику казалось что симптомы сохранились
IP
ребята вот как мне взять из одного дататфреема сделать другой дата фрейм с модефицмрованнными колонками или вообще с новыми на основе старых, тоесть в двух новых должны быть старые а третья новая в которой отношение значений двух старых
IF
ребята вот как мне взять из одного дататфреема сделать другой дата фрейм с модефицмрованнными колонками или вообще с новыми на основе старых, тоесть в двух новых должны быть старые а третья новая в которой отношение значений двух старых
IP
код вот такой
IF
вместо map select
IP
меня сюда со scala group отправили