Size: a a a

pgsql – PostgreSQL

2020 July 02

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Народ, а можете подсказать, какие значения вы ставите для kernel.shmall и kernel.shmmax
К примеру, для сервера с памятью в 32 ГБ.
Я исторически ставлю RAM/2 для kernel.shmmax и RAM/kernel.shmmni для kernel.shmall, т.к. так делается для Oracle. Но есть подозрение, что для PG это неподходящие параметры.
источник

i

iwanttobeleve in pgsql – PostgreSQL
Ilia Zviagin
Это диск у тебя на 100% загружен?
Да, но util это не факт, что загружен же, это соотношение времени, которое процессор тратит на выполнение какого-либо (двже одного) запроса к дискам ко всему времени.
источник

IZ

Ilia Zviagin in pgsql – PostgreSQL
iwanttobeleve
Да, но util это не факт, что загружен же, это соотношение времени, которое процессор тратит на выполнение какого-либо (двже одного) запроса к дискам ко всему времени.
и ?
источник

i

iwanttobeleve in pgsql – PostgreSQL
Ну и так как SSD обрабатывает запросы параллельно, в отличие от HDD, то может быть норм, что в каждый момент времени происходят какие-то операции с диском
источник

IZ

Ilia Zviagin in pgsql – PostgreSQL
iwanttobeleve
Ну и так как SSD обрабатывает запросы параллельно, в отличие от HDD, то может быть норм, что в каждый момент времени происходят какие-то операции с диском
Ну ок, норм так норм.
источник

i

iwanttobeleve in pgsql – PostgreSQL
Просто может есть какие-то другие показатели, что бы понять норм или не норм, кроме ,iostat %util
источник

i

iwanttobeleve in pgsql – PostgreSQL
У меня небольшой опыт с постгрес, что нагуглил, то и знаю..
источник

DP

Darafei Praliaskousk... in pgsql – PostgreSQL
iwanttobeleve
Просто может есть какие-то другие показатели, что бы понять норм или не норм, кроме ,iostat %util
я рассматриваю общее количество мегабайт в секунду в iotop, когда оно сильно ниже паспортного - у кого-то проблемы с access pattern
источник

i

iwanttobeleve in pgsql – PostgreSQL
Darafei Praliaskouski
я рассматриваю общее количество мегабайт в секунду в iotop, когда оно сильно ниже паспортного - у кого-то проблемы с access pattern
Ниже, чем паспортные у диска?
источник

DP

Darafei Praliaskousk... in pgsql – PostgreSQL
да. на практике - ниже, чем самое большое значение, которое ты там видел :)
источник

i

iwanttobeleve in pgsql – PostgreSQL
Darafei Praliaskouski
да. на практике - ниже, чем самое большое значение, которое ты там видел :)
Вот буду сегодня тестить диски через sysbench, ожидаю увидеть примерно то же, что и заявлял производитель
источник

DP

Darafei Praliaskousk... in pgsql – PostgreSQL
iwanttobeleve
Вот буду сегодня тестить диски через sysbench, ожидаю увидеть примерно то же, что и заявлял производитель
самое норм - просто запусти vacuum и глянь что вышло
источник

i

iwanttobeleve in pgsql – PostgreSQL
Darafei Praliaskouski
самое норм - просто запусти vacuum и глянь что вышло
Попробую во время теста тоже, спасибо
А patter access - это же постргресу просто нужно дать возможность использовать random так же часто, как и sequential?
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Дмитрий Лукьянов
Народ, а можете подсказать, какие значения вы ставите для kernel.shmall и kernel.shmmax
К примеру, для сервера с памятью в 32 ГБ.
Я исторически ставлю RAM/2 для kernel.shmmax и RAM/kernel.shmmni для kernel.shmall, т.к. так делается для Oracle. Но есть подозрение, что для PG это неподходящие параметры.
А PostgreSQL это практически всё равно, в отличие от. ;)
См. https://www.postgresql.org/docs/current/kernel-resources.html#SYSVIPC-PARAMETERS
источник

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Yaroslav Schekin
А PostgreSQL это практически всё равно, в отличие от. ;)
См. https://www.postgresql.org/docs/current/kernel-resources.html#SYSVIPC-PARAMETERS
Да, вот непонятно всё ли равно.
Сконфигурил shared_buffers на 24 ГБ, 400 коннектов, 128 МБ work_mem. Не запускался экземпляр с такими ошибками:

2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-6] db=,user=,host=,app= FATAL:  could not map anonymous shared memory: Cannot allocate memory
2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-7] db=,user=,host=,app= HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 17632608256 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-8] db=,user=,host=,app= LOG:  database system is shut down
stopped waiting
pg_ctl: could not start server


С shared_buffers 12 ГБ запустился. Но этого как-то маловато.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Дмитрий Лукьянов
Да, вот непонятно всё ли равно.
Сконфигурил shared_buffers на 24 ГБ, 400 коннектов, 128 МБ work_mem. Не запускался экземпляр с такими ошибками:

2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-6] db=,user=,host=,app= FATAL:  could not map anonymous shared memory: Cannot allocate memory
2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-7] db=,user=,host=,app= HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 17632608256 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
2020-07-02 08:47:39.963 MSK [3459] [5efd74fb.d83-8] db=,user=,host=,app= LOG:  database system is shut down
stopped waiting
pg_ctl: could not start server


С shared_buffers 12 ГБ запустился. Но этого как-то маловато.
Вы таблицу прочитали?
Разве не очевидно, что это этот request не связан ни с чем, что в ней есть (запрашивается же 16Гб)?
(Разве что Вы используете очень старую версию PostgreSQL.)
У Вас в huge_pages что установлено? И что с overcommit в OS?
источник

EA

Erlan A in pgsql – PostgreSQL
Yaroslav Schekin
А PostgreSQL это практически всё равно, в отличие от. ;)
См. https://www.postgresql.org/docs/current/kernel-resources.html#SYSVIPC-PARAMETERS
не все равно, надо выставлять параметры
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Erlan A
не все равно, надо выставлять параметры
Какие и зачем?
источник

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Yaroslav Schekin
Вы таблицу прочитали?
Разве не очевидно, что это этот request не связан ни с чем, что в ней есть (запрашивается же 16Гб)?
(Разве что Вы используете очень старую версию PostgreSQL.)
У Вас в huge_pages что установлено? И что с overcommit в OS?
Версия 12.1
vm.overcommit_memory = 2
источник

EA

Erlan A in pgsql – PostgreSQL
Erlan A
не все равно, надо выставлять параметры
хотя при выставленных коннектах овер 1000 только встречал
источник