Телеграмм чат группы pgsql страница 11974

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pgsql – PostgreSQL

5743 membersпожаловаться на группу

2021 January 30

SS

Shamil Sabirov in pgsql – PostgreSQL

Yaroslav Schekin

А какая OS? Её настраивали (по документации)?
И я что-то версию PostgreSQL забыл спросить. ;)

centos. настроено как нужно. ну хотя это в общем случае. для сервера СУБД есть какието отдельные настройки?

источник

23:54пожаловаться #1

SS

Shamil Sabirov in pgsql – PostgreSQL

postgre 12

источник

23:55пожаловаться #2

VY

Victor Yegorov in pgsql – PostgreSQL

Наверное, я слишком скучно живу, и слишком скучные запросы делаю. Никогда вообще ничего подобного не замечал. Иногда долгий SELECT пишет гигабайты ерунды на диск, но не более того.

https://wiki.postgresql.org/wiki/Hash_Join — первый же пункт
если пройти по письмам можно прийти сюда: https://www.postgresql.org/message-id/flat/20190504003414.bulcbnge3rhwhcsh@development — в первом письме есть отсылка на оригинальный bug-report

у меня есть свидетельства такого поведения на практике

PostgreSQL Mailing List Archives

accounting for memory used for BufFile during hash joins

источник

23:58пожаловаться #3

2021 January 31

YS

Yaroslav Schekin in pgsql – PostgreSQL

centos. настроено как нужно. ну хотя это в общем случае. для сервера СУБД есть какието отдельные настройки?

Т.е. показать что-то конкретное в этом отношении Вы не можете или не хотите?

> для сервера СУБД есть какието отдельные настройки?

Да. Начиная с этого пункта: https://www.postgresql.org/docs/current/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT
Если этого не было сделано, то Вы можете неплохо терять в производительности.

PostgreSQL Documentation

18.4. Managing Kernel Resources

18.4. Managing Kernel Resources 18.4.1. Shared Memory and Semaphores 18.4.2. systemd RemoveIPC 18.4.3. Resource Limits 18.4.4. Linux Memory Overcommit 18.4.5. Linux …

источник

00:05пожаловаться #4

YS

Yaroslav Schekin in pgsql – PostgreSQL

Наверное, я слишком скучно живу, и слишком скучные запросы делаю. Никогда вообще ничего подобного не замечал. Иногда долгий SELECT пишет гигабайты ерунды на диск, но не более того.

Вполне может быть. На тривиальных запросах этим эффектам негде "развернуться".

источник

00:06пожаловаться #5

am

a m in pgsql – PostgreSQL

https://wiki.postgresql.org/wiki/Hash_Join — первый же пункт
если пройти по письмам можно прийти сюда: https://www.postgresql.org/message-id/flat/20190504003414.bulcbnge3rhwhcsh@development — в первом письме есть отсылка на оригинальный bug-report

у меня есть свидетельства такого поведения на практике

PostgreSQL Mailing List Archives

accounting for memory used for BufFile during hash joins

Ой, а ведь совсем просто: надо только по-хеш-джоинить 100 миллионов строк.
Но, кажется, я никогда такого не делал.

источник

00:06пожаловаться #6

VY

Victor Yegorov in pgsql – PostgreSQL

Ой, а ведь совсем просто: надо только по-хеш-джоинить 100 миллионов строк.
Но, кажется, я никогда такого не делал.

ну… находчивые товарищи всегда находятся!

источник

00:07пожаловаться #7

am

a m in pgsql – PostgreSQL

И жалуются потом, что мультимастера не завезли?

источник

00:09пожаловаться #8

VY

Victor Yegorov in pgsql – PostgreSQL

И жалуются потом, что мультимастера не завезли?

жаловаться одно, а вот объяснить на фактах — это другое

источник

00:11пожаловаться #9

SS

Shamil Sabirov in pgsql – PostgreSQL

Yaroslav Schekin

> Postgres ессно тюнили.

Показать настройки можете?

> на сервер СУБД выделено 128GB оперативки

Это немного (вот лет десять или более назад это было бы прилично, если не путаю — плохая у меня память на эти вещи).
Т.е. "заваливать железом" можно ещё долго.

приложу наш конфиг СУБД

источник

00:11пожаловаться #10

SS

Shamil Sabirov in pgsql – PostgreSQL

postgresql.conf

источник

00:12пожаловаться #11

SS

Shamil Sabirov in pgsql – PostgreSQL

это СУБД без репликаций

источник

00:13пожаловаться #12

VY

Victor Yegorov in pgsql – PostgreSQL

приложу наш конфиг СУБД

самое первое с чего начинать — выносить базу из VM. вам не нужны никакие прослойки, особенно когда ресурсов не хватает

источник

00:14пожаловаться #13

am

a m in pgsql – PostgreSQL

> wal_compression = on

источник

00:17пожаловаться #14

SS

Shamil Sabirov in pgsql – PostgreSQL

это да. ну тут без вариантов - зависим от заказчиков. на их серверах все развернуто. ну и так то вопрос не по мощностям и виртуалкам. вопрос почему Postgres съедает всю память. даже если не виртуалка там была бы он все равно бы так сделал...

источник

00:17пожаловаться #15

VY

Victor Yegorov in pgsql – PostgreSQL

postgresql.conf

надо настраивать:
- bgwriter (максимум)
- checkpoint_timeout хотя бы 1 час
- max_wal_size — размер записи в час, думаю хотя бы 16GB
- log_directory = 'log' — следует вынести логи из директории базы, желательно на отдельный раздел
- тупо включаем
log_checkpoints = on
log_min_duration_statement = 1s
log_lock_waits = on
log_temp_files = 0
track_activity_query_size = 8192
pg_stat_statements.max = 10000
log_autovacuum_min_duration = 1s
autovacuum_naptime = 1s

сколько у вас ядер доступно?

источник

00:20пожаловаться #16

YS

Yaroslav Schekin in pgsql – PostgreSQL

приложу наш конфиг СУБД

shared_buffers = 32GB # А сама база (а лучше, hot data) какого размера?
effective_io_concurrency = 0 # Жестоко. Почему так?

max_parallel_workers_per_gather = 20 # Это какое-то безумие почти для всех нагрузок, Вы меня извините
max_parallel_workers = 40 # Особенно в сочетании вот с этим

max_wal_size = 4GB # А точно этого хватает для типичной нагрузки?
min_wal_size = 1GB # В логе есть что-то про checkpoints?

random_page_cost = 4.0 # Опять-таки, см. shared_buffers. И какие диски, кстати?
effective_cache_size = 60GB # Хотя у Вас 128 Гб памяти? Маловато, почти наверняка.

dynamic_shared_memory_type = posix  # Обычно это просто не нужно... почему указано?

источник

00:22пожаловаться #17

YS

Yaroslav Schekin in pgsql – PostgreSQL

это да. ну тут без вариантов - зависим от заказчиков. на их серверах все развернуто. ну и так то вопрос не по мощностям и виртуалкам. вопрос почему Postgres съедает всю память. даже если не виртуалка там была бы он все равно бы так сделал...

> вопрос почему Postgres съедает всю память.

Вот если бы он этого не делал, это была бы проблема, я совершенно серьёзно.
RAM в сервер покупают не для красоты.

источник

00:23пожаловаться #18

am

a m in pgsql – PostgreSQL

это да. ну тут без вариантов - зависим от заказчиков. на их серверах все развернуто. ну и так то вопрос не по мощностям и виртуалкам. вопрос почему Postgres съедает всю память. даже если не виртуалка там была бы он все равно бы так сделал...

Вопрос из разряда «совсем за дураков держу»: а вы точно про свободную оперативную память в линуксе правильно понимаете?

источник

00:24пожаловаться #19

VY

Victor Yegorov in pgsql – PostgreSQL

полагаю что в системе context switches зашкаливают, вместе с fork rate. и %sy, вероятно, значимый

источник

00:24пожаловаться #20