Size: a a a

pgsql – PostgreSQL

2020 July 15

R

Raido🚭 in pgsql – PostgreSQL
Также добавил locale package, далее в строке ~$ dpkg-reconfigure locales и выбрал UTF8. Теперь бэкап базы в кодировке ASCII , по идее, должен будет встать в новую БД с кодировкой UTF8
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Sergey Bubnov
ага я посмотрел. Всю память кушает PG. Так как там 4гб  оперативки сервере а в бд 200кк записей  и примерно 40гб занимает PG на жестком диске (вместе с индексами). Все же мне кажется 4гб маловато для такого кол-ва данных
Не обязательно же все эти данные всегда одновременно нужны. Но если "горячих" данных существенно больше shared_buffers — будут замедляться те или иные запросы, что тут поделаешь.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Raido🚭
Также добавил locale package, далее в строке ~$ dpkg-reconfigure locales и выбрал UTF8. Теперь бэкап базы в кодировке ASCII , по идее, должен будет встать в новую БД с кодировкой UTF8
Хмм... а что такое "в кодировке ASCII"? Если имеется в виду SQL_ASCII, то это практически не настоящая кодировка (byte values 128-255 are taken as uninterpreted characters), т.е. если есть байты вне диапазона 0-127, придётся с ними что-то делать.
источник

R

Raido🚭 in pgsql – PostgreSQL
Yaroslav Schekin
1. Ставили бы Вы дистрибутив PGDG... См. https://wiki.postgresql.org/wiki/Apt
2. И странно, что версия не 11.8.
3. Ну а "locale -a" проверяли?
изначально проблема было в заббиксе, при очистки истории выдавало ошибку——-     pg_query(): Query failed: ERROR: value too long for type character varying(128) [adm.housekeeper.php:113 → update_config() → add_audit() → DB::insert() → DBexecute() → pg_query() in include/db.inc.php:487]
   Error in query [INSERT INTO auditlog (userid,clock,ip,action,resourcetype,details,auditid) VALUES ('1','1594812699','192.168.10.99','1','2','Период хранения данных событий о триггерах и оповещениях "365d".; Период хранения данных о внутренних событиях и оповещениях ...','1774')] [ERROR: value too long for type character varying(128)]
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Raido🚭
изначально проблема было в заббиксе, при очистки истории выдавало ошибку——-     pg_query(): Query failed: ERROR: value too long for type character varying(128) [adm.housekeeper.php:113 → update_config() → add_audit() → DB::insert() → DBexecute() → pg_query() in include/db.inc.php:487]
   Error in query [INSERT INTO auditlog (userid,clock,ip,action,resourcetype,details,auditid) VALUES ('1','1594812699','192.168.10.99','1','2','Период хранения данных событий о триггерах и оповещениях "365d".; Период хранения данных о внутренних событиях и оповещениях ...','1774')] [ERROR: value too long for type character varying(128)]
Т.е. не-ASCII данные там всё же были... В общем, может, придётся и с кодировкой разбираться при загрузке дампа.
источник

R

Raido🚭 in pgsql – PostgreSQL
Yaroslav Schekin
Т.е. не-ASCII данные там всё же были... В общем, может, придётся и с кодировкой разбираться при загрузке дампа.
решение проблемы нашел здесь https://support.zabbix.com/browse/ZBX-14892?focusedCommentId=294815&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel    ,но начать что-либо делать я не мог, т.к. знаний мало, но с Вашей помощью уже хоть двигаться стал )
источник

KK

Konstantin Knizhnik in pgsql – PostgreSQL
Sergey Bubnov
ага я посмотрел. Всю память кушает PG. Так как там 4гб  оперативки сервере а в бд 200кк записей  и примерно 40гб занимает PG на жестком диске (вместе с индексами). Все же мне кажется 4гб маловато для такого кол-ва данных
Сейчас найти ноут меньше чем с 16 гигами надо постараться...
А тут сервер БД! 20т.р. и у вас вся база влезет в память и всё будет летать.
источник

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Sergey Bubnov
ага я посмотрел. Всю память кушает PG. Так как там 4гб  оперативки сервере а в бд 200кк записей  и примерно 40гб занимает PG на жестком диске (вместе с индексами). Все же мне кажется 4гб маловато для такого кол-ва данных
Речь про одну таблицу? Может, её тогда партиционировать? Работа же ведётся наверняка лишь с актуальными данными, а не со всеми 200млн строк?
источник

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Одна партиция будет помещаться в кэш
источник

SB

Sergey Bubnov in pgsql – PostgreSQL
Дмитрий Лукьянов
Речь про одну таблицу? Может, её тогда партиционировать? Работа же ведётся наверняка лишь с актуальными данными, а не со всеми 200млн строк?
к сожалению со всеми. Но я уже сделал агрегацию в другой таблице, уменьшив рабочую таблицу до 15кк записей. Сейчас полегче стало, но оперативку я определенно добавлять буду
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Дмитрий Лукьянов
Речь про одну таблицу? Может, её тогда партиционировать? Работа же ведётся наверняка лишь с актуальными данными, а не со всеми 200млн строк?
Это как-то мало данных, чтобы вообще заморачиваться partitioning, IMHO.
Т.е. скорее всего и лучше от этого не будет (а вот хуже — запросто).
источник

ДЛ

Дмитрий Лукьянов... in pgsql – PostgreSQL
Yaroslav Schekin
Это как-то мало данных, чтобы вообще заморачиваться partitioning, IMHO.
Т.е. скорее всего и лучше от этого не будет (а вот хуже — запросто).
Ну, если у них нет ресурсов. Какие ещё варианты?
Если есть возможность без проблем залить ресурсами, то тут и обсуждать нечего, конечно.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Дмитрий Лукьянов
Ну, если у них нет ресурсов. Какие ещё варианты?
Если есть возможность без проблем залить ресурсами, то тут и обсуждать нечего, конечно.
И что ж, им в связи с этим нужно потратить пару дней хуже, чем впустую? ;)

> к сожалению со всеми.

Но с учётом вышенаписанного — вариантов немного, в самом деле. Т.е. нужно как-то выкручиваться, чтобы работа была не со всеми.

> Но я уже сделал агрегацию в другой таблице, уменьшив рабочую таблицу до 15кк записей.

Например, вот так, да. :)
источник

S

SergejB in pgsql – PostgreSQL
Sql error 42704 role does not exists create new database object with PostgreDatabaseManager
источник

S

SergejB in pgsql – PostgreSQL
Но роль существует в postgres
источник

S

SergejB in pgsql – PostgreSQL
А теперь кто нибудь скажите, является ли PgSQL чувствительным к регистру юзера и роли.
источник

DM

Dmitriy Momotyuk in pgsql – PostgreSQL
SergejB
Sql error 42704 role does not exists create new database object with PostgreDatabaseManager
databade или database?
источник

S

SergejB in pgsql – PostgreSQL
Database
источник

DM

Dmitriy Momotyuk in pgsql – PostgreSQL
ну так
источник

DM

Dmitriy Momotyuk in pgsql – PostgreSQL
может у вас неправильно на клиенте указано имя?
источник