Size: a a a

pgsql – PostgreSQL

2021 February 09

СГ

Сергей Голод... in pgsql – PostgreSQL
Андрей Зубков
Я вот не знаток ec2, но если там больше одного блочного устройства окажется на машине, я не думаю что амазон сможет сделать синхронный снимок.
если база лежит только на одном блочном устройстве - то проблем не будет. А если собран массив из нескольких на уровне ОС внутри инстанса - то тут да, могут быть проблемы. Либо гуглить на предмет атомарности снапшотов блочных устройств в амазоне.
источник

ГА

Георгий Ава... in pgsql – PostgreSQL
Nikolay Samsonov
Спасибо. По сути важно именно поднять бд со снапшота. Если там будут какие-то потери на момент когда снапшот делался не страшно. Страшно если бд не поднимется вообще. вот про это вопрос
Главное wal-ы подтяните.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Alexey Lesovsky
снимок представляет собой снимок блочного устройства и не включает в себя то что в памяти инстанса, соотв. нет гарантий.
Для восстановления используйте нормальные бэкапы.
Хмм... а что, там это не нормальный атомарный снимок?
Потому что если нормальный (и весь кластер postgres на одном блочном устройстве) — гарантии есть.
источник

VY

Victor Yegorov in pgsql – PostgreSQL
Shamil Sabirov
хм.. я же сделал поправку. в моем понимании "Разработчик" - это не DBA. это больше прикладной разработчик, который пилит какойто приклад. этот приклад ессно взаимодействует с СУБД. и эта СУБД как обычно оказывается Postgres
есть разработчики которые работают с базой как готовым продуктом.
мы же говорили про разработчиков, которые пишут саму базу, т.е. создают продукт на языке C.
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
Yaroslav Schekin
Хмм... а что, там это не нормальный атомарный снимок?
Потому что если нормальный (и весь кластер postgres на одном блочном устройстве) — гарантии есть.
Атомарный с точки зрения блочного устройства. Но будет ли он атомарный с точки зрения файловой системы, с точки зрения консистености БД и с точки зрения конечного пользователя который пользуется БД?
Мне кажется тут много нюансов которые надо учитывать, т.к. запись может быть асинхронная и полагаться на кэши разных уровней, система и приложения могут быть настроены определенным образом, а механизм снятия блочного снимка может не знать и не учитывать особенности работы других слоев хранения которые находятся поверх блочного.
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
> "весь кластер postgres на одном блочном устройстве"

это ведь тоже нюанс... а если кластер на разных устройствах, а если там ФС смонтирована journal=writeback, а если synchronous_commit = off? а если ядро ОС старое и с багами, ну и т.д, всегда есть к чему подкопаться и что может иметь значение в случае фэйла
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Alexey Lesovsky
Атомарный с точки зрения блочного устройства. Но будет ли он атомарный с точки зрения файловой системы, с точки зрения консистености БД и с точки зрения конечного пользователя который пользуется БД?
Мне кажется тут много нюансов которые надо учитывать, т.к. запись может быть асинхронная и полагаться на кэши разных уровней, система и приложения могут быть настроены определенным образом, а механизм снятия блочного снимка может не знать и не учитывать особенности работы других слоев хранения которые находятся поверх блочного.
> Но будет ли он атомарный с точки зрения

Если не будет, у меня есть плохие новости для владельцев этой БД — после очередного power off / reset / crash она точно так же может не подняться и "побиться". Потому что https://t.me/pgsql/282584

> может не знать и не учитывать особенности работы других слоев хранения

Т.е. ему это знать и учитывать совершенно не нужно.

> а если кластер на разных устройствах

И если их снимки не синхронизированы — не сработает, безусловно.

> всегда есть к чему подкопаться и что может иметь значение в случае фэйла

Опять-таки, во всех этих случаях новости всё те же, см. выше. ;)
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
что-то вспомнилась история двухгодичной давности про fsync )))
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Alexey Lesovsky
что-то вспомнилась история двухгодичной давности про fsync )))
Линупс такой линупс, что тут скажешь. ;)
Что характерно, на "обычном" hardware (которым тут пользуются почти все, я уверен) эту проблему просто невозможно было "поймать" — а сколько шума было...
источник

s

sexst in pgsql – PostgreSQL
Alexey Lesovsky
что-то вспомнилась история двухгодичной давности про fsync )))
Ммммм?
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
sexst
Ммммм?
источник

s

sexst in pgsql – PostgreSQL
Грац!
источник

s

sexst in pgsql – PostgreSQL
А, да, это я читал.
источник

SG

Sergey Gr in pgsql – PostgreSQL
Nikolay Samsonov
Привет. Не подскажите?
Делаю снапшот ec2 инстанса в aws(EBS Volume snapshot) на котором крутится postgres.
Достаточно ли делать только снапшот инстанса. Смогу ли я всегда в случае чего восстановить бд на последний снапшот? или может быть ситуация что не смогу никак восстановить из снапшота(потерять немного данных на момент пока делается снапшот не страшно). Или без бэкапа никак не обойтись? Есть опасность, что бд вообще не поднимется?
Тут вовсю эксплуатируют эту идею https://gitlab.com/postgres-ai/nancy
источник

СГ

Сергей Голод... in pgsql – PostgreSQL
Yaroslav Schekin
> Но будет ли он атомарный с точки зрения

Если не будет, у меня есть плохие новости для владельцев этой БД — после очередного power off / reset / crash она точно так же может не подняться и "побиться". Потому что https://t.me/pgsql/282584

> может не знать и не учитывать особенности работы других слоев хранения

Т.е. ему это знать и учитывать совершенно не нужно.

> а если кластер на разных устройствах

И если их снимки не синхронизированы — не сработает, безусловно.

> всегда есть к чему подкопаться и что может иметь значение в случае фэйла

Опять-таки, во всех этих случаях новости всё те же, см. выше. ;)
снапшоты в GCP (и скорее всего и в амазоне) - атомарны (проверено). Но это для случаев когда база целиком размещена на самом блочном устройстве. Если из двух блочных устройств, каждое из которых атомарно по-отдельности - сделан рейд на уровне ОС (внутри виртуалки), то вот тут и возникает место возможной проблемы.
источник

P

Protey in pgsql – PostgreSQL
Всем доброго дня! Добавил поддержку PostgreSQL 10 и 11 во все скрипты (pg_database_activity.sh - мониторинг работы PostgreSQL, pg_database_information.sh - актуальный статус работы группы серверов). Теперь поддерживаются версии PostgreSQL с 10 по 13. В скрипт pg_database_status.sh добавлено отображение открытых портов. Большое спасибо за оставленные на GitHub звёздочки! :)
https://github.com/Azmodey/pg_dba_scripts
источник

NS

Nikolay Samsonov in pgsql – PostgreSQL
Спасибо!
источник

VI

Vitalii Ishkevych in pgsql – PostgreSQL
Вопрос по phpMyAdmin:

Как SQL запросом сделать Индекс поля? Нужно сделать индекс для ID1.

Создаю таблицу:
CREATE TABLE 1 (
   ID INT AUTO_INCREMENT PRIMARY KEY,
   ID1 INT NOT NULL,
   Date DATE NOT NULL,
   Date1 DATE NOT NULL
);
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Vitalii Ishkevych
Вопрос по phpMyAdmin:

Как SQL запросом сделать Индекс поля? Нужно сделать индекс для ID1.

Создаю таблицу:
CREATE TABLE 1 (
   ID INT AUTO_INCREMENT PRIMARY KEY,
   ID1 INT NOT NULL,
   Date DATE NOT NULL,
   Date1 DATE NOT NULL
);
Не тот чат, у нас PostgreSQL.
источник

FH

Farzona Hamidova in pgsql – PostgreSQL
йфч
источник