Size: a a a

pgsql – PostgreSQL

2021 March 23

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
Victor Yegorov
1. база называется Postgres
2. чтобы быстро залить дамп, не надо пользоваться plain SQL. -Fc или -Fd буду лучше, хотя всё равно упрётесь в самую большую таблицу по времени
Спасибо большое за ответ. Дамп как раз содержит одну таблицу XD И к сожалению он уже в SQL. Щас переливаю его в key:value для того, что бы попробовать сделать copy уже из клиента.
источник

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
Ð
нет ничего лучше старых добрых пайпов
А брокен пайп еще лучше XDDDDD
источник

Ð

Ð in pgsql – PostgreSQL
сомневаюсь что это как-то ускорит процесс
источник

ДМ

Дмитрий Мачихелян... in pgsql – PostgreSQL
При создании индекса, у нас все строки сразу индексируются? Или надо запустить этот процесс?
источник

Ð

Ð in pgsql – PostgreSQL
я заливал из скля пайпом 100 гигов даже через зип, отлично вообще
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓𝖈𝖊
Спасибо большое за ответ. Дамп как раз содержит одну таблицу XD И к сожалению он уже в SQL. Щас переливаю его в key:value для того, что бы попробовать сделать copy уже из клиента.
В норме в текстовых дампах и так используется COPY... там что, кто-то специально постарался использовать такие опции pg_dump, чтоб Вам было потруднее? ;)
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Дмитрий Мачихелян
При создании индекса, у нас все строки сразу индексируются? Или надо запустить этот процесс?
Разумеется, сразу.
источник

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
Дмитрий Мачихелян
При создании индекса, у нас все строки сразу индексируются? Или надо запустить этот процесс?
Если не стоит autocommit off (на уровне приклада) - создание индекса сразу начинает построение.
источник

VY

Victor Yegorov in pgsql – PostgreSQL
𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓𝖈𝖊
Если не стоит autocommit off (на уровне приклада) - создание индекса сразу начинает построение.
хм… при чём тут autocommit ?
источник

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
Victor Yegorov
хм… при чём тут autocommit ?
Поправил сообщение.
источник

VY

Victor Yegorov in pgsql – PostgreSQL
вопрос остался таким же
источник

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
Victor Yegorov
вопрос остался таким же
Если текущий read connection через который отдается команда находится в транзакции на уровне приклада (как например буфер команд) или текущий коннект ожидает окончания набора команд - то создания не произойдет.
источник

𝕿𝕷

𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓... in pgsql – PostgreSQL
@vyegorov А есть вариант заставить постгрю посмелее использовать диск? 200мб в сек это не серьезно =(
источник

VY

Victor Yegorov in pgsql – PostgreSQL
𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓𝖈𝖊
Если текущий read connection через который отдается команда находится в транзакции на уровне приклада (как например буфер команд) или текущий коннект ожидает окончания набора команд - то создания не произойдет.
это не про базу, соответственно не стоит смущать людей чем-то сторонним, чтобы не плодить мифы…
источник

VY

Victor Yegorov in pgsql – PostgreSQL
𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓𝖈𝖊
@vyegorov А есть вариант заставить постгрю посмелее использовать диск? 200мб в сек это не серьезно =(
я такой базой не пользуюсь.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
𝕿𝖍𝖔𝖒𝖆𝖘 𝕰𝖉𝖜𝖆𝖗𝖉 𝕷𝖆𝖜𝖗𝖊𝖓𝖈𝖊
Если текущий read connection через который отдается команда находится в транзакции на уровне приклада (как например буфер команд) или текущий коннект ожидает окончания набора команд - то создания не произойдет.
Но это не имеет отношения к PostgreSQL. В смысле, команд, которые ему ещё не передали, выполнять он, конечно, не может. ;)
источник

S

Something in pgsql – PostgreSQL
тут есть к zalan.do работает?
нужно для threshold выставить новое значение, не очень понятна крутилка
источник

AS

Alexey Stavrov in pgsql – PostgreSQL
Yaroslav Schekin
А давайте я покажу. ;)
http://www.lmdb.tech/bench/inmem/
LMDB — это "широко известная в узких кругах" высокопроизводительная реализация ACID single-writer b-tree, если что.
А LSM в этом benchmark несколько.

В общем, я тут уже писал (несколько раз, кажется?) по этому поводу — b-tree в реальности (а не в "теоретических" мечтах) "победить" очень трудно, т.е. эта пакость структура данных в "нормальных" условиях зачастую выигрывает у "специализированных" под задачу структур данных (хотя, как кажется "теоретикам", не должна бы), или же не очень существенно проигрывает им.
Из статьи:

Раз
> test is run using 4 reader threads and one writer. All of the threads operate on randomly selected records in the database. The writer performs updates to existing records

Вы читали моё сообщение вот тут https://t.me/pgsql/291622?
Т.е. в статье паттерн использования явно заточен под b-tree, где преобладает чтение + рандомное обновление. Я в курсе, что это самый распространённый паттерн.

Два
В "Small Data Set", "Larger Data Set", "Small Set on Disk" в случае lmdb все данные всегда в памяти, т.е. они просто в дисковом кеше.

Запись на носители быстрее, когда данные пишутся большими кусками на диск bulk операцией, как в случае LSM. Давайте возьмём паттерн, про который я описывал, возьмём большую по объёму данных БД, чтобы не всё помещалось в кеш, и сравним. Уверен, что LMDB "проиграет", так как будет точечно записывать на диск каждый раз на вставку и обновление. Кстати, у Константина есть дополнительные требования к тому, чтобы LSM "выиграл" у LMDB, потому что он, вероятно, человек практикующий, а я - читающий статьи.

Единственное, что доказывает данная статья (это на мой взгляд), что LMDB идельно подходит для небольших устройств, типо смартфонов, по сравнению с другими БД в этой статье.

Наверное Вы всё-таки забыли написать troll mode on/troll mode off в своём сообщении.
источник

☆J

☆○《ShomOYXHacker》○☆ ... in pgsql – PostgreSQL
источник

BS

Baisak Sagynov in pgsql – PostgreSQL
Здравствуйте спецы, я тока начал работать с потгрес, есть приложение на руби 2.3 и постгрес 9.3, хотел обновить бд с этой версии сразу на 12(для более лучшей работы под нагрузкой), возможно ли это сделать? или надо сперва на 9.6 после 10 и тд
источник