Size: a a a

DBA - русскоговорящее сообщество

2021 January 28

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
в общем, в постгресе завёл PK (key+value) индекс на ссд и вставляю данные - по моим подсчётам, на это уйдёт как минимум 2 недели 😂
А ведь предупреждал же — https://t.me/dba_ru/129923 ;)
А что / откуда / как вставляется, ради любопытства?
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Я Акула Туруруру
в общем, в постгресе завёл PK (key+value) индекс на ссд и вставляю данные - по моим подсчётам, на это уйдёт как минимум 2 недели 😂
Ну значит железо фиговое...
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Katerina
А локальный адрес и порт куда вводить?
Ты начни с установки клиента MySQL и соединения с сервером с помощью утилиты mysql (в консоли), потом этот волнующий опыт перенесёшь уже на DBForge этот
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Я перед этим пытался в кассандру, но она ложится через минуту после запуска COPY. Другого ничего не придумал, ну если только ardb или ledis с бэкендом RocksDB и там заюзать сеты - но оба этих проекта сомнительного качества и заброшены
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Хочу сделать что-то типа аналога @LeakCheck - проверять свои данные в слитых базах, ну и заодно потренироваться в хранении данных
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
Я перед этим пытался в кассандру, но она ложится через минуту после запуска COPY. Другого ничего не придумал, ну если только ardb или ledis с бэкендом RocksDB и там заюзать сеты - но оба этих проекта сомнительного качества и заброшены
Да этих key-value — просто вагон (включая очень старые зрелые и стабильные), неужели не нашли ничего лучше?
И да, что по моему вопросу?
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
Да этих key-value — просто вагон (включая очень старые зрелые и стабильные), неужели не нашли ничего лучше?
И да, что по моему вопросу?
Там везде уникальность - только по ключу, а не по паре key-value. Можно хранить всю пару как key, но тогда надо думать над каким-то хитрым индексом, чтобы потом искать по части key
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
Там везде уникальность - только по ключу, а не по паре key-value. Можно хранить всю пару как key, но тогда надо думать над каким-то хитрым индексом, чтобы потом искать по части key
> но тогда надо думать над каким-то хитрым индексом

Любое b-tree это умеет, казалось бы...
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
Да этих key-value — просто вагон (включая очень старые зрелые и стабильные), неужели не нашли ничего лучше?
И да, что по моему вопросу?
если вопрос - как я вставляю данные, то просто в цикле из таблицы
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
> но тогда надо думать над каким-то хитрым индексом

Любое b-tree это умеет, казалось бы...
Разве? В постгресе по дефолту как раз создаётся b-tree, и всё что он даёт - искать по точному значению, либо > <
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
если вопрос - как я вставляю данные, то просто в цикле из таблицы
А зачем тут вообще batches? И промежуточная таблица как заполняется — может, оно там тормозит.
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
А зачем тут вообще batches? И промежуточная таблица как заполняется — может, оно там тормозит.
так промежуточная уже заполнена, там PK это id и 3 колонки без индексов
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
Разве? В постгресе по дефолту как раз создаётся b-tree, и всё что он даёт - искать по точному значению, либо > <
Да, конечно. Вам же нужна уникальность "ключ, значение" и поиск всех значений по "ключ", так?
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
Да, конечно. Вам же нужна уникальность "ключ, значение" и поиск всех значений по "ключ", так?
да
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
так промежуточная уже заполнена, там PK это id и 3 колонки без индексов
Так зачем тут вообще batches?
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
Так зачем тут вообще batches?
чтобы я оценил, за какое время данные вставятся, а то так можно запустить процесс до тепловой смерти вселенной и не знать об этом
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
а так я вот график даже построил, чтобы прикинуть
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Любой b-tree index это позволяет.
Т.е. SELECT ... FROM a_table WHERE key = 'something';
источник

ЯТ

Я Акула Туруруру... in DBA - русскоговорящее сообщество
Yaroslav Schekin
Любой b-tree index это позволяет.
Т.е. SELECT ... FROM a_table WHERE key = 'something';
но я не смогу написать такой запрос, если у меня в ключе будет храниться пара key-value
источник

YS

Yaroslav Schekin in DBA - русскоговорящее сообщество
Я Акула Туруруру
но я не смогу написать такой запрос, если у меня в ключе будет храниться пара key-value
В смысле? Вон он, выше написан — что с ним не так-то? ;)
источник