AN
Делал замеры недавно
Size: a a a
2020 July 16
AN
AN
может чем поможет
YB
Alexander Nikitin
а исходный размер какой7
AN
данных 455МБ
YB
ок. спасибо. размер конечно в разы меньше) ну наверно можно подключить еще диск и туда сначала в архив записать. если придумать как в BQ залить архив
s
Artem Oleinikov
да, не все. Но Posetgres позволяет. Если у тебя совпадает наименование в таблице и в результате запроса. он будет брать тот, что в результате. ЧТо бы брать поле из таблицы, надо указать синоним таблицы.
Всегда нужно максимально конкретно указывать имена. Вот прямо вообще всегда. И такие проблемы просто перестанут существовать как класс.
YS
привет. может поможете ускорить copy на чтение на нагруженной на запись и обновления таблице? в таблице порядка 80млн записей, весит 250Гб. я так понимаю, что тюнинг maintenance_work_mem тут совсем не поможет, как и зафорсить параллельное чтение. читаю всю таблицу полностью без фильтра, часть колонок
А проблема-то в чём, ради любопытства — в чтении (тогда тут Вы ничего существенного не сделаете без смены дисков) или в преобразовании в copy format (может, binary + "адаптация" будет быстрее), или в записи (может, с этой стороны можно что-то решить)?
KK
ок. спасибо. размер конечно в разы меньше) ну наверно можно подключить еще диск и туда сначала в архив записать. если придумать как в BQ залить архив
А партицировать табличку и экспортировать партиции параллельно?
YB
Yaroslav Schekin
А проблема-то в чём, ради любопытства — в чтении (тогда тут Вы ничего существенного не сделаете без смены дисков) или в преобразовании в copy format (может, binary + "адаптация" будет быстрее), или в записи (может, с этой стороны можно что-то решить)?
чтение долго идет. видимо изза того что параллельно в таблице обновляются данные и бывает так что пересекается с процессом автовакуум
YB
А партицировать табличку и экспортировать партиции параллельно?
мы теперь ее и партиционировать не можем быстро на таком объеме. и не решили вопрос как уник ключи реализовать
YS
чтение долго идет. видимо изза того что параллельно в таблице обновляются данные и бывает так что пересекается с процессом автовакуум
> чтение долго идет.
А почему?
> видимо изза того что параллельно в таблице обновляются данные и бывает так что пересекается с процессом автовакуум
И всё это на самом деле практически не имеет значения, в норме. Вы это точно установили или гадаете? Чтение 250Гб должно быть не намного медленнее, чем чтение такого объёма с диска, я вот о чём.
А почему?
> видимо изза того что параллельно в таблице обновляются данные и бывает так что пересекается с процессом автовакуум
И всё это на самом деле практически не имеет значения, в норме. Вы это точно установили или гадаете? Чтение 250Гб должно быть не намного медленнее, чем чтение такого объёма с диска, я вот о чём.
KK
Тогда "ценный" совет - купите 256GB RAM и будет вам счастье. Не так уж и дорого сейчас.
YS
мы теперь ее и партиционировать не можем быстро на таком объеме. и не решили вопрос как уник ключи реализовать
Хмм... а версия PostgreSQL какая, кстати?
И вообще, Вам нужно проанализировать (показать) куда больше, чем Вы пока рассказали, по-хорошему. ;)
Т.е. \d и \dt+ таблицы, команду COPY (какие поля выбираются), EXPLAIN (ANALYZE, BUFFERS) запроса, аналогичного этому COPY, время вывода этого в /dev/null и т.п.
И вообще, Вам нужно проанализировать (показать) куда больше, чем Вы пока рассказали, по-хорошему. ;)
Т.е. \d и \dt+ таблицы, команду COPY (какие поля выбираются), EXPLAIN (ANALYZE, BUFFERS) запроса, аналогичного этому COPY, время вывода этого в /dev/null и т.п.
s
Anton Patsev
С Centos по другому.
С любой системой, в которую умеешь, будет по другому.
AP
С любой системой, в которую умеешь, будет по другому.
ок. как сделать так чтобы при установке postgresql в ubuntu не запускался сервис postgresql?
AN
Думаю, что start.conf, но это не точно :)
YS
Anton Patsev
ок. как сделать так чтобы при установке postgresql в ubuntu не запускался сервис postgresql?
man pg_createcluster
Там читаете про createcluster.conf. Это про дистрибутив PGDG, если что.
s
Anton Patsev
ок. как сделать так чтобы при установке postgresql в ubuntu не запускался сервис postgresql?
Ну я вот вообще не убунтовод, но нашел как выключить бесячий автостарт приложений при установке за секунд 20.
http://lifeonubuntu.com/how-to-prevent-server-daemons-from-starting-during-apt-get-install/
http://lifeonubuntu.com/how-to-prevent-server-daemons-from-starting-during-apt-get-install/
AP
Ну я вот вообще не убунтовод, но нашел как выключить бесячий автостарт приложений при установке за секунд 20.
http://lifeonubuntu.com/how-to-prevent-server-daemons-from-starting-during-apt-get-install/
http://lifeonubuntu.com/how-to-prevent-server-daemons-from-starting-during-apt-get-install/
да. какой то костыль