ММ
Здравствуйте. Какие инструменты использовать или на какие метрики опираться, чтобы понять, что кластер бд верно сконфигурирован?
Size: a a a
2020 July 20
ММ
Т.е. например, смотря лог и видя там частую работу с временными файлами - обращаю внимание на work_mem и прочее
МШ
Михаил Малыхин
Здравствуйте. Какие инструменты использовать или на какие метрики опираться, чтобы понять, что кластер бд верно сконфигурирован?
Поищите доклады ребят из Data Egret. Они много раз о подобных вещах рассказывали.
MI
Комрады, доброго времени суток! Подскажит, если переименовать пользователя в БД, права сохранятся для нового имени ?
ММ
Поищите доклады ребят из Data Egret. Они много раз о подобных вещах рассказывали.
Благодарю
MI
Комрады, доброго времени суток! Подскажит, если переименовать пользователя в БД, права сохранятся для нового имени ?
Вопрос снят, права сохранятся + надо новый пароль ставить)
МШ
Поищите доклады ребят из Data Egret. Они много раз о подобных вещах рассказывали.
Вот, например, неплохой доклад: https://habr.com/ru/post/505440/
N
В прошлый раз с Лесовским вышло оч. клёво, на мой взгляд (кто не смотрел — посмотрите!). Сегодня разберём накопившиеся вопросы в доке
Трансляция тут: https://YouTube.com/RuPostgres
Активное участие в zoom: https://us02web.zoom.us/j/86786396259?pwd=MklwT2UvK3hLb3RIL20xb2c4WWJBUT09
Док: https://bit.ly/RuPostgresTuesday
Начало — как обычно, в 18:30мск
Трансляция тут: https://YouTube.com/RuPostgres
Активное участие в zoom: https://us02web.zoom.us/j/86786396259?pwd=MklwT2UvK3hLb3RIL20xb2c4WWJBUT09
Док: https://bit.ly/RuPostgresTuesday
Начало — как обычно, в 18:30мск
Анонс:
В ближайший вторник — про коррупцию. В гостях будут Андрей Бородин и Дмитрий Сарафанников и Яндекс.Облака.
YouTube: https://youtube.com/RuPostgres – подписывайтесь, ставьте колокольчик, чтобы не пропустить
Док с подробностями: http://bit.ly/RuPostgresTuesday
В ближайший вторник — про коррупцию. В гостях будут Андрей Бородин и Дмитрий Сарафанников и Яндекс.Облака.
YouTube: https://youtube.com/RuPostgres – подписывайтесь, ставьте колокольчик, чтобы не пропустить
Док с подробностями: http://bit.ly/RuPostgresTuesday
YS
Посмотрю, спасибо.
Всё усложняется тем, что база на удаленном сервере и использовать можно только`psql \copy`
Всё усложняется тем, что база на удаленном сервере и использовать можно только`psql \copy`
COPY (\copy) вообще не предназначены для загрузки / выгрузки данных с произвольными манипуляциями с ними (это для использования в дампах, быстрой загрузки/выгрузки "как есть" и т.п.). Может быть, в этом конкретном случае и можно что-то сделать (если в базе можно создавать какие-то объекты — попробовать временные таблицы, или view+triggers и т.д.), но лучше сразу смотреть на pgloader и т.п., мне кажется.
S
Yaroslav Schekin
COPY (\copy) вообще не предназначены для загрузки / выгрузки данных с произвольными манипуляциями с ними (это для использования в дампах, быстрой загрузки/выгрузки "как есть" и т.п.). Может быть, в этом конкретном случае и можно что-то сделать (если в базе можно создавать какие-то объекты — попробовать временные таблицы, или view+triggers и т.д.), но лучше сразу смотреть на pgloader и т.п., мне кажется.
Да, уже понял, что только copy не подходит. Сейчас смотрю в сторону временных таблиц для загрузки и потом селекта оттуда для вставки в нужную таблицу в нужном виде.
S
Pgloader в моем случае подойдёт?
S
Сложность может быть в том, что в файле обычно содержится от 2 до 10, а иногда и больше, миллионов строк. Таких файлов может быть загружено с десяток в течение часа.
И база на отдельном сервере, managed postgre от digital ocean
YS
Pgloader в моем случае подойдёт?
Так исходные данные (CSV файлы) у Вас где? Не на том же сервере, где postgres?
Если да — подойдёт. Если на том же, где PostgreSQL, и поставить туда ничего нельзя — нет.
Если да — подойдёт. Если на том же, где PostgreSQL, и поставить туда ничего нельзя — нет.
S
Yaroslav Schekin
Так исходные данные (CSV файлы) у Вас где? Не на том же сервере, где postgres?
Если да — подойдёт. Если на том же, где PostgreSQL, и поставить туда ничего нельзя — нет.
Если да — подойдёт. Если на том же, где PostgreSQL, и поставить туда ничего нельзя — нет.
Нет, сервер удаленный. Есть доступ через psql.
YS
Нет, сервер удаленный. Есть доступ через psql.
Значит, Вы вообще можете использовать всё что угодно, не только psql, правильно?
S
Yaroslav Schekin
Значит, Вы вообще можете использовать всё что угодно, не только psql, правильно?
Я с постгресом имел очень мало дела. Только запросы некоторые писал раньше. Поэтому что такое "всё что угодно" в данном случае не особо понимаю :) Но точно знаю что положить файл на тот же сервер нельзя.
YS
Я с постгресом имел очень мало дела. Только запросы некоторые писал раньше. Поэтому что такое "всё что угодно" в данном случае не особо понимаю :) Но точно знаю что положить файл на тот же сервер нельзя.
Любой клиент, который работает по протоколу PostgreSQL, в смысле.
S
Yaroslav Schekin
Любой клиент, который работает по протоколу PostgreSQL, в смысле.
Видимо, да
ММ
Есть средства для разбития таблицы на партиции, при условии что есть внешние ключи?
YS
Михаил Малыхин
Есть средства для разбития таблицы на партиции, при условии что есть внешние ключи?
Если по первичному ключу (тому, на что FK) разобьёте — обычный declarative partitioning в v12 (но осторожнее с CASCADE).