М
Есть массив объектов, я циклом беру элемент - запихиваю его в БД и перехожу к следующему
Народ, обарбатываю большой массив данных, пуляю по 1му в БД
Каждую секунду импортируется 5 записей.
Этот лимит как-то можно увеличить?
Size: a a a
2020 June 26
YS
Ну так "запихивайте" побыстрее. ;)
В самом деле, непонятно, в чём у Вас проблема.
В самом деле, непонятно, в чём у Вас проблема.
N
Народ, обарбатываю большой массив данных, пуляю по 1му в БД
Каждую секунду импортируется 5 записей.
Этот лимит как-то можно увеличить?
Каждую секунду импортируется 5 записей.
Этот лимит как-то можно увеличить?
5 записей это очень мало. какого они размера?
MM
Есть массив объектов, я циклом беру элемент - запихиваю его в БД и перехожу к следующему
размер объекта неизвестен.... поэтому тяжело что-то сказать.... Используется ORM или обычный plain sql insert? Если последнее, то можно
INSERT INTO films (code, title, did, date_prod, kind) VALUES
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy'),
('HG120', 'The Dinner Game', 140, DEFAULT, 'Comedy');
INSERT INTO films (code, title, did, date_prod, kind) VALUES
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy'),
('HG120', 'The Dinner Game', 140, DEFAULT, 'Comedy');
MM
Собрали один insert и запулили его в базу....
MM
Если делать commit после каждого добавления - это тоже тормозит.... Вопрос задан крайне мутно
М
У меня схема немного криворукая
М
Делаю строку INSERT INTO films (code, title, did, date_prod, kind) VALUES
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy')
открываю коннект
пихаю
закрываю
Делаю новую строку
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy')
открываю коннект
пихаю
закрываю
Делаю новую строку
N
а почему bind переменные не используете?
М
в исходном массиве 10к объектов, часть под обновление записи, часть под добавление
В приложении я планирую проверить «надо ли обновлять» чтобы не пихать постоянно «n conflict do updatset»
В приложении я планирую проверить «надо ли обновлять» чтобы не пихать постоянно «n conflict do updatset»
М
Nikolay
а почему bind переменные не используете?
Э?
YS
Делаю строку INSERT INTO films (code, title, did, date_prod, kind) VALUES
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy')
открываю коннект
пихаю
закрываю
Делаю новую строку
('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy')
открываю коннект
пихаю
закрываю
Делаю новую строку
открываю коннект
пихаю
закрываю
Зачем?! Соединения-то устанавливаются очень долго (по сравнению с типичным временем INSERT).
М
Yaroslav Schekin
открываю коннект
пихаю
закрываю
Зачем?! Соединения-то устанавливаются очень долго (по сравнению с типичным временем INSERT).
да, наверно в этом и есть основная проблема
буду наверно напихивать по 100 записей
буду наверно напихивать по 100 записей
YS
Э?
Да, почему? Вам SQL injections в жизни не хватает? ;)
Параметризованные запросы нужно использовать.
Параметризованные запросы нужно использовать.
N
так вам еще лучще использовать байн переменные. это и нагрузка на сервер меньше будет. он не будет каждый запрос парсить по новому
М
Это через библиотеки всякие? У меня приложение стандартное с обычным pg_query (php)
s
да, наверно в этом и есть основная проблема
буду наверно напихивать по 100 записей
буду наверно напихивать по 100 записей
Открываете
Опционально делаете prepared statement (многие коннекторы под капотом и так делают, поэтому опционально и зависит от языка)
Пихаете пачками по 100-200-300 штук в одном инсерте, опционально можно каждый такой инсерт коммитить
Коммит
Закрываете коннект
Опционально делаете prepared statement (многие коннекторы под капотом и так делают, поэтому опционально и зависит от языка)
Пихаете пачками по 100-200-300 штук в одном инсерте, опционально можно каждый такой инсерт коммитить
Коммит
Закрываете коннект
YS
Это через библиотеки всякие? У меня приложение стандартное с обычным pg_query (php)
Там нужно не переподключаться по мере возможности, вот и всё.
А если какой-то интерфейс работы с PostgreSQL в 2020 не умеет в параметризацию (хотя бы со стороны клиента, но куда лучше — настоящую, на уровне протокола), место ему в мусорном ведре. ;)
А если какой-то интерфейс работы с PostgreSQL в 2020 не умеет в параметризацию (хотя бы со стороны клиента, но куда лучше — настоящую, на уровне протокола), место ему в мусорном ведре. ;)
М
Спасибо, порылся, нашел функцию для вставки ассоциативного массива
М
теперь смогу собирать массив по 100-200шт и отправлять его в базу