Что-то я не могу сообразить под вечер... Вставляю в цикле партиями по 100к записей в таблицу (первичный ключ key+value, т.е. дубликаты не вставятся), получаю affected rows и логирую:

INSERT INTO entries (key, value, source)
SELECT key, value, source
FROM import_buffer as src
WHERE src.id BETWEEN batch_start_key AND batch_end_key
ON CONFLICT DO NOTHING;

get diagnostics actually_affected = row_count;

в логе вижу

INSERTED 100000 RECORDS 17000000 - 17100000 OF 4045424231
INSERTED 100000 RECORDS 17100000 - 17200000 OF 4045424231
INSERTED 100000 RECORDS 17200000 - 17300000 OF 4045424231
INSERTED 100000 RECORDS 17300000 - 17400000 OF 4045424231

Как он умудрился вставить 100к записей, а не 99999, если каждый следующий интервал на 1 перекрывается с предыдущим?

Хмм, пожалуй есть пример - сильно интегрированная система на msssql. Из-за того что mssql это практически 100% использование возможностей ОС (всякие SOAP, интеграция с почтой и много чего еще) Принудительно было решено переехать на PG, В результате все что было "из  каропки" в ms sql пришлось решать различными внешними инструментами. Усложнилась поддержка, упала надежность.

INSERT INTO entries (key, value, source)
SELECT key, value, source
FROM import_buffer as src
WHERE src.id BETWEEN batch_start_key AND batch_end_key
ON CONFLICT DO NOTHING;

get diagnostics actually_affected = row_count;

INSERTED 100000 RECORDS 17000000 - 17100000 OF 4045424231
INSERTED 100000 RECORDS 17100000 - 17200000 OF 4045424231
INSERTED 100000 RECORDS 17200000 - 17300000 OF 4045424231
INSERTED 100000 RECORDS 17300000 - 17400000 OF 4045424231

дык between же включает концы отрезк

Включает, в том-то и дело. Значит, предыдущая итерация вставила то, что будет пытаться вставить следующая и у следующей итерации affected rows будет меньше

Первичный ключ составной? Key+value? Не просто key?

А сколько строк между 10 и 20 включая границы? 😀

да, точно составной

Ну поэтому on conflict не работает наверно

тьфу, блин, 11 же

спасибо, и правда мозг к вечеру поплыл)

WELCOME TO POSTGRESQL (!)

Настоящий друг.

За гранью океана

Два админа на одном сервере

Способ которым это идёт - мне и самому не нравится. Но сам факт использования отчасти открытого ПО меня радует.
Если бы не стали заниматься чухней, а просто дали бы возможность свободно юзать opensource было бы гораздо более прогрессивным.

полностью согласен

О ещё один из знакомого чата 😁

Даже из двух 😆

Где можно найти задачник по pl/pgsql?)

Конкретнее

Задачи по триггерам, функциям, процедурам, мб ещё по курсорам