годная линейная скорость

на том-же железе

Очень интересно. спасибо. интересно, что маленькая скорость рэндомной записи.

это были эксперименты с вариантами рейдов, zfs, вкл/выкл Врайтбэк и т.д.

ну и попутно для сравнения тогда уж))

железо то-же,  4 диска SSD в Z-пуле (Samsung)

RAID на основе чётности это не совсем то, что нужно для СУБД. Тупо в силу алгоритма для записи/чтенияю Например нужно прочитать соответствующие места на всех дисках, посчитать контрольные суммы и записать чанки на несколько дисков (сами данные и контрольные суммы) просто чтобы записать что-то в один чанк на одном диске массива. Никакого сравнения с тупой записью параллельно на два разных диска у raid10 не выдерживает.

Так я и не не советую ничего, всего-лишь делюсь имеющимися цифрами).

А я и не говорю что советуете. Я кидаю коммент на случай ежели желающие себе выстрелить в ногу появятся. Авось кто прочитает, изучит вопрос и передумает, всяко польза.

1+1=2 )))

А по-моему 10 :)))

Ну вот очень странно. Ибо я решил переключиться с pgbouncer на пулы соединений от sqlalchemy, и скорость выросла (как и было раньше), но опять же из-за линейного роста RAM это приведёт к ООМ. В данный момент (воркеры работают через sqlaclhemy) выполняется в среднем 2,200 сообщений в секунду. Когда была работа через pgbouncer — это значение было в самом начале тоже на уровне 2,000, но потом стабильно ~600. И изменение количества воркеров одного типа, уменьшало количество обработки сообщений у другого воркера, но в сумме они обрабатывали всё те же ~600

А, пардон, почему память то линейно растёт, если коннекты держатся на одной отметке?

I have no idea, если честно 🤷 Все открытые сессии всегда закрываются

Это сейчас я отключил все воркеры

Я думаю, это питоно-проблемы. Спросите у питонщиков в соответствующем чате

Как я уже говорил, я бы питоновые потоки вообще не юзал. По крайней мере, для этой задачи.

А с моментом, когда при увеличении/уменьшении количества воркеров скорость через pgbouncer остаётся одинаковой — тоже к ним? То бишь я не знаю, затык ли в том, ждут ли задачи свободного подключения из pgbouncer, либо что-то другое. Как правильно это проверить пока нет идей

Залогируйте время выполнения каждой джобы (тот участок кода, который в одном потоке выполняется). Если оно одинаковое постоянно, то дело в коде

Пока, к сожалению, только такой вариант возможен. Ибо весь пайплайн построен на драматике, кучу сервисов работает через него. Но с постгресом в основном работают только несколько воркеров