по ссылке там видосик на русском

Да, я уже смотрел его. Рассказал поверхностно без примеров. От этого и загорелся баунсером.

ну в общем баунсер пока не используй ) ты успеешь его добавить всегда

Ну мы кстати изначально и думали над тем, как нам 5к конектов в секунду обрабатывать. Но тут подсказали использовать кеш. И вроде бы закрыли проблему на какое-то время. Мы как раз до этого и плодили инстансы.

То что на дарте сейчас в 8 экземпляров запущено. Вот и держит эти 5к как-то.

если добавите кеш, то куча мелких запросов перестанет в базу ходить и ваши 5к могут превратиться в 300

А проблема возникла из-за того что хотели переписать все на го. В результате запустили 1 приложение и посыпалось все. Хорошо что я к вам заглянул)

го не ускоряет бд, увы )

Да вот же. Мы то думали что 1 приложение на го под капотом сможет магией решить проблему с бд. Хз почему мы так решили. А теперь затянуло в го)

А сколько мы всего нового узнали... совсем другие возможности открываются теперь.

read/write запросы разнесены по реаликам?

Мы как раз думали на днях о репликации. Нам предложили как вариант писать на 1 сервер, читать со второго. На втором запущен пылесос который будет слушать события в базах и подтягивать все в редис. А мы приложением работаем только с редисом. Я вот как-то хз на счет такой схемы. Может есть варианты у кого годные?

И предложили рассмотреть стендбай сервер, на случай чп

что-то вы серьезно уходите в сторону, для начала проще добавить точечно кеширование в редис руками, это будет очень быстро и вы сразу увидите даст ли кеширование ожидаемый результат или даже не стоит в эту сторону лезть ибо у вас тупят запросы которые трудно кешировать

пишете просто оболочку над кодом который выполняет запросы, нужные запросы кешируете в ней, остальные просто 1 в 1 отправляете дальше
если это нода то подойдет даже такой https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Proxy

С кешем не все так просто в нашем случае пока что.  Мы переносим пользователей в новую базу. Но сам запрос миграции у нас и читает и пишет и заменяет и отдает сразу. Приходят адреса с устройства, мы должны подтянуть все совпадения по адресам > ключам > параметрам из старой бд, создать нового пользователя в новой бд и сразу вернуть результат на устройство. И все это должно отрабатывать по скорости как обычный селект. Хорошо хоть получилось написать такую хранимку. У  нас старая архитектура приложения и бд была в таком ужасном состоянии, что сейчас расхлебываем то, что натворили. По этому пока не завершится перенос пользователей о кеше мы можем только мечтать. Ну или по таймстемпу проверять пользователя и всех новых доставать из кеша, а старых на миграцию отправлять.

ну пока вы не переедите полностью вам вообще о изменениях серьезных только мечтать походу

Вот вот)

Хорошо что там 300к строк из которых получится 150к собранных пользователей. Кошмар еще в том, что маркетологи гонят новый трафик в больших количествах и мы просто не успеваем все разобрать. Пока втыкали с пулами и баунсерами еще 70к пользователей прилетело.

весело там у вас, а могли бы на ночь уйти на майнтейнс и все за раз сделать :)