Почему?

Каким образом вы исключили раундтрип по сети в случае разных хостов? Даже infiniband вам не позволит эту разницу скрыть

Пусть латенси, определяемая стораджем - это S. А латенси, определяемая сетью - Nl для случая с субд на том же хосте и Nr - при размещении на другом. Ну и пусть еще будет M для прочих факторов (доступ к памяти, время на обработку запроса и т.д.). Т.о. итоговая латенси для локальной базы будет Tl=Nl+S+M, а для удаленной - Tr=Nr+S+M.
~Соотношение Tr и Tr определяется так: Tr/Tl=Nr/Nl~ и не зависит от S. Т.е. разница будет определяться только сетевыми задержками.

(На самом деле, я тут ерунду написал)
Следует брать разницу между Tr и Tl и она будет равна Tr-Tl=Nr-Nl

Я как раз и говорю, что на разницу влияет только rtt, а ssd тут вообще ни при чем.

ssd тут причем. Чем быстрее ssd, тем более заметно на его фоне rtt. Когда у вас ssd отвечает за 7us - сложно не заметить +40us.

Хотя скорее всего сеточка докинет больше

В какой доле сервисов будет видна разница в 40us при запросах к субд? И будет ли она видна в ваших сервисах?

Это другой вопрос :)

Не, ну если сову натягивать на сферических коней в вакууме, то можно так до чего угодно договориться.
Мы, operations, чья работа заключается в том, чтобы заставлять написанное разрабами работать в реальном мире, - последние, кто имеет право забивать на вопросы практической применимости :)

Да, но если так рассуждать, есть другая крайность где у всех, в лучшем случае, гигабит и 10/40g - это какая-то научная фантастика

есть сильно разные "все", одни живут в амазонах, а у других своё железо - сервера/стойки/дц, и во втором случае гигабит между серверами это ~10 лет назад

(не?)

впрочем и в амазоне тоже нифига не гигабит

btw, локальный инстанс mysql как кеш - отличное решение для горизонтального масштабирования, всегда так делаю

Да, все так

а есть примеры СУБД которые юзают SPDK?

или только Oracle?

Насколько я помню - scylladb

Например, раздавать хотя бы 1Пб/мес без своего железа уже сложно

я бы сказал что скорее просто дорого... но если честно то такого опыта нет :)

хотя больше 100тб раздавали...