Если вы вспомните, как работал datrium в формате hci, то там был очень умный stateless read cache в хостах, а на бекенде отказоучточивый nl-sas + write buffer в nvram в качестве отдельно полки. И это работало достаточно быстро даже для tier-1 нагрузок. Потом, когда с hci у datrium не заладилось, то они сделали pivot и адаптировали свои технологии к связке s3 + кэш в локальных nvme + ebs. При этом у s3 все не плохо с
seq.read, хотя ужасно с random read и latency маленьких блоков, но это как раз решается кэшом и logstructured фс с буфером на запись. И сделал draas сервис для vmc с крайне дешёвым хранением (потому что платишь практически только за s3), отличным rto (потому что instant recovery) и относительно нормальным rpo.