https://openai.com/blog/scaling-kubernetes-to-7500-nodes/
Глядите ещё)

ок, спасибо, буду дальше эксперементировать)

чето непонятно =) как у тебя с 80k IOPS на диск все упало до 20k iOPS в среднем на диск =)

СУБД какая?
грубо говороря если какой нибудь MySQL \ PostgreSQL
и например там можно каждую БД раскидать на отдельный диск
то так может получиться быстрее чем RAID городить =)

"загруженный file storage" я бы лучше зеркалил сразу на 2 диска заливая на уровне приложения и монтировал диски отдельно или какой нибудь zfs DRAID

я не против RAID на самом деле, просто с SSD рейд особо ни от чего не спасет и может даже хуже сделать
потому что деградация NAND ячейки - это факт который случается ... и там главное в целом диски отслеживать сами по себе и деградация зависит от того насколько диск заполнен и какая интенсивность работы...

Я про это же и говорю - с raid эффективность ssd снижается
Особенно raid10
Точная цифра иопс не важна, судя по моей практике (в последний раз пару лет назад) любой приличный ссд диск в большинстве случаев в рейд работает медленнее, чем без рейд

Рам диск ещё быстрее работает )

Тут же с ссд компромисс все равно

Вы упорно все куда-то в сторону сводите

У меня только один пойнт - raid для ссд в большинстве кейсов не очень эффективен
Особенно рейд10

Но у меня нет такого опыта как у тебя «в рейд ссд медленней работает». Все время с рейдом использовал. Не задумывался сравнивать без него

А почему именно с рейд10. Там же по сути добавляется одна операция - определить на какое зеркало записать или читать

и как тогда? Использовать отдельные диски?

Это на проце

Я совсем без рейд жил только в своем хостинге, где стоимость была важнее надёжности
Выборка маленькая, но умирания дисков у меня не было
Были отказы из-за кривых прошивок) после обновления те же самые диски заводились, данные не терялись
так сейчас живёт большинство хостеров
А началось это массово благодаря Digital Ocean

То есть были standalone ssd
Прямо с цифрами сравнить сейчас standalone ssd vs ssd in raid1 не могу, но как раз вот, возможность потестировать

Кхе-кхе. А вы учтите, что на ssd из raid10 может быть 2 сотни баз, например PG.

и это какой-нибудь промышленный контур, где реально высокая нагрузка и всё это живёт в сторадже на пару десятков терабайт

В аутсорсе мы делали софтовый рейд 1 из ссд, потому что минимизация рисков там обычно важнее производительности системы

Задумался, да
Сейчас не могу сказать, нужно проснуться до конца)

Мне кажется, что Вадим пытается донести мысль, что с учётом скоростей современных ssd программные рейды имеют шанс упереться в производительность ядра CPU при максимальной нагрузке. Не знаю, насколько сейчас реально использовать для этого несколько ядер. Наверное, это сильно зависит от типа: mdraid или zfs

программные рейды используют инструкции CPU. Что-то не уверен, что это возможно сделать :)

(но это моё личное мнение, не утверждение)