Все зависит от этого, какой набор тулов дешевле в обслуживании и сопровождении.

а данные лежат отдельно, а между воркерами и данными 100 гбитная сеточка

Угу. Но тут я так понимаю не совсем про это, а скорее про "у меня не говно и вообще не нужно" против реального мира:)

на ноду?

да. и ipv6 прикинь

и vxlan на каждую команду свой

хыхых.. блин, чувак, ну серьезно? ipv6 это прям чудо чудное чтоль?

ну замечательно, у тебя есть и наверно 10 терабитный коммутатор, и 100 гигабит в каждом сторадже и воркере, ок. Имеет право на жизнь.

Но хочу заметить что далеко не у всех все устроено именно так. Есть и другие подходы. И люди с ними успешно живут. И у них не только ява. То, что в твоем случае все именно так - это чудесно и замечательно (наверное), но не доказывает ровным счетом вообще ничего:)

я вижел много вариантов, но чаще всего вариант с кубером заканчивался миграцией в облако, чтобы скелить чуть что всё, выплачивая облакам x10  от того что могло бы быть, но зато  смотрите у нас всё универсальнинько, либо вариант как я описал, либо ещё 1 вариант, там и близко нет только данных

а гибридные решения облако+метлл? а кубер для запуска побочных тасков и всяких интерфейсиков?

к этому только переходят, и то чаще всего по пути очень жирного железа у себя и отказа от автоматизации ради  автоматизации

Ну и открою наверно страшную тайну - стоимость для бизнеса вообще не на первом месте. На первом месте совсем другие штуки, вроде рисков, сабмитов, собственности и прочего. Облако чаще всего действительно не дешевле в лоб, но вполне может быть дешевле на круг, или в итоге нести больше денег на круг в перспективе.

Ты рассуждаешь очень обобщенно, я бы сказал. Такое сценарий есть, но "чаще всего" - мутное определение.

основные причины популярности облака
1)менеджеру меньше надо людей а значит больше можно придумывать волевых решений а не работать
2)  меньшая зависимость от индусов(актуально на западе)
3) менеджеры  получали хорошие  бонусы и всякие бумажки от облаков
4) стартапам так было проще продаваться
5) менедженту надо меньше работать в планирование

Вообще почти все можно охарактеризовать как "зависит от..," и вот тут получается уже уникальный список. Не всегда свое это хорошо, не всегда облако это хорошо.

то есть когда кубер тащат везде и куда попало - это процессы. а когда иначе это частные случаи - ок

Ты заблуждаешься. Я на самом деле не знаю как там сейчас в СНГ с бизнесом, наверняка что-то за 4 года изменилось, но в целом в мире все выглядит совершенно по-другому:
1. Свои сервера - это капитальные вложения. Туда надо очень много денег залить на старте, что плохо для бизнеса, т.к. регулярные, пусть и высокие, платежи чаще всего лучше, чем единоразовое вливание большой суммы денег, фактически закапывая их в железо. Исключения могут быть (стабильный проект со 100% понятным будущим и прочее, а-ля дропбокс), но чаще всего аренда выгоднее, пусть и по более высокой цене. А еще это затраты в налоговой базе. Короче, отнести сразу 10 условных миллионов в ДЦ хуже, чем выплатить 20 миллионов в течении 3 лет.
2. Меньше логистики и сложности. Свои сервера надо покупать, обслуживать, держать дежурных, заниматься аппараткой. Это все люди и деньги, а если у тебя локаций много - то все это множится. Плюс каналы связи между локациями и т.д (хотя можно и через облако данные между ДЦ гонять, так то:) )
3. Облака готовы дать хорошие скидки. Если у тебя объем, то можно очень сильно порезать косты от публичных цен. Так что даже кажущаяся дороговизна на самом деле не такая большая.
4. Скейлинг, свобода масштабирования, время реакции. Это важно для растущих проектов. Затраты будут расти по мере привлечения клиентов, кэш-флоу и вот это все. Наращивать железо сложнее. Партии будут больше (потому что дешевле), фундоменталку все равно придется сразу закладывать (сеть, инфраструктура обслуживания и т.д.), можно упереться в потолок (кончатся свободные стойки в ДЦ и что делать?).
5. Облачные сервисы. Облако - это не набор виртуалок, это много всякого, начиная от виртуальных сетей и пиринга заканчивая упрощениями фейловера (зоны можно и в рамках ДЦ организовать, но это опять же увеличивает расходы) и сервисами, которые там из коробки (балансеры, базы, стораджи и т.д), которые в ином случае придется делать самому, раздувая штат очень недешевых специалистов. Два условных админа в вакууме, которые способны более-менее внятно крутить какой нибудь аналог S3 весьма большого масштаба обойдутся в по крайней мере в 200 тысяч долларов в год. И еще затраты на железо.

Я вообще не топлю за то, чтобы кубер везде тащить, зачем ты мне это приписываешь? Напомню, что изначально я отстаиваю позицию "бигдата не исключает наличие кубера".

Опять очевидные вещи обсуждаете