Size: a a a

Архитектура ИТ-решений

2019 August 06

VF

Victor Fabrichenko in Архитектура ИТ-решений
Alexey Pryanishnikov
но учитывая, что современные разработчики вообще не парятся про оптимизацию в том смысле, в каком это делали 20+ лет назад, в целом виртуальные среды выигрывают чаще
Это заблуждение, требования к оптимизации за последние 15 лет вообще не поменялись и возможно даже немного подросли. Но чтобы делать оптимизацию, нужно чтобы была соответствующая задача. Горизонтальное масштабирование это круто, но оно стоит денег и очень быстро люди понимают, что дорого.
источник

VF

Victor Fabrichenko in Архитектура ИТ-решений
Другое дело, что многие такие оптимизации переехали к крупным вендорам. Типа BQ от гугла. Раньше городили свое, а теперь можно не сразе городить, а пожить на вендоре и только потом городить ))
источник

AP

Alexey Pryanishnikov in Архитектура ИТ-решений
Victor Fabrichenko
Это заблуждение, требования к оптимизации за последние 15 лет вообще не поменялись и возможно даже немного подросли. Но чтобы делать оптимизацию, нужно чтобы была соответствующая задача. Горизонтальное масштабирование это круто, но оно стоит денег и очень быстро люди понимают, что дорого.
Зато квалификация программистов поменялась. Расскажите современному разработчику про бинарные протоколы, потери на передаче контекста между кристаллами или оптимизацию через дефрагментацию данных в памяти - он же просто не поймёт, нафига это всё
источник

p

pragus in Архитектура ИТ-решений
Oleg Soroka
Другими словами, претензии не к облаку, а к виртуализации, ведь в своём датацентре vmexit будет точно таким же, как и в чужом?
да, верно. но на своём железе можно частично нивелировать или же вообще  спилить виртуализацию.

> В клауде - вы цепляете 4 диска на инстанс и у вас миллион.

что у каждого миллион iops?

> А у себя в датацентре вы какую именно железку купите

pcie aic

https://www.kingston.com/datasheets/DCP1000_en.pdf
https://global-uploads.webflow.com/5ab1342d0735aa53115fca62/5d07b803fdf10fd84f958433_Liqid-Element-LQD3000-Composable-Storage-012119.pdf

> И сколько серверов, какими свичами и картами к ней подключите?

mlx ib
источник

RM

Rustem Mannanov in Архитектура ИТ-решений
Oleg Soroka
Потери на виртуализацию - 3-5%
Арифметическое упражнение - найти локальный оптимум масштабирования по ядрам vs по виртуальным инстансам.
Проблема в том что для того чтобы норм масштабировать истансы нужна а) соотв. архитектура решения б) инфраструктура под это в) чтобы разработчик оптимизировал всё под эти сценарии. Это всё долго и догого. Ядра накинуть быстрее и проще всегда) я уж молчу о накладных расходах внутри к8
источник

p

pragus in Архитектура ИТ-решений
Alexey Pryanishnikov
но учитывая, что современные разработчики вообще не парятся про оптимизацию в том смысле, в каком это делали 20+ лет назад, в целом виртуальные среды выигрывают чаще
зависит от сценария. всякие nfv весьма парятся
источник

VF

Victor Fabrichenko in Архитектура ИТ-решений
Alexey Pryanishnikov
Зато квалификация программистов поменялась. Расскажите современному разработчику про бинарные протоколы, потери на передаче контекста между кристаллами или оптимизацию через дефрагментацию данных в памяти - он же просто не поймёт, нафига это всё
Ну и хорошо, что не поймет. Этот уровень уже норм заоптимизирован и хорошо, что туда почти никогда не надо спускаться. Я видел много раз, как система тормозила из-за кривой программной архитектуры и это вылечить было невозможно. А низкий уровень закрыт абстракциями и это не убъет вашу систему, подмените реализацию и будете счастливы.
источник

OS

Oleg Soroka in Архитектура ИТ-решений
pragus
да, верно. но на своём железе можно частично нивелировать или же вообще  спилить виртуализацию.

> В клауде - вы цепляете 4 диска на инстанс и у вас миллион.

что у каждого миллион iops?

> А у себя в датацентре вы какую именно железку купите

pcie aic

https://www.kingston.com/datasheets/DCP1000_en.pdf
https://global-uploads.webflow.com/5ab1342d0735aa53115fca62/5d07b803fdf10fd84f958433_Liqid-Element-LQD3000-Composable-Storage-012119.pdf

> И сколько серверов, какими свичами и картами к ней подключите?

mlx ib
Ну NVMe и в клауде есть, с одного диска -  680,000 iops на чтение и 360,000 на запись. Это у гугла. У других лень смотреть, думаю примерно так же.
источник

p

pragus in Архитектура ИТ-решений
Oleg Soroka
Ну NVMe и в клауде есть, с одного диска -  680,000 iops на чтение и 360,000 на запись. Это у гугла. У других лень смотреть, думаю примерно так же.
Речь была про 1m iops
источник

OS

Oleg Soroka in Архитектура ИТ-решений
pragus
Речь была про 1m iops
Это целых 2 диска. Или 3...
источник

OS

Oleg Soroka in Архитектура ИТ-решений
Но если хочется ни в чём себе не отказывать - то можно и 8 :)
источник

OS

Oleg Soroka in Архитектура ИТ-решений
источник

AP

Alexey Pryanishnikov in Архитектура ИТ-решений
Victor Fabrichenko
Ну и хорошо, что не поймет. Этот уровень уже норм заоптимизирован и хорошо, что туда почти никогда не надо спускаться. Я видел много раз, как система тормозила из-за кривой программной архитектуры и это вылечить было невозможно. А низкий уровень закрыт абстракциями и это не убъет вашу систему, подмените реализацию и будете счастливы.
Вот как раз это распространённое заблуждение, имхо, ещё и поддерживаемое вендорами.
То есть, оно в общем и целом верное, но в частных случаях иногда наблюдаем, как железка ~2003 года выпуска делает на одном пне третьем и гигабайте оперативы то же самое, что современная система еле-еле ворочает на десятке современных DL-ек. И начинаем задумываться, что же в индустрии пошло не так)
источник

RT

Roman Tsirulnikov in Архитектура ИТ-решений
Железо работает предсказуемо, а умные программисты это всегда источник неопределенности
источник

KG

Kirill Gorin in Архитектура ИТ-решений
dreamore
А вот если говорить про инхаус размещение облачных сервисов, т.е. приватные облака - это настоящее и ближайшее будущее
это какой то хайп опять.
источник

RM

Rustem Mannanov in Архитектура ИТ-решений
Roman Tsirulnikov
Железо работает предсказуемо, а умные программисты это всегда источник неопределенности
Эээ. Кубер/виртуализацию тоже делают люди.
источник

RM

Rustem Mannanov in Архитектура ИТ-решений
Программисты не работают с железом.
источник

VF

Victor Fabrichenko in Архитектура ИТ-решений
Alexey Pryanishnikov
Вот как раз это распространённое заблуждение, имхо, ещё и поддерживаемое вендорами.
То есть, оно в общем и целом верное, но в частных случаях иногда наблюдаем, как железка ~2003 года выпуска делает на одном пне третьем и гигабайте оперативы то же самое, что современная система еле-еле ворочает на десятке современных DL-ек. И начинаем задумываться, что же в индустрии пошло не так)
Я не понял ваш пример и не понял в чем мое заблуждение. Я утверждаю что порог разработки своих решений значительно повысился. Все равно приходится делать специализированные решения, но на  других объемах данных и нагрузках.
источник

RT

Roman Tsirulnikov in Архитектура ИТ-решений
Крупные компании любят закупать разные дорогостоящие решения еще и потому что их можно поставить на баланс организации как средства производства,
увеличить капитализацию компании в отчетности а также снимать амортизацию.
В итоге - всем выгодно.
источник

p

pragus in Архитектура ИТ-решений
Oleg Soroka
Это целых 2 диска. Или 3...
Вопрос в том как вы "склеите" 2 или 3 диска
источник