На гитхабе доступен инструмент от NetApp для репликации данных между AWS S3, Microsoft Azure и StorageGRID. Его вполне можно использовать и без StorageGRID, для синхронизации объектов между AWS и Azure.

This software provides several functions for managing large-scale cloud object store, leveraging Apache Spark. It uses AWS Java SDK and Azure Storage Java SDK to communicate with Amazon AWS, Microsoft Azure or NetApp StorageGrid.

https://github.com/NTAP/magi

Очередные итоги за Q32017 от IDC. В этот раз по конвергентным и гиперконвергентным решениям. В первом случае, как и в прошлом квартале, NetApp/Cisco с FlexPod увеличели свою долю на 56.4%, в сравнении с 2016 годом, до 33.6%. На первом месте Dell EMC с долей в 48.3% и падением на 4.4%. Рынок вырос всего на 1.5%. Относительно прошлого квартала доли на рынке не поменялись.
На рынке HCI Dell EMC вышли на первое место, на втором - Nutanix. Год назад ситуация была обратная. Но надо учитывать, что OEMные продажи Nutanix через каналы Dell (серия XC) идут в зачёт Dell EMC. Очень сильно выросли Cisco и HPE, но это лишь потому, что с 0 расти легко 🙂 Рынок вырос на 68%. Интересно будет ли хоть какая-то заметная доля у NetApp в следующем квартале в этом сегменте.
http://www.theregister.co.uk/2017/12/24/idc_goes_tracking_across_the_converged_landscape/

В ONTAP 9.3 появился MetroCluster IP. Он работает без FC-коммутаторов и FC-SAS бриджей. Используются Ethernet-коммутаторы и iWARP карты в контроллерах. Пока ещё хватает ограничений: только старшие контроллеры (FAS9000/A700), меньше расстояние. Но ждём дальнейшего развития.
https://blog.netapp.com/simplifying-business-continuity-with-metrocluster-ip/

Думаю все уже слышали про уязвимости в современных процессорах Meltdown и Spectre. И наверное хоть кто-то задумался о том, как они повлияют на СХД. Напомню, что эти уязвимости позволяют читать одним процессам содержание памяти, которое принадлежит ОС или другим процессам.
И тут у нас собственно две проблемы.
Безопасность ПО и снижение производительности при исправлении Meltdown. Spectre нельзя исправить программным образом, все патчи, которые выпускаются относительно Spectre нацелены на усложнение эксплуатации этой уязвимости.
Исправление Meltdown приводит к снижению производительности процессоров. Оценки влияния очень разнятся. Я встречал упоминания о снижении производительности на определенных задачах до 70%. Зависит от того, как часто происходит обращение к системным вызовам. И тут надо понимать, что для СХД исправление этих уязвимостей по сути не является необходимостью, так как СХД не предполагают запуск клиентского исполняемого кода на своих ресурсах. И значит производителям СХД нет необходимости разрабатывать патчи для своих ОС. Но как всегда есть исключения.
Например, HCI. Или SDS решения. Файловый доступ поверх блочного с использованием виртуальных машин. Для этих решений уязвимости явно могут повлиять на безопасность данных, а значит уязвимости надо исправлять, что в свою очередь может повлиять на производительность. И заметнее всего это будет с all-flash решениями. Есть ситуации, когда производители СХД строят свои решения на основе стандартных ОС. Например, EMC Unity работает на SuSe. И вполне возможно в какой-то момент Unity перейдёт на ту версию ядра Linux, в которой исправлен Meltdown и это теоретически может привести к снижению производительности.
Есть еще такая вещь как Purity Run от Pure Storage. Это возможность запускать на Pure FlashArray виртуальные машины и контейнеры. И тут уж однозначно надо патчить ОС.

- В случае с NetApp ни одна из ОС не подвержена атакам с использованием Meltdown и Spectre. Под вопросом наличие уязвимостей в NetApp HCI и BIOS FAS/AFF.

- У HPE все storage продукты подвержены уязвимостям. Но как я уже писал выше, для многих продуктов исправление не имеет смысла, так как эксплуатировать уязвимости не получится. Фиксы возможно будут для Simplivity, Hyper Converged систем. И точно уже разрабатываются для файловых серверов 3Par, StoreVirtual и StoreEasy.

- Nutanix говорит о том, что надо патчиить AHV. Для остальных продуктов пока точно неизвестно.

- IBM сообщает, что storage продукты не подвержены уязвимостям.

- Хотя у Lenovo в списке уязвимых систем присутствуют V3000, V5000 и V7000, но как и в случае с HPE нет необходимости что-то исправлять.

- EMC, HDS и Pure, к сожалению скрыли свои security advisory от публики, если кто поделится, будет интересно почитать.
У Huawei совсем невнятный анонс без списка продуктов.

Подборка анонсов от разных вендоров.
https://www.softcat.com/news/meltdown-(cve-2017-5754)-and-spectre-(cve-2017-5753-and-cve-2017-5715)-vendor-update-status/

Вот и бюллетень от EMC. Для части продуктов ещё неясно есть проблемы или нет. Для некоторых, например, Unity, есть частичное влияние и EMC пока не решил надо выпускать патч или нет. Storage продуктов Dell в списке почему-то вообще нет.

23 января в 20:00 по Москве будет вебинар “NVMe AFA Direction and Trends”.
Описание:
As NVMe flash and NVMe over Fabrics (NVMe-oF) becomes more prevalent, it is starting to find its way into enterprise storage arrays. Join us and invited industry experts from Dell/EMC, NetApp, Pure Storage, Kaminario, HPE, Pavilion Data Systems, Attala Systems, E8 Storage, Tegile, and Tintri to hear about where NVMe flash and NVMe-oF are being used in AFAs, and what applications are best positioned to take advantage of these new capabilities. There will also be opportunities for audience feedback during the webinar, as well as question and answer.
https://zoom.us/webinar/register/WN_36kpvEs-TG6-ZRhUedOPHQ?timezone_id=Europe%2FMoscow

Прикольная интерактивная штука для сравнения latency кэша процессоров, оперативной памяти, чтения данных с SSD и HDD, отправки данных через интернет. Всё достаточно условно, но помогает понять соотношения между разными типами памяти.
https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html

Ну вот и вести с полей про производительность SDS решений после патчей. В реплаях скромные намёки на панику.
https://twitter.com/NZ_BenThomas/status/950271094803480577

Очень интересный материал про архитектуру Netflix. Не поленитесь прочитать. Автор собирал информацию из разных источников, поэтому возможны неточности. Для затравки небольшая выжимка из текста, но там еще куча всего:
Backend - AWS. CDN - своя собственная сеть Netflix Open Connect с аплаинсами у провайдеров. 3 региона в AWS. 2 в США, 1 в Европе. Переезд из одного региона в другой - 6 минут. Каждый месяц тестовые “падения” регионов.
Netflix, например, показывает пользователям персонализрованные artworks, которые выбирает с помощью машинного обучения. Всё для того, чтобы вы заинтересовались фильмом или сериалом.
Транскодинг видео в нужный для клиента формат в AWS. Используется около 300 000 CPU. Благодаря параллелизации транскодирование видео и доставка его в CDN занимает не более 30 минут. При этом создаётся огромное количество файлов разных форматов, оптимизированных под разные устройства и разные скорости доступа в интернет. К примеру, второй сезон Stranger Things состоит из 9 эпизодов. Netflix хранит для него 9570 файлов с видео, аудио и субтитрами. Все файлы хранятся в S3, а клиентам попадают через CDN.
http://highscalability.com/blog/2017/12/11/netflix-what-happens-when-you-press-play.html

​​Все любят маркетинговые отчёты. Вот новый отчёт от IDC - IDC MarketScape: Worldwide All-Flash Array 2017. Это как Gartner Magic Quadrant, только иначе 🙂
В лидерах Pure, NetApp, Dell EMC и HPE. Fujitsu не включили в отчёт, так как на июнь 2017 они не показали revenue в $50 млн. Если у вендоров есть несколько линеек all-flash массивов, то для отчёта они должны были выбрать какую-то одну 🤔 А по тексту отчёта выходит, что сравнивали вообще конкретные модели, но учитывали наличие младших контроллеров. При этом нет конкретного списка моделей. Основные области дифференциации между вендорами по мнению IDC - стратегия развития NVMe, предективная аналитика, пользовательский опыт и стратегия по обновлению оборудования.
По-мнению IDC в этих аспектах Pure показывает себя лучше конкурентов. И тут конечно стоит вспомнить, что это маркетинговый отчёт, а товарищи из IDC и Gartner очень часто ленятся вникать в технические детали.
Если сравнивать Pure FlashArray и NetApp AFF по указанным выше 4 аспектам, то я вижу преимущество Pure только в предективной аналитике. ActiveIQ (AutoSupport) от NetApp пока еще не обладает каким-то серьезными инструментами проактивной аналитики. NetApp уже давно озвучил свои планы по применению NVMe носителей и NVMeF, и даже продемонстрировал работу текущих контроллеров AFF с NVMeF. У Pure есть FlashBlade, но IDC оценивал FlashArray. Если говорить про апгрейд оборудования, то тут вряд ли кто-то из конкурентов может соревноваться с NetApp по возможностям переезда между контроллерами без миграции данных и простоя. Это смена контроллеров, конвертация контроллеров в полки и расширение кластера.
Так что изучайте отчёт с поправкой на маркетинг.

​​ONTAP 9.3 с сегодняшнего дня GA.
Подробные release notes (нужен логин).
Кратко о том, что нового в 9.3 я писал раньше.
https://t.me/storagetalks/268

​​Вышел NetApp SnapCenter 4.0. Из самого важного - плагин для Microsoft Exchange Server с поддержкой SMBR (Single Mailbox Recovery). И множество мелких улучшений для других плагинов.
Например, плагин для VMware теперь поддерживает восстановление из снепшотов с помощью SFSR (Single File SnapRestore). Это позволяет экономить полезную ёмкость при восстановлении, нет необходимости восстанавливать датастор целиком, можно восстановить конкретную виртуальную машину.
Поддержка SFSR для SAP HANA.
Через интерфейс SnapCenter можно выполнять clone split с оценкой сколько места займёт отделившийся клон.
Release notes(нужен логин).

Тут Ars Technica написали про уязвимости в продуктах для резервного копирования от EMC.
Речь идёт о EMC Avamar, EMC NetWorker, EMC Integrated Data Protection Appliance и VMware vSphere Data Protection. Последний, это версия Avamar брендированная для VMware.
Известно о 3 уязвимостях - CVE-2017-15548, CVE-2017-15549, CVE-2017-15550. Благодаря первой уязвимости злоумышленники могут получить root доступ на сервера, что потенциально позволяет скачивать резервные копии. Вторая уязвимость позволяет загружать собственные файлы в любую часть файловой системы без аутентификации. Третья уязвимость позволяет повышать привелегии пользователй.
Судя по всему, уязвимости на самом деле в Apache Tomcat, который используется внутри этих продуктов. И по сути нет ничего ужасного в этих багах, так как такие системы обычно живут в локальных сетях. И я бы наверное даже не писал этот пост, но... Некто Davi Ottenheimer, эксперт по безопасности, пишет в твитере, что более сотни таких серверов доступны из интеренета и они находятся в России, Украине и Китае.

Если вы пользуетесь чем-то из выше перечисленного, то срочно обновляться. Патчи уже доступны.

https://arstechnica.com/information-technology/2018/01/emc-vmware-security-bugs-throw-gasoline-on-cloud-security-fire/

Немного про коэффициенты эффективности на NetApp HCI и SolidFire соответственно.
http://derschmitz.com/2018/01/10/short-article-netapp-hci-duplication-ratio/

​​Серия постов о репликации в Veeam. Подробно про варианты репликации, настройку, использование Powershell командлетов, CDP и т.д.
https://vzilla.co.uk/vzilla-blog/veeam-replication-101

Агенство O’Reilly бесплатно раздаёт неплохой набор книг по программированию, дизайну, IoT и работе с данными.
http://www.oreilly.com/free/reports.html

Новый документ из серии Cisco Validated Design - FlexPod Datacenter with VMware Horizon View 7.3 and VMware vSphere 6.5 Update 1 with Cisco UCS Manager 3.2 for 5000 Seats. В решении используются UCS B200 M5, Nexus 9372PX, MDS 9148S и AFF A300 c 24x3.8TB SSD. В документе описаны технические характеристики оборудования, подробные шаги по настройке решения и результаты тестирования производительности. Важный момент, что в решении тестировался A300 с ONTAP версии 9.1. А с каждой новой версией ONTAP происходят заметные улучшения в плане производительности.
http://bit.ly/2D8sgc9