viprКорпорация EMC  на конференции EMC World 2013 представила EMC ViPR — платформу для программно-определяемого хранилища. По мере того как объемы данных в центрах обработки данных возрастают до десятков и сотен петабайт, сложность инфраструктуры и затраты, связанные с их обработкой, становятся серьезным препятствием. Как считают в EMC, ипользование EMC ViPR для управления инфраструктурой хранения и данных, размещенных в этой инфраструктуре, позволит организациям внедрить принципиально новые средства автоматизации и одновременно заложить фундамент современной инфраструктуры хранения данных для будущих развертываний приложений. Используя EMC ViPR, поставщики услуг и ИТ-отделы могут работать в направлении внедрения операционной модели центров обработки данных с масштабированием и веб-доступом, не привлекая тысячи технических специалистов для создания рабочих сред под заказ.

Платформа EMC ViPR предоставляет следующие возможности:

  • Одновременное управление инфраструктурой хранения данных («уровень управления») и данными, размещенными в этой инфраструктуре («уровень данных»).
  • Отделение уровня управления от уровня данных, благодаря чему появляется возможность использовать оба эти уровня одновременно или предоставлять заказчикам возможность использовать только уровень управления, чтобы управлять интеллектуальными алгоритмами массивов хранения при помощи средств автоматизации на базе политик. Такой подход принципиально отличается от предпринимавшихся ранее попыток виртуализации хранилищ данных.
  • Возможность отображения объектов в виде файлов позволяет получить производительность, характерную для файлового доступа, и исключить задержки, присущие объектному хранению данных.
  • Платформа допускает полностью программную реализацию и может работать на оборудовании производства EMC и других компаний, а также на стандартном оборудовании.

Контроллер EMC ViPR (уровень управления, отвечающий за инфраструктуру хранения) может существенно улучшить функции автоматизации, поскольку он виртуализирует базовую инфраструктуру хранения.  Обычные функции управления хранилищем (такие как выделение ресурсов и миграция) абстрагируются таким образом, чтобы различными массивами хранения можно было управлять одинаково как единым пулом ресурсов. Для управления этими сложными функциями в ViPR реализован единый принцип. Заказчикам больше не нужно выделять много времени и ресурсов на решение сложной задачи взаимодействия с многочисленными интерфейсами управления.

Когда такие пулы хранения созданы, они разделяются для использования приложениями. Для выполнения этой задачи в ViPR имеется портал самообслуживания, в котором владельцы приложений могут просматривать каталог сервисов хранения данных и выбирать ресурсы сервисов, наиболее подходящие для своих задач. Это дает ИТ-отделам возможности, которых специалисты по разработке приложений ожидают от общедоступного облака и к которым они привыкли.

Для большинства традиционных инфраструктур хранения платформа EMC ViPR будет предоставлять только уровень управления. Этот уровень выполняет обнаружение хранилища, создает виртуальные пулы хранения, назначает эти пулы приложениям и затем устраняется, не включаясь в путь передачи данных — эта задача остается на уровне массива. Аналогично тому, как операционные системы могут самостоятельно определять наличие устройств (например, графических сопроцессоров) и по возможности выгружать обработку, контроллер EMC ViPR может принимать самостоятельные решения в отношении ресурсов, обнаруженных в базовой инфраструктуре хранения. Если это возможно, он выгружает обработку в базовый массив и использует имеющиеся в нем интеллектуальные алгоритмы.

В случае традиционных рабочих нагрузок на базе файлов и блоков платформа EMC ViPR «самоустраняется» и передает базовому массиву роль уровня данных (данных, размещенных в этой инфраструктуре). К такой модели относится большинство рабочих нагрузок приложений в центре обработки данных, и по оценке EMC такие нагрузки вырастут к 2016 году примерно на 70%. Но одновременно появляются новые рабочие нагрузки приложений, которые часто работают с огромными объемами данных (большими данными) и обслуживают тысячи или миллионы пользователей. По оценке EMC, такие рабочие нагрузки к 2016 году вырастут примерно на 700%, что на порядок больше, чем традиционные рабочие нагрузки. 

ViPR может интерпретировать объекты в виде файлов, что позволяет получить производительность, характерную для файлового доступа, и исключить задержки, присущие объектному хранению данных. Кроме того, сервис данных HDFS ViPR позволяет заказчикам выполнять локальную аналитику в масштабе всей гетерогенной среды хранения. В результате чрезвычайно трудоемкая и ресурсоемкая задача управления гетерогенными средами хранения сама собой исчезает, освобождая специалистам ИТ-отдела время для важных бизнес-задач и инноваций.

Особенности этих новых приложений предполагают новую архитектуру. Обязательное требование массивной масштабируемости обязывает использовать более простой подход к инфраструктуре хранения — объектное хранение данных. При этом способы доступа также меняются: традиционные протоколы (такие как NFS и iSCSI) уступают место новым протоколам (таким как HDFS), которые известны как основа базы данных Hadoop. Для поддержки этих новых архитектур в платформе EMC ViPR реализованы объектные сервисы данных.

Объектные сервисы данных ViPR будут обеспечивать доступ через HDFS и API-интерфейсы на базе REST, совместимые с Amazon S3 и OpenStack Swift, и благодаря этому приложения, написанные под эти API-интерфейсы, будут работать без проблем. Объектные сервисы данных ViPR будут поддерживать существующие массивы EMC Atmos, EMC VNX и EMC Isilon в качестве постоянного уровня, а также массивы сторонних производителей и стандартное оборудование. Это позволит заказчикам исходя из нагрузки приложения определить требуемые характеристики производительности, качества обслуживания и стоимости. Со временем EMC планирует расширить набор сервисов данных, включенных в платформу ViPR.

Как заявляют в EMC, платформа ViPR делает для сегмента хранения данных примерно то же, что VMware уже сделала для сегмента серверов, — создает возможность абстрагирования ресурсов, формирования пулов и внедрения автоматизации для инфраструктуры. При помощи API-интерфейсов VMware пулы хранения, созданные в EMC ViPR, будут представляться в VMware vSphere в виде простого массива. Кроме того, контроллер ViPR будет обеспечивать интеграцию с универсальным средством управления и оркестрации VMware SDDC, vCloud Automation Center и vCenter Operations Manager. Таким образом, в ViPR управление хранилищем может осуществляться как самостоятельным объектом (который будет представляться как таковой в виртуальных средах Microsoft и OpenStack) или в рамках программно-определяемого центра обработки данных VMware.

Платформа EMC ViPR создана прежде всего для облачных сред и сервис-провайдеров, но она также подойдет для многих корпоративных ИТ-отделов, которые переходят на модель «ИТ как услуга» и занимаются созданием внутреннего облака с веб-доступом. С учетом этого платформа ViPR была создана на базе глобально распределенной архитектуры, которая позволяет ИТ-отделам обойтись без перемещения больших объемов данных по сети и выполнять локальную аналитику и другие аналогичные задачи. Платформа ViPR обеспечивает горизонтальное масштабирование по мере роста количества устройств и объемов данных, исключает единую точку отказа и позволяет построить среду с полностью автономным управлением и выделением ресурсов. Выпуск EMC ViPR запланирован на вторую половину 2013 года.