Будущее систем хранения

Платформа Virtual Storage Platform (VSP) логически продолжает линейку продуктов Hitachi Data Systems, первым представителем которой в 1995 году стала система Freedom Storage, за ней в 2000 году последовала Hitachi 9900 Lightning Storage, а в 2004 году – Hitachi Universal Storage Platform (USP). В 2007-м платформа USP была модернизирована и под именем USP-V стала одной из самых распространенных систем хранения данных со встроенной технологией виртуализации.

Архитектура VSP

Модель VSP (см. рисунок) сохраняет архитектурные принципы USP-V, но заметно отличается по целому ряду технических параметров, в ней использована новая коммутирующая матрица пятого поколения Grid Switch (GSW), диски SATA и SAS, добавлена поддержка дисков SSD, а RISC-процессоры уступили место четырехъядерным х86. Новое конструктивное исполнение позволило сделать системы Virtual Storage Platform модульными – они собираются из четырех типов основных компонентов – три контроллера: Front-End Director (FED), Back-End Director (BED), Virtual Storage Director (VSD) и модуль кэш-памяти Data Cache Adapter (DCA), работающий на все эти контроллеры. Модульная конструкция позволяет набирать разное количество компонентов FED, BED, VSD, GSW и DCA в конечной пользовательской системе, то есть масштабировать конфигурацию в трех направлениях. Как следствие, открывается возможность выпускать одну модель, адаптируемую к разным требованиям заказчика.

Все контроллеры собираются в один управляющий узел Control Unit (CU), занимающий 14U от общего объема стандартной стойки, а оставшиеся 26U остаются свободным под диски. В полном комплекте система VSP может содержать два узла CU (см. рисунок), причем принципиально важно то, что эти два устройства объединяются средствами коммутирующей матрицы, поэтому они вместе образуют единый интегрированный массив управления, а не кластер. Контроллеры добавляются при масштабировании попарно, увеличивая возможности системы за счет дисков HDD и SSD. В максимальной конфигурации система состоит из шести стоек, в двух размещаются контроллеры и диски, а оставшиеся четыре остаются только для дисков.

Объем памяти в модулях DCA варьируется от 32 до 128 Гбайт. На каждом модуле размещается диск SSD, предназначенный для хранения кэша при отключении питания. В минимальном варианте система может состоять из двух, обеспечивающих взаимное резервирование модулей VSD без контроллеров BED, и к ним можно подключить внешние накопители от разных производителей общей емкостью до 255 Пбайт. В таком случае за VSP остается лишь функция виртуализирующего механизма. Используя собственные конструктивы, система может быть доукомплектована 256 дисками SSD компании STEC (200 Гбайт в формате 2,5 дюйма или 400 Гбайт в формате 3,5 дюйма), 2048 дисками SAS 2,5 дюйма (1,2 Пбайт) или примерно 1280 дисками SATA 3,5 дюйма (2,5 Пбайт). VSP имеет до 192 подключений по Fibre Channel, до 192 IBM FICON и до 96 Fibre Channel over Ethernet (FcoE).

Компоненты VSP

VSD и GSW. Контроллер VSD является центральной частью Virtual Storage Platform, в одном CU может быть установлено два или четыре VSD, построенных на четырехъядерных процессорах Xeon и системной памяти 4 Гбайт. Количество поддерживаемых контроллеров хостов FED и дисков BED не зависит от комплектации CU, но при большем числе VSD производительность системы выше. В матрице GSW реализована технология HiStar-E Network, осуществляющая коммутацию PCI-Express. Сеть HiStar-E Network отличается полной отказоустойчивостью и отсутствием блокировок. В одном CU может быть установлено две или четыре платы GSW по 24 порта на каждой со скоростью приема/передачи 1024 Мбайт/с. Из 24 портов восемь подключены к портам FED и BED, они обеспечивают передачу данных и метаданных, четыре порта служат для подключения к платам VSD и для передачи трафика, связанного с выполнением работ и обменом метаданными, восемь портов подключаются к платам DCA для передачи данных и обновлений в памяти, а последние четыре порта служат для подключения ко второму CU. Если в системе отсутствуют контроллеры BED, то их порты могут быть переданы контроллерам FED.

DCA. Контроллеры DCA выполняют роль кэшей при чтении и записи данных и метаданных. В CU может быть установлено до восьми DCA с памятью от 8 до 32 Гбайт на плату, то есть при полной комплектации с двумя CU общий размер кэша может быть 0,5 Тбайт. Каждая плата DCA имеет в своем составе один или два диска SSD по 32 Гбайт каждый для хранения резервных копий контрольных областей памяти, буферов; для надежности содержимое плат DCA зеркалируется.

FED. Контроллеры FED управляют передачей данных между системой и серверами. Существует два типа FED: Fibre Channel и FICON, устанавливаемые парами, в одном CU допускается совмещение этих двух типов. Планируется использование портов FcoE 10 Гбит.

BED. Контроллеры BED служат для подключения дисков HDD и SSD, они также устанавливаются парами. Помимо передачи данных, BED обеспечивают расчет четности RAID-5 и RAID-6.

В BED и FED устанавливаются специализированные двухъядерные процессоры собственного производства Hitachi (data accelerator на специализированных платах) – перенос части функциональности непосредственно в кремний заметно повышает производительность, такая конструктивная особенность дает VSP конкурентные преимущества по сравнению, например, с EMC VMAX и IBM XIV, где применяются только стандартные комплектующие.

Трехмерное масштабирование

VSP может масштабироваться в трех измерениях: по вертикали(Scale Up), горизонтали (Scale Out) и в глубину (Scale Deep).

Scale Up. Под вертикальным масштабированием понимается то, что CU может собираться из отдельных контроллеров по принципу Lego – пользователь имеет возможность выбрать комплект, соответствующий именно его требованиям, причем масштабирование по производительности и емкости осуществляется независимо друг от друга, за счет изменения количества и состава контроллеров. Начальная конфигурация может состоять из 10 плат в CU, по две каждого типа VSP, DCA, FED, BED и GSW. Если нужна просто виртуализационная машина, то исключаются контроллеры BED. Далее эта конфигурация дополняется дисковыми контейнерами DKU. Выпускаются два типа DKU: на 128 дисков малого формфактора Small Form Factor (2,5 дюйма SFF) и на 80 дисков большого формфактора Large Form Factor (3,5 дюйма LFF). Первый тип DKU рассчитан на SFF и может комплектоваться твердотельными дисками SSD емкостью 200 Гбайт, быстрыми дисками на 146 Гбайт со скоростью вращения 15 тыс. об/мин, а также дисками по 300 и 600 Гбайт со скоростью вращения 10 тыс. об/мин. Все они подключаются по интерфейсу SAS со скоростью передачи данных 6 Гбит/с. Второй тип DKU рассчитан на LFF, он может комплектоваться твердотельными дисками SSD емкостью 400 Гбайт с интерфейсом SAS и дисками 2 Тбайт SATA со скоростью передачи данных 3 Гбит/с. К одному CU может быть подключено до 1024 дисков SFF или до 640 дисков LFF.

Scale Out. Под горизонтальным масштабированием понимается удвоение числа стоек, с трех до шести, благодаря чему все показатели увеличиваются вдвое. Такое возможно, поскольку два CU интегрируются, а не образуют кластер, что позволяет удваивать характеристики, в частности показатели производительности, а не только объемы хранения данных.

Scale Deep. В VSP поддерживается механизм виртуализации, апробированный в USP-V/VM. Внешние системы хранения данных от третьих производителей в VSP подключаются при помощи того же программного пакета Universal Volume Manager, что и в USP-V/VM. Его функциональность обеспечивает возможность конфигурирования, управления и доступа к данным на внешних системах хранения точно так же, как если бы они были внутренними компонентами VSP. Управление системой хранения, репликация данных и другие действия выполняются на внешних томах теми же способами, что и на внутренних. Использование внешних систем хранения расширяет возможности для создания многоуровнего хранения.

Новая функциональность и ключевые особенности

Кроме модернизации архитектуры, позволившей существенно увеличить показатели системы хранения, в VSP была включена дополнительная функциональность.

Hitachi Dynamic Tiering. Динамическое распределение учитывает различия в режиме использования данных, для него справедлив известный принцип Парето – на 20% данных выпадает 80% всех действий. В VSP реализовано автоматическое многоуровневое хранение, в котором разные уровни собраны в один пул – сначала данные записываются в самый быстрый уровень SSD, затем менее активные перемещаются на нижние, более экономичные уровни, а если возникает в них потребность, то они совершают обратное движение вверх по уровням.

Universal Virtualization Layer. Виртуализационный уровень впервые появился в USP еще в 2004 году, а затем получил дальнейшее развитие в USP-V. Отличительная особенность VSP в том, что эта система может быть использована как виртуализационное устройство (enterprise storage-virtualization appliance) для разнотипных систем хранения данных от разных производителей. В нем может вовсе не быть контроллеров BED, зато имеется возможность увеличить количество контроллеров FED и за счет этого получить больший размер поддерживаемого дискового пространства.

Система хранения Virtual Storage Platform имеет две главные отличительные особенности: масштабирование в трех измерениях и возможность перехода на диски SFF (Small Form Factor, 2,5 дюйма).

Несколько лет назад Майкл Хей и Кен Вуд предложили термин «декартово масштабирование» (Cartesian scaling) для описания отличительных технических качеств системы USP-V/VM. Два измерения – это возможность масштабирования системы хранения по вертикали за счет увеличения числа контроллеров, размера кэша и других компонентов в одной стойке и по горизонтали путем увеличения количества стоек. Идея третьего измерения родилась в результате обсуждения новой системы VSP с аналитиками из Evaluator Group. Действительно, виртуализация системы хранения увеличивает число измерений масштабирования до трех, то есть к вертикали и горизонтали добавляется глубина, поэтому поначалу это решение получило название 3D Cartesian Scaling, а затем маркетологи сократили его до 3D scaling. Позже подход 3D scaling был распространен на программное обеспечение, позволяющее осуществлять вертикальное масштабирование до 5 млн объектов, и горизонтальное масштабирование, позволяющее интегрировать управление блоками данных, файлами и контентом на любых компьютерах, на мэйнфреймах, открытых системах и виртуальных серверах.

Под масштабированием в глубину понимается интеграция со средствами и серверами приложений, например, пакет Hitachi Device Manager поддерживает виртуальные серверы и интеграцию с VMware Virtual Application Array Interfaces. На данный момент область действия ни одного из известных пакетов для менеджмента, поставляемых другими производителями, не распространяется на высоту, ширину и глубину.

Вторая особенность VSP отражает общее движение рынка корпоративных систем хранения к дискам SAS в исполнении SFF и большим по емкости дискам SATA. Компания HDS перешла на эти диски в массивах AMS 2000, а теперь и в VSP. Если сравнивать диски SAS с дисками Fibre Channel, то преимущества первых следуют прежде всего из достоинств соединения точка-точка по отношению к соединению Fiber Channel Arbitrated Loop. В Fibre Channel Arbitrated Loop диск должен выдавать запрос на доступ к петле, что оказывает влияние на общую производительность, поскольку разные диски имеют разную скорость работы, например твердотельные SSD по сравнению с вращающимися HDD. Медленнее осуществляется и диагностика – в поисках вышедшего из строя диска требуется пройти по всей петле до дефектного, а не напрямую, как в случае точка-точка. Немаловажна также более высокая скорость обмена данными – современные подключения SAS дают 6 Гбайт/с по сравнению с 4 Гбайт/с в петле Fibre Channel. Кроме того, имеются преимущества SAS в совместимости с SATA: хотя порты и одинаковые, но в SAS это двойной порт, а в SATA одинарный, значит, диск SATA может быть подключен к одному коннектору SAS. К тому же SAS идеально подходит к многоуровневому распределению данных Hitachi Dynamic Tiered, каждый том может быть разделен на страницы, а страницы приписаны к определенным уровням, скажем небольшое количество SAS Flash к уровню Tier 0, диски SAS HDD к Tier 1, а диски SATA к Tier 2.

Использование дисков SFF благотворно с точки зрения потребления энергии и использования пространства. Диск 2,5 дюйма потребляет вдвое меньше энергии и на треть меньше занимает физического пространства. Эти диски уже широко используются в младших моделях, во встроенных системах и в потребительских устройствах, а это значит, что цена на них будет падать быстрее, чем на диски большего размера и тем более на диски Fibre Channel. Компания HDS осуществляет переход на диски SFF быстрее других ИТ-игроков и уже умеет упаковывать их плотнее – в Virtual Storage Platform удается упаковать 128 дисков SFF в стойку высотой 13U. Доступ к ним возможен и спереди, и сзади через левую или правую дверь. Если одни вентиляторы на время обслуживания отключаются, тогда другие начинают вращаться быстрее, и общая температура сохраняется.

Готовность и производительность

Hitachi High Availability Manager – первое в отрасли решение для обеспечения в рамках единой, интегрированной системы управления постоянной доступности как для внутренних систем хранения данных, так и для внешних подключаемых систем различных производителей. Это решение позволяет создавать локальные и удаленные кластеры для эффективного, прозрачного переноса массивов хранения данных с одной платформы USP-V на другую систему без каких-либо перебоев в работе. При использовании совместно с технологиями репликации на базе массивов, программным обеспечением Hitachi Universal Replicator и Hitachi TrueCopy решение Hitachi High Availability Manager позволяет обеспечить аварийное переключение для массивов систем хранения данных без прерывания обслуживания всего ассортимента поддерживаемых систем, с мгновенным восстановлением доступа к данным на основном или на удаленном объекте.

Система USP-V устойчиво демонстрирует рекордные показатели на тестах SPC (Storage Performance Council), например, на наборе SPC-1, моделирующем работу в транзакционном режиме, производительность USP-V составляет 200245,73 IOPS, а на тесте SPC-2, моделирующем последовательный доступ, – 8724,67 Мбайт/с. Точных данных производительности из независимых источников по VSP пока нет, но, учитывая, что в системе добавился ряд устройств: третий уровень обработки в контроллерах VSD (в USP-V были только FED и BED), более производительная матрица HiStar-E PCI Express Switched Grid, заменившая собой коммутатор Universal Star Network crossbar, ускорители Special Data Accelerator на ASIC в FED и BED, четырехъядерные процессоры Intel Xeon Core Duo и более быстрые, на 6 Гбайт/с, контроллеры SAS вместо 4 Гбайт/с Fibre Channel loop, суммарная производительность заметно вырастет.

Хуберт Йошида — технический директор HDS.