Кластерные сюрпризы HP

Система StorageWorks Scalable File System — второй продукт, созданный на основе архитектуры Storage Grid

Компания Hewlett-Packard в ходе конференции International Supercomputing Conference, прошедшей в Гейдельберге (Германия), представила новое решение на основе файловой системы Lustre, распространяющейся с открытыми исходными текстами.

Решение получило название Sto?rageWorks Scalable File System. Это второй продукт, созданный на основе разработанной в HP архитектуры Storage Grid. Первым стала анонсированная в мае комплексная система архивирования и поиска данных StorageWorks RISS (Reference Information Storage System). Новая система будет интегрироваться с аппаратным обеспечением во многом так же, как и RISS.

Файловая система Lustre была создана в 2001 году. Этот проект возглавляет американская компания Cluster File Systems. В последнее время Lustre все шире применяется в суперкомпьютерах. Эта файловая система в какой-то степени похожа на некоторые закрытые программные решения, такие как IBM General Parallel File System и SGI CXFS.

В состав пакета Scalable File System вошли утилиты, упрощающие установку и управление Lustre. Это, по мнению экспертов, сократит временные затраты на проектирование систем с поддержкой данной файловой системы, в противном случае требовалось бы значительное время на изучение ее особенностей.

Массовые поставки StorageWorks Scalable File System в HP планируют начать в текущем году. Несколько позже в компании намерены выпустить еще один, третий продукт данного семейства под названием Scalable Tiered Storage. Фундамент его составит grid-архитектура, а основным предназначением станет упрощенное управление массивами хранения данных.

HP SFS: масштабируемость и отсутствие узких мест

Высокий уровень масштабирования пропускной способности достигается в HP SFS за счет организации параллельного доступа к файлам в рамках расширяемой grid-среды StorageWorks. В основу архитектуры HP SFS положена концепция настраиваемых интеллектуальных ячеек хранения (smart cell). Каждая такая ячейка представляет собой так называемый «сервер хранения объектов», работающий параллельно с другими такими же ячейками в единой grid-среде.

Основные компоненты HP SFS — интеллектуальные ячейки хранения, интеллектуальные ячейки метаданных, клиентские системы, оснащенные программным обеспечением Lustre, сервер LDAP, а также одно или несколько масштабируемых межсоединений, служащих для обмена сообщениями.

Интеллектуальные ячейки хранения формируют основное пространство хранения. Файлы данных «расслаиваются» по ячейкам хранения и обрабатываются в параллель, благодаря чему фактически увеличивается пропускная способность при обращении к таким файлам. Размер фрагмента файла, хранящегося в одной ячейке, определяется по целому ряду параметров; их точный перечень в конкретном случае задает системный администратор. Количество ячеек, задействованных в хранении одного файла, может варьироваться. К примеру, небольшие файлы хранятся в одной ячейке. При необходимости ячейки могут дублироваться в режимах «активный — резервный» или «активный — активный»; при сбое одной из них запросы к ней прозрачным для выполняемого приложения образом переключаются на вторую ячейку, что гарантирует высокую надежность хранения.

В ячейках метаданных содержится информация о файлах; клиентские приложения взаимодействуют с ними непосредственно при любых манипуляциях с файлами, при поиске по каталогам и других операциях. Ячейки метаданных дублируются в режиме «активный — резервный».

Клиентское программное обеспечение Lustre на вычислительных клиентах обеспечивает универсальный интерфейс используемой в разделяемом режиме файловой системы, отвечающей стандарту POSIX. Сервер LDAP служит для администрирования сетевых ресурсов, управления конфигурацией и безопасностью среды хранения, а также для поддержки продублированных сетевых маршрутов между клиентами Lustre и серверами хранения.

Архитектура HP SFS допускает работу с широким спектром сетевых решений, обеспечивающих обмен сообщениями. Вообще говоря, оптимальной для HP SFS технологией межсоединений является та, которая используется в данном кластере.

Составляющие HP SFS