Масштабирование в трех измерениях

Дважды в десятилетие Hitachi выводит в свет принципиально новую систему хранения данных. В 1995 году появилась Freedom Storage, в 2000-м — Hitachi 9900 Lightning Storage, в 2004-м — Hitachi Universal Storage Platform (USP-V), и вот в сентябре 2010-го подошла очередь Hitachi Virtual Storage Platform (VSP). Каждая из названных систем воплощала в себе итог развития технологий хранения за определенный период и одновременно указывала направление дальнейшего развития. Показателен пример USP-V: к моменту выпуска этой системы хранения у конкурентов уже имелись собственные  решения для виртуализации хранения. HDS была не первой, но ее подход к виртуализации продемонстрировал свою жизнеспособность, и сегодня по числу внедренных систем с виртуализацией хранения USP-V уверенно лидирует. Поэтому на новую систему полезно взглянуть с двух точек зрения, обратив внимание как на ее обычные потребительские свойства в роли вместилища данных, так и на более сложные качества системы управления данными. С первой точки зрения основные показатели VSP оказались вполне ожидаемыми: производительность возросла вдвое, плотность хранения благодаря новым дискам - тоже, а энергопотребление вдвое же уменьшилось. Эти достижения отражают статус-кво технологий, имеют большое, во многих случаях решающее значение для покупателей, но они не удивляют; было бы странно, если бы показатели оказались ниже.

Более интересны новые идеологические и архитектурные решения, адаптирующие VSP к современным нагрузкам при работе в составе динамических центров обработки данных, а также к хранению неструктурированных данных и медийного контента. На наших глазах ЦОД решительно трансформируются, требуя не просто количественного роста серверов и устройств хранения, а комплексного технико-экономического подхода к созданию инфраструктур, способных существовать в согласии с быстро изменяющейся внешней средой. К подобным, во многом противоречивым условиям упрощенные решения типа JBOD (Just a Bunch Of Disks — "просто куча дисков") не подходят, теперь нужны системы с эффективным управлением дисковым пространством и гибким масштабированием. Об этих возможностях VSP говорили в начале октября в Москве сотрудники HDS, анонсируя новые накопители. Нил Эванс, глава российского представительства HDS, подчеркнул, что создание VSP отражает возросшее внимание компании к исследованиям и разработкам: на протяжении предшествующих лет она потратила на эти цели миллиард долларов, а на следующие три года планирует выделить еще 7 млрд долл.

На создателей систем хранения нового поколения давит множество обстоятельств. Рост объемов неструктурированных и медийных данных исключает возможность специализации на определенных видах работ, например, как совсем недавно, на обработке транзакций. Современные системы хранения должны стать в полном смысле универсальными. Количество данных и тот факт, что данные сильно различаются по интенсивности использования, требуют, чтобы было обеспечено динамическое многоуровневое хранение с применением дисков, имеющих разное соотношение цена/производительность. Виртуализация серверов также накладывает свои требования. В итоге решения класса VSP становятся не столько системами хранения, сколько системами управления хранением данных.

Адаптивные способности VSP обеспечены двумя основными механизмами — трехмерным масштабированием, поддержанным трехмерным управлением 3D Management, и динамическим распределением хранения по уровням Dynamic Tiering. В HDS первыми предложили термин 3D Scaling, отдав дань модному увлечению, но вложив в него собственное представление о масштабировании, совмещающее вертикальное (scale up), горизонтальное (scale out) и неизвестное прежде «в глубину» (scale deep). Представление о первых двух координатах пришло из кластерных технологий, где под вертикальным обычно понимают повышение мощности одного из узлов, а под горизонтальным — наращивание числа однородных узлов. Со временем эти термины стали более общими.

Консолидация нагрузки со стороны серверов на систему хранения вызывает необходимость в более производительной внутренней инфраструктуре коммутации, обеспечивающей доступ к данным, отсюда горизонтальное масштабирование в тактовке HDS. Но одновременно растет число физических и виртуальных серверов, этому росту должно соответствовать развитие системы хранения, то есть вертикальное масштабирование. Третье измерение появляется потому, что требуется включать в работу накопители от сторонних производителей, распространив на них вертикальное и горизонтальное масштабирование. Hitachi Command Suite поддерживает эти измерения масштабирования тремя функциями управления: Manage up, Manage out и Manage deep. Вертикальное масштабирование позволяет увеличить общую пропускную способность до 192 Гбайт/с, довести емкость до 255 Пбайт с использованием дo 2048 2,5-дюймовых дисков SAS или 1280 3,5-дюймовых дисков SATA, включить в систему до 256 накопителей на флэш-дисках. Горизонтальное масштабирование обеспечивается коммутаторами Hitachi Hierarchical Star Network, объединяющими в одну логическую систему множество схем управления. Масштабирование в глубину позволяет включить в систему накопители не только от Hitachi, но и от EMC, IBM, Sun  и других производителей, обеспечив их поддержку в «коммунальном» (multitenancy) режиме.

Функция Dynamic Tiering учитывает различия в режиме использования данных, где действует известный принцип Парето: на 20% данных выпадает 80% всех действий. В VSP реализовано автоматическое многоуровневое хранение, когда разные уровни собраны в общий пул. Сначала данные записываются в самый быстрый уровень, SSD, затем менее активные перемещаются на нижние, более экономичные уровни, а если возникает в них потребность, то они совершают обратное движение вверх по уровням.