Технологии удаленного доступа к устройствам хранения данных, когда-то казавшиеся почти фантастическими, теперь могут быть реализованы несколькими способами, и конечному пользователю остается лишь выбрать наиболее оптимальное решение. Восхищаясь возможностями современных крупномасштабных систем хранения данных, нельзя не вспомнить о том, что послужило толчком к развитию современных архитектурных решений уровня предприятий: если бы почти десять лет назад не был создан интерфейс SCSI, его следовало бы придумать.

На протяжении последних десяти лет компьютерная отрасль претерпела радикальные изменения, причем нет такой области в мире ИТ, которую не коснулся бы ветер перемен на пути модернизации и улучшения качественных характеристик. Появление новых возможностей было тесно связано с разработкой и стандартизацией новых протоколов обмена данными, а те, в свою очередь, привели к изменению архитектурных решений. Если раньше отдельное устройство привязывалось к конкретному узлу или серверу, то сегодня такой способ размещения или адресации оказывается неприемлемым. Как следствие, все чаще приходится пересматривать архитектурное решение в целом, поскольку акцент смещается на получение масштабируемого решения для достижения равномерного распределения ресурсов вне пределов одного сервера, одного помещения и нередко отдельной территории и даже государства.

Системы хранения не остались в стороне от происходящих изменений.

ХВАЛА SCSI

Концепция создания интерфейса шины для малых компьютерных систем (Small Computer Systems Interface, SCSI) зародилась задолго до того, как он стал стандартом для устройств хранения данных в решениях корпоративного уровня. Алан Шугарт, стоявший у истоков компаний Seagate Technology и Shugart Associates, предложил собственный интерфейс Shugart Associates Systems Interface (SASI). Во многом благодаря его усилиям в 1986 г. комитет ANSI утвердил стандарт X3.131-1986 в качестве отраслевого под новым, хорошо знакомым теперь всем названием SCSI-1. Его открытость для других производителей позволила решить существовавшие на тот момент проблемы подключения конечных устройств хранения данных и написания драйверов к крупным вычислительным системам.

Мгновенная популярность шины SCSI объяснялась гибкостью предлагаемых решений, поскольку к ней можно было подключать одновременно сначала до семи, а затем и до 15 физических устройств различного назначения: ленточные накопители, жесткие диски, магнитные диски, оптические диски и т. д. Впоследствии популярность SCSI — как у производителей, так и у пользователей — послужила стимулом для его дальнейшего развития; в результате появились новые стандарты: SCSI-2 (IEEE X3.131-1994, принят в 1994 г.) и SCSI-3 (продолжает развиваться с 1993 г.). Характеристики различных стандартов SCSI представлены в Таблице 1.

Заложенные Шугартом идеи использования шины SCSI оказались очень продуктивными: в 1986 г. началось победное шествие новой на тот момент и хорошо известной сейчас архитектуры непосредственно подключаемых устройств (Direct Attached Storage, DAS) (см. Рисунок 1).

Рисунок 1. Непосредственное подключение систем хранения.

Возможность создавать надежные хранилища данных на основе избыточных массивов недорогих дисков (Redundant Array of Inexpensive Devices, RAID) открыла путь к тиражируемым решениям для корпоративных систем хранения данных, где требовались надежность, скорость и наращиваемость. Эти три качества позволяли закрыть глаза на единственный недостаток на тот момент, а именно — высокую стоимость (из-за чего, кстати, SCSI пользовался низкой популярностью в настольных решениях).

Начало XXI века ознаменовалось резким ростом объема обрабатываемой информации, а успех бизнеса оказался в зависимости от скорости доступа к системам хранения данных. Прикладные задачи перестали быть жестко привязаны к отдельному узлу или серверу, вследствие чего изменились требования к быстроте доступа к данным, а сами данные начали размещать на различных массивах и, зачастую, на различных площадках.

Шина SCSI уже не могла удовлетворить возросшим требованиям, главным образом по причине ограниченных возможностей масштабирования: максимальная длина кабеля составляла 25 м, а скорость передачи данных от конечных устройств хранения деградировала, когда к одной шине подключалось близкое к максимально допустимому число. Единственно возможное решение заключалось в установке на сервере дополнительных адаптеров SCSI, однако это затрудняло задачу администратора по эффективному управлению сервером для обеспечения его непрерывной работы, а из-за ограничения длины шины SCSI серверные комнаты превращались в сплетения кабелей и проводов, идущих от внешних массивов к серверам. Кроме того, коэффициент использования совокупного дискового пространства был весьма низким, что вело к удорожанию инфраструктуры ИТ в целом. Наконец, с течением времени появилось множество дополнительных требований к оборудованию ИТ, в том числе и к системам хранения данных, по обеспечению надежного и безопасного хранения информации, объемы которой резко возросли и демонстрировали тенденцию к дальнейшему росту.

Стало ясно, что проблемы можно устранить только при условии разработки нового архитектурного решения: с одной стороны, оно должно было сохранить преемственность по отношению к распространенному интерфейсу SCSI, а с другой — преодолеть возникшие ограничения и соответствовать современным требованиям безопасного хранения информации. Перечислим основные из них:

  • увеличение уровня утилизации систем хранения данных;
  • повышение скорости доступа и передачи данных;
  • увеличение эффективности работы систем резервного копирования;
  • повышение уровня доступности хранимых данных;
  • увеличение длины соединительных линий;
  • обеспечение физической независимости систем хранения данных от узлов их обработки.

СЕТЕВЫЕ ХРАНИЛИЩА

Ограничения прямого подключения дисковых носителей к серверам были устранены в сетевых устройствах хранения (Network Attached Storage, NAS) и сетях хранения данных (Storage Area Network, SAN) (см. Рисунок 2) — эти архитектурные решения ориентированы на сетевое подключение устройств хранения, а их бурное развитие началось в 2000 г.

Рисунок 2. Сетевое подключение устройств хранения.

Главные отличия архитектур NAS и SAN состоят в следующем. NAS представляет собой специализированный сервер, основная задача которого — обеспечение надежного управления устройствами хранения и файловыми системами и предоставление к ним удаленного доступа с использованием специализированных протоколов доступа к файловым системам: CIFS, NFS и т. д. Если раньше подобные задачи требовали от администраторов значительных усилий по установке и настройке собственных файловых серверов, то с появлением NAS, благодаря применяемым производителями решениям, файловые серверы превратились в своего рода «черные ящики», и объем работ на этапе их установки и запуска в действие сократился до минимума. Не случайно впоследствии они стали обозначаться как NAS Appliance, или сетевые приставки, поскольку предназначались исключительно для решения узкого спектра задач по обеспечению файлового доступа к хранимым данным через локальную сеть. Благодаря узкой специализации функций файловой и операционной систем производителям удалось добиться оптимального соотношения цена/производительность для решений NAS.

Однако если скорость доступа к хранимым данным является основным требованием, то архитектура SAN имеет преимущество перед NAS. В этом случае исключается дополнительное звено — сервер NAS, а все функции управления передаются рабочим серверам (как в примере на Рисунке 2, это Oracle Server и Oracle Application Server). При этом скорость доступа ограничена лишь пропускной способностью каналов передачи данных. В отличие от файлового обмена данными передача осуществляется блоками.

Архитектура SAN начала развиваться с середины 90-х гг. прошлого столетия. В 1995 г. IBM уже предлагала архитектурное решение на базе последовательной технологии Serial Storage Architecture (SSA). Базирующееся на топологии кольцевых сетей, оно позволяло подключать гораздо большее количество физических устройств, чем SCSI — до 127 дисковых устройств. Каждое устройство имело четыре канала (два в одну сторону петли и два — в другую), в результате суммарная скорость передачи блоков SCSI достигала 80 Мбайт/с — в то время эти показатели значительно превосходили характеристики самого интерфейса SCSI. Одновременно комитет ANSI начал подготовку стандарта X3T10.1, принятие которого состоялось в 1997 г. Важно отметить, что подключение конечных устройств предусматривалось как в виде петли, так и с применением коммутаторов. Однако широкое использование SSA сдерживалось высокой, по сравнению со SCSI, стоимостью.

Примерно в то же самое время к созданию стандартов для технологии Fibre Channel приступила и Seagate Technologies. Разрабатываемый стандарт Fibre Channel Arbitrated Loop (FC-AL) также был ориентирован на соединение устройств по оптическим каналам посредством петли. Дело пошло быстрее после того, как в конце 1995 г. Seagate приобрела крупного разработчика в области систем хранения данных, компанию Conner Peripherals. Внедрение решений на базе FC-AL обходилось значительно дешевле, чем на базе SSA. В значительной степени это и повлияло на выбор в пользу FC-AL большинства других компаний меньшего размера, что в конечном счете и определило победу FC-AL над архитектурой SSA. Стандарт FC-AL был одобрен ANSI в 1994 г. Его возможности представлены в Таблице 2. Примерно с 1998 г. начались массовое производство и внедрение устройств на базе FC-AL.

Для выработки единого стандарта и обеспечения дальнейшего развития технологий на базе Fibre Channel в рамках Национального американского института стандартизации (American National Standards Institute, ANSI) был создан комитет Т10 под управлением международного комитета по стандартам на ИТ (InterNational Committee on Information Technology Standards, INCITS), он сосредоточился на архитектуре SCSI и ее использовании с Fibre Channel и другими протоколами. В результате те идеи, которые были заложены Шугартом, получили развитие в новых проектах на базе SCSI-3.

Процесс совершенствования SCSI-3 продолжается и сегодня, а комитет Т10 предложил расширенную модель его стандартизации с сохранением преемственности по отношению к SCSI. В результате, как и десять лет назад, уже обновленный SCSI дал толчок дальнейшей эволюции технологии передачи данных. Это уже совсем иные архитектурные решения — модели использования SCSI, известные как SCSI Architecture Model (SAM). Одновременно произошел отказ от употребления прежних наименований — версий SCSI-4, 5 и т. д., ассоциировавшихся с параллельной шиной. Взамен стандарты получили более конкретные названия, предусматривающие использование типовых моделей с различением их по поколениям: SAM (SCSI-3 Architecture Model), SAM-2 (SCSI Architecture Model-2), SAM-3 (SCSI Architecture Model-3), SAM-4 (SCSI Architecture Model-4).

Каждое поколение SAM соответствовало как возросшим требованиям к системам хранения данных, так и возможностям разработчиков программного обеспечения и производителей оборудования. Сегодня наиболее проработанной является модель SAM-4, которая позволяет создавать архитектурные решения с использованием новых протоколов.

ЧТО ДЕНЬ ГРЯДУЩИЙ НАМ ГОТОВИТ

В рамках проекта SAM-4 (T10/ 1683-D) была продолжена работа над стандартизацией современных протоколов передачи данных в среде SAN, в основе которых — все тот же SCSI. Уже стандартизованы: SCSI Parallel Interface (SPI-5), Serial Bus Protocol (SBP-3), Fibre Channel Protocol (FCP-3), SSA SCSI-3 Protocol (SSA-S3P), SCSI RDMA Protocol (SRP-2), Internet SCSI (iSCSI), Serial Attached SCSI (SAS-1.1), Automation Drive Interface Transport Protocol (ADT-2). Список внушительный, но, к сожалению, в рамках одной статьи сложно описать характеристики каждого из них. Поэтому мы остановимся лишь на нескольких, привлекающих наибольший интерес со стороны производителей и конечных пользователей: FCP, iSCSI и SCSI RDMA.

В конце 1995 г. был разработан стандарт и принят на вооружение новый протокол Fibre Channel Protocol for SCSI (FCP) в первой редакции FCP-1 (X3.269-199X). В его основу были положены принципы хорошо известной сетевой модели OSI, благодаря чему оказалось возможным разбиение служб на уровни обслуживания:

  • FC-4 — переход на протоколы высокого уровня SCSI, TCP/IP;
  • FC-3 — находится в стадии разработки;
  • FC-2 — управление сетевым доступом и каналами передачи данных;
  • FC-1 — управление передачей;
  • FC-0 — среда передачи и устройства передачи.

Разработка данной модели обусловила реализацию архитектурных решений с подключением систем хранения данных по вычислительной сети, для чего были использованы возможности передачи сигналов по оптическим линиям. В зависимости от диаметра оптического волокна генерируются сигналы на различных длинах волн. Максимальное расстояние 10 км достигается в случае сигнала на длине волны 1300 нм. Диаметр волокна составляет 9 мкм, сигнал генерируется длинноволновым лазером. Линии на базе длинноволновых кабелей достаточно дороги, поэтому при небольших расстояниях предпочтение отдается кабельным системам, оснащенным коротковолновыми лазерами с длиной волны 780 нм и внутренним диаметром 50 мкм, а также 62,5 мкм (см. Таблицу 3).

Не следует думать, что FCP, хотя его название и переводится как «протокол оптического канала», рассчитан исключительно на волоконно-оптические линии. Уровнем обслуживания FC-0 предусмотрено использование и медных линий — как коаксиального кабеля, так и витой пары. Главное преимущество медных линий — их стоимость. При этом основным недостатком остается ограничение на максимальную длину — не более 25 м.

На этапе стандартизации FCP было предусмотрено применение нового протокола в распределенной среде с потенциальной возможностью расширения. В этом отношении особого внимания заслуживает уровень FC-2. Большинство сетей с архитектурой SAN обязано своей развитой функциональностью именно ему. Благодаря организации сетевого доступа удалось преодолеть ограничения ранее широко использовавшегося протокола FC-AL. Конечные устройства перестали быть частью одной оптической петли с единым адресным пространством и ограничением в 127 физических адресов. Теперь FCP закрепляет за каждым физическим устройством:

  • уникальное имя World Wide Name (WWN), адрес порта;
  • физический адрес кольца с заданием ведущего узла.

Имя WWN является 64-разрядным идентификатором, присваивается продукту производителем и записывается в программируемую память самого устройства. Адреса портов (24 бит) могут составляться с использованием WWN, а также другими способами, обеспечивающими их уникальность. В случае с WWN — это комбинация из имени узла (World Wide Node Name, WWNN) и имени порта (World Wide Port Name, WWPN). В единое пространство SAN может входить до 224 устройств.

FCP обладает достаточным интеллектом для подключения к портам различных по своему назначению устройств. Ими могут быть система хранения данных, маршрутизатор, мост между FC и SCSI, сканер, принтер и др. Однако возможности FСP этим не ограничиваются. Важным достоинством является то, что с помощью FCP уровень FC-4 обеспечивает передачу пакетов данных протоколов верхнего уровня: SCSI, IP, VIA, HIPPI, IEEE802, SBCCS, AAL5, FICON.

Сегодня протокол FCP стал де-факто отраслевым стандартом в крупных архитектурных решениях. Его высокая популярность привела к появлению новых технологий, применение которых позволило еще больше расширить возможности SAN на базе Fibre Channel. В частности, речь идет об объединении разрозненных SAN посредством организации между ними туннелей. Туннелирование пакетов SCSI и Fibre Channel путем инкапсуляции в протокол нижнего уровня помогло преодолеть ограничения на расстояния вследствие физических ограничений линий связи, место которых заняли логические или виртуальные каналы. Теперь в роли протокола нижнего уровня используется IP (Internet Protocol).

В 2000 г. члены рабочей группы Internet Engineering Task Force (IETF) создали три базовых решения, ставших стандартом для систем хранения данных, ориентированных на передачу блоков в среде SAN. Данные решения определяли протоколы передачи блочных данных: iFCP, FCIP, iSCSI. Таким образом, системы хранения перестали иметь физическую привязку к узлам как составные части — логическая и физическая — распределенных сетевых решений.

Сравнительные характеристики всех основных архитектурных решений представлены в Таблице 4.

Технологии продолжают развиваться: новое решение задачи организации туннеля между SAN опирается на технологию оптического уплотнения (Dense Wave Division Multiplexing, DWDM). Последняя была разработана с целью использования дополнительных возможностей передачи светового спектра волоконно-оптических линий связи. Возможности DWDM таковы, что с его помощью можно организовать туннель для передачи любых данных, включая и трафик высокоскоростных сетей Fibre Channel на расстояния свыше 100 км.

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ СЕТИ ХРАНЕНИЯ

Как было отмечено выше, с некоторых пор пристальное внимание стал привлекать стандарт SRP-2 (SCSI RDMA Protocol). В чем причина? Благодаря бурному развитию архитектурных решений на базе SAN, задачи обеспечения высокой надежности и скорости доступа к данным были успешно решены. Однако если проблему эффективного совместного доступа к общему пулу распределенных систем хранения в той или иной мере удалось преодолеть, то сами ресурсы, накапливаемые по мере роста вычислительных комплексов, использовались неэффективно. Трудность состояла в организации быстрого канала на уровне системных шин серверного оборудования и систем хранения при их объединении в кластеры. Скорости передачи данных давно превысили гигабитный предел, однако высокая латентность передаваемых пакетов не позволяет использовать каналы для межузлового взаимодействия в рамках одного кластера.

По сути, стандарт SRP-2 предложил приемлемый способ решения проблемы с перспективой его промышленного применения. Так родилась технология Infiniband, активным продвижением которой занимаются Intel и ряд других компаний. Она позволила организовать быстрый доступ на системном уровне, отказавшись от использования промежуточных интерфейсов на уровне адаптеров системной шины. Как сетевая технология Infiniband может решать любые задачи по передаче данных от систем хранения и файловых систем к вычислительным комплексам.

Демонстрируя динамичное развитие, она способна взять на себя выполнение системных функций вместо шины PCI. Как видно из характеристик Infiniband, перспективы у нее весьма серьезные:

  • минимальная скорость передачи 2,5 Гбайт/с в одном направлении;
  • возможность организовать несколько параллельных каналов с многократным увеличением общей производительности системы;
  • поддержка «горячей» замены благодаря логической организации каналов;
  • независимое питание для периферийного внешнего устройства;
  • отсутствие необходимости внутреннего расширения систем;
  • последовательная передача пакетов в полнодуплексном режиме.

Очевидно, что стоимость систем на базе Infiniband будет существенно дороже рассмотренных нами ранее. Соответственно и проекты, где используется данная архитектура, могут быть востребованы в первую очередь там, где приоритет отдается созданию кластеров с высокой производительностью, т. е. в крупных корпоративных проектах.

В этой связи уместно вспомнить этапы становления и развития архитектуры SAN на базе Fibre Channel: первоначально она находила применение лишь в крупных бюджетных проектах, постепенно, однако, ею заинтересовались и компании среднего размера, причем широко распространенным стандартным решением она стала за сравнительно небольшой промежуток времени.

Вячеслав Ковалев — эксперт по ИТ компании «Открытые Технологии». С ним можно связаться по адресу: Kovalev@ot.ru.

Дело вкуса

В середине 1980-х, благодаря усилиям компании Sun Microsystems, работать с рассредоточенными по сети файлами стало значительно проще. Компания разработала NFS и начала бесплатную выдачу лицензий на свою разработку; в скором времени новый продукт Sun получил широкое распространение в качестве файловой системы для машин под UNIX.

Большинство систем UNIX поддерживает одноранговые сети: они могут выступать и как серверы NFS, и как клиенты NFS. Поэтому неудивительно, что во многих сетях UNIX функции серверов выполняют обычные рабочие станции, работающие под обычной операционной системой. Тем не менее производительность сервера можно увеличить за счет оптимизации аппаратуры и программного обеспечения для серверных приложений. Именно это и сделала компания Network Appliance.

Философия компании Network Appliance определяется созданием специализированных сетевых продуктов. Иными словами, эти продукты делают только одну вещь, но делают ее очень хорошо. С точки зрения потребителя, продукт должен быть экономичным, простым в использовании и обслуживании. Компания предлагает семейство серверов NFS под названием FAServer.

«Журнал сетевых решений/LAN», №5, 1995, стр. 102

Массив избавит от хлопот

Копирование критически важных данных (независимо от того, записываются ли они на магнитную ленту, оптический диск или магнитный диск) выполняется многими с неукоснительностью религиозного обряда. Конечно, хорошо, когда можно восстановить данные после отказа сервера, но куда приятнее вовсе избежать отказа. Вот почему администраторы сетей и информационных систем стараются не упустить любую возможность повысить надежность сети.

В общем и целом, твердокристаллическая электроника снискала завидную славу надежной техники с продолжительным сроком службы. Конечно, микросхемы памяти и прочие электронные компоненты время от времени допускают сбои, однако основная опасность отказа компьютерной системы кроется в подверженных износу и поломкам механических частях.

Движущиеся детали — всегда самая ненадежная часть устройства. Однако правильная реализация избыточности поможет избежать сбоев сервера из-за отказа жестких дисков. Лучший способ защититься от отказа дисковой системы — это технология Redundant Array of Independent Disks (RAID). Идея RAID состоит в том, чтобы хранить избыточную информацию на разных дисках и тем самым при отказе любого диска из массива обеспечивать работоспособность системы.

«Журнал сетевых решений/LAN», №2, 1996, стр. 49

Элементы дисковых подсистем серверов

Определяете ли вы спецификацию нового сервера или же модернизируете существующий, дисковый интерфейс является важнейшим вопросом. Большинство сегодняшних дисков используют интерфейсы SCSI или IDE. В случае дисковых подсистем серверов имеется выбор из множества вариантов, но изобилие затрудняет нахождение той системы, которая будет в вашем случае лучшей. Ситуация осложняется тем, что в процессе выбора придется разбираться в немалом объеме ложной информации и маркетинговой шумихи.

В целом устройства SCSI — лучший выбор для дисковой подсистемы сервера, чем диски IDE или EIDE. Приобрести диски SCSI емкостью до 9 Гбайт на диск не составляет труда, в то время как максимальная емкость сегодняшних дисков EIDE около 2,5 Гбайт. При использовании нескольких двухканальных HBA общая емкость SCSI может легко превзойти 100 Гбайт, тогда как предел EIDE — 10 Гбайт. SCSI также имеет лучшую производительность; более того, SCSI не страдает от проблем, которые влечет за собой подход «главный—подчиненный» в IDE/EIDE.

«Журнал сетевых решений/LAN», №1, 1997, стр. 94

Fibre Channel: перспектива или реальность?

В большинстве компаний система хранения представляет собой архипелаг из разбросанных по всей сети островков: серверы располагают собственными выделенными устройствами хранения данных, причем клиент может обращаться к ним только через тот сервер, которому они принадлежат.

Что если бы можно было создать сеть, где любой сервер способен непосредственно обращаться к любому устройству хранения данных? В этом случае, если бы один сервер БД работал медленно или был недоступен, то клиент мог бы обратиться к альтернативному серверу, где выполняется другой экземпляр того же программного обеспечения обслуживания базы данных. В NAS это становится возможным благодаря компактной операционной системе, оптимизированной для работы с файлами. Между тем даже в этом случае с каждым диском все равно работает один сервер.

Одним из способов реализации описанной выше централизованной системы хранения данных является построение сети устройств хранения (Storage Area Network, SAN). SAN предусматривает их подключение непосредственно к сети, без участия сервера в качестве посредника (даже в урезанном, оптимизированном варианте). Если устройства хранения и серверы подключаются прямо к сети, то любой сервер может обращаться к любому запоминающему устройству, т. е. они могут непосредственно взаимодействовать друг с другом. Fibre Channel, высокоскоростная технология последовательного межсоединения, уходящая корнями в мир суперкомпьютеров, мэйнфреймов и UNIX, рассматривается как наилучшая именно для такого типа архитектуры.

«Журнал сетевых решений/LAN», №7-8, 1998, стр. 119

Иерархическое хранение данных

Аксиома сетевых администраторов гласит: «Сколько дисков на сервере ни ставь, все равно будет мало». Неимоверно раздутые прикладные программы, активное использование графики и мультимедиа, увеличение количества обрабатываемой информации — все это приводит к тому, что дисковой памяти никогда не бывает много.

Последовательное наращивание дискового пространства — не единственный способ при хранении больших объемов информации. Статистика свидетельствует, что в сетевой среде подавляющее большинство файлов используется крайне редко. Обычно чем больше времени прошло с момента создания файла, тем реже к нему обращаются. Это позволяет организовать хранение информации более рационально.

Для обработки больших объемов нерегулярно используемой информации лучше подходят системы иерархического хранения данных (Hierarchical Storage Manager, HSM). В системе HSM все файлы доступны в любой момент времени. При этом редко используемые файлы автоматически переносятся с винчестеров на более медленные и менее дорогие носители (магнитооптические диски, диски WORM, магнитные ленты). Когда пользователь обращается к данным файлам, они автоматически копируются обратно на жесткие диски. Таким образом, хранилище HSM, с точки зрения пользователя, выглядит как огромного размера дисковая система. На Западе подобные системы весьма популярны, но в России они малоизвестны.

«Журнал сетевых решений/LAN», №4, 1999, стр. 73