Когда аналитики говорят, что за три года человечество породит количество информации, которое превысит весь информационный багаж, накопленный за тысячи лет цивилизации, они вводят публику в заблуждение. Речь идет не об ИНФОРМАЦИИ, а о ДАННЫХ, а это совсем не одно и то же.

До последнего времени специалистам действительно не приходило в голову разделять данные и информацию. Фантастическими темпами растут не объемы содержательной информации, а объемы цифровых неструктурированных данных, причем не только в таких очевидных областях, как мультимедиа и цифровое фото, но и в геофизике и геологии, полупроводниковом производстве, в экологии и в ряде других приложений. Растут не только объемы данных, но и потребность в скорости доступа к ним [1]. Поэтому важнейшей становится задача разработки новой архитектуры накопителей. Две очень разные по своим масштабам компании EMC и BlueARC предложили совершенно разные архитектурные решения. Их объединяет разве что оригинальность.

Symmetrix десять лет спустя

В течение длительного времени с продуктами компании EMC (точнее — с прозрачным намеком — EMC2) отождествлялось представление о самых мощных и самых надежных системах хранения данных. Ситуация изменилась. Во-первых, с появлением необходимости в хранении не только привычных корпоративных, но и мультимедийных данных рынок дисковых систем подвергся диверсификации, появились альтернативные подходы, основанные на совершенно иных принципах. Во-вторых, и в ее собственной нише у EMC появились серьезные конкуренты. Возникшая ситуация неопределенности разрешилась 3 февраля 2003 года, когда была представлена новая линейка накопителей Symmetrix DMX. Их можно рассматривать как оружие в борьбе за рынок. Однако если отбросить маркетинговые наслоения, то несложно увидеть: заложенные в DMX решения позволяют говорить о появлении систем хранения данных, обладающих качественно новым уровнем надежности и производительности.

Не секрет, что положение EMC на рынке в последние полтора-два года было далеко не безоблачным. Естественно, чаще об этом оповещали конкуренты, и хотя их аргументы в виде диаграмм и графиков, на которых они показывали падение объемов продаж EMC на фоне роста соответствующих собственных показателей, выглядели убедительно, за ними просматривалось некоторое лукавство. На сегодняшнем рынке высоких технологий логика бизнеса не тождественна логике технического прогресса. Технологии не всегда подчиняются законам рынка, нередко уступая. Очень часто более умный уступает более прагматичному. Например, прошло уже несколько лет с тех пор, как нет Digital Equipment, с тех пор еще успела исчезнуть и корпорация Compaq, так бездарно распорядившаяся доставшимся ей наследством. Теперь созданные в DEC технологии, перешедшие в HP, продолжают жить, они и далее, скорее всего, будут развиваться, если их не угробят ретивые менеджеры. EMC — явление того же порядка. Даже испытывая сегодня трудности, компания остается одним из тех «китов», на которых держится сегмент ИТ, связанный с хранением данных. Компания является одним из его основоположников, признанным концентратором знаний и опыта, поэтому ее преждевременное отпевание и поспешные заявки новых претендентов на лидерство выглядели довольно претенциозно. Разработка систем хранения — не тамогочи, это дистанция стайерская. И вот, наконец, случилось то, чему следовало произойти, конечно же, немного раньше. Молчавшая EMC дала ответ. И этот ответ называется Symmetrix Direct Matrix Architecture.

Запуск линейки DMX — событие далеко не рядовое ни для самой EMC, ни для всей индустрии систем хранения данных в целом, особенно в контексте перемен, которые можно было наблюдать в сфере производства мощных накопителей. На этом пространстве EMC безраздельно правила вплоть до 2001 года, оставляя всем остальным только 25% рынка. Но, как известно, монополизм чрезвычайно опасен. Он развращает самого монополиста и оборачивается непомерным ростом цен (минимальная цена на системы Symmetrix составляла тогда примерно 3 млн. долл.), создавая нишу для конкурентов. Сверхприбыль делает сегмент рынка привлекательным для других производителей. Компании Hitachi Data Systems и IBM предложили не уступающие по своим показателям изделия, но по существенно меньшей цене. Итогом их действий стала двухлетняя война цен, в результате которой в 2001 году они упали на 60%, а в 2002-м — еще на 40%. EMC были нанесены сильнейшие удары, они привели к колоссальным потерям прибыли и падению курса акций на 93%, а главное, к потере конкурентоспособности. Между тем, Hitachi Data Systems, работавшая без реальной конкуренции 8 месяцев, к третьему кварталу 2002 года захватила 43%, оставив позади EMC.

Но неизбежный ответ со стороны EMC оказался хорошо обставлен. Обновленное административное и техническое руководство с ним не спешило, сочтя необходимым довести новые продукты до принятого в компании уровня качества. Почти десять лет — с 1994 года — EMC не делала заявки на лидерство подобной силы. Особое внимание уделено изделиям, попадающим в средний ценовой диапазон, где ударной силой станет накопитель DMX800, который займет промежуточное положение, собрав лучшее из двух миров: модульность от более дешевых моделей и высокие эксплуатационные параметры от монолитных систем. По оценкам аналитиков, специализирующихся на системах хранения, семейство DMX дает компании примерно 18-месячную фору. Возможно, этого времени окажется достаточно для восстановления утраченных позиций. Упор на DMX800 можно объяснить тем, что в прогнозах, которые делают на ближайшие годы, например, Meta Group и Gartner Group, указывается на преимущественное развитие в этот период модульных систем хранения по сравнению с монолитными. Сама по себе идея сборки системы хранения из модулей понятна и привлекательна, и ее, в общем, несложно воплотить в жизнь в относительно недорогих системах (EMC CLARRiiON, HP EVA, XIOtech Magnitude). Но до сих пор оставалось неясно, как ее перенести в старшую часть спектра, в те системы, которые относят к классу high-end. С появлением семейства Symmetrix DMX неопределенность снялась. Модель начального уровня DMX800, по функциональным возможностям относится к старшему классу, но в то же время по своей конструкции может быть отнесена к модульным накопителям. В этом отношении она уникальна. Но и монолитные, или интегрированные системы тоже не снимаются с повестки дня EMC. Они получают развитие в лице двух подсемейств DMX1000/DMX2000 и DMX1000 P/DMX2000 P, которые реально угрожают сложившемуся было благополучию HDS 9900 и IBM ESS.

С технологической точки зрения накопители шестого поколения Symmetrix (их еще называют Symm6) обладают тремя основными чертами:

  • новой архитектурой;
  • средствами обеспечения надежности, готовности и удобства обслуживания (RAS);
  • надежностью хранения данных.

Матричная архитектура

Качественно новым архитектурным решением в накопителях поколения Symm6 стала идея применения матрицы вместо шины или коммутатора (рис. 1). На ней нужно остановиться особо. До сих пор этот тип архитектуры оставался малоизвестным; редкие упоминания о нем можно встретить только в отдельных академических работах, посвященных при том процессорам. Ни в серверах, ни в накопителях ничего подобного пока не встречалось, разве что можно назвать попытку компании PolyServe создать матричный сервер из рабочих станций для работы под управлением Oracle9i Real Application Cluster.

Рис. 1. Эволюция архитектуры межсоединений

Если оставить в стороне мэйнфреймы с их своеобразной архитектурой, то остается выбор между шинным или коммутируемым подходом к архитектуре систем. Хронологически раньше, начиная с миниЭВМ, стала распространяться шинная архитектура, а в 90-х годах появилась альтернативная ей — коммутируемая. В серверах и в системах хранения вторая архитектура постепенно теснит первую; но и та, и другая обладают своими преимуществами и недостатками. Примерно то же самое наблюдается и в накопителях. Однако EMC не спешила отказываться от шинной архитектуры. Все предыдущие пять поколений семейства Symmetrix, сохраняя архитектурную преемственность, строились на основе разделяемой шины. Максимальная пропускная способность шины в последних версиях равнялась 1,6 Гбайт/с, однако по современным требованиям этого недостаточно. Пропускная способность в таких накопителях, как HDS 9900, где используется коммутатор ввода/вывода, или в IBM ESS Shark, где применено SMP-решение, достигает 10 Гбайт/с, то есть в несколько раз выше, чем у EMC. «Засидевшись» на шинной архитектуре, компания пропустила вперед конкурентов, и для преодоления разрыва ей понадобился принципиально новый альтернативный подход. Им оказалась архитектура Direct Matrix Architecture.

По вполне понятным причинам сегодня матричная архитектура DMX не может быть представлена со всеми техническими деталями. Ее можно действительно представить в виде матрицы, состоящей из трех типов модулей:

  • внешнего канального директора (front-end channel director);
  • внутреннего директора дисков (back-end disk director);
  • глобального директора кэш-памяти (global cache director).

Последний модуль имеет иерархическую структуру, он в свою очередь состоит из нескольких отдельных директоров кэш-памяти, которые управляют взаимосвязанными «регионами» (region) кэша. Отличие этой архитектуры от шинной или коммутируемой архитектуры заключается в том, что в ней практически нет никакого разделяемого ресурса в виде шины или коммутатора. Все составляющие ее директоры находятся в прямой связи «каждый с каждым» (point-to-point matrix) — отсюда и слово Direct в названии. Прямое соединение обеспечивает беспрепятственное перемещение данных из входных каналов в массивы хранения. Всего таких прямых соединений на данный момент может быть 128. Они связывают канальные директоры напрямую с каждым из 32 (на сегодняшний день) независимо адресуемых и одновременно доступных регионов глобального директора кэш-памяти. Далее точно также глобальный директор связывает прямыми соединениями регионы кэш-памяти с директорами дисков. Каждое из образуемых соединений может передавать 500 Мбайт/с, а совместно они в состоянии передавать 64 Гбайт/с, что как минимум в шесть раз больше, чем у любого из известных конкурентов. Посредством прямых соединений канальные директоры получают параллельный доступ к директорам дисков без конкуренции за общий ресурс, без задержки и без ограничений на полосу пропускания. Архитектура DMX способна поддерживать работу до 2048 дисков. В перспективе размер кэш-памяти может быть увеличен до 512 Гбайт, количество глобальных директоров до 8, т. е. общее количество управляемых регионов кэша может достигать до 128, что открывает возможность для дальнейшего повышения скорости обмена данными. Работой директоров кэш-памяти Symmetrix DMX управляет операционная среда Enginuity, которая организует прохождение данных через сеть с использованием комбинации метода динамической оптимизации, механизмов разгрузки (offload engine) и других алгоритмов.

RAS

Главным системообразующим компонентом матричной архитектуры является Symmetrix DMX Cache Director. Конструктивные особенности именно этого узла обеспечивают DMX те преимущества, о которых шла речь выше. Но для корпоративной системы хранения данных важно, что он не только обладает высокой производительностью при выполнении операции чтения и записи, но еще при этом обеспечивает отказоустойчивость. DMX Cache Director построен по классическим принципам отказоустойчивых систем. Каждый из спаренных директоров кэша управляет четырьмя регионами кэш-памяти, имеет интерфейсы с внешней средой, т. е. интерфейс с канальными директорами и директорами дисков и интерфейс с массивом глобального директора. Директор кэша имеет двойное резервирование (domain A и B), он не имеет ни одной не задублированной точки отказа. Корректность функционирования проверяется операционной средой; если обнаруживается сбойный директор, то он «выгораживается» (fenced off) и готовится к горячей замене. Принцип выгораживания сбойных областей распространяется и на саму кэш-память. Она построена на принципах, близких к организации RAID-массивов. При обнаружении тяжелой ошибки или при повторении легких фрагмент памяти также выгораживается и подготавливается к замене.

В описании принципов построения отказоустойчивой системы [2] можно обнаружить замечательные по своей точности фразы: «Цифровые электронные цепи построены из аналоговых элементов, только пороговое значение напряжения определяет, является ли сигнал ЕДИНИЦЕЙ или НУЛЕМ. В отсутствии специальных средств, обеспечивающих отказоустойчивость, ложное значение сигнала случайным образом может быть принято за ЕДИНИЦУ или НУЛЬ, что приведет к сбою системы». Так просто определяется аксиома, положенная в основу развитой системы обеспечения надежности. Она включает:

  • упомянутое выше резервирование доменов директора кэша;
  • сравнение сигналов с тем, чтобы значения сигналов в аналогичных местах совпадали;
  • контроль временной диаграммы;
  • самодиагностику системы в фоновом режиме;
  • мониторинг напряжений;
  • информационную избыточность; к 64 информационным разрядам добавляется 16 дополнительных разрядов, которые позволяют выполнять контроль четности, проверку контрольных сумм и ряд других проверок;
  • проверку выполнения команд;
  • проверку адресов выполняемых действий;
  • проверку попадания сигнала в точку назначения.

Еще одним элементом обеспечения надежности является заимствованная космическая технология тройной избыточности модулей с мажоритарным голосованием (Triple Module Redundancy with Majority Voting, TMR MV). Из ее названия следует, что путем голосования решение выбирается по большинству голосов, а оставшийся в меньшинстве модуль выгораживается, признается дефектным и должен быть заменен.

Оригинальная новинка заложена в организацию кэш-памяти. Обычно в ней для обеспечения надежности используется простое зеркалирование. Это довольно тяжелый способ, который требует удвоения числа операций чтения, а на запись уходит целых пять операций. Кроме того, половина объема кэша уходит на создание резервной копии. Ситуация еще больше усложняется при использовании многоуровневых кэш-памятей. Чтобы обойти эти сложности, в новых системах EMC кэш строится на логически простых, но более надежных принципах двойного резервирования микросхем памяти.

Канальные директоры позволяют подключать к накопителям Symmetrix DMX непосредственно серверы или коммутаторы сетей хранения, построенных с использованием интерфейса Fibre Channel. Как и остальные компоненты DMX, они имеют двойное резервирование. Управление по всей цепи от источника информации до канального директора осуществляют модуль управления коммуникациями Communication Control Module и программное обеспечение PowerPath, которые обеспечивают обнаружения сбойного пути поступления данных, переход на резервный путь, вывод неисправного из рабочего состояния и восстановление связи с ним после ремонта.

Средства защиты данных

В Symmetrix DMX обеспечен непрерываемый доступ к данным даже в том случае, если выходит из строя диск [3]. Для этой цели предусмотрен ряд технологических приемов.

  • Зеркалирование (RAID 1), обеспечивающее наивысший уровень производительности и готовности для критических с позиций бизнеса операций. Это ни что иное, как дублирование копии тома.
  • Parity RAID, т. е. организация дискового массива на паритетных началах для текущих операций в бизнесе. Существует две разновидности RAID (3+1) и RAID (7+1), отличающиеся тем, что один дополнительный диск прибавляется к группе из трех или из семи дисков. Утверждается, что по уровню производительности и готовности эти формы организации дисковых массивов превосходят RAID 5.
  • SRDF (Symmetrix Remote Data Facility), поддержание зеркальных образов данных на географически разнесенных системах Symmetrix.
  • Dynamic Sparing, создание подменных дисков на период замены основного.

Ревизионизм и фон-неймановская архитектура

Образованная в 1998 году компания BlueArc, которую, заметим, возглавил известный менеджер, бывший вице-президент корпорации Compaq Энрико Песатори, пару лет назад рассматривалась как один из самых многообещающих «стартапов». Очень энергичное начало деятельности компании на какое-то время сформировало ощущение, что она без промедления сможет войти в клуб ведущих производителей систем хранения данных. Этого не произошло. Сегодня по понятным экономическим причинам столь быстрый успех невозможен, но это вовсе не снижает интереса к технологиям, которые могли бы обеспечить BlueArc стремительный взлет. Скорее всего, он просто отложен.

Оценивая принадлежащее BlueArc «ноу-хау», признанный гуру сетевого мира Джордж Гилдер писал в 2000 году, что этой компании удастся преодолеть узкие места между системами хранения и Web. Под «бутылочным горлом» Internet обычно понимают хорошо известную проблему: традиционные серверы, подключенные к Сети, уже с трудом справляются с сетевым трафиком. Та же проблема существует и в самих системах хранения; здесь «бутылочное горло» формируют ограничения на производительность решений на базе подключаемых к сети устройств хранения (network attached storage, NAS), накладываемые входящими в их состав компьютерами. Очевидный выход из этой ситуации в приложении к Internet состоит в увеличении числа серверов. Однако как у любого простого решения, в данном подходе обнаруживается побочный эффект. Возникает диспропорция: по совокупности серверы обладают слишком большой вычислительной мощностью, которая в данном случае избыточна, попросту не нужна. Следовательно, растут непроизводительные расходы. То же самое происходит и при создании, например, высокопроизводительных NAS-накопителей: хоть и есть в их архитектуре специализированное ядро (appliance kernel), но все равно, из-за необходимости повышать пропускную способность приходится делать излишне мощными их вычислительные компоненты, а вычислять-то попросту нечего.

Проанализировав эту дилемму, инженеры BlueArc пришли к разумному выводу о том, что разрешение парадокса пропускной способности стоит искать не в количественном росте числа серверов и не в наращивании вычислительной мощности, а в качественном изменении архитектуры самих серверов. Это относится как к сети вообще, так и архитектуре NAS в частности. Рассуждая так, в BlueArc посягнули на святое, на то, что не подвергалось сомнению на протяжении всей истории компьютеров. Более пятидесяти лет все без исключения вычислительные системы строились по схеме, которую принято называть «архитектурой фон Неймана». Открытием Дж. Преспера Эккерта и Джона Мочли стала идея хранения в оперативной памяти и обрабатываемых данных, и управляющих машиной программ. До этого, в немногочисленных предшественниках компьютеров, начиная с машины Чарльза Бэббиджа, программа была внешней по отношению к вычислительному устройству. Так уж случилось, что архитектура с хранимой в памяти программой получила имя великого математика Джона фон Неймана, поскольку именно он придал ее гласности. Надо учесть, что изначально она разрабатывалась только для автоматизации вычислений, т. е. задумывалась как универсальный программируемый инструмент для расчетов. Идея хранения данных и программы в единой памяти не есть результат серьезной аналитической работы, а изобретение двух инженеров, которое благодаря усилиям многочисленных ученых мужей заметно обросло наукообразием. Уже позже оказалось, что она вполне соответствует и специфике работы с текстовыми данными. Однако она, по определению, имеет серьезные врожденные ограничения при обработке потоков данных поступающих с высокой скоростью. Если вдуматься, такой универсализм нужен далеко не всегда. Но так или иначе, сегодня по фон-неймановской схеме строятся все без исключения процессоры, даже используемые в сотовых телефонах.

Для того чтобы продемонстрировать эффективность специализации, стоит вспомнить один из первых компьютеров, созданный на несколько лет раньше, чем ENIAC Эккерта и Мочли. Естественно, в нем не использовалась фон-неймановская схема. Во время Второй мировой войны для расшифровки немецких шифров англичане создали несколько экземпляров специализированного компьютера Colossus. Этот компьютер использовал самую примитивную, доступную на тот момент аппаратную базу; естественно, в нем данные и программы хранились порознь. Судя по используемым деталям, скорость работы процессора Colossus составляла максимум несколько сотен герц. Однако он оказался чрезвычайно эффективен, настолько, что проект на десятилетия был засекречен. Когда в 90-е годы гриф секретности был снят, и Colossus стали реставрировать, моделируя его работу современными средствами, то неожиданно оказалось, что его реальная производительность на обработке потока входных данных вполне соответствовала возможностям актуального в то время процессора Intel 386, тактовая частота которого составляла несколько десятков килогерц. Вот что значит специализация!

Современные серверы не приспособлены для выполнения простых стандартных алгоритмов обработки мощных потоков данных. В этом отношении они напоминают грузовики, которые, конечно же, можно использовать для перевозки пассажиров вместо автобусов, но нужно ли? В серверах, которые с равным успехом можно применять и для математических вычислений, и для бизнеса, все процессы выполняются последовательно, в том числе обработка пакетов на сетевом уровне, обработка запросов к файловой системе. Последовательными являются и все драйверы, работающие с устройствами хранения данных. В нынешних архитектурах все эти процедуры проходят через шины или коммутаторы, по которым подключены дисковые устройства; в них, собственно, и образуется пробка. Даже при переходе к Infiniband теоретически бутылочное горло смещается, но остается, поскольку весь обмен идет через память, хотя прямой доступ к памяти (Direct Memory Access) снижает нагрузку на центральный процессор.

Выход из сложившейся ситуации можно искать, повторяя эволюционный путь, которым прошли производители сетевых маршрутизаторов и коммутаторов [4]. В начале 90-х годов производителям сетевого оборудования стало ясно, что построение таких устройств на основе обычных процессоров несет в себе ограничения на объемы перемещаемых данных. После этого началась миграция в направлении устройств, построенных на специализированных интегральных схемах (ASIC), где используется «зашитое в железо» программное обеспечение.

Вообще говоря, ревизионизм, проявленный инженерами из BlueArc, заслуживает к себе особого внимания. Давно не появлялось качественно новых архитектурных решений. Сейчас, когда весь мир работает на нескольких десятках типов процессоров, забыли, что выбор оптимального разделения функций между аппаратным и программным обеспечением — вопрос далеко не праздный.

Итак, компания BlueArc предложила архитектуру SiliconServer Architecture, ядром которой является структура с массовым параллелизмом, выполняющая те же функции, что и обычная операционная система обычного сервера, но с большей производительностью и надежностью. Можно сказать, что это сервер с «прошитой» операционной системой. Эта альтернативная архитектура использует стандартные протоколы и может взаимодействовать с обычными компьютерами-клиентами. SiliconServer Architecture состоит из трех подсистем (на рис. 2 они расположены слева направо):

  • сетевой подсистемы, реализующей протокол TCP/IP;
  • файловой подсистемы, реализующей NFS, CIFS и FTP, а также собственно файловую систему;
  • подсистемы управления кэш-памятью и подключенными устройствами.

Все три подсистемы прошиты двумя высокоскоростными шинами, каждая из которых способна передавать 1 гигабит данных в секунду в одном направлении. Таким образом, SiliconServer является полнодуплексным по своей природе. Естественно, что существуют еще и другие вспомогательные шины, связывающие отдельные компоненты и выполняющие служебные функции.

Первая из подсистем архитектуры SiliconServer почти полностью обеспечивает функциональность TCP/IP аппаратными средствами. На сегодняшний день только небольшая часть функций передана вспомогательному процессору, который реассемблирует трафик пакетов, он же контролирует обнаружение ошибок. Вторая подсистема получает файловые запросы и преобразует их в команды, аналогичные обращению к SCSI, которые далее транслируются клиенту. На начальном уровне здесь тоже не все переведено на железный уровень, но то, что относится к перемещению данных, реализовано аппаратными средствами в SiliconServer. Благодаря этому на нынешнем уровне уже удалось выйти на гигабитные скорости обмена с летами и дисками. Оставшиеся программными компоненты построены так, что со временем могут быть реализованы на аппаратном уровне. Система BlueArc сейчас способна работать с томами большого размера, в том числе и с томами с организацией RAID. Обычно размер тома становится проблемой в средах NAS с традиционной архитектурой. Между тем, в BlueArc уже обеспечена поддержка томов до 1,75 Тбайт, максимум же составит 16 Тбайт. Также программно реализована работа с метаданными, в BlueArc используется модифицированный алгоритм B+ Tree, называемый Nary Tree, а не более традиционный I-node. С использованием Nary Tree все файлы и каталоги, поступающие в файловую систему, связываются вместе в древовидную структуру метаданных. Использование деревьев существенно эффективнее обычной табличной формы хранения метаданных.

Первой практической реализацией SiliconServer стал накопитель Si7500. В декабре 2002 года он появился в модернизированной версии Si8000. В нем поддерживается иерархическая система виртуальных томов, управляемая средствами единого интерфейса. Общее количество виртуальных томов на физическом томе ограничено показателем 2032. При работе с двунаправленным каналом Gigabit Ethernet скорость обмена составляет 2 Гбит/с.

Семейство Si8000 состоит их трех членов: Si8300 имеет максимальную емкость 7 Тбайт, Si8700 — 98 Тбайт, а Si8900 — 228 Тбайт. Устройство Si8900 использует диски с интерфейсом Fibre Channel.

Среди дополнительных свойств Si8000 стоит отметить ускоренное создание копий с тома на том Accelerated Data Copy. Для выполнения этой процедурой добавлено управляющее устройство на стандартном ультратонком сервере форм-фактора 1U (1U = 1,75 дюйма), который используется еще и для антивирусной проверки данных. Стоимость младших моделей Si8000 — от 50 тыс. долл.

* * *

Помимо описанных существует еще достаточно много новых решений, предлагаемых в основном небольшими компаниями, выходящими на рынок систем хранения данных. К числу наиболее интересных новинок можно отнести универсальное устройство хранения Network Unified Storage (NUS), разрабатываемое компанией LeftHand Networks, и распределенный подход к хранению данных Distributed Storage Software (DSS), предложенный компанией Scale Eight. Обзор деятельности начинающих компаний, специализирующихся на системах хранения, можно найти в [5].

Литература

В EMC великолепно подготовились к анонсу новых накопителей. На сайте компании можно найти полноценный набор документов, включающий несколько отчетов аналитических компаний и собственных технических статей. Сайт BlueArc естественно уступает по богатству, но и с его содержанием стоит ознакомиться.

  1. Large-Scale File Storage Challenge, Enterprise Management Associates, A White Paper 2002 April.
  2. Symmetrix DMX: Reliability, Availability and Serviceability, EMC, A White Paper, 2003.
  3. Symmetrix DMX: Data Protection Options, EMC, A White Paper, 2003.
  4. SiliconServer White Paper, BlueArc Corporation, A White Paper, 2002.
  5. Ten Private Storage Networking Companies. Byte and Switch, 2001.