Телевидение, появившись в 30-е годы XX века, после войны изменило мир. Рискну предположить, что мы стоим на пороге еще одной революции, аналогичной телевизионной. Ее предвестниками становятся такие вещи, как YouTube, вещание на корпоративных сайтах и сайтах радиостанций, и многое, многое другое. Чтобы осуществить переход на новый тип вещания, реализовать другие сетевые сервисы нового поколения, обеспечить постоянно растущие потребности ИТ-поддержки современного бизнеса, потребуется множество мощных центров обработки данных. Как следствие, эти центры должны стать серийно выпускаемыми изделиями, а не продуктами ручной сборки.

Осенью 2006 года корпорация Sun Miсrosystems представила качественно новое, невиданное доселе изделие — упакованный в контейнер центр обработки данных, включающий вычислительное и коммуникационное оборудование, накопители и системы кондиционирования. На тот момент решение показалось настолько неожиданным, а сопутствующей информации не хватало, а потому вполне естественно было задаться вопросом, является ли Project Blackbox лишь оригинальной упаковкой для новых технологий или реальным шагом вперед? Сегодня можно однозначно утверждать, что мобильные ЦОДы — это, действительно, шаг вперед и при том значительный. Публично этот шаг первым сделала Sun Miсrosystems, но это не означает, что именно ей принадлежит монополия на идею: близкие по содержанию разработки велись в разных местах.

Надо признать, у обозревателей поначалу появление Blackbox вызвало неоднозначную реакцию. К примеру, в The Register мобильный Blackbox обозвали «ЦОДом для бомжей» (white trash data center — американцы «белым мусором» называют опустившуюся часть белого населения)*.

Не менее настороженно отреагировали на сборку ЦОД в 20-футовом контейнере многие СМИ. В чем-то они были правы, но если брать во внимание только экономическую сторону, то действительно с появлением Blackbox создание собственных центров обработки данных станет доступным предприятиям, которые прежде о нем не могли и подумать, затраты сокращаются в разы. В этом смысле невольно напрашивается аналогия с «Фордом-Т», который «посадил Америку на колеса»; кстати, поначалу он тоже был только черного цвета.

История вопроса

Сложилось так, что к созданию Blackbox имеют самое непосредственное отношение три старых знакомых, которые были сотрудниками существовавшей вплоть до 1995 года компании Thinking Machines. Двое из них — нынешний технический руководитель Sun Microsystems Грег Пападопулос и известный изобретатель, основатель компании Applied Minds Дэнни Хиллис — его основные авторы, а третий, Брюстер Кале, оказался генератором идеи. Помимо места работы эту троицу объединяют также общие годы обучения в Массачусетском технологическом институте, где их наставником был Марвин Мински, знаменитый специалист в области искусственного интеллекта и один из выдающихся умов современности. Так или иначе, тот факт, что в истории Blackbox неоднократно фигурирует компания Thinking Machines, далеко не случаен. Компания была создана «под идеи» Хиллиса, который был инициатором создания машин с массовым параллелизмом; ее деятельность щедро финансировалась из фондов DARPA, поэтому она смогла собрать выдающиеся умы из лучших университетов и с их помощью опередить время и потребности рынка. Увлекшись исследованиями, в Thinking Machines не присматривались к требованиям массовых потребителей, не ориентировались на спрос, а потому нет ничего удивительного в том, что окончание холодной войны и соответствующее сокращение потребности в суперкомпьютерах для оборонных приложений положили конец стремительному возвышению компании. В конечном итоге в середине 90-х годов Thinking Machines обанкротилась, и в течение нескольких лет ее разработки не были востребованы рынком. Но, как обычно бывает в подобных ситуациях, наработки не растворились полностью, но частично материализовались в серверах семейства Sun Enterprise, а затем — тоже частично — возродились в Blackbox.

Кале, еще работая в Thinking Machines, создал систему Wide Area Information Servers (WAIS), ставшую прообразом для всех последующих браузеров, и заработал репутацию настоящего Internet-гуру. Сегодня Кале входит в состав советов директоров организаций Electronic Frontier Foundation и Open Content Alliance. Кроме того, вместе с женой он организовал фонд, на средства которого был создан архив Internet Archive, где с 1996 года скапливается все, что когда-либо было опубликовано в Сети. Подобно компании Google, которая сама собирает для собственных нужд серверы, Internet Archive не покупает готовые накопители, а строит свои собственные системы хранения, адаптированные к архивированию больших объемов данных. Умение создавать специализированное оборудование и подтолкнуло Кале к оригинальному решению задачи создания резервных копий архива, распределенных по земному шару.

Особенность этой задачи заключается в необходимости перемещать огромные, измеряемые петабайтами объемы данных на большое расстояние. После несложных арифметических расчетов выяснилось, что передача данных даже по самым быстрым каналам уступает по скорости лобовому подходу — набить контейнер накопителями и физически транспортировать его. Оказывается, время, затрачиваемое на перемещение контейнера из Сан-Франциско в Мельбурн, составляет две недели; если разделить объем данных в контейнере на этот срок, то скорость такого рода «передачи» данных окажется в пределах от 7 до 10 Гбайт/с.

Для Internet Archive была сделана эскизная проработка и даже построен опытный экземпляр контейнера; на основании экспериментов появились планы по тиражированию, но они остались нереализованными. Некоторые компании устанавливают в контейнерах электрические генераторы, коммутационное и иное оборудование. Есть и прецедент создания контейнерного ЦОДа. Через несколько месяцев после анонса Blackbox с аналогичным предложением выступила малоизвестная в России компания Rackable Systems, которая выпустила собственный продукт Concentro в контейнере, в два раза большем по размеру. Concentro в своей полной комплектации вмещает до 1200 серверов формата 1U или до 600 серверов формата 2U (это означает, что в контейнер можно будет упаковать до 9600 процессорных ядер). При этом в контейнере предусмотрен кабинет площадью 3 квадратных метра, предназначенный для системного администратора. Известно также, что фундаментальные исследования по созданию физических условий для размещения ЦОДов с воздушным охлаждением проводились в национальной лаборатории Oak Ridge, подведомственной министерству энергетики США.

Энергосбережение и экология

Уйдя из Thinking Machines, Пападопулос и Хиллис в течение многих лет поддерживали дружеские отношения, регулярно обсуждали разнообразные профессиональные проблемы и совместно пришли к идее создания компьютера, упакованного в морской контейнер. Они признают, что произошло это не без влияния работ их старинного знакомого Брюстера Кале. Часто цитируют следующие слова Пападопулоса: «В то время как все стремились построить самый маленький стоечный сервер, мы задумались над тем, а каким может быть самый большой север и пришли к выводу, что больше контейнера он быть не может. Так родился проект Blackbox».

Приняв принципиальное решение, Пападопулос передал задание на проектирование конструктивного оформления компании Applied Minds. Выбор подрядчика определился не только личными связями: Applied Minds не похожа на остальные компании, она представляет собой совершенно уникальное явление. Хорошо известно, что она специализируется на решении разного рода нетривиальных междисциплинарных задач, а заказчиками могут быть и General Motors, и Northrop Grumman и, скажем, мебельная фабрика, которая хочет создать новый тип организации офисного пространства. Мотором Applied Minds является универсальный гений Дэнни Хиллис; стоит напомнить, что свою профессиональную деятельность он начинал с Сеймуром Паппертом, вместе они создали для обучения детей программированию язык Logo. Поэтому нет ничего удивительного, что помимо своей основной деятельности он известен как автор одной из лучших научно-популярных книг по компьютерной тематике «Образ на камне» (The Pattern on the Stone).

При проектировании Blackbox возникло несколько конструктивных проблем. Первой проблемой оказался отвод тепла, задача намного более сложная, чем можно подумать. Стандартная серверная стойка в полной комплектации потребляет примерно 25 Кватт; поэтому редко можно увидеть полностью набитую стойку, приходится разносить стойки на большое расстояние, и в итоге традиционные ЦОДы с воздушным охлаждением занимают большие площади. Контейнерное размещение ограничивает площадь, поэтому пришлось изменить конструкцию обычных стоек и предложить оригинальное решение, в котором специальным образом размещенные вентиляторы обеспечивают распределение воздушных потоков, направляемых на теплообменники, где тепло отдается воде. Вторая проблема, обеспечение необходимой полосы пропускания, разрешилась относительно просто, обычными средствами. Третья проблема — механическая прочность; ей тоже было уделено значительное внимание, контейнер прошел испытания на крэш-тесте, где имитировались различные внешние нагрузки, вплоть до землетрясения.

Оптимальная организация потоков воздуха, охлаждающих серверы, позволила сократить в среднем на 20% затраты электроэнергии. Сокращению затрат способствует то, что воздух циркулирует в замкнутом помещении, он не застаивается в каких-либо непроветриваемых местах, не создаются условия и для избыточной турбулентности потоков. Снижение теплового загрязнения окружающей среды является частью более общей экологической политики, проводимой Sun Microsystems. Не случайно основным действующим лицом, организующим продвижение Blackbox на рынок, стал Дэйв Дуглас, вице-президент, управляющий программой «экологической ответственности» компании.

Blackbox и «красное смещение»

Достоинства Blackbox очевидны: низкая стоимость внедрения, экологические преимущества, возможность установки в тяжелых условиях, исключительный запас по масштабированию и т.д. Но за этими незамысловатыми аргументами просматривается серьезная философия, которой руководствовались новые руководители Sun Microsystems во главе с Джонатаном Шварцем, делая серьезную ставку на неапробированный тип оборудования. Грег Пападопулос в своей презентации, сделанной 6 февраля на конференции Sun Analytic Summit 2007, продемонстрировал, каким ему видится глобальное будущее компьютерных систем. Он разделил понятия «коммодитизация компьютеров» и «коммодитизация компьютинга». Для иллюстрации Пападопулос привел аналогию из области электроэнергетики, сопоставив коммодитизацию компьютеров с простыми мобильными генераторами мощностью в несколько киловатт, а коммодитизацию компьютинга — с сетями, объединяющими генерирующие мощности, измеряемые миллионами киловатт. Электроэнергетике потребовалось несколько десятков лет, чтобы сложилось такое разделение; компьютерной отрасли, чтобы пройти аналогичный путь, потребовалось примерно столько же*.

Второе свое заявление Пападопулос назвал «красным смещением» (Redshift), позаимствовав этот термин у астрофизиков. Он считает, что компьютерная отрасль входит в новую эпоху, от прежней она отличается тем, что требования бизнеса перестают быть локомотивом отрасли: той вычислительной мощности, которая возрастает в геометрической прогрессии в соответствии с законом Мура, бизнесу уже достаточно. Но появляются новые стимулы для развития, новые сферы применения, которым существующих мощностей не хватает и определенно не будет хватать в будущем:

  • поставщики мультимедийного контента по широкополосным Internet-соединениям (примерами могут служить сервис YouTube); высокопроизводительные вычисления, в том числе моделирование в научных и технических приложениях, медицинские и биологические исследования;
  • сетевые приложения наподобие онлайнового CRM-сервиса, предлагаемого Salesforce.com.

Одним из ярких примеров потребителей нового поколения является компания Google, поговаривают, что она имеет непосредственное отношение к происхождению Blackbox. Якобы в этой компании некоторое время назад также возникала идея создать мобильные ЦОДы; в Google намеревались разместить в контейнере до 5 тыс. процессоров AMD Opteron, примерно 3,5 петабайт данных и коммуникационное оборудование. Если построить примерно 300 таких центров, то можно развернуть всемирную вычислительную и хранящую данные grid-сеть, способную распространять видеоконтент. (Известно, что до последнего времени в Google использовали оборудование собственного изготовления, но сегодня, в связи с возникновением серьезной потребности в мобильных ЦОДах, возникает впечатление, что компании потребуется союзник, и им может стать Sun.)

Рост потребностей приведет к возникновению следующей волны эволюции компьютерных систем; ее-то Пападопулос и назвал «красным смещением». (Можно предположить, что астрономическая аналогия между движущимися галактиками и новыми потребителями вычислительной мощности заключается в том, что первые перемещаются с огромной скоростью, изменяющей длину световой волны, а вторым требуется так много мощности, что они изменяют представления о компьютерных технологиях.)

Нынешние центры обработки данных, при всей их высокой технологичности остаются изделиями ручной сборки, отсюда их низкая энергетическая и экономическая эффективность, большие затраты на администрирование. Выход из положения в Sun предлагают найти в серийном производстве мобильных ЦОДов, которые могут иметь в десятки раз меньшую начальную стоимость и более высокую эффективность по всем параметрам. Массовое производство ЦОДов позволит сделать шаг от коммодитизации компьютеров к коммодитизации компьютинга. Для того чтобы сборка тысяч процессоров и петабайт данных «в одной коробке» не оставалась просто арифметической суммой, а превращалась в единое устройство, требуются технологии виртуализации. Они имеются в достаточном количестве в предложении Sun Microsystems (операционная система Solaris, программное обеспечение для системного управления N1); показательно, что в некоторых фирменных документах Blackbox называют «виртуальным ЦОДом».

Создание модульных виртуальных ЦОДов позволит выработать принципиально новые подходы к решению проблем обработки данных. С одной стороны, это позволит строить распределенные структуры, не требующие наличия больших источников электроэнергии в одном месте; при этом параллельно решаются задачи резервирования. С другой стороны, их мобильность и нетребовательность к обслуживанию позволит размещать комплексы, состоящие из подобных ЦОДов в непосредственной близости от электростанций.

Взгляды со стороны

Через полгода после появления Blackbox стали появляться суждения, в которых переосмысливается суть происходящего. Например, Никлас Карр, ставший знаменитостью благодаря своей скандальной статье Does IT Matter? написал в собственном блоге: «Складывается впечатление, что компьютерная индустрия возвращается во времена мэйнфреймов в том смысле, что прибыль ищется не в сборке простых систем, а в высокой инженерии». Парадоксально, что это было сказано в связи с Sun Microsystems, сумевшей выйти в большой бизнес именно благодаря умению собирать из готовых компонентов относительно дешевые рабочие станции. Любопытную оценку можно найти в статье сотрудника Microsoft Research Джеймса Гамильтона «Архитектура модульных ЦОДов». Он явно признает достоинства контейнерных центров обработки данных, хотя в статье и сквозит обида за то, что не Microsoft вышла первой с этой инициативой. Он пишет: «Любой существенный переход в ИТ нуждается в хорошем броском названии, и Пападопулосу, придумавшему Redshift, это явно удалось».

* Радикализм The Register не удивителен, ведь это издание относится с английским юмором ко всему происходящему в мире компьютеров, что имеет небританское происхождение. За ярким ироническим стилем есть что-то от неизжитого комплекса неудачника страны, едва не ставшей лидером компьютерной индустрии, но упустившей почти все, что можно было упустить. — Прим. автора.

* Так называемый «парадокс динамо» часто приводят в пример в работах, связанных с оценкой продуктивности компьютеров. В них показывается, что эффективная система складывается в том случае, если есть сочетание глобальных и локальных генерирующих мощностей с потребителями, встроенными в разнообразные устройства. Жаль, что Пападопулос явно не знаком с этими работами: они бы заметно усилили его аргументацию. — Прим. автора.