Решения, основанные на технологиях grid, уже сегодня находят себе применение в различных областях бизнеса

Как это обычно происходит с только формирующимися технологическими течениями, адресованными корпоративному сектору, первые дискуссии вокруг grid-решений в основном касались того, как они скажутся на бизнес-моделях ведущих системных производителей. Хотя, конечно, интересно наблюдать развитие стратегии компаний IBM и Sun Microsystems в применении к grid, не стоит забывать, что бизнес-модель коммунальных вычислений не исчерпывает эту тему полностью.

Будущее не только за крупными брокерами, которые предоставляют ресурсы grid для ключевых ИТ-операций. Если мы подумаем о пространстве, в котором предприятия являются либо grid-брокерами, либо grid-потребителями, то между ними есть еще много промежуточных состояний и оттенков.

Одна из особенно интересных для исследования областей — применение grid поставщиками корпоративных услуг. По сути, они предоставляют клиентам возможности grid посредством своих услуг. Я опишу трех поставщиков услуг, работающих в разных отраслях, и постараюсь показать, как они применяют grid-технологии в своей повседневной работе.

Acxiom

Компания Acxiom предлагает системы и их обслуживание организациям, которым необходимо быстро и с высокой точностью обрабатывать и анализировать огромные объемы данных. В 2000 году Acxiom столкнулась с проблемой необходимости масштабировать ресурсы, которая была обусловлена неожиданным повышением спроса на приложение интеграции данных AbiliTec, работающее на больших Unix-системах.

«Мы наблюдали потрясающий рост не только нашей клиентской базы, но и количества файлов и записей, обрабатываемых при помощи AbiliTec», — отметил Терри Толли, главный архитектор группы по продуктам и инфраструктурным технологиям компании Acxiom.

Для наращивания своей производственной инфраструктуры Acxiom было необходимо приобрести большой объем памяти и множество дополнительных процессоров.

«Однако мы посчитали, что с финансовой точки зрения не имеет смысла увеличивать производительность за счет добавления дорогих многопроцессорных SMP-комплексов, — пояснил Толли. — Единственным выходом для нас могли стать потребительские компьютеры».

Компания заменила SMP-системы на двухпроцессорные узлы под управлением ОС Linux. Одновременно с этим появилась необходимость в управлении таким комплексом. После изучения представленных на рынке коммерческих инструментов управления она решила построить собственную аналогичную систему, названную Apiary. Результаты, полученные от такой «доморощенной» grid-системы, превзошли все ожидания.

«Раньше, когда наше программное обеспечение работало на обычных платформах, мы просто ?выворачивались наизнанку?, чтобы получить всего лишь 5-процентный рост производительности приложения, — рассказывает Алекс Дитц, директор информационной службы компании. — При использовании grid наши приложения выполняются в десять раз быстрее. Вполне реально получить и 100-кратный рост производительности. Возможность масштабирования grid-систем просто поражает воображение».

«Некоторых беспокоит надежность работы grid. В силу самой структуры grid-систем мы можем позволить дублирование сервисов и мощностей.

Наши компьютеры выходили из строя, но возможности grid по автоматическому восстановлению после сбоев обеспечивали непрерывную работу всего комплекса в течение четырех лет», — пояснил Терри.

Этот вывод я уже слышал и от других пионеров grid-технологий: grid не только может улучшить производительность и снизить издержки, но и повысить надежность.

Все сервисы Acxiom теперь обслуживаются в grid-сети, большинство процессов самой компании выполняются там же. В Acxiom изучают возможность переноса своих решений в области организации хранилищ данных на grid-системы.

Bowne

Bowne, одна из самых крупных фирм, занимающихся обработкой финансовых документов, традиционно отмечала высокий спрос на свои ИТ-ресурсы, когда подходил очередной срок сдачи отчетности, установленный Комиссией по ценным бумагам США. В течение таких пиковых периодов Bowne получает огромное количество отчетов своих клиентов, которые она должна обработать за короткое время. Ядром обрабатывающего комплекса является Statements — специализированная программа, установленная на сотнях выделенных серверов.

В 2003 году Bowne запустила пилотный проект grid-системы с целью изучения возможности применения принципов grid для решения проблемы полезного использования ресурсов, поддерживающих Statements.

«Прежде всего мы спросили сами себя: ?Насколько большой должна быть grid-сеть?? — рассказывает Эллен Краус, ведущий архитектор Bowne. — Мы решили, что не будем пытаться объять необъятное и строить самую большую grid-систему. Мы хотели просто позаимствовать некоторые grid-технологии с целью исключить статические связи между приложением и сервером для улучшения гибкости процесса обработки».

Bowne построила пилотную grid-сеть, состоящую из четырех компонентов.

Один, Data Synapse Live Cluster, был выделен в качестве контроллера заданий, управляющего еще двумя grid-подсистемами. Четвертый компонент выделялся для размещения пакетных заданий в эти две grid-подсистемы.

В построенной grid-сети задание посылалось на контроллер, который определял, какие из серверов доступны. Вместо того чтобы распределять задания выделенным серверам и последовательно их обрабатывать, в пилотном grid-проекте задействовались возможности многопоточности и динамического выделения ресурсов. Краус считает, что grid-сеть обеспечивает восьмикратный рост уровня использования; она также подчеркнула, что grid-сеть может легко масштабироваться; со временем предполагается включить в нее дополнительно 30 или 40 подсистем.

И хотя пилотный grid-проект Bowne оказался успешным, Краус отметила проблемы, с которыми столкнется данный архитектурный подход в других корпоративных условиях.

Например, если приложение Statements, эксплуатируемое в компании, создано силами собственных разработчиков, то ее не касаются вопросы лицензионных выплат. Однако в общем случае проблема лицензионных отчислений должна быть урегулирована прежде, чем в среде grid начнут использоваться коммерческие приложения. Краус также указала на проблему, возникающую с некоторыми клиентами, — многие из них, вне зависимости от уровня защиты grid-сети, настаивают на обработке их финансовой информации на отдельных серверах.

Краус отметила наличие подобных разногласий и в среде ИТ-профессионалов: «Grid-вычисления означают смену парадигм, и этот вопрос не так прост для ИТ. Это не только смена принципов предоставления серверов или принципов разработки. Здесь нужен другой уровень знаний, появляются новые требования к мониторингу и оценкам, а также новые методики внедрения, в рамках которых необходимо знать, какой тип среды должен быть обеспечен. Значение этого для бизнеса не так уж трудно понять, но культурные разногласия устранять будет нелегко».

GlobeXPlorer

Компания GlobeXplorer обслуживает гигантскую онлайновую библиотеку фотоснимков и карт, снятых со спутников и с воздуха. Если посетить их Web-сайт и набрать свой адрес, то можно получить аэрофотоснимок своей местности. GlobeXPlorer предоставляет этот контент своим клиентам по всему миру, и нагрузка на ИТ-ресурсы, возникающая из-за обработки таких больших файлов, огромна.

«Одновременно с этим мы генерируем миллионы карт в день для наших клиентов и поглощаем новые материалы, — отметил Роб Шенкс, генеральный директор компании. — В нашем бизнесе необходимо поддерживать информацию в актуальном состоянии, поэтому она постоянно обновляется. В течение недели в нашу grid-сеть мы помещаем порядка гигабайта новых данных».

GlobeXplorer использует grid для объединения процессорных мощностей, управления очередями и назначением приоритетов отдельных заданий. Если для обработки большого количества изображений определенной области требуются дополнительные серверы, grid-сеть компании замедляет обработку новых данных и обслуживает в первую очередь коммерческих клиентов.

Так как grid-система GlobeXplorer построена на открытых стандартах, в частности Globus Toolkit, то компании сравнительно легко удалось внести свои модификации. Аппаратная часть grid-системы GlobeXPlorer представляет собой смесь из компьютеров Sun Microsystems (платформа SPARC/Solaris) и Dell (Intel/Linux).

В то время как многие компании только начинают изучать grid и технологии виртуализации, GlobeXplorer использует эти принципы уже в течение нескольких лет.

«Мы с самого начала работали с этой виртуальной системой, — подчеркнул Шенкс. — Мы всегда строили нашу систему в сетевом режиме таким образом, чтобы получить серверы в Японии, Лондоне или Сан-Франциско, действующие как единая система. Вне зависимости от того, находитесь ли вы в нашем или внешнем центре данных, эта сеть видит все вместе — ленты, приводы, абсолютно все. При этом все управляется через базу данных. Наши машины связаны между собой через сеть, строящуюся с расчетом на работу четырех или менее процессоров, так что нам нет необходимости покупать мощные серверы стоимостью в миллионы долларов.

Пионер grid-технологий Ян Фостер — член совета Globus Consortium, независимой организации, ставящей своей целью продвижение свободно распространяемого инструментария Globus Toolkit в корпоративный сектор. С ним можно связаться по электронной почте по адресу foster@mcs.anl.gov.

Новые лица grid

Нет ничего необычного в том, что международный научный центр CERN, родина grid, стал тем местом, где реализуется самый крупный проект академической grid-среды. Сегодня, когда идея объединения географически распределенных вычислительных ресурсов и систем хранения не нова, создаваемая уникальная конфигурация может вызывать удивление разве что своими количественными показателями. Десятки стран-участниц, сотни узлов, десятки тысяч серверов, терабайты данных — и все делается это ради возможности кооперативной работы ученых в одном из величайших физических экспериментов. Впрочем, на этом грандиозном фоне вовсе не теряются более скромные по своим масштабам решения в стиле grid, предложенные тремя малоизвестными компаниями, предоставляющими информационные услуги. Не дожидаясь, когда ведущие ИТ-вендоры предложат готовые решения, они решили построить свои информационные системы на принципах grid самостоятельно. Перед нами смелые и интересные решения, соответствующие поставленной цели.

Можно предположить, что в двух случаях из трех (Acxiom и Bowne) под данным термином понимаются не классические grid-среды, то есть полноценные распределенные системы, а кластерные конфигурации, больше похожие на Beowulf. Кластер Beowulf образуется путем объединения большого количества рабочих станций или серверов с помощью различного типа коммуникационного оборудования, начиная от Ethernet и вплоть до InfiniBand. Подобным образом создается подавляющее большинство современных суперкомпьютеров, но они предназначены для ограниченного круга вычислительных задач. Приведенные примеры показывают, что потенциальные возможности Beowulf не ограничиваются только лишь параллельным счетом: оказывается, существуют такие поставщики информационных услуг, у которых обнаруживается класс задач, обладающих естественным параллелизмом. В число ИТ-потребностей этих поставщиков не входит обработка больших массивов данных или выполнение больших объемов вычислений: их сервис основан на выполнении большого числа однородных заданий, следовательно, у них нет органической потребности в мэйнфреймах или мощных SMP-серверах. Вполне естественно, что именно они решили адаптировать кластер Beowulf к своим нуждам, и их право обозначать свои системы термином grid отнюдь не меньше, чем у тех, кто собирает серверы-лезвия в одной стойке.

Показательно, что в основе информационных услуг Acxiom и Bowne всего по одному приложению. Судя по всему, такие приложения вполне можно поставить на кластер наподобие Beowulf. В итоге Acxiom и Bowne стали обладателями специализированной технологии работы с данными, вполне адекватной предъявляемой к ней требованиям. Опыт этих компаний позволяет открыть для себя новые возможности подобного рода grid-среды, увидеть преимущества, обеспечиваемые данной архитектурой в специфических случаях, тогда, когда информационная система предназначена для массового обслуживания.

Для компании Acxiom, специализирущейся на интеграции и анализе больших объемов данных наиболее критичными факторами являются возможность масштабирования системы по мере необходимости и обеспечения надежности. Возможность удовлетворить первое требования «силами grid» очевидна; вполне логично, что путем создания «улья», состоящего из 6 тыс. Linux-серверов удалось повысить производительность системы на порядок, получить уверенность в том, что в резерве есть увеличение еще на порядок. Интереснее другое: это оказалось великолепным решением с точки зрения надежности, за четыре года эксплуатации не было ни одного нарушения в обслуживании. Достигнута — и притом без дорогостоящих отказоустойчивых конфигураций — абсолютная готовность. Компания Bowne готовит финансовую документацию в печатном виде. Специфика ее работы состоит в том, что она получает большой поток заданий в течение ограниченного времени, когда ее заказчики готовят отчетную документацию. Для Bowne критичной является гибкость конфигурации информационной системы, возможность справиться с пиком ежегодной нагрузки. Подход, основанный на идеях grid, позволил разорвать жесткую статическую связь между сервером и приложением, распределять предложения между серверами и тем самым добиваться нужной гибкости.

Решение от GlobeXplorer ближе к классическому образу grid, не случайно оно построено по стандартам программ с открытыми кодами и с использованием инструментальных средств Globus Toolkit. В результате удается построить виртуальный географически распределенный компьютер, способный адаптироваться к переменной нагрузке.

Леонид Черняк, «Открытые системы»

Постепенное приближение

Компания Forrester Research провела опрос с целью выяснить, на какам этапе освоения grid-технологий находятся предприятия западных стран (см. рисунок)