По-вашему, управлять корпоративной системой - задача не из легких? Что же тогда говорить о глобальной базе данных?
Информационная служба NASA специализируется именно на управлении глобальными базами данных. Таким образом, она фактически отвечает за сбор данных обо всем, что бы ни происходило в мире. В космическом агентстве накоплена информация, в течение 30 лет поступавшая со спутников, самолетов, наземных систем, космических станций многоразового использования, воздушных зондов и морских бакенов. Потоки данных, ежедневно проходящие через NASA, классифицируются, сортируются и добавляются к уже накопленным знаниям о земной, водной и воздушной стихиях. Для того чтобы хранить и поддерживать в актуальном состоянии такие огромные объемы информации, требуется высший профессионализм в области сетевых технологий и управления данными.
На протяжении многих лет специалисты NASA разрабатывают систему Earth Observing System Data Information System (EOSDIS), предназначенную для сбора информации о Земле. Прошло не одно десятилетие, прежде чем были накоплены действительно обширные сведения о структуре и обитателях суши и моря, о климате и обо всем остальном, что характеризует нашу планету. Одним из главных условий успешной реализации проекта EOSDIS станет применение создаваемой специалистами агентства интерактивной таблицы образов (Interactive Image SpreadSheet, IISS), которая позволит исследователям одновременно обрабатывать сразу несколько архивов и выбирать информацию с помощью интуитивно понятного браузера.
EOSDIS, несомненно, крупнейший проект подобного рода. По мере поступления информации управление сетью и базой данных вполне может превратиться в сплошной кошмар, а сотрудники информационной службы все реже станут вспоминать о тех благих целях, которые преследовали авторы проекта. Пара спутников непрерывно посылает на землю гигантские потоки данных, а процесс их сбора и последующей обработки уже для следующего поколения ученых превратится в задачу, по сложности ничуть не уступающую ракетостроению и исследованию космоса.
Живой организм или застывшая глыба льда?
Информация, собранная NASA, занимает 175 Тбайт дискового пространства. Данные распределены между восемью главными архивными центрами, расположенными в разных частях Соединенных Штатов, и сильно фрагментированы. Сведения собирались отдельными экспедициями, работу которых финансировали различные организации, и их совокупность представляет собой набор разнообразной информации о Земле. Правда, найти разумное объяснение тому, почему комплексные исследования никогда не проводились, довольно трудно. Однако очевидно, что авторы проекта EOSDIS стремятся устранить этот недостаток. За шесть месяцев, прошедших с момента запуска первого спутника системы EOSDIS, количество научных сведений о Земле, собранных специалистами NASA, удвоилось. Выведенный на орбиту спутник Ante Meridian (a.m.) за время утреннего сеанса посылал на землю свыше терабайта данных. Другой спутник, Post Meridian (p.m.) был запущен двумя годами позже и сегодня передает до 650 Гбайт информации. Если NASA добавит к имеющимся еще пару спутников, выполняющих те же функции, то ежедневно на Земле будет оседать свыше 2 Тбайт данных.
Мы рассмотрели всего лишь одну программу агентства. Помимо этого, NASA активно сотрудничает с национальным океанографическим и атмосферным агентством (National Oceanographic and Atmospheric Agency, NOAA) и другими международными организациями, каждая из которых вносит свой вклад в пополнение общего информационного хранилища.
В этом случае задача EOSDIS несколько меняется, и информационная служба занимается не столько сбором, сколько распространением информации. Тысячи ученых, исследователей и политиков хотят получить доступ к нужным сведениям. Они должны четко представлять, с какими именно данными им разрешено ознакомиться и как их найти. Разработчики системы опередили свое время. Спроектированная десять лет назад, EOSDIS даже сегодня вызывает нескрываемое восхищение дизайнеров. Это живое хранилище информации, а не застывший дамп. Система позволяет легко организовать взаимодействие с новыми типами сенсорных и других устройств, о возможности изобретения которых в то время никто даже не подозревал.
EOSDIS не ограничивает наши представления о Земле рамками терминологии естественных наук. Она объединила результаты социально-экономических исследований с накопленными данными об окружающей среде и тем самым позволила ученым вывести количественные оценки влияния человека на физические изменения природы. Однако финансирование работы системы EOSDIS, а также другой деятельности, связанной со сбором такого рода информации, наносит серьезный удар по федеральному бюджету, а бюрократические препоны часто не позволяют оперативно воспользоваться помощью других фондов.
"Сама по себе система EOSDIS оценивается в 1 млрд. долл., развитие ее инфраструктуры базируется на серьезных контрактах и протоколах, подписанных представителями большого бизнеса, - отметил сетевой администратор центра NASA Goddard Space Flight Center Гордон Нобл. - Чтобы выжить, нужно проявлять гибкость. Примерно шесть - девять месяцев назад началась решительная перестройка, и сегодня мы занимаемся в основном наладкой нового оборудования и его настройкой в соответствии с предъявляемыми требованиями. Если нам не удастся выполнить работы в срок, время будет упущено и мы уже не сможем справиться с поставленными задачами". Магистрали T-1/T-3 и OC-3 ATM образуют глобальную сеть NASA Integrated Services Network (NISN) - одну из ранних версий Internet. Агентство NASA расширяет сеть NISN, закупая дополнительные каналы связи и подключая к коммуникационным магистралям исследовательские учреждения, университеты и собственные командные центры управления. Каждое подразделение NASA (например, управляющее системой EOSDIS) должно представить заявку на необходимые сетевые ресурсы. Эти сведения собираются и обобщаются в восьми региональных центрах Distributed Active Archive Centers (DAAC). В каждом центре DAAC установлено несколько дисковых массивов RAID, подключенных к магистрали FDDI через интерфейс Fibre Channel. Конечные пользователи получают доступ к данным через Internet, используя линии T-1, объединяющие университеты и исследовательские организации. В настоящее время они могут обращаться к архивам NASA при помощи Web-браузера. Адаптация к системе EOSDIS определяет основные особенности специализированного браузера.
Лучший браузер
"Ежедневно база данных пополняется одним терабайтом данных. Как же в таком море информации найти нужные сведения? - вопрошает Нобл. - Во-первых, надо знать, где и как искать, во-вторых, грамотно построить запрос и выбрать необходимые данные и, наконец, связать воедино отдельные части. Даже пропускной способности магистрали OC-12 недостаточно для того, чтобы тысячи людей сумели просмотреть несколько терабайтов и нашли нужную им информацию".
Допустим, пользователь EOSDIS хочет получить сведения об изменениях атмосферы под воздействием вулканического пепла в случае, когда извержение продолжается длительное время. Приборы на борту космического корабля, отвечающие за обмен информацией с Землей, работают на различной частоте, каждый из них передает свою порцию данных. Кроме того, пользователю, возможно, придется изучить гору бумажных документов, в которых систематизированы сведения NOAA о ветре и облаках. Сегодня какой-либо взаимосвязи между этими разрозненными документами попросту не существует. Получить обобщенную информацию сразу невозможно, ведь она собирается различными агентствами из различных источников. В частности, совсем непросто объединить данные, поступившие как со спутников, так и от наземных источников. А ведь это очень важно для более полного и точного исследования природных феноменов. Наборы существующих каталогизированных данных могут быть пропущены через фильтры, но эту процедуру не удастся выполнить сразу нескольким пользователям одновременно. Вы не получите ответа и на те запросы, которые не обрабатываются системой. Таким образом, исследователи вынуждены по крупицам собирать информацию, поступающую из нескольких независимых источников.
Для решения давно назревших вопросов разрабатывается браузер IISS. Цель этого проекта - сделать работу с архивами EOSDIS интуитивно понятной и увеличить количество используемых визуальных средств. Подобно тому как обычные электронные таблицы манипулируют числами и текстом, интерактивные таблицы NASA помогают установить связи между отдельными фрагментами научно-исследовательской информации, помещенной в архивы EOSDIS. Система IISS даст пользователям возможность изучать данные, находящиеся сразу в нескольких архивах. Например, с помощью браузера можно будет проследить взаимосвязь между извержением вулкана в одном районе земного шара и выпадением кислотных дождей в другом.
Как практически реализовать этот замысел?
"В идеале мы хотели бы остановиться на технологии ATM, - сообщил заместитель руководителя проекта EOSDIS Джон Далтон. - При передаче непрерывных, устойчивых потоков информации со спутника магистраль ATM не может проявить все свои достоинства. Однако запросы конечных пользователей поступают крайне неравномерно, поэтому высокая пропускная способность сетей ATM в данном случае очень даже пригодится".
По словам Далтона, Национальный научный фонд (NSF), помог подключить EOSDIS к службе very high-speed Backbone Network Service (vBNS), созданной корпорацией MCI Communications на базе технологии ATM. Основная цель проекта vBNS, реализованного в 1995 году совместными усилиями MCI и NSF, заключалась в поддержке научных исследований с помощью высокоскоростных магистралей ATM.
Между тем обеспечение высокой пропускной способности - лишь одна из задач, которые предстоит решить. Самое сложное при управлении терабайтами данных - превратить массу сырого материала в четко структурированный каталог, доступный самым разным заинтересованным организациям. Этот вопрос уже давно обсуждается в NASA, а для того, чтобы эффективно решить его, понадобится, судя по всему, еще не менее 15 лет.