Учитывая растущую потребность в специалистах в области grid-технологий и недостаточное внимание, которое уделяется сейчас подготовке таких кадров, с уверенностью можно сказать, что в ближайшем будущем спрос на них не будет удовлетворен. Сегодня нет единого подхода к проблеме подготовки квалифицированного персонала в области grid. Например, в европейском проекте EGEE (Enabling Grids for E-sciencE) имеется отдельное направление по проведению вводных и практических занятий для подготовки пользователей инфраструктуры, которая создана в рамках EGEE/WLCG (Worldwide LHC Computing Grid), сопровождающего проект Большого адронного коллайдера. Обучение проводится на базе полигона GILDA (gilda.ct.infn.it), причем эксплуатация комплекса возможна только для целевых групп данного проекта, используется только один тип программного обеспечения промежуточного слоя – INFN Grid, полностью совместимого с gLite. Относительная краткосрочность действия сертификатов доступа к комплексу для обучаемых (14 дней), а также плотное расписание тренингов делает невозможным, например, проведение на нем семестровых занятий для студентов.
В Европе обучение grid-технологиям получило также развитие в рамках проекта ICEAGE (International Collaboration to Extend and Advance Grid Education), финансируемого Европейской комиссией и направленного на обеспечение механизма быстрого распространения знаний от малой группы пионеров в этой области к широкой европейской аудитории. Некоторые национальные и межнациональные проекты (например, OSG и EELA-2) предусматривают обучение в виде одно- или двухнедельных тренингов на конкретной grid-инфраструктуре с семинарами и онлайн-курсами для самостоятельного освоения материала.
Что же касается обучения grid-технологиям на территории России и стран СНГ, то данная деятельность сейчас представлена только тренингами для пользователей в рамках EGEE, и требуется комплекс, позволяющий обучать пользователей работе в различных grid-средах, системных администраторов – навыкам установки, настройки и тестирования grid-сайтов, разработчиков – переносу существующих приложений в grid или написанию новых grid-сервисов.
Обучение пользователей
Чтобы быть востребованным специалистом в областях, где применение grid-технологий является обоснованным, необходимо иметь представление о концепции grid, а также обладать навыками работы в одной или нескольких таких средах. Например, основным инструментом обработки и хранения данных с Большого адронного коллайдера в ЦЕРН является программное обеспечение, использующее ресурсы мировой grid-инфраструктуры WLCG, работающей под управлением ПО промежуточного слоя gLite.
Начиная с 2004 года с участием сотрудников Лаборатории информационных технологий Объединенного института ядерных исследований (ЛИТ ОИЯИ) проводятся курсы по обучению grid-технологиям. Обучение сотрудников ОИЯИ и их коллег из стран-участниц проходит в течение одного-двух дней и включает в себя введение в grid, ознакомление с gLite, а также, при необходимости, с программами обработки данных конкретного эксперимента.
При наличии действительного сертификата пользователя grid использовалась реальная производственная инфраструктура, в случае же его отсутствия создавалась своя локальная с собственным удостоверяющим центром для выдачи сертификатов машин и пользователей. Последние несколько лет для пользователей, не имеющих grid-сертификатов, подобные курсы проводятся уже на постоянной учебной инфраструктуре с сертификатами локального удостоверяющего центра.
С 2006 года проводятся семестровые практические занятия по обучению grid-технологиям для студентов старших курсов специальности «Системный анализ и управление» Университета «Дубна» в рамках дисциплины «Современные перспективные технологии и телекоммуникации». На базе одного из компьютерных классов этого университета был создан автономный grid-сайт, сервисы которого работали внутри виртуальных машин под ОС Linux, тогда как сами виртуальные машины были запущены на Windows-компьютерах. Вход на интерфейс пользователя grid осуществлялся из Windows по сети через клиентское приложение PuTTY по протоколу SSH. Таким образом, один и тот же компьютер в классе выполнял функции сервера для grid-сервиса и терминала пользователя. Для данного курса была разработана программа, включающая в себя ознакомление с базовыми понятиями концепции grid, а также практические упражнения по работе в среде gLite.
В дальнейшем была создана автономная инфраструктура для обучения grid-технологиям на выделенных серверах, территориально расположенных в ОИЯИ, интерфейс пользователя которой для семинаров в университете был доступен через ssh-клиент. На данный момент учебный комплекс по работе в среде gLite состоит из трех grid-сайтов ОИЯИ, а также grid-сайтов Института физики высоких энергий (ИФВЭ, Протвино), Института математики и информационных технологий Академии наук Республики Узбекистан (Ташкент), Софийского университета (София, Болгария), Института теоретической физики имени В. В. Боголюбова (Киев, Украина) и Киевского политехнического института (Киев, Украина) со следующим набором сервисов (рис. 1):
- grid-сайт №1 (RU-JINR): интерфейс пользователя (User Interface, UI), вычислительный элемент (Computing Element, CE) типа LCG-CE с двумя рабочими узлами (Worker Nodes, WNs), элемент хранения данных (Storage Element, SE) типа Disk Pool Manager (DPM), файловый каталог (LCG File Catalog, LFC), система управления задачами (Workload Management System, WMS), сервис сбора и хранения информации о задачах и их статусе (Logging and Bookkeeping, LB), информационный сервис по ресурсам grid-сайта – site BDII (sBDII), информационный сервис о grid-сайтах – top BDII (tBDII);
- grid-сайт №2 (RU-JINR-2): LCG-CE с двумя рабочими узлами и сервисами DPM SE и sBDII;
- grid-сайт №3 (RU-JINR-MPI): вычислительный элемент LCG-CE с тремя рабочими узлами и поддержкой Message Passing Interface (MPI) для обучения работе с параллельными задачами, сервисы DPM SE и sBDII;
- grid-сайт SU-Protvino-IHEP: интерфейс пользователя, LCG-CE с двумя рабочими узлами, SE типа dCache, система управления задачами, сервисы LB и sBDII;
- grid-сайт UZ-IMIT: WMS, LCG-CE c четырьмя рабочими узлами (в ближайшем будущем администраторами этого сайта планируется довести число рабочих узлов до 16), поддерживающими счет параллельных задач, WMS, сервисы LB, sBDII, tBDII;
- grid-сайт BG-SU: интерфейс пользователя, LCG-CE с четырьмя рабочими узлами, DPM SE, сервис sBDII;
- grid-сайты UA-BITP: интерфейс пользователя, LCG-CE c восемью рабочими узлами, DPM SE, WMS, сервисы LB, LFC, sBDII, tBDII;
- grid-сайт UA-KPI-HPCC: интерфейс пользователя, LCG-CE c восемью рабочими узлами, DPM SE, WMS, сервисы LB, LFC, sBDII, tBDII.
Помимо перечисленных сервисов, в ОИЯИ развернут сервис управления виртуальными организациями – Virtual Organizations Management service (VOMS), поддерживающий виртуальную организацию edu, и локальный удостоверяющий центр, позволяющий сделать созданную инфраструктуру полностью автономной. Для выдачи сертификатов машин и пользователей каждая из организаций – участниц этого распределенного учебного полигона использует свой собственный либо сторонний центр, которому доверяют все остальные участники. С целью интеграции в данный распределенный учебный комплекс ведутся работы по созданию grid-сайта (BG-SWU) в Юго-западном университете «Неофит Рильски» (Благоевград, Болгария).
Данная среда также является ядром автономного полигона, разворачиваемого в соответствии с обязательствами (Russian Data Intensive Grid, egee-rdig.ru) проекта EGEE-III.
Наличие в инфраструктуре нескольких вычислительных элементов позволяет продемонстрировать обучаемым возможность автоматического выбора элемента, удовлетворяющего заданным критериям (например, с минимальным числом стоящих в очереди задач, с определенным типом системы управления локальными ресурсами, и т.д.). Присутствие нескольких элементов хранения данных дает возможность продемонстрировать процесс копирования данных с одного вычислительного элемента на другой, репликации (создание копий одного и того же набора данных на разных вычислительных элементах), выбора оптимального элемента хранения по отношению к указанному вычислительному элементу и пр.
Более того, интеграция ресурсов grid-сайта той или иной организации в общую инфраструктуру избавляет каждого участника от необходимости иметь полный набор сервисов gLite, что уменьшает нагрузку на администратора по поддержанию работоспособности имеющихся на его grid-сайте сервисов. Такие сервисы, как tBDII, WMS, LB, VOMS, LFC могут удовлетворять потребности нескольких или всех участников. Из соображений обеспечения надежного и бесперебойного функционирования учебного полигона реализовано дублирование некоторых сервисов.
С момента ввода такого комплекса в эксплуатацию на нем проводятся семестровые курсы по grid-технологиям для студентов Учебно-научного центра ОИЯИ, а также студентов университета «Дубна».
Особенностью обучения на данном комплексе является возможность проведения занятий по работе в различных grid-средах для разных групп – возможна ситуация, когда требуется обеспечить работу нескольких автономных одновременно работающих grid-инфраструктур, если физических ресурсов каждой из них поотдельности не хватает для решения конкретной задачи.
Для обучения пользователей работе в среде gLite подготовлены учебные материалы по теории и практике grid.
На данный момент находится на этапе отладки образовательный Web-портал по grid-технологиям, который является средством для получения доступа к методическим материалам и учебной инфраструктуре, а также инструментом проверки полученных знаний.
Обучение администраторов
Помимо пользователей grid, применяющих распределенные ресурсы в качестве инструмента в своих областях деятельности, существует потребность в системных администраторах ресурсных центров, образующих grid-инфраструктуру. Эффективное обучение в этом направлении предполагает наличие у каждого из слушателей этого курса некоторого набора компьютерных ресурсов, на которых они могли бы упражняться, а также права суперпользователя. Учитывая это и принимая во внимание тот факт, что grid-сервисы во время обучения обычно используются не интенсивно, предоставляется возможность совместного размещения нескольких grid-сервисов на одной физической машине внутри виртуальных сред.
В качестве инструментария виртуализации применялись User mode Linux (user-mode-linux.sourceforge.net) и OpenVZ (wiki.openvz.org/Main_Page), на базе которого сейчас развернута вся учебно-исследовательская и тестовая инфраструктура.
Для обучения приемам установки, настройки и тестирования работоспособности grid-сайтов в УНЦ ОИЯИ в 2005 году был организован соответствующий факультативный курс по администрированию ПО промежуточного слоя Advanced Resource Connector, разрабатываемого в рамках альянса NorduGrid.
К достоинствам инфраструктуры, построенной для обучения администраторов (рис. 2), можно отнести возможность относительно быстрого создания учебной grid-среды, необходимой для конкретного курса обучения, параллельно с уже работающими средами, при этом можно выделять пулы виртуальных машин и предоставлять доступ к ним с правами суперпользователя каждому обучаемому.
Данный комплекс был успешно задействован при обучении системных администраторов из стран–участниц ОИЯИ (Белоруссия, Казахстан, Азербайджан, Северная Корея, Румыния) и ассоциированного члена – ЮАР.
Разработаны руководства для системных администраторов по установке и управлению виртуальными машинами User mode Linux и OpenVZ; по установке NorduGrid Advanced Resource Connector и gLite на виртуальных машинах, их настройке и тестированию.
Разработка сервисов
Созданную учебно-исследовательскую инфраструктуру с настроенной grid-средой можно задействовать для обучения разработчиков grid-сервисов – сейчас составляется программа такого курса и накапливается опыт как в портировании уже существующих приложений в grid, так и создании новых grid-сервисов.
Первоначальный опыт в разработке собственного grid-сервиса был получен в ОИЯИ при переносе в grid программы вычисления базисов Жане и базисов Гребнера для систем полиномиальных уравнений. Первый вариант был реализован для работы в среде Globus Toolkit 3.2. Была также разработана методика по созданию grid-приложений на базе архитектуры SOA и доказана ее применимость на конкретном примере по консолидации нормативно-справочной информации, в котором в качестве вычислительных ресурсов и ресурсов хранения данных использовалась среда gLite, обеспечиваемая учебным полигоном.
Кроме того, на учебном комплексе создано grid-приложение для решения ресурсоемкой задачи кластеризации (соединение вершин графа с минимальным покрывающим деревом), а также ряд других приложений: скрипты для запуска параллельных задач с использованием универсального пакета для молекулярно-динамического моделирования DL_POLY (проведенные работы позволяют применить полученный опыт для запуска задач в рамках одной из виртуальных организаций); сервис по хранению и обработке медицинских видеоданных; система мониторинга для проекта СКИФ-grid.
***
На базе grid, технологий виртуализации и сервисной архитектуры создана автономная и масштабируемая инфраструктура, обеспечивающая потребности объединивших свои ресурсы центров в подготовке кадров в области grid-технологий. Запущен сайт (gridedu.jinr.ru) по созданной учебной инфраструктуре, отлаживается образовательный Web-портал дистанционного обучения по grid-технологиям, ведутся работы по реализации мониторинга учебного комплекса. Кроме научных организаций, интерес к данному проекту проявили сегодня и вузы: ВМК МГУ, МИФИ, МЭИ и ряд других. n
Владимир Кореньков (korenkov@cv.jinr.ru) – заместитель директора Лаборатории информационных технологий ОИЯИ; Николай Кутовский (Nikolay.Kutovskiy@jinr.ru) – научный сотрудник ОИЯИ (Дубна).
