Однако программы поддержки таких работ помимо финансирования должны еще решать множество организационных и управленческих проблем, а здесь нам еще многому надо поучиться.

Как финансируется DIC Огромные массивы накопленной информации отображают сегодня многогранные аспекты повседневной деятельности общества: электронная коммерция, WWW-ресурсы, наука и инженерия, а в перспективе можно ожидать еще более высоких темпов продуцирования данных и внедрения компьютинга в жизнь. Данные будут поступать из все большего числа разнородных источников, будут требовать все более сложной обработки и станут все более динамичными, востребованными и важными. Это делает необходимым переосмысление того, как сегодня решаются задачи, еще совсем недавно казавшиеся неразрешимыми, и как далее хранить, осуществлять выборку, анализировать и пересылать огромные массивы данных.

Data-intensive Computing (DIC) — отрасль коммерческой обработки огромных массивов данных, которая призвана обеспечивать индустриальный подход к поддержке сервисов в масштабах Сети, исполняемых на базе совершенно иных принципов, нежели традиционный компьютинг. К счастью, многие DIC-приложения допускают массовый параллелизм и пригодны для применения спецификаций программных примитивов высокого уровня, обеспечивающих управление параллельным исполнением и выборкой данных. Многие такие приложения требуют также высокой надежности, устойчивости к сбоям и высокой доступности. Очень часто они требуют реакции в режиме реального времени в условиях обработки гетерогенных типов данных, зашумленности и неопределенности самих этих данных. И все это на фоне общих требований к системной целостности и непротиворечивости.

Чтобы как-то выделить проблему обработки в режиме реального времени динамически изменяющихся данных, поступающих из гетерогенных источников, к аббревиатуре DIC добавили еще одну букву — S (Scalable), обозначив эту проблему как DISC. Сегодня, например, в США принята большая программа, в рамках которой будут финансироваться все проекты в области создания DIC-систем и приложений, а также подготовки специалистов, способных создавать такие системы и управлять ими. По мнению авторов программы, DIC-системы призваны вскоре стать основой экономической и социальной мощи страны, а, следовательно, и ее национальной безопасности.

История финансирования DIC

Рост экономики США в период 1995-2002 годы связан с ростом производительности труда вследствие внедрения информационных технологий. Так, в докладе комитета Information Technology and Innovation Foundation, опубликованном в марте 2007 года, утверждается: «Информационные технологии глобальной экономики и коммуникаций являются не только средствами повышения качества жизни, но и экономического роста… Реально внедрение ИТ в США дало вклад в увеличение производительности в промышленности в две трети в период с 1995 по 2002 годы и практически целиком определило рост производительности труда».

Внедрение ИТ в науку позволило сделать новые открытия практически во всех научных дисциплинах, начиная с проецирования разделов головного мозга человека, описания генома человека и кончая моделированием глобальных климатических изменений. Вместе с тем, согласно докладу National Research Council бурное развитие информационных технологий в США стало результатом «эффективного государственного финансирования исследований в университетах, федерального и частного финансирования исследований в промышленности и успешной работы компаний, принимавших на себя инновационные риски и обеспечивших перемещение специалистов между университетскими исследовательскими лабораториями и промышленными предприятиями». Этот вывод подтверждает также доклад президентского консультативного комитета PITAC (President’s Information Technology Advisory Committee), акцентирующего внимание на «впечатляющей» эффективности федеральных инвестиций в долгосрочные исследования и развитие информационных технологий. Вместе с тем, высказывались критические замечания в адрес PITAC, сосредоточившего в своих руках практически всю государственную поддержку НИиОКР в области ИТ и осуществляющего недостаточную поддержку долгосрочных фундаментальных исследований в экономике, здравоохранении и науке; наиболее критичные проблемы компьютинга остались нерешенными; генерация новых идей осталась неприемлемо низкой.

Комитет PITAC парировал эти замечания, указывая общественности на важность расстановки приоритетов в исследованиях и необходимость внимания федерального правительства к поддержке долгосрочных и высоко рискованных исследовательских и опытно-конструкторских разработок в области ИТ. Эти рекомендации дали толчок к увеличению финансирования федеральных ИТ-программ в 2000 финансовом году, которое было продолжено в 2004-м (увеличение на 1,3 млрд долл за пять лет). Последствия этих рекомендаций PITAC сказываются и сегодня на формировании федерального бюджета — доля НИиОКР в области ИТ в 2008 финансовом году составила 3,3 млрд долл. Это программа Networking and Information Technology Research and Development (NITRD), которая координируется рабочей группой Interagency Working Group (IWG) on Information Technology Research и советом Development of the National Science and Technology Council (NSTC). Программа NITRD стала продолжением программы High Performance Computing and Communications Program, принятой Конгрессом США в 1991 году. Агентства, участвующие в программе NITRD, сегодня координируют исследования в восьми областях*, а National Science Foundation (NSF) является ведущим агентством NITRD.

DIC сегодня

В августе 2007 года был принят акт High Performance Computing Research and Development Act, который в составе акта America COMPETES Act обрел силу закона, заменившего акт High Performance Computing and Communications Act 1991 года. Новый закон определил, что именно программа NITRD должна обеспечивать непрерывный и прозрачный доступ научного сообщества к федеральным компьютерным ресурсам, гарантируя сбалансированное наполнение портфеля исследований и взаимодействие с другими ведомствами.

В дополнение к уточнениям старого закона (HPCC Act of 1991), которые делали его нерелевантным программе NITRD (поскольку были адресованы уже завершенным программам, или устаревшим технологиям), новый закон содержит два важных условия. Первое требует от аппарата президента по проведению научной и технологической политики (White House Office of Science and Technology Policy, OSTP) проводить исследования и определять направления развития федеральных компьютерных систем высокой производительности. Вторым является требование к президентским советникам по информационным технологиям (сегодня эту роль выполняет President’s Council of Advisors for Science and Technology, PCAST) не только рассматривать цели NITRD, но и уровни финансирования этой программы, а также раз в два года докладывать результаты в Конгрессе.

Как финансируется DIC Причиной второго обязательства стала обеспокоенность отсутствием новых редакций программ NITRD с момента последнего доклада PITAC «Investing in Our Future», сделанного еще в 1999 году, — в последующие восемь лет PITAC лишь комментировал часть программ NITRD в таких областях, как кибербезопасность, информационные технологии в научных вычислениях и здравоохранении — и никогда не проводил полного пересмотра программы и не делал заключений об адекватности механизма координации работы различных агентств для достижения поставленных в программе целей. Отчет «Leadership Under Challenge: Information Technology R&D in a Competitive World», подготовленный в сентябре 2007 года, стал второй поворотной вехой в политике проведения НИиОКР в области Data-intensive Computing.

Этот доклад содержал важный вывод о том, что США в свое время получили глобальное преимущество по большей части благодаря своей ведущей роли в телекоммуникациях и информационных технологиях, но дальнейшее лидерство уже не гарантировано, и другие государства сегодня претендуют на передовые позиции в этой области. «Наш успех сегодня покоится на лидирующих позициях американских ИТ-компаний, системах коммерциализации ИТ, а также на позициях системы высшего образования США», отмечалось в докладе, а вывод PITAC был сформулирован весьма ясно: необходимы опережающие и долгосрочные инвестиции в НИиОКР по ИТ из федерального бюджета. Кроме этого были сформулированы 35 рекомендаций для всех членов американской ИТ-экосистемы, включающей в себя федеральные агентства, национальный координационный офис (NITRD National Coordinating Office, NCO), OSTP, сообщество университетских и промышленных исследовательских центров. Рекомендации затронули четыре взаимно дополняющие друг друга проблематики:

  1. Потребность в квалифицированном ИТ-персонале требует пересмотра учебных программ, расширения набора студентов и упрощения их поступления в учебные заведения страны.
  2. Необходимо делать акцент на проведение широкомасштабных и долгосрочных НИиОКР в области ИТ.
  3. Особое внимание следует уделять миру физических исследований, программному обеспечению, дискретным данным и сетям телекоммуникаций.
  4. Необходима разработка и выполнение стратегических планов в рамках NITRD-программ.

Заявка на будущее

Восемь американских федеральных агентств включили свои заявки на финансирование своей деятельности в рамках программы NITRD на 2009 финансовый год. NSF вновь возглавит эту инициативу, а на проведение этой программы запрашивает 3,5 млрд долл, что на 6,2% больше, чем в 2008 году. Основной рост бюджета NITRD должен приходиться на три агентства, которые находятся в центре внимания президентской инициативы President’s American Competitiveness Initiative: NSF, Department of Energy’s Office of Science и NIST (National Institute of Standards and Technology), бюджеты на НИиОКР в области ИТ которых вырастут по сравнению с 2008 годом на 17, 13,4 и 8,1% соответственно. Остальные участники сохранят или сократят свои бюджеты. В программу NITRD, кроме упомянутой тройки, входят еще Department of Defense (DOD), Health and Human Services (HHS), National Aeronautics and Space Administration (NASA), Department of Commerce (DOC), Environmental Protection Agency (EPA) и National Archives and Records Administration (NARA).

Проблема Data-intensive Computing входит в компетенцию подразделения NSF, носящего название Computer and Information Science and Engineering (CISE). Это подразделение объявило программу Data-Intensive Computing, которая предполагает финансирование исследований в 2009 и 2010 финансовых годах по следующим направлениям:

  • Data-intensive Computing;
  • Network Science and Engineering;
  • Trustworthy Computing.

Для участия в программе NSF приглашает организации и частный бизнес по трем классам проектов: Small Projects — с общим бюджетом до 500 тыс. долл. и продолжительностью до трех лет; Medium Projects — с общим бюджетом от 500 тыс. 1,2 млн долл. продолжительностью до четырех лет; Large Projects — с общим бюджетом от 1,2 до 3 млн долл. и продолжительностью до пяти лет.

Программа NITRD на марше

Как финансируется DIC Охватить здесь все проекты и мероприятия, проводимые в рамках программы NITRD, разумеется, невозможно, но достаточно привести всего два примера, иллюстрирующих состав участников этой программы и некоторые правила их отбора. В качестве примера деятельности частных компаний в данном секторе исследований можно взять фрагмент программы докладов и состав участников симпозиума Data-Intensive Computing Symposium, проведенного в марте 2008 года по инициативе компании Yahoo! и CCC (консорциум Computing Community Consortium спонсируется NSF с целью стимулирования проведения ИТ-сообществом долгосрочных исследований в области DIC).

В проблематику DIC уже вовлечены самые разные организации, как частные, так и государственные, лидеры как в области теоретических изысканий, так и ИТ-рынка. Примечательно, что кроме США серьезные государственные капитальные вложения в DIC уже делают и в Китае — один из участников симпозиума заявил, что если в работах местных ученых на этом стратегическом для национальной безопасности США направлении не будут в ближайшее время достигнуты положительные практические результаты, то ему придется учить китайский язык. Заметим также, что, как видно из рисунка, доступ иностранцам к этой стратегической направленности части американского бюджета будет перекрыт.

В примере из рисунка обращает на себя внимание возможность использования в рамках программы, финансируемой NSF, не только федеральных ресурсов, как это было заложено в ее обосновании, но и ресурсов частных американских компаний. Арендная плата за использование этих ресурсов также из бюджета пойдет непосредственно в карман частных компаний, и ни у кого такая возможность не вызывает опасений.

А теперь напрашиваются вопросы, ответы на которые хотелось бы увидеть в российских государственных программах развития ИТ. Является ли DIC стратегическим направлением развития отечественных информационных технологий или это характерно только для США и Китая? Каково отношение руководства страны к проведению НИиОКР в интересах государства в частном секторе?

Cluster Exploratory

За последние пять лет частный сектор создал в масштабах Сети несколько высокоэффективных приложений, использующих массовый параллельный процессинг на распределенных вычислительных ресурсах. Исследователи из академических центров высказывают потребность доступа к аналогичным ресурсам, которые позволят им исследовать данную модель вычислений.

В рамках программы Cluster Exploratory (CluE) исследователи, финансируемые фондом NSF, смогут использовать программное обеспечение и сервисы, предоставляемые кластером Google-IBM, проводить инновационные исследования в области Data-intensive Computing.  Предлагаемое финансирование направлено на исследование в области компьютерных вычислений, а также на исследование потенциальных возможностей компьютерной парадигмы Google-IBM cluster в интересах науки, инженерии и разработки приложений в интересах всех граждан.

Предложения об участии могут приниматься только:

  • От некоммерческих, неакадемических организаций: независимых музеев, обсерваторий, исследовательских лабораторий, профессиональных сообществ и аналогичных организаций в США, занятых преподаванием и научными исследованиями.
  • От университетов и колледжей: университетов и колледжей (включая муниципальные), размещенных или аккредитованных на территории США и действующих от лица своих штатных сотрудников. Такие организации также известны как академические институты.

* В этот перечень входят следующие области изысканий: High End Computing Infrastructure and Applications; High End Computing Research and Development; Human Computer Interaction and Information Management; Large Scale Networking; Software Design and Productivity; High Confidence Software and Systems; Social, Economic, and Workforce Implications of IT; Cyber Security and Information Assurance. — Прим. автора.