Обзор февральского 2003 года выпуска журнала Computer (IEEE Computer Society, V. 36, No 2, February 2003)
В исследованиях, влияющих на разработку серверов, используются научные и технические эталонные тесты, такие как SPECint и SPECfp. Это объясняется несколькими причинами. Среди них привычка исследователей к таким тестовым наборам, трудность работы с коммерческой нагрузкой, включая повышенные требования к аппаратуре, отсутствие доступа к исходному коду коммерческих приложений и т.д.

Темой февральского номера являются подходы к оцениванию серверов в условиях коммерческой рабочей нагрузки. В соответствии с этим названа и заметка приглашенных редакторов Кимберли Китон (Kimberly Keeton, Hewlett-Packard Labs), Рассела Клэппа (Rassel Clapp, Fabric7 Systems) и Ашвини Нанда (Ashwini Nanda, IBM Watson Research Center): Evaluating Servers with Commercial Workloads. В этой заметке отмечается, что большинство современных микропроцессорных серверных систем используется в условиях коммерческой рабочей загрузки. К соответствующим видам приложений отнесены классические приложения баз данных категорий OLTP (online transaction processing — «оперативная обработка транзакций») и DSS (decision support system — «система поддержки принятия решений»), Web-серверы, почтовые серверы, многозвенные приложения электронной коммерции. Однако в исследованиях, влияющих на разработку этих серверов, используются научные и технические эталонные тесты, такие как SPECint и SPECfp. Это объясняется несколькими причинами. Среди них привычка исследователей к таким тестовым наборам, трудность работы с коммерческой нагрузкой, включая повышенные требования к аппаратуре, отсутствие доступа к исходному коду коммерческих приложений и т.д. В последние годы ситуация стала меняться, и этим изменениям посвящена тематическая подборка данного номера.

Название первой большой статьи подборки — «Тестовые испытания серверов Internet на суперскалярных машинах» (Benchmarking Internet Servers on Superscalar Machines). У статьи пять авторов из Техасского университета и из корпорации IBM. Имя первого по списку автора Ю Люо (Yue Luo). В статье обсуждаются результаты пропуска трех популярных тестовых наборов для серверов Internet на трех современных микропроцессорах, и эти результаты сравниваются с результатами испытаний на тестовом наборе SPECint2000. Использовались два RISC-процессора IBM (RS64-III и IBM POWER3-II) и Intel Pentium III. Платформы IBM работали под управлением операционной системы AIX, а компьютер на базе Pentium III был оснащен Windows NT Workstation 4.0. В качестве Web-сервера использовался Apache 1.3.23. Виртуальные машины Java поддерживались с помощью IBM Java Development Kit 1.1.8 (платформа IBM) и с помощью Sun JDK 1.3.0 вместе с HotSpot Server (Intel). В качестве тестовых наборов для сервера Internet были выбраны SPECweb99, VolanoMark и SPECjbb2000. Тест SPECweb99 (www.spec.org/web99) предназначен для измерения производительности Web-сервера. В рабочей нагрузке этого тестового набора моделируется множественный доступ к Internet-провайдеру, а сервер поддерживает Web-страницы для нескольких разных организаций. VolanoMark (www.volano.com/benchmarks) основан на коммерческом чат-сервере VolanoChat. Пакет можно поделить на клиентскую и серверную части. По требованию клиента сервер устанавливает с ним соединения. Далее в клиенте моделируется наличие нескольких разговорных комнат, в каждой из которых может находиться несколько пользователей. Клиент непрерывно посылает серверу сообщения и ожидает, пока сервер выполнит широковещательную рассылку этого сообщения всем пользователям той же разговорной комнаты. Наконец, SPECjbb2000 (www.spec.org/jbb2000) — это первый тестовый набор для приложений электронного бизнеса. Java Business Benchmark эмулирует в трехзвенной системе рабочую нагрузку, характерную для электронной коммерции. В этом тестовом наборе содержатся бизнес-логика и манипулирование объектами реального бизнес-сервера. Если не вдаваться в технические детали, то результаты испытаний микропроцессоров IBM существенно убедительнее Pentium III. С другой стороны, для всех процессоров среднее число тактов, требуемое для выполнения команды, на тестовых наборах для сервера Internet, заметно больше, чем в случае SPECint2000.

У следующей статьи два автора — Даниель Гарсия (Daniel Garcia) и Жевиер Гарсия (Jevier Garcia). Статья называется «Применение тестового набора электронной коммерции TPC-W» (TPC-W E-Commerce Benchmark Evaluation). При оценке производительности на основе какого-либо тестового набора электронной коммерции необходимо учитывать три ключевых аспекта.

  • Определение параметров рабочей нагрузки. Между разными моделями электронной коммерции имеются существенные различия, и одна рабочая нагрузка не может должным образом соответствовать всем моделям.
  • Метрика, используемая для измерения производительности. Наиболее частой метрикой является максимум пропускной способности сервера при наличии ограничений на время выполнения транзакций.
  • Чувствительность метрики. Понимание поведения метрики при изменении параметров системы является существенным фактором применимости тестового набора.

Тестовый набор TPC-W имеет архитектуру «клиент-сервер». Функцией клиентов является эмуляция удаленных браузеров с целью моделирования рабочей нагрузки реальных потребителей. Эмулятор шлюза платежей представляет объект, аутентифицирующий пользователей и авторизующий платежи. Тестируемая система, включающая сервер HTTP со своей средой хранения, сервер приложений и базу данных приложения, взаимодействует с клиентами через выделенную сеть. Авторы статьи условно разделяют системы электронной коммерции на три класса. Модель киберпосредника (cybermediary) представляет компанию, которая выступает в качестве посредника между поставщиком продуктов или услуг и конечными потребителями. TPC-W хорошо соответствует этой модели, но с тем ограничением, что в тестовом наборе все продукты поставщика считаются зарегистрированными во внутренней базе посредника. Модель производителя представляет компанию, которая продает и распространяет свои продукты прямо конечным потребителям. TPC-W покрывает все основные аспекты этой модели. Наконец, модель аукциона представляет компанию, которая заведует фондовым аукционным рынком, где и продавцы (предоставляющие компании списки товаров), и покупатели (предлагающие свои цены на товары) являются конечными потребителями. TPC-W не соответствует этой модели должным образом. Далее в статье авторы обсуждают, каким образом можно сформировать рабочую нагрузку в каждой из моделей, и рассматривают различные реализационные аспекты TPC-W.

В списке авторов статьи «Моделирование коммерческого сервера стоимостью в два миллиона долларов на персональном компьютере ценой в две тысячи» (Simulating a $2M Commercial Server on a $2K PC) сразу восемь имен. Семь человек работают в университете Висконсин, еще один — в университете Дюка. Первым в списке числится Алаа Аламелдин (Alaa Alameldeen). В статье описываются результаты проекта, выполненного группой Multifacet Project Висконсинского университета. Проект основывался на использовании имитационной среды Simix шведской компании Virtutech (см. обзор журнала Computer за февраль 2002 года). Задача состояла в том, чтобы добавить к этой среде ряд дополнительных компонентов, позволяющих запускать в ней тестовые наборы, предназначенные для мощных коммерческих серверов, а также создать дополнительное программное обеспечение, адаптирующее рабочую нагрузку тестовых наборов к имитационной среде. Разработанные средства позволяют запускать в имитационной среде четыре тестовых набора: TPC-C с использованием СУБД IBM DB2, SPECjbb (см. выше), собственный тестовый набор для Web-сервера со статическими страницами (на основе Apache), а также собственный тестовый набор для Web-сервера с динамическими страницами (на основе Slashcode).

Тин-Фонг Цуи (Thin-Fong Tsuei) и Вэйне Ямамото (Wayne Yamamoto) из корпорации Sun Microsystems представили статью «Имитационная модель с очередями для мультипроцессорных систем» (Queuing Simulation Model for Multiprocessor Systems). В предложенной авторами модели процессора с очередями обеспечивается оценивание подсистем памяти и архитектуры больших многопроцессорных систем при наличии коммерческих рабочих нагрузок категории OLTP с интенсивной работой с памятью. В модели не имитируется выполнение команд; она основывается на характеристиках процессора и рабочей нагрузки, которые легко собрать и оценить. Моделируется минимальный набор характеристик процессора и рабочей нагрузки, которые фиксируют важные взаимодействия между сложным процессором и иерархией памяти. Чтобы убедиться в том, что предложенная модель позволяет получить достаточно точные результаты, авторы сравнивали результаты пропуска TPC-C на своей модели и на модели, эмулирующей команды процессора. Вывод состоит в том, что модель с очередями удовлетворительно точна, просто реализуется и быстро выполняется.

Наконец, еще одна статья подборки называется «Разработка рабочих нагрузок для исследования компьютерных архитектур» (Designing Computer Architecture Research Workloads). Ее написали три автора из бельгийского университета Гента: Ливен Екхаут (Lieven Eeckhout), Ханс Вандерендонк (Hans Vandeirendonck) и Коен Де Боссчере (Koen De Bosschere). В статье предлагается методология, позволяющая сократить число тестовых наборов и уменьшить объемы их входных данных, но сохранить при этом рабочую нагрузку, необходимую для исследования компьютерной архитектуры. Основная цель состоит в сокращении времени пропуска тестовых наборов на имитационной модели микропроцессора на этапе его проектирования.

Мартовский выпуск журнала Computer должен быть посвящен инженерии программного обеспечения. Увидимся. Сергей Кузнецов, kuzloc@ispras.ru.