Надувательство под названием "экспертные оценки"

Публикуемые в компьютерной прессе рейтинговые оценки экспертов необъективны и рассчитаны на дилетантов.

Говорят, что есть ложь, большая ложь и статистика. В компьютерном бизнесе сомнительное место на пьедестале рядом со статистикой занимают экспертные оценки и результаты тестирования. В особенности это относится к сетевым технологиям.

Поясню, о чем идет речь. В очень многих компьютерных изданиях при сравнении сетевых продуктов обычно приводят некие обобщающие таблицы, где определен список критериев оценки с их весовыми коэффициентами. Эксперты дают свою оценку по каждому критерию каждому из сравниваемых продуктов. После этого баллы умножаются на весовые коэффициенты критерия и суммируются в итоговую оценку продукта. В Таблице 1 представлен типичный образчик сравнения серверов. Здесь мы умышленно не приводим ни конкретные марки серверов, ни источник информации. Читатель сам может найти подобные таблицы в популярной компьютерной литературе. Такие же сравнительные характеристики (может быть, с другими критериями и весовыми коэффициентами) существуют для сетевых ОС, принт-серверов, массивов RAID, концентраторов, коммутаторов, маршрутизаторов, модемов...

Еще в институте нам объясняли, что с критериями оценок нельзя производить обычные математические операции умножения и сложения. Каждый из критериев несет в себе несравнимую с другими информационную сущность. Как же можно суммировать производительность с качеством документации или сервиса (пусть даже с помощью весовых коэффициентов)?

При такой системе оценок результат может быть каким угодно. Меня всегда интересовал вопрос, кто составляет список критериев и каким образом назначаются весовые коэффициенты. Если вы собрались приобретать сервер и приходите сначала в представительство компании A, а затем в компанию B, то вам представят совершенно разные результаты сравнения, порой совершенно противоположные. И все они будут преподноситься как объективные и составленные независимыми компаниями. Любимое выражение производителей такое: "По данным независимой компании имярек, наш продукт опередил все конкурирующие и уверенно занял первое место".

Иногда дело доходит до полного абсурда. В один и тот же месяц два уважаемых издания провели сравнение серверов удаленного доступа. Характерно, что в каждом сравнительном анализе использовались свой список критериев и свои весовые коэффициенты. Разумеется, результаты сравнения полностью противоречили друг другу. Очевидно, производитель будет рекламировать более выгодный для него список. И рекламу он будет давать прежде всего в то издание, где победил его продукт. Кто платит денежки, тот и заказывает музыку. Поэтому читатель очень редко может найти среди победителей сравнительных анализов малоизвестную фирму.

Относительно экспертных оценок можно сделать следующие выводы. Во-первых, список критериев в принципе не может быть презентативным. Во-вторых, весовые коэффициенты в общем случае только дезинформируют пользователей. И, наконец, баллы, выставляемые экспертами, необъективны по своей сути и служат только для профанации.

Посмотрите на Таблицу 1. Раскрою небольшой секрет - в ней перечислены серверы на основе процессоров Intel. Представьте себе, что в этом же тестировании захотела бы участвовать IBM со своим мощнейшим сервером S70. Да, по цене он бы набрал ноль или единицу, но по таким критериям, как производительность, отказоустойчивость, масштабируемость и управление, обогнал бы всех. И в итоге победил бы (проверьте сами). Но что это говорит тем, кто ищет дешевый сервер? Ровным счетом ничего. Итоговая оценка лишь введет их в заблуждение.

Влияние критериев очень сильно зависит от конкретной ситуации и от подготовленности системных администраторов. Очевидно, что, например, качество сервиса и поддержки не может быть одинаковым везде. В Нью-Йорке оно одно, в Москве - совсем другое, а в брянских лесах - третье. И их, по определению, нельзя привести к общему знаменателю.

Должен сказать, что, наряду с критериями производительности и цены, критерий качества сервиса - самый популярный при сравнении сетевых продуктов. Но для России он имеет смысл лишь с огромной натяжкой. И уж если вычислять итоговую оценку, то этот критерий должен учитываться скорее со знаком минус, чем плюс. В принципе, качество сервиса в России - тема отдельного разговора. Хочется сделать лишь следующее замечание. Большинство оценок качества поддержки делаются лишь на основании одного-двух звонков в сервисный центр с не очень сложными вопросами. На основании своего собственного опыта я могу утверждать, что чем чаще сталкиваешься с сервисными центрами, тем меньше с ними хочется связываться. И неважно, с каким производителем имеешь дело. При решении нетривиальных проблем везде повторяется одно и то же. Такое ощущение, что вопросами поддержки клиентов в сервис-центрах занимаются самые низкооплачиваемые и низкоквалифицированные люди. Поэтому в экстренных ситуациях предпочитаю обращаться к знакомым, а не к сервис-инженерам.

Другие критерии не намного лучше. Взять, к примеру, качество документации. Понимают ли те, кто составляет списки, что если пользователь покупает второй однотипный сервер, то этот критерий вообще перестает играть какую-либо роль. Сетевой администратор не будет даже заглядывать в документацию. А кто объяснит, зачем администратору нужна документация при покупке сетевого адаптера или концентратора? Кстати, надо отметить, что большинство критериев и оценок ориентировано на уровень начинающих администраторов.

Для многих продуктов критерий управляемости имеет весьма высокий весовой коэффициент. Но зачем же так обобщать ситуацию? Если у клиента сеть небольшая, то требования к функциям управления совсем невелики либо отсутствуют вовсе. И неважно, какой продукт он собирается приобретать, коммутатор или сервер. Для владельцев же крупных сетей вопрос управления выходит на одно из первых мест и может по значимости опережать даже требования к производительности. Нельзя устраивать прокрустово ложе и мерить все одной меркой.

Ну хорошо, есть же более или менее объективные характеристики, такие как производительность и цена. Однако более внимательное знакомство с ними не позволяет однозначно считать их таковыми. Во всяком случае в том контексте, в каком они рассматриваются. Почему весовому коэффициенту критерия производительности выделили 20%, а не, скажем, 50 или 10%? Да и сами показатели весьма спорны и часто ведут к непониманию ситуации. Взять, к примеру, те же серверы. Какими интегральными характеристиками производительности следует оперировать для определения мощности сервера? Их, конечно, много, но они не покрывают всего многообразия применений, особенно в сложной сетевой среде. Для файлового сервера они одни, для сервера приложений - совсем другие. Очень многое зависит от устанавливаемой операционной системы (ценность которой также пытаются выразить через сравнительные оценки). Очевидно, что для файлового сервера особое значение имеет дисковая подсистема и производительность сетевых адаптеров, в то время как для сервера приложений - производительность процессоров и объем оперативной памяти.

Недавно мне на глаза попалась очень любопытная статья в американском издании Dr.Dobb's Journal за март 1998 г., где показывается, насколько необъективны сравнения производительности компьютеров. Автор на конкретных примерах демонстрирует, что любой продукт можно вывести на лидирующие позиции. В частности, он сравнивает два компьютера одного и того же производителя, причем один из них имеет Pentium 166 МГц (даже не MMX), а второй - Pentium II 300 МГц. Тесты проводятся по общепринятым методикам WinBench, SPEC, Sysmark, Winstone и многим другим. При этом объем оперативной памяти, размер кэш-памяти, видеорежим, системная шина и версия ОС у обеих машин одинаковы. Путем несложных манипуляций автор добивается, что по большинству тестов побеждает компьютер с Pentium 166 МГц. Вот один из характерных приемов. В ПК Pentium II устанавливается винчестер Seagate Barracuda, имеющий скорость вращения 7200 оборотов в минуту, а в ПК Pentium 166 МГц - винчестер Seagate Cheetah с 10 000 оборотами в минуту. Разумеется, что на тестах по обращению к диску ПК Pentium II с треском проигрывает. А теперь вопрос: много ли читателей при покупке сервера или винчестеров обращали внимание на характеристики дисковой подсистемы? Уверен, что очень немногие. Такой вывод напрашивается после знакомства с документацией на серверы и винчестеры самых известных компаний. Там параметры частоты вращения дисков приводятся очень редко. Обычно речь идет только о спецификации интерфейса (например, для сервера - Ultra SCSI, Ultra/Wide SCSI или подобных). Но позвольте, этой информации явно недостаточно. Самый современный винчестер с 10 000 оборотов в минуту можно установить с контроллером Ultra SCSI, и он будет работать быстрее, чем винчестер на 7200 оборотов на контроллере Ultra/Wide SCSI!

С ценой ситуация аналогичная. Ее размер очень сильно зависит от используемых компонентов и их функциональных особенностей. В большинстве случаев цену нельзя абстрактно вычленить из всего набора критериев при оценке продукта. Еще понятно, когда сравнивают сами цены, но экспертные баллы по цене - это уж слишком. Пусть один продукт стоит 15 590 долларов и имеет балл критерия цены 4. Как вы думаете, сколько баллов дали продукту, который продается за 14 799 долларов? Ровно 4,5. А продукту с ценой 22 796 долларов присвоили 3,5 балла. Как вам это нравится! Это к вопросу об объективности.

ЗАКЛЮЧЕНИЕ

При оценке того или иного продукта никогда не ориентируйтесь на интегральные характеристики. Лучшую помощь здесь могут оказать сравнительные обзоры, где каждый из критериев рассматривается отдельно и подробно. Задача пользователя - выбрать только те из них, которые необходимы ему для работы.