Внимательное изучение всех аспектов завершенного проекта и внесение в него корректив — очень сложная и противоречивая процедура. Однако проверка уже внедренной системы имеет крайне важное значение для избежания повторения дорогостоящих ошибок

Как только Michael Baker, инженерно-строительное предприятие с оборотом в 405 млн. долл., завершило развертывание снабженческой системы ePlus, построенной на базе технологий Web, коллеги буквально засыпали ИТ-директора Брюса Хиггинса вопросами об эффективности нового программного обеспечения. Многочисленные отзывы свидетельствовали о том, что заказы стали обрабатываться быстрее, но реальных доказательств повышения эффективности работы не было. Поэтому Хиггинс решил инициировать первую в своей жизни аудиторскую проверку новой системы после ее внедрения (Post-Implementation Audit, PIA). Проверка предполагала проведение анализа функционирования стратегической информационной системы сверху вниз, выявление ее основных и дополнительных преимуществ, оценку безопасности системы и процедуры управления проектом на этапе внедрения. В результате проверки Хиггинс понял, что из-за ошибки информационной службы при определении числа людей, необходимых для эксплуатации новой системы, параметры окупаемости инвестиций уменьшились на сумму дополнительно заказываемых лицензий. Тем не менее аудит продемонстрировал, что новая система ежегодно позволяет экономить компании более 150 тыс. долл., и Хиггинс получил доказательства ее полезности, которыми можно было оперировать в разговорах с коллегами. Кроме того, он извлек несколько действительно важных для себя уроков.

Поэтому ИТ-директорам следует взять на вооружение пример Хиггинса, который быстро понял, что проведение аудиторской проверки — хороший способ доказать ценность информационных технологий. По оценкам Барбары Гомольски из компании Gartner, доля организаций, которым уже необходимо делать аудит, приближается к 20%.

По словам директора информационной службы компании Sun Life Financial Джима Смита, аудит после внедрения представляет собой весьма ценный инструмент, который помогает представителям основных подразделений понять, на что тратятся их деньги

Компании избегают проведения аудиторской проверки после внедрения по нескольким причинам: прежде всего требуется много времени и ценных кадровых ресурсов, а это всегда дефицит. Для оценки процессов и результатов нужны горы документации. Наконец, «спонсоры» проекта и люди, занимающиеся внедрением, опасаются, что результаты проверки (если они окажутся отрицательными) могут быть использованы против них.

ИТ-директора компаний, удачно завершившие аудиторскую проверку, определили критически важные факторы достижения успеха: это правильный подбор людей, тщательное планирование и согласование временных параметров аудита, а также наличие достаточного объема документации для упрощения проведения проверки. Они выбирают для аудита наиболее подходящие проекты. ИТ-руководители выделяют несколько ключевых условий, выполнение которых должно обеспечить постоянное проведение аудиторских проверок в вашей организации: стремление к последовательным улучшениям, придание проверке статуса составного элемента методологии управления проектом и поддержка генерального директора.

Компании, не проводящие аудиторских проверок, теряют ряд важных преимуществ, которые появляются при использовании результатов аудита. Может показаться, что проведение проверок сопряжено с огромными трудностями и риском, но 66% руководителей, входящих в список CIO 100 (рейтинг, ежегодно составляемый журналом CIO Magazine. — Прим. ред.), выполняют их регулярно. А поскольку все наши лауреаты отличаются исключительной изобретательностью, включение ими проверок в перечень обязательных мероприятий позволяет говорить о важной роли аудита в работе высокоэффективной организации. Результаты проверки дают возможность оперировать фактами при обосновании инвестиций в дорогостоящие и критически важные ИТ-проекты, они помогают наладить процесс управления и корректировать политику реализации последующих проектов, строго контролируя их. В период, когда работа информационных служб и их руководителей, а также эффективность инвестиций в ИТ оцениваются с особой тщательностью, аудиторские проверки, как никогда ранее, важны для успеха и выживания ИТ-директора. «Сегодня бизнес испытывает постоянное давление, а информационная служба несет ответственность перед представителями основных подразделений за то, куда тратятся их деньги, поэтому мне просто непонятны отдельные призывы прекратить проведение проверок в тяжелые для экономики времена», — заявил Джим Смит, ИТ-директор компании Sun Life Financial и убежденный сторонник аудиторских проверок.

Как преодолеть сопротивление?

Многие ИТ-директора и их подчиненные не решаются проводить аудиторские проверки, поскольку опасаются оказаться в роли козлов отпущения при возникновении каких-либо осложнений или выявлении недостаточной окупаемости проекта. Вот почему Майкл Барилла, вице-президент компании Greif, занимающейся производством промышленной упаковки, с оборотом в 1,6 млрд. долл., старается почаще напоминать себе и сотрудникам информационной службы о том, что разработка информационных систем и развертывание программного обеспечения относятся не к ИТ, а к бизнес-проектам. Если проект завершится неудачей, это негативно отразится на состоянии всей команды, и потому ответственность за него несет каждый, а не только информационная служба.

Эту же точку зрения разделяет и Гомольски. По ее словам, если в ходе проверки обнаружены недостатки, не следует полностью перекладывать задачи по их устранению на плечи специалистов в области ИТ, особенно если в качестве инициаторов проекта помимо информационной выступали коммерческая и финансовая службы.

«Выявление недостатков — это палка о двух концах, — подчеркнула Гомольски. — Но лучше заранее принять соответствующие меры. Если вам не удалось добиться результата, на который вы рассчитывали, подумайте, что можно сделать для того, чтобы исправить положение».

Еще одна причина нежелания ИТ-директора, его подчиненных и даже сотрудников основных подразделений проводить аудиторскую проверку заключается в том, что она отнимает слишком много времени и сил. Однако представители компаний, которые уже проводили у себя аудит после внедрения, утверждают, что больших временных затрат для этого не требуется. Представители Honeywell Aerospace на аудит тратят не более 7-10 дней, а в компании Sun Life Financial стараются полностью завершить проверку за две недели.

Более того, ИТ-руководители, уже имеющие опыт аудиторских проверок, отмечают, что все затраты на это окупаются в ходе реализации последующих проектов. Сопротивление аудиту зачастую объясняется желанием забыть о проекте сразу после его завершения и немедленно приступить к решению других вопросов. Задача заключается в том, чтобы упростить сотрудникам процедуру проведения аудита и наладить обратную связь. К примеру, когда службе ИТ-проектов Sun Life Financial нужно получить информацию о работе системы от представителей основных подразделений, их просят заполнить в свободное время электронную анкету. Занимает это не более 20 минут. По свидетельству директора службы проектов Эда Эспозито, при таком подходе доля получаемых ответов обычно превышает 50%, а иногда она приближается и к 100%.

Информационная служба Honeywell Aerospace также испытывала определенные затруднения с привлечением сотрудников подразделения Aviation Aftermarket Services к проведению аудиторской проверки, поэтому решено было сделать ставку на людей, знакомых с методологией Six Sigma. Специалисты в области бизнес-процессов, прошедшие обучение этой методологии, предоставляют в ИТ-службу информацию о качестве поддержки системой технологических процессов.

Привлекайте нужных людей

Серьезные дебаты развернулись вокруг вопроса о том, кто должен заниматься аудиторской проверкой. Чаще всего к ее проведению привлекаются следующие группы работников:

  • сотрудники информационной службы, принимавшие участие в реализации проекта;
  • члены команды, осуществлявшей внедрение, которые представляют как информационную службу, так и основные подразделения;
  • представители отдела внутреннего аудита.

В Sun Life Financial под руководством службы ИТ-проектов проводится проверка проектов как связанных, так и не связанных с информационными технологиями. Осуществляется это в условиях тесного взаимодействия с финансовой службой и отделом внутреннего аудита. Реализация ИТ-проектов контролируется с самого начала. Ответственные лица не откладывают проверку на момент завершения внедрения. Это гарантирует четкое следование правильно выбранной методологии проекта, обеспечивает удовлетворение потребностей пользователей, позволяет не выходить за рамки бюджета и соблюдать необходимые меры безопасности. По мнению специалистов в области аудиторской проверки, подход, выбранный Sun Life Financial, близок к идеальному. Партнер компании PricewaterhouseCoopers Дон Кристиан считает, что в состав команды аудиторов следует включать представителей основных подразделений и сотрудников информационной службы, принимавших участие во внедрении, а возглавлять ее должен независимый внутренний аудитор, не имеющий непосредственного отношения к участию в проекте. По словам Кристиана, лучше набирать группу из людей, выполняющих различные функции, а не ограничиваться только представителями информационной службы или внутренними аудиторами, потому что каждый из работников разных профессий вносит свой вклад в общее дело. Выигрыш от включения в группу членов команды, работавших над проектом, состоит в том, что каждый из них знаком с целями и достоинствами проекта, а также с предъявляемыми к нему требованиями. А поскольку проект известен этим людям очень хорошо, им проще дать ему общую оценку. Привлечение представителей основных подразделений хорошо тем, что им легче выявить отрицательное воздействие внешних факторов, приводящее к тому, что система не выдает ожидаемого результата. А важность роли независимого аудитора объясняется тем, что он не боится задавать неудобные вопросы и не дает членам команды послаблений при проведении исследований.

В нужное время

Вопросы, связанные с тем, когда проводить проверку, а также кто ее будет проводить, являются предметом обсуждения. Момент старта зависит от типа системы или развернутого приложения, временного промежутка, который пройдет, прежде чем приложение начнет выдавать результаты или данные, а также от времени, которое понадобится персоналу на адаптацию к новой системе и к новым процессам. Как правило, начинать аудит имеет смысл через год после завершения работ.

«Когда мы приступали к проверке спустя месяц после внедрения, у нас не было достаточного объема данных для того, чтобы оценить, успешно работает система или нет, — пояснил Хиггинс. — На самом деле очень важно предварительно убедиться в том, что система нормально функционировала на протяжении достаточно длительного времени и в ней уже накоплен необходимый объем данных, которые можно анализировать».

Ведущий специалист по системам управления интегрированными цепочками поставок подразделения Aviation Aftermarket Services компании Honeywell Aerospace Кен Канин считает, что если компания внедряет финансовую систему, которая позволит получить результаты только в следующем квартале, то группе аудита следует выждать, по крайней мере, от трех до шести месяцев, с тем чтобы система набрала достаточный для проведения проверки объем данных.

С другой стороны, чем раньше вы начнете, тем свежее будет информация и тем проще вносить соответствующие коррективы. Вот почему аудиторскую проверку не следует планировать в виде разовой акции.

Служба проектов Sun Life Financial инициирует аудит в течение месяца с момента завершения проекта. Анализируются результаты процедуры внедрения и рассматривается вопрос расширения возможностей системы на основании обобщения замечаний и пожеланий пользователей. «Если что-то обнаруживается через несколько лет после окончания внедрения, анализ проводится повторно», — отметил Эспозито.

Хиггинс также намерен придерживаться подобного итерационного подхода в отношении аудита ERP-проекта компании Michael Baker, реализация которого завершилась в конце 2003 года. «Мы начнем оценивать эффективность новой системы через пару месяцев после окончания ее внедрения, — сообщил он. — Затем, вероятно, окупаемость инвестиций будет проанализирована спустя шесть-восемь месяцев после начала эксплуатации. К этому моменту мы уже должны накопить достаточный для проведения качественного анализа объем данных».

Тщательное документирование

Еще одним ключевым аспектом проведения аудиторской проверки является наличие соответствующей документации, представленной в различных формах. Она включает в себя бизнес-составляющую, которая отражает предполагаемые стоимость, преимущества и окупаемость системы; временные параметры проекта, включая описание всех этапов и их основных характеристик; анализ предъявляемых к системе технических требований; описание финансовых блоков и элементов управления безопасностью, а также полный перечень всех изменений, внесенных в системы или план проекта. Получение исчерпывающей документации — одна из основных задач, которые приходится решать информационной службе и ее директору при подготовке к аудиторской проверке, особенно если проводится она в первый раз.

По мнению директора службы ИТ-аудита в AARP Шерон Томпсон, если аудитор обнаруживает, что у команды, занимавшейся внедрением, нет четкой проработки всех бизнес-вопросов, подробного плана реализации проекта с указанием сроков завершения всех промежуточных этапов или полного описания всех вносимых изменений и функционирования средств обеспечения безопасности, ему следует обязательно указать это в своем отчете и выдать сотрудникам, отвечающим за внедрение, рекомендации по улучшению документации.

По мнению Хиггинса, упростить жизнь себе и тем аудиторам, которые занимаются проверкой после внедрения, может инструментальное средство организации взаимодействия под названием MPOWR, созданное на базе Web-технологий. Оно было разработано сотрудниками информационной службы для контроля версий и архивации изменений, проведенных в рамках проекта, шаблонов, временных рамок и бюджета. Когда пришло время проводить аудиторскую проверку, Хиггинс разослал аудиторам ссылку на сайт MPOWR c указанием имени пользователя и пароля для регистрации.

Службой проектов Sun Life Financial разработана собственная система управления портфелем проектов, которую менеджер проекта использует для включения в ежемесячный отчет информации обо всех основных изменениях в стоимости, расписании и сроках сдачи отдельных этапов.

Усвоение уроков

Тем, кто не прибегает к аудиторской проверке для выявления способов улучшения управления проектом, не понять всей ее ценности. По словам Эспозито, члены проектной команды, отвечающие как за внедрение, так и за аудит, во время проведения проверки организуют совещания, на которых обсуждаются все положительные и отрицательные моменты и обозначаются области, требующие улучшений.

Чтобы обеспечить усвоение извлеченных уроков, соответствующие материалы рассылаются по корпоративной сети intranet и попадают к высшему руководству в виде обобщенных отчетов об аудиторских проверках всех проектов, выполненных в течение года. Если аудиторская проверка подтверждает целесообразность изменений, они вносятся во все процедуры управления проектами и их внедрения.

Sun Life Financial публикует ежегодные обзоры аудита различных проектов, которые позволяют выделить общие области, требующие внесения корректив. По мнению Гомольски, подобное сравнение различных проектов имеет очень важное значение.

«Их истинная ценность заключается в возможности изучения шаблонов, — подчеркнула она. — К примеру, при реализации любого проекта интеграции нам приходится нервничать. Что это означает? Всякий раз, когда мы работаем над проектом с представителями основных подразделений, мы видим, как рамки его незаметно раздвигаются. Дело в том, что люди просто не знают, чего хотят, поэтому мы вынуждены выстраивать совместную деятельность каким-то иным образом».

Не снижайте темпа

Теперь, когда у вас имеются убедительные доказательства важности аудиторской проверки и вы знаете, какие факторы способствуют успеху, постарайтесь ввести эту процедуру в свою постоянную практику и сделать так, чтобы в рамках организации она не выглядела пугающе.

«Если вам ясны цели проекта, подход, используемый при его реализации, сферы бизнеса, вовлеченные в проект, и его приблизительная стоимость, основные и дополнительные преимущества проекта прозрачны, а управление внесением изменений осуществлялось на протяжении всей реализации, то при переходе к аудиторской проверке после внедрения никаких неожиданностей возникнуть не должно», — отметил Эспозито. Если выполнять всю сложную работу на предварительных этапах, не только проверка пройдет более гладко, но и вероятность эффективного выполнения системой возложенных на нее задач заметно возрастает. «Если вы изначально хорошо понимаете, во сколько обойдется реализация проекта, шансы получить планируемую прибыль становятся гораздо выше», — подчеркнул Хиггинс.

А вас не пугает аудиторская проверка после внедрения? Нам было бы интересно узнать ваше мнение по данному вопросу. Пишите на cio@osp.ru

Meridith Levinson. It Ain?t Over... Until You Do the Post-Implementation Audit. CIO, October 1, 2003

Восемь правил успеха аудита после внедрения

Задолго до начала проведения аудиторской проверки составьте четкий бизнес-план, в котором будет указана стоимость реализации проекта и его основных этапов, основные и дополнительные преимущества, получаемые компанией, ожидаемая окупаемость инвестиций и сроки полной окупаемости.
  • Скрупулезно регистрируйте все изменения, вносимые в систему и в план проекта в ходе его реализации. Применение средств контроля версий и организации взаимодействия, построенных на базе Web-технологий, упростит этот процесс.
  • Определите членов аудиторской команды.
  • Проведите совещание, на котором будут рассмотрены вопросы материально-технического обеспечения проверки.
  • Проанализируйте качество проекта с точки зрения бизнеса, дайте предварительную оценку объему работ и изменениям, которые затронули различные подразделения. Одновременно спланируйте опрос пользователей или разошлите им анкету, которая позволит понять степень их удовлетворенности. Привлеките к опросу членов коллектива, занимавшегося реализацией проекта, и поинтересуйтесь, что они сами думают о достижении поставленных целей. Протестируйте систему и ее составные элементы. Проверьте качество данных. Выполните несколько контрольных операций и убедитесь в том, что все работает именно так, как должно работать. Узнайте у сотрудников финансовой службы, какой им видится отдача от внедрения системы.
  • Сравните результаты аудита с бизнес-планом и посмотрите, достигнуты ли поставленные цели.
  • Обобщите полученные уроки. Определите, что в проекте было выполнено хорошо, а что нет и почему. Подумайте, как можно избежать появления выявленных недостатков в будущих проектах.
  • В случае необходимости организуйте повторную проверку.