Институт развития ВЭБ.РФ создал комплексную аналитическую платформу сбора, обработки, хранения и публикации данных на базе отечественных решений. О проекте рассказывает Юлия Потёмкина, управляющий партнер центра «Технологии. Процессы. Данные» блока «Финансовый бизнес ВЭБа» и номинант на премию Data Award.

- Что представляла собой аналитическая платформа ВЭБ.РФ до реализации проекта?

У нас было классическое хранилище, построенное на технологической линейке Oracle. Обработка данных через GoldenGate, Oracle DI и PL/SQL-пакеты, отчеты в Oracle BI и множество приложений APEX. Это было устойчивое и надежное решение от лидера рынка, с бесшовной интеграцией между модулями и гибким инструментарием, позволяющим решать любые задачи. Развитие хранилища всегда ориентировалось на решение бизнес-задач и динамически развивалось, при этом соответствуя прошлым требованиям и запросам пользователей в полной мере.

- Какие проблемы существовали?

Наиболее важной проблемой было устаревание версий программного обеспечения и их несоответствие новым вызовам бизнеса. В свете невозможности обновления и прекращения их сопровождения в России, мы становились заложниками не развиваемого инструментария. На это также накладывалась возрастающая сложность администрирования и мониторинга в условиях устаревания физической инфраструктуры, даже несмотря на мощь решений Oracle.

Если попробовать определить наиболее важные проблемы в отрыве от технологий, то это была недостаточность документирования, а также разрозненные подходы к проектированию и разработке в зависимости от информационных продуктов. И как следствие – недоверие к данными из-за их непрозрачности. Эти проблемы были обусловлены как динамическим ростом с одной стороны, так и отсутствием комплексных стандартов разработки и практик автоматизации документирования и управления метаданными. Из-за открытых подходов к закупочным процедурам с нашей стороны (мы ведущий институт развития и государственная корпорация) к развитию хранилища в разные периоды привлекались разные подрядные организации.

- Какой подход был выбран?

Была важна регламентация и автоматизация ИТ-разработки совместно с обязательностью документирования. Параллельно с развитием стандартов разработки выстраивали контроли за соблюдение требований к метаданным непосредственно в конвейере производственного процесса. Предоставление доступа к данным автоматизировали таким образом, что оно регулируется владельцем данных и вся информация, включая глоссарии бизнес-терминов, ведутся в каталоге метаданных. В результате мы можем контролировать разработку и быть уверенными в том, что все данные у нас размечены, так как без отнесения к тому или иному домену к ним невозможно будет получить доступ.

- Почему это было важно?

ВЭБ.РФ играет особую роль в реализации государственной политики, направленной на развитие отраслей экономики, инфраструктуры, социальной сферы. Для эффективного выполнения задач организации определяющее значение играют точность оценки ситуации и скорость принятия решений, которые невозможно обеспечить без данных и современных подходов к работе с ними. Мы в этом смысле ставим перед собой амбициозные цели и активно движемся к их достижению. Реализованный проект позволяет существенно продвинуться в цифровой зрелости, обеспечить прозрачность и точность цифрового образа организации как для внутреннего использования, так и для мониторинга эффективности деятельности со стороны правительства Российской Федерации.

- Как подходили к выбору технологий? Какие принципы пытались соблюсти при построении платформы?

В основе нашего подхода был принцип достижения технологического лидерства, а значит – лучшие отечественные решения. Сообразно потребностям определили требования к аналитической платформе и начали анализ доступных отечественных решений. Важными факторами для нас были надежность решений и максимальная автоматизация производственного процесса для сокращения производственных затрат. Требования к платформе были структурированы на модули, с учетом современных подходов к построению дата‑платформ, а после провели выбор наиболее оптимальных решений под наши требования.

- Какие задачи были поставлены перед проектом?

Целью проекта стало создание комплексной аналитической платформы сбора, обработки, хранения и публикации данных на базе отечественного прикладного программного обеспечения с учетом лучших инженерных и Data Governance практик. При этом требовалось решить довольно много задач.

Первая из них – увеличение качества и скорости реализации информационных продуктов на основе данных за счет автоматизации процессов и процедур производственного цикла. Вторая задача – внедрение инструмента онлайн-мониторинга ключевых показателей организации для топ-менеджмента. Было важно увеличить доступность данных – демократизировать доступ к ним на основе ролевой модели и внедрения решений для self-service аналитики. Требовалось повысить эффективность использования данных за счет учета метаданных и ведения дополнительных связей.

В число прочих задач входило внедрение ролевой модели доступа к данным, автоматизация процессов контроля качества данных, увеличение эффективности процессов управления данными, автоматизация ведения НСИ и мастер-данных.

- На каких решениях в итоге реализована платформа?

В рамках аналитической платформы используются ETL-решение OTRiDataIntegration, СУБД Tantor SE, включая функциональность платформы для администрирования и в особенности – анонимизации данных (схема 1, схема 2). Также применяется BI-система OTRiSET как базовое решение, доступное для self-service, и Sber Navigator как основная система управленческих дашбордов. Важную роль в платформе занимает Low-Code платформа для разработки приложений от компании XSQUARE. MDM-решения представлены линейкой продуктов от HFLabs: «Фактор», «Единый клиент», «Подсказки», «Перекодер». Система управления данными строится на базе каталога данных OTRiDG.

- Какие данные охватывает решение?

На базе аналитической платформы обрабатываются данные из всех ключевых процессов организации: данные о кредитном процессе – путь от заявки и структурирования проекта до заключения договоров и мониторинга их исполнения, учетные продуктовые данные АБС, данные процессов управления рисками и персоналом, консолидированная управленческая и финансовая отчетность группы ВЭБ.РФ.

- Что в ходе проекта было самым сложным?

Было непросто выстраивать взаимодействие большой команды проекта, включающей заказчиков, внутреннюю ИТ-команду специалистов, интегратора и производителей программных продуктов. Приходилось определять подходы к функциональным особенностям каждого модуля, добавлять и учитывать наши пожелания в дорожных картах решений, доказывая и убеждая в важности развития подобного функционала для рынка. Требовалось учитывать инфраструктурные преобразования (в рамках проекта замещено не только программное обеспечение, но и инфраструктура – серверное оборудование, системное ПО и системы защиты информации) и увязывать их с планами по внедрению и развитию функционала. У нас были амбициозные цели, которые заставляли нас искать новые подходы к решению типовых задач – к примеру, в части минимизации затрат на сопровождение.

В то же время хочется отметить, что эти сложности только сплачивали и закаляли участников проекта, становились триггером профессионального роста. Возможность прямого влияния на продукт вообще кажется недооцененным плюсом импортозамещения, позволяющим реально востребованной функциональности появляться в продуктах гораздо быстрее.

- Какие меры были предприняты для улучшения восприятия платформы со стороны сотрудников?

Решили не размениваться и совместно с внедрением платформы запустили системное изменение корпоративной культуры. Сначала провели реорганизационные улучшения. ИТ-функция и функции консалтинга по данным были сконцентрированы в Центре под названием «Технологии. Процессы. Данные», стратегически утвердив важность управления данными. Была организована большая просветительская кампания по всей организации, которая основывалась на методологической базе, разработанной в соответствии с рекомендациями ЦБ РФ. Мероприятия были разбиты по темам и проводились в несколько волн, а сейчас установлены как регулярные. В рамках программ, помимо базовых понятий, на примерах разбираются успешные кейсы и демонстрируется прямая корреляция положительных результатов с правильными подходами. Для мотивации и вовлечения показываются лидирующие информационные продукты в разрезе минимального количества инцидентов качества данных, а также статистика количества действующих проверок качества данных.

- Удалось ли в итоге повысить уровень data literacy? В чем это выражается?

По прямой обратной связи и по другим метрикам – например, по возрастающему количеству self-service решений и качеству бизнес-постановок, мы можем судить о развитии data-driven-культуры. Популярность дата-мышления в организации мы связываем, в том числе, и с нашим проектом, его технологическими аспектами и культурно-образовательными мероприятиями, повышением демократизации доступа к данным, их прозрачностью и активностями по развитию прикладных решений, помогающих пользователям.

- Каковы итоги проекта?

Мы достигли полного импортозамещения корпоративного хранилища данных – от инфраструктурного до прикладного уровня. Увеличена скорость разработки информационных продуктов, обеспечены целевые показатели надежности и отказоустойчивости систем.

Внедрены дашборды для руководителей на базе ППО «Навигатор BI» – более 60 дашбордов, более 600 показателей. Выстроена ролевая модель и автоматизация управления доступом к данным на уровне объектов, появилась возможность self-service аналитики, снижено время получения доступа к данным.

Повысилась прозрачность и доступность данных для конечных пользователей, в том числе реализована разметка данных, размечено более 90% атрибутов ядрового слоя данных. Внедрен производственный процесс, повышающий качество информационных продуктов, снижено количество дефектов и итераций доработки.

- Какие бизнес-инициативы были реализованы на новом хранилище?

Одним из первых решений на новой платформе является процесс формирования отчетности по показателям эффективности ВЭБ.РФ и координируемых институтов развития для представления в Информационной системе мониторинга Правительства РФ, в том числе для целей контроля реализации национальных проектов России. В рамках бизнес-анализа решения и разработки автоматизации апробированы и новые подходы к формализации бизнес-требований и их учета.

- А как это отразилось на бизнесе? Каких результатов удалось достичь?

Прояснение всех аспектов сложной отчетности позволило всем задействованным подразделениям, в том числе и внешним контрагентам, говорить на одном языке данных и использовать единые определения. Как следствие, исчезают разрозненность и недоверие к отчетности, и задача, казавшая сложной и неприступной, формирует позитивный опыт. Этим опытом коллеги готовы делиться, увязывая его с правильным подходом. Формируется общая картина доверия к платформе как технологии и методологии как стандарту ее использования в работе.

- В чем роль проекта для организации?

Мы обеспечили надежную, достоверную и быструю аналитику как для целей управления, так и для целей предоставления данных в государственные органы. Корпоративное хранилище данных является связующим звеном и активным компонентом большинства процессов ВЭБ.РФ, успешность проекта – повышение скорости и качества в каждом из них.

- В каком направлении будет развиваться проект?

Планируем увеличение количества дашбордов и покрытия бизнес-процессов показателями. Приступим к реализации новых информационных продуктов для управленческой и финансовой аналитики. Будем увеличивать покрытие метаданными и контролями качества данных, внедрим мониторинг метрик процесса управления качеством данных. Ожидаем роста числа пользователей платформы self-service.