ВТБ внедрил вместо Oracle Customer MDM импортонезависимое решение собственной разработки ИС МДМ ЮЛ, включая модуль «Кабинет офицера данных». Данное решение позволило повысить уровень качества данных до 98% при общем количестве активных корпоративных клиентов более 1,8 млн и свести «серую зону» потенциальных дублей к нулю. О реализации проекта рассказывают Юлия Карасева, начальник отдела качества клиентских данных, и Наталья Арепьева, директор группы развития клиентских сервисов ВТБ, – номинанты на премию Data Award.

- Какую задачу требовалось решить?

Юлия Карасева: Довольно часто компании, особенно банки, используют множество точек ввода клиентских данных. В результате карточки клиентов создаются в нескольких экземплярах, оформление продуктов осуществляется в разных системах, причем в каждой может быть свой уникальный набор полей для ввода информации о клиенте. Из-за такой разрозненности процессов и неоднородного ИТ-ландшафта клиенты, желающие оформить новый продукт или обратившиеся в другой офис банка, могли сталкиваться с неожиданными проблемами – например, необходимостью идти в тот офис, в который обращались изначально, или длительным ожиданием повторного ввода данных, которые они уже предоставляли.

Наличие нескольких записей приводит не только к разрывам клиентского пути, но и к двойным трудозатратам на стороне обслуживающей организации. Возникают проблемы с получением качественной аналитики, когда невозможно достоверно оценить продуктовый профиль клиента и долю проникновения в продуктовую линейку банка. Кроме того, страдает эффективность контрольных процедур, которые любой банк должен соблюдать в соответствии с федеральными законами и указаниями центрального банка.

И здесь на помощь приходят MDM-системы, которые за счет алгоритмов нормализации и дедупликации обеспечивают формирование эталонной карточки клиента, целостность и непротиворечивость клиентских данных во всех системах и процессах банка. Иными словами, обеспечивают единую «золотую запись» о клиенте.

- Какие требования предъявлялись к создаваемому решению?

Ю.К.: С одной стороны, ВТБ, преемник Внешторгбанка, всегда делал ставку на поддержку внешнеэкономической деятельности. Группа ВТБ представлена во многих странах мира – на момент принятия решения по внедрению MDM это была в основном Европа и СНГ, а сейчас по очевидным причинам основной фокус сместился на Китай, Индию, другие направления. Исходя из этого к MDM со стороны бизнеса предъявлялось требование по умению работать с нерезидентами – иметь специфические правила по нормализации и дедубликации клиентских данных, умение работать с иностранными названиями, как через транслитерацию, так и на языках стран присутствия клиентов.

С другой стороны, в группу ВТБ входят российские дочерние компании – ВТБ Лизинг, ВТБ Факторинг, ВТБ НПФ и др. Законодательство позволяет реализовать сквозную идентификацию клиентов, используя сведения, ранее уже полученные от клиента одним из участников группы, другими участниками без повторных запросов у клиента. Таким образом, для получения дополнительной синергии еще одним требованием к MDM была поддержка подключений компаний группы для обеспечения сквозной идентификации и предложения полного спектра продуктов группы с минимальными усилиями со стороны клиента.

- Почему был выбран вариант собственной разработки?

Наталья Арепьева: Все началось в 2020 году, когда в ВТБ стартовала цифровая трансформация. Ее главный фокус был направлен на создание омниканального клиентского опыта, обеспечивающего единую коммуникационную систему. И вместе с этим мы должны были поддержать курс, взятый на импортозамещение программного обеспечения и инфраструктуры, обеспечив тем самым снижение санкционных рисков, оптимизировать стоимость владения ИТ-системами и обеспечить технологический суверенитет. В рамках архитектуры омниканальности все старые монолитные системы должны были быть заменены на микросервсисную архитектуру, а MDM-система должна была стать ключевым компонентом ИТ-ландшафта.

При выборе между покупкой готового решения и in-house разработкой учитывали несколько факторов. Во-первых, импортозамещение. Этот критерий сразу отсек большое количество решений на рынке – например, Oracle UCM, который ранее был внедрен в ВТБ24 и унаследован при присоединении банка к ВТБ. Во-вторых, стоимость внедрения и сопровождения. Здесь мы учитывали постоянные изменения, которые происходят в ВТБ. Так, например, при присоединении очередного банка в MDM поступали новые клиентские данные со своей спецификой ведения, под которые необходимо было дорабатывать существующие алгоритмы нормализации данных и поиска дубликатов. Встал выбор: постоянно платить вендорам за доработки системы или инвестировать в собственную команду разработки и создавать центр экспертизы внутри ВТБ.

Не менее важна скорость изменений. Преимущество в скорости внедрения изменений без потери качества при наличии своей ИТ-команды было очевидно. Некоторые исправления приходилось ставить в промышленную эксплуатацию за один-два часа.

Еще один фактор – специфика данных. Мы не смогли найти готовых решений, которые бы хорошо работали с данными нерезидентов. Кроме того, в ВТБ накоплено «богатое историческое наследие», и это вынуждало разрабатывать достаточно сложные алгоритмы нормализации данных и поиска дубликатов, включая алгоритмы нечеткого поиска и анализа дополнительной информации с учетом текущего качества данных, так что любые существующие решения на рынке потребовали бы глубокой переработки.

Наконец, требования к надежности и производительности. С учетом того, какую роль выполняла MDM в ИТ-ландшафте банка, к системе предъявлялись повышенные требования к надежности и безопасности. Необходимо было обеспечить доступность системы, равную 99,99%, расширенные средства мониторинга, оперативное реагирование на инциденты. MDM-система должна была обеспечить все операционные процессы банка, то есть скорость ответа системы не должна превышать нескольких миллисекунд при нагрузке в 2 тыс. запросов в секунду.

В итоге выбор был сделан в пользу собственной разработки.

- С помощью каких инструментов была реализована MDM?

Н.А.: ИС МДМ ЮЛ – полностью импортонезависимое решение с активным использованием технологий open source. Оно построено на базе Java (бэкенд), React (фронтенд), PostgreSQL/Tarantool (хранение данных) и ElasticSearch (поиск). Горизонтальное масштабирование и обновление без простоев обеспечивает оркестрация в Kubernetes. Внутренняя коммуникация сервисов построена на брокере Apache ActiveMQ Artemis, а доставка данных внешним потребителям осуществляется по подписке, через Apache Kafka.

- Из каких элементов состоит решение, какова его структура?

Н.А.: Функционально система состоит из нескольких компонентов: предобработка первичных записей от источников (валидация, расчет атрибутов); процессы поиска и объединения дубликатов; формирование эталонных записей на основании данных от источников, включая стандартизацию адресов и телефонов; обогащение эталонных записей из внешних источников (ФНС, Росстат, РАФП) и информационно-аналитических агентств ("Интерфакс", "Контур.Фокус"); поддержка надежности и производительности через технологии StandIn и шардирование; кабинет администратора данных – интерфейс для работы с данными корпоративных клиентов для службы офицеров-данных, который включает инструменты проверочных ведомостей и другие инструменты управления данными.

МДМ ЮЛ в любой момент времени содержит актуальную информацию о разметке «черными списками» за счет подписки на системы, поставляющими данную информацию. Также настроена интеграция с MDM-системой по розничным клиентам для актуализации сведений по связанным физическим лицам (обновление ФИО, документов, телефонов, адресов и др.).

Система выставлена на платформу внутренних и внешних API, что позволяет агрегировать данные клиентов группы ВТБ.

- За счет каких инструментов и процедур обеспечивается качество данных?

Ю.К.: В МДМ ЮЛ были разработаны достаточно сложные автоматические алгоритмы и критерии нормализации данных и поиска дубликатов, включая алгоритмы нечеткого поиска и анализа дополнительной информации, алгоритмы распределения уровней доверенности систем-источников и пересборки эталонных карточек клиентов. Кроме того, в системе работают автоматические процессы обогащения данных из внешних источников, таких как ФНС, РАФП, СПАРК, которые позволяют как обогащать карточки недостающими данными, так и маркировать карточки дополнительными аналитическими сведениями. Помимо автоматических процедур нормализации, дедубликации и обогащения данных, был разработан расширенный кабинет администратора, который позволяет обрабатывать в ручном режиме наиболее сложные случаи невалидных или частично некорректных карточек – так называемые карточки «серой зоны». Инструменты в кабинете офицера данных позволяют сотрудникам проводить корректировки как точечно, редактируя каждую карточку отдельно, так и выполняя массовые операции по устранению выявленных недочетов. Благодаря интуитивно понятному и богатому интерфейсу данного кабинета удается поддерживать необходимые темпы обработки всех возникающих запросов как стороны бизнес-подразделений, так и превентивно выявлять и исправлять неточности в данных до получения входящих обращений на их исправление.

- Каковы результаты проекта?

Н.А.: У нас появилась эталонная «золотая запись», потребителем которой являются более 230 систем, участвующих в различных процессах, связанных с корпоративным клиентом – лидогенерация, маркетинговые кампании, онбординг, открытие счета и т.д. Сокращено время, связанное с приемом клиента и его обслуживанием в любом из каналов банка. Оптимизирован клиентский путь и сокращен объем пакета документов, предоставляемых со стороны клиента в банк и другие компании группы ВТБ, благодаря инструментам сквозной идентификации. Уменьшилось время подготовки ответа на запросы регуляторов, связанных с клиентскими данными и их качеством.

- Какими количественными эффектами можете поделиться?

Ю.К.: Интегральный показатель уровня качества данных вырос более чем на 15% и на текущий момент превышает 98%. В рамках присоединения сторонних банков только за последний год были выполнены мероприятия по улучшению качества мигрируемых данных более 15 тыс. корпоративных клиентов, что позволило избежать негативного влияния на текущее качество данных клиентской базы ВТБ.

Сокращено более чем втрое количество уведомлений клиентов, связанных с необходимостью обновления сведений, в том числе в рамках ежегодного процесса. Время реагирования на входящие инциденты качества данных корпоративных клиентов не превышает 30 минут.

- Какая команда работает с МДМ ЮЛ?

Ю.К.: Реализованные проверочные ведомости и другие инструменты управления качеством данных позволяют команде офицеров данных в составе из семи человек своевременно и эффективно устранять ошибки в данных, избегая рутинных операций. Текущая основная задача офицеров данных, благодаря реализованным инструментам, сводится к постоянным улучшениям методов контроля и устранения коллизий в данных.

- В чем роль проекта для бизнеса компании?

Ю.К.: Роль проекта для бизнеса компании заключается в повышении удовлетворенности клиентов – как внешних, так и внутренних – в процессах корпоративного обслуживания. Проводимые собственные клиентские исследования показали рост удовлетворенности клиентов при привлечении на обслуживание и дальнейшем сопровождении. Процессы, связанные с качеством данных, неизменно получают высокие баллы в рамках ежегодного внутреннего замера качества сервисов.

- Как именно повышение качества данных влияет на удовлетворенность клиентов облуживанием?

Ю.К.: МДМ ЮЛ успешно работает уже более четырех лет. Сейчас, когда клиент делает перевод со своего счета, передает реестр на зачисление заработной платы, заполняет анкету при онбординге или просто заходит в интернет-банк, незаметно для себя он пользуется нашей MDM-системой. Она позволяет значительно сократить и улучшить клиентский путь, освобождая наших клиентов от необходимости повторно предоставлять пакет документов или обновления некоторых сведений. В прошлом году, мы проводили достаточно глубокие исследования клиентского пути, которые показали довольно высокий уровень удовлетворенности клиентов и подтверждают прямую взаимосвязь между уровнем качества данных и уровнем комфорта наших клиентов, что, безусловно, и является нашей главной целью.

- Каково значение проекта для отрасли?

Н.А.: В рамках реализации нашего решения командой банка был получен патент на Систему централизованного справочника эталонных клиентских данных и способов объединения клиентских данных из учетных систем. На сегодня продукт МДМ ЮЛ – полностью самостоятельный и готовый к внедрению в других организациях и отраслях, и мы без скромности можем назвать его одним из флагманов отечественных решений класса MDM, существующих на российском рынке.

- В каких направлениях развивается решение?

Н.А.: Несмотря на богатый функционал, система постоянно «обрастает» новыми возможностями. Развитие системы осуществляется в нескольких направлениях.

С точки зрения бизнес-развития можно отметить новые правила дедубликации, развитие кабинета офицера данных, оптимизацию сборки эталонной записи. В ближайших планах – внедрение массового редактирования в кабинете офицера данных.

С точки зрения технологического развития стоит выделить то, что растет объем данных, необходимый для формирования эталонной записи. В прошлом году мы занимались «разделением» базы данных на несколько частей в зависимости от функциональной области: «основные» данные, «внешние» данные, история и др. В этом году наш фокус – на горизонтальном сегментировании.