В Т-банке реализован стратегически значимый проект по созданию корпоративной импортонезависимой BI-платформы Proteus – единой точки доступа к данным для тысяч сотрудников. Решение построено на базе open source платформы Apache Superset и полностью заменило коммерческий BI-инструмент Tableau без снижения качества аналитики и доступности данных. О реализации проекта рассказывает Дмитрий Шаталов, руководитель группы разработки инструментов визуализации данных Т-банка и номинант на премию Data Award.

- В каком состоянии находился аналитический ландшафт Т-банка перед реализацией проекта?

В качестве централизованной BI-платформы мы использовали Tableau. Данные из платформы данных загружались в этот инструмент посредством регулярных автоматизированных процессов. Все операции по просмотру BI-отчетности выполнялись через Tableau. Платформа позволяла создавать интерактивные дашборды и проводить расширенную аналитику, адаптированную под потребности бизнеса. Благодаря интеграции с различными источниками данных и гибкости визуализации, Tableau являлась ключевым инструментом для принятия решений на основе данных.

- Какие были проблемы, с чем не хотели мириться?

Основной проблемой стала зависимость от Tableau и его дорогостоящей лицензии. Нам требовалось оперативно найти альтернативное решение. Этот инструмент должен был быть не хуже Tableau по надежности, скорости и функционалу. Мы рассматривали различные варианты, оценивая их возможности интеграции с существующими системами.

- Каковы были вызовы?

Ключевым вызовом стал масштаб системы. Достаточно трудно импортозаместить BI-систему на 1 тыс., или даже 500 активных ежемесячных пользователей. У нас же было 7,5 тыс. отчетов, 15 тыс. пользователей в Tableau и 7 человек в команде. При этом ожидался значительный – в полтора раза – рост и числа пользователей, и разработанных отчетов.

Еще один фактор – высокая бизнес-критичность аналитики: BI-система ежедневно используется в управленческих, операционных и продуктовых решениях. Также важным условием проекта внедрения импортонезависимого решения стала необходимость выполнить миграцию без остановки аналитических процессов и потери доверия пользователей. Переход был организован поэтапно и занял 9 месяцев, что позволило минимизировать риски, обеспечить плавную адаптацию пользователей и сохранить непрерывность работы бизнеса.

- Какой подход был выбран? Какие принципы пытались соблюсти при создании решения?

Мы рассматривали два варианта: переход на другое коммерческое решение или разработка собственного на основе продукта с открытым исходным кодом. Оценка проводилась по нескольким ключевым критериям: полнота встроенной функциональности и сложность необходимой доработки, масштабируемость и надежность. Важно было сохранить привычный пользовательский опыт и получить возможность для дальнейшего развития, включая внедрение ИИ-функциональности.

- Почему выбрали именно самостоятельную разработку?

Мы выбрали путь полной независимости от импорта и сторонних вендоров. Несмотря на значительные первоначальные инвестиции, этот подход обеспечивает максимальную свободу в адаптации BI-инструмента к потребностям компании. Среди решений с открытым исходным кодом, соответствующих нашим критериям, лидировали Redash и Superset. Мы отдали предпочтение Superset из-за большего и более активного сообщества разработчиков.

- Что представляет собой созданное решение?

Proteus спроектирован как промышленная BI-платформа корпоративного масштаба: он отказоустойчив, горизонтально масштабируем и стабильно выдерживает высокую нагрузку. Для формирования отчетов в Proteus используются данные из платформы данных Т-банка. В качестве базы данных для BI-инструмента используется Clickhouse, сама система реализована в виде сервисов, разворачиваемых в Kubernetes.

Созданная BI-платформа обеспечивает непрерывную аналитическую поддержку ключевых бизнес-процессов в масштабе всей организации. Она стала полноценной заменой коммерческого BI-решения без потери производительности и качества пользовательского опыта.

На сегодняшний день Proteus объединяет более 11 тыс. отчетов и обслуживает около 22 тыс. активных пользователей в месяц. Даже при росте пользовательской базы и объема аналитики 95-й перцентиль времени загрузки дашбордов составляет менее 10 секунд при сопоставимом с Tableau потреблении вычислительных ресурсов. Платформа успешно выдерживает рост нагрузки и масштабируется без влияния на критичные бизнес-сценарии. Пользователи по методике CSAT оценивают работу инструмента на «4» по пятибалльной шкале, при этом количество негативных оценок «1» и «2» составляет 8%, а количество позитивных «4» и «5» — 74%.

- Какие новые возможности появились благодаря внедрению новой системы?

Следствием реализации собственного BI-решения стала возможность быстро встраивать важную функциональность в продукт. Так, например, внедрены ИИ-возможности: ИИ-поиск по отчетам, который существенно упростил навигацию в большом объеме аналитического контента и сократил время доступа пользователей к нужной информации, повысив вовлеченность и эффективность работы с данными, а также возможность запросить ИИ-интерпретацию данных, отображенных на графиках.

В дальнейшем мы ожидаем дальнейший рост пользовательской базы и объема аналитики, расширение ИИ-функциональности, а также развитие платформы как единого стандарта BI в компании, обеспечивающего устойчивость, технологическую независимость и масштабируемое развитие работы с данными в банке.

- Что в ходе проекта далось особенно сложно, какие проблемы пришлось решать?

На старте проекта нам потребовались значительные усилия для запуска прототипа. Мы столкнулись с техническими проблемами, нестыковками в инфраструктуре и сбоями в ходе первых пилотных испытаний. Особенно много времени ушло на изучение кодовой базы и освоение проекта. В части доработок наиболее сложным было достижение необходимой масштабируемости и приближение функциональности к уровню Tableau. Для повышения производительности пришлось отказаться от некоторых функций, таких как генератор скриншотов и сервис рассылки отчетов. Для удобства пользователей мы разработали с нуля группировку отчетов в коллекции, переработали поиск и улучшили главную страницу.

- Что получилось особенно удачно?

Для проекта такого масштаба значительным достижением стал перенос данных с полным сохранением работоспособности аналитики – как в процессе миграции, так и после отключения Tableau. В сжатые сроки небольшой команде удалось развернуть полностью функционирующее промышленное решение, полностью удовлетворяющее потребностям бизнеса. Перед отключением Tableau мы сделали резервную копию и подготовились к возможному откату, но это не потребовалось – вся необходимая отчетность успешно заработала на Proteus!

- В чем ваш проект уникален?

Уникальность проекта заключается в сочетании масштабов внедрения и глубины технологической трансформации open source решения. На платформу, основанную на Apache Superset, были перенесены тысячи отчетов и тысячи активных пользователей, что существенно превышает типичные сценарии использования Superset. В процессе миграции был создан и значительно переработан большой объем функциональности, необходимой для промышленной разработки и потребления отчетов, обеспечивающий отказоустойчивость, масштабируемость и удобство работы в корпоративной среде. При этом переход был выполнен без остановки аналитических процессов: пользователи прошли обучение, а непрерывность функционирования бизнеса была полностью сохранена.

- Каковы основные направления доработки платформы Superset?

Ключевым результатом стала глубокая переработка исходного кода Superset, который в базовой конфигурации не рассчитан на эксплуатацию в условиях высокой корпоративной нагрузки. В рамках проекта были реализованы архитектурные и продуктовые доработки, направленные на повышение отказоустойчивости, горизонтальной масштабируемости и стабильности работы системы. Это позволило обеспечить промышленный уровень надежности и предсказуемое качество сервиса при кратном росте числа пользователей и отчетов.

- В чем роль проекта для бизнеса компании?

В итоге Proteus стал ключевым элементом аналитической инфраструктуры компании. Он обеспечивает принятие решений, основанных на данных, на всех уровнях управления. Платформа поддерживает критически важные бизнес-процессы, устраняет риски зависимости от зарубежных вендоров и гарантирует непрерывность аналитики для тысяч пользователей. Таким образом, результатом проекта стало не только технологическое импортозамещение, но и снижение стратегических и операционных рисков, повышение управляемости аналитической платформы и создание надежного фундамента для дальнейшего развития data-культуры в компании. Любые сбои или снижение доступности BI-инструмента напрямую влияли бы на управляемость и скорость реакции бизнеса.

Отчеты и дашборды в системе ежедневно используются тысячами сотрудников для принятия управленческих решений на всех уровнях – от операционного управления до стратегического планирования. Масштаб использования подтверждает ключевую роль Proteus в обеспечении непрерывной работы компании: платформа поддерживает принятие решений в основных бизнес-процессах.

Таким образом, проект имеет значение не как локальное ИТ-решение, а как фундаментальный элемент устойчивости и развития компании.

- Как появление нового инструмента отразилось на бизнес-показателях?

Нашей главной целью было обеспечить бесперебойную работу аналитики после внедрения Proteus и не допустить снижения качества работы бизнеса. Это нам удалось: компания продолжила функционировать, а BI-инструмент – удовлетворять потребность в аналитических данных.

- Каково значение проекта для отрасли?

Мы задали отраслевой ориентир по импортонезависимой аналитике, управлению рисками миграции и развитию BI как критической инфраструктуры, а также показали практическую применимость и успешное решение проблем масштабирования технологий open source для принятия решений, основанных на данных. Проект Proteus демонстрирует возможность промышленного использования open source BI-платформы в масштабе крупной компании и подтверждает, что Apache Superset может быть адаптирован до уровня enterprise-решения.

- Что дальше? В каких направлениях будет развиваться решение?

Наша задача – максимально расширить возможности использования ИИ как для получения аналитических выводов, так и для создания дашбордов. Глобально у нас два основных направления. Первое – сократить время, необходимое для создания дашборда. В идеальной ситуации пользователь должен просто описать желаемый дашборд, и система его сгенерирует.

Второе направление – коренное изменение подхода к аналитике. Сегодня для получения вывода на основе данных необходимо находить соответствующий дашборд и интерпретировать графики. Мы стремимся к парадигме, когда для этого даже не потребуется создавать дашборд. Система будет просто собирать всю доступную информацию и предоставлять данные по запросу, сформулированному на естественном языке.

И, конечно же, мы продолжаем улучшать пользовательский опыт в существующем инструменте: добавляем новые визуализации, шаблонизируем типовые дашборды и повышаем удобство пользовательского интерфейса.