В условиях стремительного роста объемов данных и развития транспортной системы города ключевым фактором эффективности становится скорость и качество принимаемых решений. В Москве решению этой задачи способствует Единый центр BI, разработанный командой Инновационного центра «Безопасный транспорт» при ЦОДД. Это система, которая, основываясь на данных ЦОДД и других организаций, автоматически формирует отчеты, удобные для восприятия. О том, как удалось перейти от разрозненной отчетности к единому источнику информации и как BI меняет подход к принятию решений рассказала Алина Мальковская, руководитель отдела интерактивной аналитики Инновационного центра «Безопасный транспорт», – номинант на премию Data Award.

- Какова история проекта? В каком состоянии находилась инфраструктура работы с данными до создания Единого центра BI?

Ранее у нас не существовало полноценной системы, которая смогла бы автоматизировать процесс сбора и предоставления данных. Информация предоставлялась различными подразделениями на бумаге, не чаще одного раза в неделю, а на подготовку ответов на запросы уходило значительное время. При этом основной сложностью была разрозненность предоставляемой информации – разнообразие форматов отчетности, ошибки в данных и длительное время, необходимое для подготовки информации. Все это приводило к путанице и замедляло процесс принятия решений.

В 2017 году был создан Инновационный центр «Безопасный транспорт» как единый центр сбора, обработки и хранения данных всех подразделений Транспортного комплекса Москвы (ТКМ). При этом данные рассчитаны по единственной согласованной методологии. Это позволило создать пространство, в котором возможно обеспечить контроль качества данных и проводить аналитические вычисления, а транспортную систему города сделать прозрачной, прогнозируемой и способной к быстрой адаптации к любым вызовам.

Постепенно для работы с таким массивом информации начали создавать витрины данных и внедрять BI-инструменты, однако они использовались преимущественно для внутренних задач. В 2024 году из маленького отдела для внутренних нужд BI-аналитика трансформировалась в большой единый оператор данных и центр компетенций. Для этого была сформирована команда, которая сделала упор на качество визуализации данных с помощью интерактивных индикативных дашбордов. Они позволяют мгновенно получать доступ к актуальным данным, упрощают аналитику и помогают выявлять ключевые тенденции.

- Почему это важно?

Московский транспорт генерирует миллионы событий в реальном времени. Объем этих данных растет, а традиционные инструменты учета не справляются с задачей их быстрой обработки и анализа. Из-за того, что все данные обрабатывались в ручном режиме с большим разнообразием методологий, всегда были сложности с качеством данных, с оперативным получением дополнительной информации, встречались версионные конфликты документов.

Чтобы автоматизировать процессы, было принято решение внедрять современные инструменты для анализа больших данных. BI-система ежедневно обрабатывает огромные массивы информации, на основе которых формируются аналитические дашборды. При этом она позволяет создавать разноуровневые дашборды на основе одной и той же информации. Теперь руководителю не нужно ждать еженедельного совещания или давать задание аналитику для получения всего материала, чтобы своевременно определить задачи, требующие особого внимания, и выработать решения по улучшению транспортной ситуации в городе. Данные доступны в тот момент, когда они необходимы, в одной точке – на экране.

- Какие принципы пытались соблюсти при создании решения?

При создании Единого центра BI особое внимание уделялось нескольким ключевым принципам. Мы стремились добиться того, чтобы максимально автоматизировать передачу данных, необходимых для расчета показателей на дашборде, от источника в систему. При этом для всех подразделений была разработана согласованная методология расчета показателей, которая позволила минимизировать ручные корректировки данных и ускорить процесс их передачи в систему. Но, конечно, главным принципом для нас стало обеспечение достоверности и сопоставимости данных. Такой подход позволил создать устойчивую и масштабируемую систему аналитики.

- На каких платформах реализовано решение?

Единый центр сбора, обработки и хранения данных реализован на базе инструментов Apache Spark, Vertica, Python, Apache Airflow, Kafka, Hive, SQL. Единый центр BI использует платформу Visiology и Figma. Cтек инструментов команды BI-аналитики – SQL, JavaScript, CSS, HTML.

- Какие данные используются? Как выстроен процесс работы с ними?

В Центре обрабатываются данные из более чем 50 уникальных систем-источников, которыми выступают большинство подведомственных организаций ТКМ, а также из различных открытых источников загружаются в хранилище данных ИЦ «Безопасный транспорт». Затем следует обработка данных, применение различных алгоритмов и моделей, а также расчет показателей. Далее эти показатели передаются в программу Visiology и уже в виде дашбордов становятся доступны пользователям в качестве удобного инструмента оперативной, аналитической и управленческой отчетности.

- Какие типы дашбордов формируются?

В зависимости от потребителей и решаемых задач можно выделить несколько основных типов дашбордов.

Во-первых, верхнеуровневые сводные дашборды. Они предоставляют обобщенную информацию о ключевых показателях. Их задача – помочь руководителям быстро оценить текущее состояние дел и принять стратегические решения.

Во-вторых, отчетные дашборды. Они используются для регулярного отслеживания успеваемости команды или проекта. С их помощью обеспечивается структурированный анализ результатов за определенные периоды – например, месяц или квартал.

Третья группа – аналитические дашборды с детализацией и архивными данными. Они позволяют глубже анализировать информацию, выявляя тенденции и закономерности, поэтому помогают в долгосрочном планировании и прогнозировании.

Оперативные дашборды с данными за вчерашний день предоставляют актуальную информацию о текущих операциях и деятельности организации. Они помогают руководителям быстро реагировать на изменения и принимать решения на основе свежих данных. Еще есть дашборды, отображающие данные в режиме реального времени и позволяющие следить за событиями и показателями в текущий момент. Они обеспечивают возможность моментальной реакции на изменения и оптимизации рабочих процессов. Наконец, разрабатываются особенные дашборды под конкретные специфические задачи или для анализа определенных показателей. Они позволяют акцентироваться на специфических процессах или проектах, обеспечивая целевой подход к управлению.

- Кто является основными пользователями решения?

Единый центр BI ориентирован на все уровни управления транспортным комплексом: от оперативных служб до вышестоящего руководства. Сегодня разработанными дашбордами регулярно пользуются более 2 тыс. человек.

- Можете привести примеры работающих дашбордов?

Одним из ключевых является дашборд «Московский трафик». Это уникальная аналитическая система, которая позволяет анализировать загруженность дорог в режиме реального времени как в экспресс-режиме, так и более углубленно. Подход к аналитике был переработан с учетом реальных потребностей в управлении трафиком. Сегодня в системе рассчитывается более 300 показателей в онлайн-режиме. Как итог – дашборд стал одним из основных инструментов у сотрудников Ситуационного центра ЦОДД в работе. На основании данных о загруженности они оперативно могут принимать меры, направленные на снижение нагрузки на улично-дорожную сеть. При этом время оценки сократилось в несколько раз.

Также реализован дашборд «Экологическая карта», который в режиме реального времени отображает выбросы от автомобилей в Москве и концентрации загрязнений. Раньше на сбор и обработку таких данных уходили недели. Сейчас система практически мгновенно находит участки города, где воздух загрязнен сильнее всего. Например, определить топ-10 улиц по выбросам парникового газа можно всего за 20 секунд, а рассчитать объемы загрязняющих выбросов на определенной улице – всего за 15.

Информационно-аналитическая система «ПРОмобильность» используется для визуализации данных о курьерской деятельности, средствах индивидуальной мобильности, каршеринге и такси на основе телематических данных. Мы используем интерактивную аналитику, чтобы преобразовать большие массивы данных в формат тепловых карт. Это позволяет выявлять участки с высокой нагрузкой, определять зоны для снижения скорости, а также обосновывать размещение парковок и выделенных полос движения.

Система также позволяет анализировать точки начала и маршруты поездок, выявлять наиболее востребованные направления и оценивать уровень развития инфраструктуры в этих зонах. Это дает возможность принимать решения по развитию и оптимизации городской транспортной среды на основе полученных данных.

- Чем можно особенно гордиться?

Наверное, для нас в первую очередь гордостью стало то, что нам удалось выстроить целостную и понятную среду, которая стала единым стандартом аналитики для всего ТКМ, в которой данные становятся доступными для анализа практически в режиме реального времени.

Отдельно стоит отметить, что мы уделили особое внимание тому, чтобы внутри самого хранилища были выстроены процессы, позволяющие минимизировать время от получения данных из источников до их отображения на дашбордах. Например, для оптимизации работы с ручными данными был разработан универсальный почтовый загрузчик, который загружает файлы из почты каждые пять минут. А чтобы минимизировать ошибки, автоматизировали процесс – внедрили функционал, позволяющий запускать цепочку процессов по загрузке данных и расчету показателей. В результате путь от получения данных до их отображения на дашборде занимает всего около 10 минут.

- Какие результаты достигнуты?

С начала работы нами суммарно разработано 570 экранов дашбордов, реализовано более 50 проектов различной сложности. Сегодня система охватывает уже 18 предметных областей, среди которых пассажиропоток на городском транспорте, дорожно-транспортная обстановка, аварийность, средства индивидуальной мобильности, каршеринг, удовлетворенность работой городского транспорта и другие.

Ключевым результатом стало обеспечение круглосуточного доступа к данным. Внедрение дашбордов с обновлением каждые 5–10 минут позволило отказаться от ручной обработки информации и существенно сократить трудозатраты. Команда получила возможность сосредоточиться на развитии сервисов, а не на рутинных операциях.

- Какое, на ваш взгляд, значение система имеет для Транспортного комплекса и для столицы?

Единый центр BI показал свою эффективность как инструмента для оперативного управления транспортной системой города. Дашборды используются для мониторинга, индикации и быстрого реагирования на изменения, а также становятся надежной основой для принятия стратегических решений на различных уровнях.

За счет автоматизации повысилась согласованность действий, прозрачность процессов между подразделениями и оперативность реагирования. Это позволяет эффективнее управлять транспортной логистикой, снижать неопределенность и быстрее выявлять задачи, требующие тщательной проработки. Как итог – интерактивная позволяет на основе полученной информации сделать городскую среду более предсказуемой и безопасной, снижая время в пути для жителей столицы и повышая общую эффективность транспортной логистики города.

А если говорить о значении системы для Москвы – реализация проекта способствует созданию технологической основы для развития столицы как «умного города». Благодаря единой аналитической среде появилась возможность не просто реагировать на происходящее, а переходить к проактивному управлению транспортной системой.

- В каком направлении будет развиваться система?

Развитие единой BI-системы продолжится планомерно вместе с развитием Инновационного центра «Безопасный транспорт» как единого хранилища данных и аналитики всего транспортного комплекса. Если говорить о приоритетных направлениях развития, то в ближайшем будущем мы планируем покрыть дашбордами все области и уровни ТКМ.

Кроме того, важной задачей является дальнейшее совершенствование автоматизации процессов. Мы работаем над тем, чтобы данные из всех систем ТКМ поступали с минимальным использованием альтернативных или ручных источников. В таком случае дашборды будут обновляться быстрее и станут еще более удобным инструментом для работы пользователей.