В 2017 году по инициативе заместителя мэра Москвы по вопросам транспорта и промышленности Максима Ликсутова и генерального директора ЦОДД Михаила Кизлыка для оптимизации работы с данными был создан Инновационный центр «Безопасный транспорт» при ЦОДД, который стал единым хранилищем данных Транспортного комплекса Москвы. Вся информация теперь систематически по единой методологии попадает в одно пространство, что кардинально изменило культуру работы с данными.

На сегодняшний день на базе Инновационного центра работает центр сбора, обработки и хранения данных вместимостью более 500 Тбайт. В нем ежедневно обрабатывается свыше 600 млн записей из более чем 50 уникальных систем-источников транспортного комплекса. Кроме того, в базу загружается информация из различных открытых источников. В Центре доступна архивная информация с 2018 года — более 1 тыс. таблиц и объектов данных.

Единый центр BI

Рис. 1. Алгоритм работы транспортной аналитики

Эффективная работа с массивом информации невозможна без аналитических инструментов, позволяющих автоматизировать процессы обработки (рис. 1). В 2024 году на базе Инновационного центра был запущен Единый центр BI. При его создании основной упор был сделан на ряд ключевых принципов: обеспечение достоверности и сопоставимости данных; максимально возможная автоматизация передачи данных; единая форма подачи данных.

Обеспечение достоверности и сопоставимости данных

Главной задачей было создать единое пространство, в котором можно было бы эффективно работать с данными. С этим пространством работает масштабируемая система аналитики, используемая на всех уровнях управления транспортным комплексом. Сейчас данные из источников поступают в единое хранилище Инновационного центра в максимально детализированном виде, проходят верификацию и рассчитываются по единой согласованной методологии. После этого агрегированные показатели проходят проверку через ответственных сотрудников на разных уровнях и только потом передаются для отображения на дашбордах. Такая фильтрация помогает избежать расхождений в данных, различий в методиках учета и в итоговых показателях.

Максимальная автоматизация передачи данных

Основными задачами были сокращение объемов ручной обработки и обеспечение максимально быстрого поступления данных в систему. Там, где это возможно, информация для расчета показателей на дашбордах автоматически поступает напрямую от источника в систему. Для случаев, когда автоматическую интеграцию с базами данных источников настроить невозможно и сохраняется ручная передача данных, был разработан универсальный почтовый загрузчик, автоматически обрабатывающий поступающие файлы и каждые 5 минут передающий их в систему, чтобы минимизировать время, которое затрачивается на ручную обработку и заведение данных в базу. Сам процесс был автоматизирован — внедрен функционал, позволяющий запускать цепочку процессов по загрузке данных и расчету показателей. В результате путь от получения данных до их отображения на дашборде занимает около 10 минут.

Единая форма подачи данных

Для всех подразделений была разработана единая методология расчета показателей, которая позволила минимизировать ручные корректировки данных и ускорить процесс их передачи в систему. Благодаря этому они становятся доступными для анализа практически в режиме реального времени.

Архитектура

Рис. 2. Стек технологий Единого центра бизнес-аналитики

Единый центр сбора, обработки и хранения данных реализован на базе технологий обработки больших данных (рис. 2): Apache Spark, Vertica, Python, Apache Airflow, Kafka, Hive и SQL. В качестве BI-платформы используется платформа Visiology, а проектирование интерфейсов и визуализация осуществляются через Figma — онлайн-сервис для разработки интерфейсов и прототипирования с возможностью организации совместной работы в режиме реального времени. Стек инструментов команды BI-аналитики включает SQL для построения запросов к большим данным, JavaScript, CSS и HTML для кастомизации графиков и визуализаций в соответствии с потребностью заказчика.

После получения из источника данные проходят этап обработки, применения алгоритмов и расчета показателей — информацию проверяют на полноту и корректность, очищают от выбросов, агрегируют по необходимым параметрам, а также дополняют расчетными показателями и алгоритмами обработки. Это позволяет обеспечить качество и корректное использование данных. Далее эти показатели передаются платформе Visiology и преобразуются в формат дашбордов, после чего становятся доступны пользователям.

Важно отметить, что графические виджеты разработаны внутри организации с учетом специфики, структуры бизнес-процессов и пользовательских сценариев. Такой подход обеспечивает единообразное отображение информации, поддержку различных уровней детализации и удобную работу с ключевыми показателями в режиме, близком к реальному времени.

Результаты

На сегодняшний день Единый центр BI охватывает 18 предметных областей, среди которых: пассажиропоток на городском транспорте, дорожно-транспортная обстановка, аварийность, средства индивидуальной мобильности, каршеринг и др. Ключевой результат, которого удалось добиться, — обеспечение круглосуточного доступа к данным и отказ от их ручной обработки, что привело к повышению производительности и существенному сокращению трудозатрат.

Всего с момента внедрения Единого центра BI было реализовано более 50 проектов различной сложности и разработано свыше 600 экранов дашбордов, используемых для мониторинга, индикации и быстрого реагирования на изменения. Система позволяет на основе одной и той же информации создавать разноуровневые дашборды (рис. 3).

Рис.3. Пример дашборда

Типы дашбордов:

  • верхнеуровневые сводные; предоставляют обобщенную информацию о ключевых показателях, что позволяет руководству быстро оценить текущее состояние дел и принять стратегические решения;
  • отчетные; используются для регулярного отслеживания показателей эффективности команды или проекта: с их помощью обеспечивается структурированный анализ результатов за определенные периоды — например, месяц или квартал;
  • аналитические; позволяют, благодаря детализации и доступу к архивным материалам, глубже анализировать информацию, выявлять тенденции и закономерности, помогая в долгосрочном планировании и прогнозировании;
  • оперативные; предоставляют актуальную информацию о текущих операциях и деятельности организации на основе данных за вчерашний день;
  • особые; разрабатываются под конкретные специфические задачи или для анализа заданных показателей, позволяющих акцентировать внимание на отдельных процессах или проектах, обеспечивая целевой подход к управлению.

Один из ключевых — дашборд «Московский трафик». Это один из основных инструментов, которыми пользуются в работе аналитиков Ситуационного центра ЦОДД. Оперативный и точный анализ дорожного движения становится ключевым фактором для обеспечения комфортной и безопасной городской среды. Поэтому важным аспектом работы системы является то, что при создании дашборда подход к аналитике был переработан с учетом реальных потребностей управления трафиком. При этом она учитывает лучшие международные и российские практики, в том числе методические рекомендации Министерства транспорта и дорожной инфраструктуры РФ.

Эта уникальная аналитическая система позволяет в реальном времени анализировать загруженность дорог как в экспресс-режиме, так и более углубленно. Сегодня в системе рассчитывается более 300 показателей в онлайн-режиме, на основании которых аналитики могут оперативно принимать меры по снижению нагрузки на улично-дорожную сеть. Источниками данных могут выступать комплексы фотовидеофиксации, транспортные детекторы и региональная навигационно-информационная система. Дашборд сразу подсвечивает проблемные точки, избавляя от необходимости постоянно перепроверять все камеры — система все делает автоматически. Таким образом, «Московский трафик» — это выверенная визуальная система, благодаря которой время для оценки дорожного движения сократилось в несколько раз.

***

Внедрение Единого центра BI стало важным этапом цифровой трансформации отрасли и продемонстрировало, что современные подходы к управлению данными способны существенно повысить эффективность городской транспортной системы. Создание единой аналитической среды позволило организовать системную работу с данными.

За счет сокращения времени обработки данных и повышения прозрачности процессов была повышена согласованность действий между подразделениями и обеспечено оперативное реагирование на изменения транспортной ситуации. При этом Единый центр BI фактически способствует созданию технологической основы для развития столицы как «умного города», где данные применяются не только как вспомогательный инструмент мониторинга текущего состояния, но и используются для прогнозирования, моделирования сценариев и выработки проактивных решений, становясь полноценной основой для устойчивого развития города.

Алина Мальковская (MalkovskayaAA@transport.mos.ru) — руководитель отдела интерактивной аналитики, Инновационный центр «Безопасный транспорт» при ЦОДД, Департамент транспорта г. Москвы. Лауреат премии Data Award 2026.