Инновационный центр «Безопасный транспорт» при ГКУ ЦОДД создал сервис «Платформа данных». Он консолидирует информацию из более чем 50 источников Транспортного комплекса Москвы и является крупнейшим поставщиком данных в Цифровой двойник Москвы – трехмерную копию города, позволяющую проводить мониторинг и моделировать последствия внедрения инициатив. О реализации проекта рассказывает Галина Баурина, руководитель отдела аналитики больших данных Инновационного центра «Безопасный транспорт», — номинант на премию Data Award.

- Как появилась «Платформа данных» и какие были предпосылки?

Работа над сервисом началась в 2017 году по инициативе заместителя мэра Москвы по вопросам транспорта и промышленности Максима Ликсутова и генерального директора ЦОДД Михаила Кизлыка. Главной целью было создание единого надежного хранилища данных для Транспортного комплекса Москвы (ТКМ), которое сделает жизненный цикл данных прозрачным и управляемым.

Ранее для получения информации подразделениям приходилось тратить значительное время на запросы и ручную обработку данных. С ростом объемов информации стало очевидно, что для корректной работы необходима автоматизация. Так появилась идея создать единое пространство, где данные не просто хранятся, а активно используются для управления городом.

На сегодняшний день это флагманский проект Инновационного центра и основа его ключевых сервисов.

- Что представляет собой платформа сегодня?

«Платформа данных» — это масштабное хранилище объемом более 0,5 Пбайт данных ТКМ. Она консолидирует информацию из более чем 50 источников и ежедневно обрабатывает свыше 600 млн записей, при этом поддерживая загрузку данных в унифицированных форматах.

В системе доступна архивная информация с 2018 года — более 1 тыс. таблиц и объектов данных. Специалисты могут обращаться к этим данным для сравнительной и прогнозной аналитики. При этом платформа не только хранит данные, но и управляет их версиями, позволяя отслеживать изменения и при необходимости возвращаться к предыдущим состояниям. Это существенно снижает риски ошибок.

- Вы сказали, что данные используются для управления городом – можете рассказать подробнее?

Платформа автоматизирует обмен данными между подразделениями ТКМ. Это дает возможность оперативно получать необходимую информацию в нужном объеме и использовать их как основу для дальнейших управленческих решений. То есть фактически на базе платформы реализуются аналитические сервисы, которые помогают оптимизировать транспортную систему, повышать безопасность и улучшать качество жизни горожан.

- Как обеспечивается качество данных при таком масштабе?

Конечно, работа с таким массивом — это трудоемкая задача. Поэтому с ростом объема и сложности получаемых данных мы перешли от ручных проверок к автоматизированным бизнес-процессам для проверки качества данных.

В 2022 году был внедрен сервис «Качество данных в ИЦ», который проводит около 23 проверок качества ежедневно. Он позволил не только повысить точность данных, но и существенно сократить трудозатраты: объем данных, который ранее обрабатывали 5-7 человек, теперь обрабатывается в автоматизированном режиме. При обнаружении ошибок система оперативно уведомляет ответственных сотрудников — сообщение приходит адресно на телефон. Ручной труд аналитиков снизился на 95% и освободилось время для развития сервиса.

- Какие технологии лежат в основе решения?

Платформа реализована как гибкая и масштабируемая среда для управления данными и аналитики. В основе — современный технологический стек, включающий Python, S3, Airflow, Postgres и PostgREST.

Используемые решения позволяют обрабатывать большие объемы данных с высокой скоростью, обеспечивать надежность и стабильность системы, масштабировать инфраструктуру по мере роста нагрузки, предоставлять пользователям интуитивно понятный интерфейс для работы с данными.

- Каков социальный эффект от внедрения платформы?

Мы в Инновационном центре «Безопасный транспорт» придерживаемся принципа, что любые проекты должны использоваться для решения прикладных задач и приносить ощутимую пользу. Платформа выступает технологической основой для этого. Если говорить о социальных эффектах, то реальные изменения в городской среде обеспечиваются за счет прикладных решений, реализованных на базе Платформы. Например, благодаря этим сервисам есть возможность использовать превентивные меры для снижения аварийности в городе, изменении схем движения и прочее.

- Можете подробнее рассказать об этих решениях?

Одним из ключевых является автоматизированная информационная система «Мониторинг аварийности», разработанная для повышения безопасности дорожного движения. Система анализирует ДТП по 50 параметрам, выявляет причины аварий и позволяет планировать профилактические меры. Важным преимуществом стало автоматическое получение данных от Госавтоинспекции — информация поступает ежедневно, без необходимости ручных запросов и ожидания до 30 дней.

Социальный эффект от внедрения можно увидеть наглядно: за последние два года ликвидировано более 200 потенциальных мест концентрации ДТП, а по сравнению с 2014 годом ДТП с пострадавшими снизилось на 28%. Таких результатов удалось достичь благодаря комплексной работе ГКУ ЦОДД и Госавтоинспекции, в рамках которой использовался АИС «Мониторинг аварийности».

Еще одно из таких решений — уникальный сервис «Предмоделирование». Он позволяет за пять минут оценить влияние новых строительных проектов на транспортную ситуацию и заранее предотвратить перегрузку дорожной сети. Сервис дает возможность рассматривать до трех сценариев застройки и выполнять до 10 расчетов одновременно. При этом внедрение решения позволило сократить ручной труд на 80%.

Сервис пока работает в пилотном режиме. При этом в прошлом году к работе подключили ряд девелоперов. На сегодняшний день с помощью сервиса проанализировано влияние более 100 капитальных объектов на городскую инфраструктуру.

Сервис «Экологическая карта», реализованный на базе платформы, представляет собой интерактивный инструмент, отображающий в реальном времени объемы выбросов от автомобильного транспорта в Москве. Его расчеты выполняются на основе данных с камер фотовидеофиксации, датчиков и других источников, что исключает необходимость создания дополнительных систем мониторинга. Это позволяет заменить дорогостоящие исследования моделированием на основе актуальных данных, более эффективно распределять ресурсы и оперативно реагировать на изменения. При этом система обладает высокой производительностью: расчет выбросов за конкретную дату занимает около 5 секунд, а определение наиболее загрязненных улиц — порядка 20 секунд.

- В каком направлении будет развиваться платформа?

Мы регулярно совершенствуем работу платформы и всегда нацелены в первую очередь на повышение качества и надежности данных. В планах — совершенствование автодокументации, расширение автоматических проверок и внедрение дополнительных бизнес-правил. Также планируем интегрировать в работу Платформы ИИ-решения. Для нас это возможность оптимизировать рутинные задачи и повысить эффективность. Это позволит повысить устойчивость системы и ускорить реакцию специалистов на изменения.