MWS AI (входит в МТС Web Services) разработала платформу для разметки данных LabelX. Решение повысило производительность внутренней команды разметчиков на 30%, и теперь его начали использовать внешние клиенты как модуль основного продукта — MWS AI Agents Platform. Как утверждает команда разработчиков, по функционалу LabelX соответствует ведущим зарубежным аналогам. О том, как проект для оптимизации внутренних процессов разметки вырос в полноценный рыночный продукт, рассказывает Анна Дружкина, руководитель центра работы с данными MWS AI и номинант на премию Data Award.

- Какую бизнес-задачу требовалось решить? В чем заключалась проблема?

У нас более 20 штатных ИИ-тренеров и более 40 разметчиков, плюс мы работаем с целой армией подрядчиков и пользуемся краудсорсинговыми площадками. Мы перепробовали достаточно много инструментов open source типа Label Studio. Все они неплохо справлялись с эпизодическими задачами и небольшими проектами разметки, но для наших текущих масштабов разработки этого недостаточно. В них сложно настраивать перекрытие, разбивать большой датасет на задачи для отдельных разметчиков так, чтобы они не видели ответов друг друга, нет динамического назначения заданий на исполнителя, интеграции с хранилищем данных — все надо загружать руками инженера. И еще нам нужен был no-code конструктор интерфейсов и инструменты контроля качества работы разметчиков.

Особенно остро потребность в качественной разметке ощущается при разработке ИИ-агентов: в отличие от статичных моделей, агенты принимают многошаговые решения, и ошибка в обучающих данных на одном шаге цепочки рассуждений умножается на всем горизонте действий. Контроль над конвейером качественных обучающих данных становится таким же стратегическим активом, как сильная инженерная команда или вычислительные мощности. Именно поэтому ведущие игроки рынка строят собственную инфраструктуру разметки, а не полагаются на универсальные опенсорсные решения. Так мы пришли к необходимости разработать собственную платформу разметки — LabelX.

- Каков масштаб проекта? Какие ресурсы потребовались?

Изначально проект значился как внутренний проект импортозамещения. Мы, команда из пяти человек (четыре разработчика и аналитик), собрали разностороннюю экспертизу — управленцев, разработчиков, разметчиков — и создали систему, реализующую три наших приоритета.

Во-первых, снижение трудозатрат на разметку — динамическое перекрытие и назначение разметчиков, кастомизируемые интерфейсы, автоматический подсчет метрик, возможность применения языковых моделей. Во-вторых, гибкую no-code настройку самых разных интерфейсов, которая не требует навыков программирования. И в-третьих, промышленное использование — эффективное управление большими командами, потоковую разметку, интеграцию с хранилищами данных и Jira.

В течение года мы добавляли все больше фич и делали платформу более удобной, надежной, приятной для пользователей. В результате мы получили полноценный функционал решения, которое впоследствии дополнило наш флагманский продукт — платформу для создания и управления ИИ-решениями.

- Что представляет собой созданное решение? Какие технологии использовались?

У нас классическое SPA-приложение, бэкенд на Python и Django, фронтенд — на React. Для хранения данных, кеширования, а также для выполнения фоновых и отложенных задач используются распространенные решения — PostgreSQL и Redis. В качестве сторонних систем, с которыми есть интеграция для импорта и экспорта данных, используются ClearML и S3-совместимые хранилища.

Отдельно отметим процесс разработки и взаимодействия фронтенда и бэкенда: благодаря тому, что бэкенд отдает спецификацию API в формате OpenAPI, клиентский код фронтенда генерируется CLI-утилитами, что обеспечивает скорость разработки и уверенность в совместимости контрактов.

Развертывание осуществляется в Kubernetes-кластере. Приложение имеет собственные бизнес-метрики, которые отдает в формате Prometheus, поэтому можно удобно и гибко настроить наблюдаемость прикладных метрик, помимо инфраструктурных, используя стандартные инструменты — VictoriaMetrics и Grafana.

В платформе возможно подключение любых OpenAI-совместимых языковых моделей, что обеспечивает полностью автоматизированный процесс разметки данных – от создания датасета до выгрузки заказчику.

Общая численность сотрудников, постоянно работающих с платформой, составляет более 70 человек – разметчики и ИИ-тренеры. Помимо собственной продуктовой разработки, на платформе проводится разметка для совместных проектов MWS AI и МТС, среди которых – голосовой бот и речевая аналитика для клиентского сервиса, ассистент в звонке, Membrana, «Защитник» и другие.

- В чем была главная боль до автоматизации?

Каждый раз, когда появлялись новые данные, кто-то вручную создавал задачу на разметку. Зайти в Jira, заполнить поля, отдельно написать код для интерфейса задачи, настроить задачу в инструменте разметки, назначить исполнителей, затем собрать ответы разметчиков и отгрузить заказчику — все это рутина, которая отнимает время и при этом легко автоматизируется. Это мы и сделали.

- Как выглядит процесс сейчас?

Полностью или отчасти автоматически. Для типовых задач: как только в хранилище появляется новая версия датасета, система сама запускает цепочку — создается задача на разметку, туда сразу подгружаются данные и назначаются исполнители. Параллельно в Jira появляется задача с полным описанием, разметчики могут сразу списывать часы, руководители видят трудозатраты в реальном времени. Человек в этой цепочке не участвует вообще.

Для новых задач, конечно, требуется создание нового интерфейса — в no-code конструкторе или с помощью агента.

- А когда задача завершена?

То же самое. Готовая разметка сама уходит обратно в хранилище как новая версия датасета, причем с корректными метаданными — система фиксирует, что это версия с разметкой. Никаких ручных выгрузок, никакого риска перепутать версии.

- Вы также изменили принцип назначения разметчиков. Почему старая схема не устраивала?

Она не учитывала, что люди работают с разной скоростью. Есть 100 примеров и 10 разметчиков — каждый получал по 10, и на этом все заканчивалось. Быстрые завершали работу и простаивали, а весь процесс тормозил из-за одного медленного участника.

- Как работает новый подход?

Разметчик получает следующий пример только в тот момент, когда открывает задачу — никаких заранее назначенных «порций». Быстрый специалист успеет разметить 25 примеров, медленный — 5, но при этом никто никого не ждет. Задача закрывается по факту готовности всего объема, а не по готовности последнего в очереди. На практике это заметно сокращает время работы.

- Какие результаты были достигнуты?

За 2025 год использование платформы позволило сократить трудозатраты на разметку на 30% при сохранении качества, всего сэкономлено более 15 тыс. человеко-часов. Стало меньше ручной «технической» работы, сотрудники больше заняты содержательными задачами. Улучшен контроль качества. В итоге при росте объема задач на 25-30% за 2025 год в сравнении с 2024 годом удалось, не раздувая команды, обеспечить компанию нужными данными.

- Какое значение имеет этот проект для компании?

Обеспечение качественно размеченных данных быстро и, по возможности, недорого — одно из важнейших требований для развития и применения ML-моделей. Сокращение сроков выполнения работы и стоимости разметки позволяет быстрее проводить цикл дообучения нейросетей, а также улучшить постоянный мониторинг качества моделей, лежащих в основе продуктов и сервисов, которые MWS AI предлагает своим заказчикам.

- Что выделяет ваше решение среди аналогов?

Мы создали не только инструмент, который помогает выполнять разметку данных. Он способствует организации самого процесса разметки, предлагая определенные роли всем участникам бизнес-процесса: заказчикам, менеджерам, разметчикам, экспертам, дата-инженерам. В платформе представлен модуль обучения, позволяющий проще вводить в курс дела новых сотрудников и отслеживать качество их работы.

Кроме того, это один из немногих — или даже единственный, насколько мы представляем, — инструмент разметки, доступный в России, который можно развернуть on-premise для работы с конфиденциальной информацией и который поддерживает гибкую no-code сборку интерфейсов. Кроме того, он дает возможность создания полностью автоматического пайплайна обработки данных с бесшовной интеграцией с хранилищами, системой версионирования и Jira.

- В каком направлении развивается платформа?

Мы идем по пути все большего внедрения ИИ-агентов/LLM в разные части платформы MWS AI Agents Platform, и в инструмент разметки в том числе. Например, уже сейчас можно полностью разметить датасет, используя только языковую модель, причем сделать это с любым перекрытием. В ближайшее время будем внедрять верификацию (проверку разметки) с помощью ИИ-агентов. Не за горами ИИ-агенты, которые будут помогать собирать проекты и интерфейсы разметки, выдавать аналитику по датасету, проекту или пользователю, а также анализировать работу разметчика и давать ему рекомендации типа «Вы уже долго размечаете, качество вашей работы падает, сходите отдохните». Здесь стоит отметить, что также планируется внедрение механизма антифрода и блокировки спамеров, что становится особенно актуальным с ростом количества разметчиков.

Кроме этого, мы работаем над улучшением самого разнообразия разметок — будем добавлять возможность размечать видео, улучшать наш конструктор интерфейсов. И, конечно, будем делать работу разметчиков удобнее и интереснее с помощью геймификации и улучшения интервейса. Мы регулярно запрашиваем обратную связь от наших пользователей, что позволяет держать руку на пульсе в плане удобства платформы.

Из других интересных доработок — внедрение подхода 'Human in the loop' и работа на платформе не только с разметкой, но и в целом с управлением данными: разбивка на кластеры, просмотр и поиск нужных примеров данных, обучение моделей на кластерах прямо в платформе — естественно, с полной интеграцией с процессом разметки, если потребуется.