Искусственный интеллект научили распознавать ситуации, в которых ему «не хватает знаний». Модель, разработанная специалистами МТИ и Microsoft, определяет случаи, когда происходящее в реальном мире похоже на ситуацию из обучающей выборки, но действие, которое для этой ситуации запомнила автономная система, может привести к опасной ошибке. Исследователи приводят пример: если робомобиль не научили отличать скорую помощь от других машин того же цвета и формы, то самоуправляемая система не пропустит догоняющую ее скорую с включенной мигалкой. Ученые описывают метод, позволяющий обнаруживать подобные «слепые пятна» обучения. Вначале систему автопилота обучают на симуляторе, в котором смоделированы все возможные ситуации на дороге. На втором этапе человек наблюдает за работой системы в реальных условиях и сигнализирует о всех допущенных ошибках. Результатом становится перечень ситуаций, каждая с некоторым числом отметок о приемлемости или неприемлемости действий автопилота. После этого выполняется статистическая обработка результатов с обнаружением закономерностей соотношения разных меток у неоднозначных и безопасных ситуаций. Опираясь на эти сведения, модель генерирует метку «слепое пятно» или «безопасная ситуация» для каждого случая, сопровождая ее показателем вероятности. Исследователи отмечают, что даже если в некоторой ситуации в 90% случаев автопилот принял верное решение, модель после обучения все равно может классифицировать ее как слепое пятно.

Источник: MIT