Автомобили-роботы, управляемые моделями глубокого обучения, могут совершать необъяснимые ошибки — например, неожиданно затормозить, перегородив дорогу автомобилю спасательной службы. Понять «ход рассуждений» системы-черного ящика в подобных случаях раньше не представлялось возможным. Ситуацию может изменить метод Concept-Wrapper Network (CW-Net), разработанный совместно специалистами МТИ и компании Motional.

Метод предусматривает внедрение в автопилот дополнительного модуля, который, работая без влияния на скорость планирования маршрута, преобразует внутренние состояния нейросети в понятные человеку формулировки, например «приближение к остановившемуся автомобилю» или «сближение с велосипедистом».

Модуль CW-Net обучили, используя набор данных из 130 млн примеров размеченных сцен с участием самоуправляемых автомобилей. Систему испытали на симуляторе и на реальном роботизированном такси на закрытой автодороге с водителем на подстраховке — в обоих случаях она успешно предсказывала действия автопилота. С помощью CW-Net, к примеру, удалось объяснить постоянные остановки роботакси перед велосипедистом — оказалось, что модель его не распознавала и могла сбить, а остановка происходила за счет механизма экстренного торможения при чрезмерном сближении с объектом.