Исследователи из университета штата Огайо применили генеративно-состязательную нейронную сеть (GAN) для автоматического создания фотореалистичных фоновых элементов в симуляторе вождения. Это повышает точность имитации визуальной обстановки в симуляторе и позволяет лучше оценить реакцию людей на обстановку — в частности, при исследовании поведения людей в беспилотных автомобилях. Статья с результатами опубликована в журнале IEEE Transactions on Intelligent Transportation Systems.

Основная идея исследователей заключалась в использовании двух генеративно-состязательных сетей. Одна из них, обученная на реальных изображениях, используется для синтеза фотореалистичных изображений различных объектов (зданий, растительности, облаков) на основе упрощенных трехмерных моделей без текстур. Важные объекты — например, автомобили — создаются в симуляторе традиционными методами. После этого другая нейронная сеть объединяет все синтезированные элементы в одно изображение. К сожалению, пока этот процесс выполняется лишь на отдельных кадрах. Исследователям еще предстоит найти способ создавать непрерывную последовательность кадров с согласованными изображениями.