Исследователи из Сиднейского технологического университета испытали новый способ звуковой индикации, помогающий невидящим людям ориентироваться в бытовой обстановке. В мире уже существуют умные очки, способные с помощью компьютерного зрения распознавать объекты окружающего мира и голосом сообщать об их местонахождении пользователю. Австралийские исследователи вместо голоса решили использовать уникальные звуки — «акустические значки», ассоциированные с предметами. Например, шелест листьев может обозначать растение, звонок — мобильный телефон и так далее. Как выяснилось, такой способ помогает невидящим людям даже эффективнее синтезированной речи и меньше нагружает когнитивный аппарат.

Для распознавания предметов исследователи использовали очки дополненной реальности NReal, подключенные к смартфону, на котором работала система распознавания объектов YOLOv5m. Система находила и помечала объекты, а расстояние до них рассчитывалось по стереоскопическому изображению с камер очков. Исследователи полагают, что такую систему можно применять со многими моделями умных очков.