Ученые МТИ разработали интерфейс, понимающий слова, которые пользователь произносит «в голове». Регистрирующее устройство распознает незаметную людям нервно-мышечную активность, обусловленную мысленным воспроизведением слов, и переводит сигналы в текстовую форму.
В систему, созданную исследователями, входит пара наушников, работающих по принципу костной проводимости — они передают вибрации от костей лица во внутреннее ухо. Поскольку слуховой проход не блокируется, система может передавать звуковую информацию пользователю, не заставляя его прерывать общение с собеседником и другие действия. Таким образом, фактически создано решение, которое дает возможность беззвучно задавать компьютеру вопросы и получать ответы.
Для разработки исследователи сперва выяснили области на лице, являющиеся наиболее надежными источниками нервно-мышечных сигналов, и в итоге для их регистрации оказалось достаточно лишь четырех электродов. Соответствие между словами и сигналами для каждого пользователя устанавливается с помощью машинного обучения. Точность распознавания мысленной речи достигает 92%.
Исследователи научили систему выполнять арифметические задачи — например, пользователь может мысленно произносить цену купленных в супермаркете товаров, а в конце выяснить общую сумму. В другом эксперименте при игре в шахматы пользователь беззвучно сообщал компьютеру ходы соперника, а система подсказывала ответные.