Ученые рассчитывали создать инструмент, с помощью которого люди, страдающие аутизмом, смогли бы эффективнее общаться с окружающими. Однако они добились большего: в проведенных экспериментах обычные люди распознавали по выражению лиц эмоции лишь в 54% случаев, тогда как программа сумела правильно определить 64% эмоций.

Камера следит за положением 24 основных точек на лице собеседника, а программа анализирует их сочетания и частоту и длительность появления таких сочетаний и сравнивает их с известными. Для создания базы выражений лиц ученые пригласили актеров и попросили их изобразить шесть наиболее важных в разговоре эмоций: согласие, несогласие, задумчивость, сосредоточенность, интерес и непонимание. Распознав эмоцию, компьютер сообщает о ней пользователю через наушники и индикаторы на оправе очков.

Сейчас авторы применяют эту технологию в маркетинговых исследованиях восприятия рекламных роликов и фильмов.