Метод основан на использовании принципа «группы экспертов», когда несколько моделей, обученных выполнению разных заданий, комбинируются с фильтрующей нейросетью, которая путем подсчета вероятностей выбирает эксперта, лучше других способного справиться с распознаванием эмоций человека, которого не было в обучающей выборке.

Модель обучали на записях видеочатов, где выражения лица на каждом кадре были предварительно указаны вручную. Как показали эксперименты, чтобы адаптировать модель для еще незнакомых ей участников видеочата, достаточно провести дополнительное обучение всего на 5-10% кадров новой записи, после чего модель интерпретирует эмоции людей на ней гораздо точнее традиционных систем, в которых такая персонализация не используется.

Со временем благодаря подобным разработкам мобильные приложения, обращая внимание на настроение пользователя, могли бы, например, начать рекомендовать способы справляться со стрессом и переживаниями, полагают исследователи.