Группа ученых во главе со специалистами МТИ разработала интерактивную утилиту ATMSeer, позволяющую контролировать работу автоматических средств машинного обучения, — систем, настраивающих модели и алгоритмы машинного обучения без участия человека. Их недостатком считают работу по принципу «черного ящика»: пользователь не знает, каким образом они выбирают оптимальные настройки, а следовательно, не может доверять результатам и легко адаптировать такие системы для своих нужд.

ATMSeer в качестве входных данных принимает систему автоматического машинного обучения, набор данных и информацию о задаче, которую нужно решить пользователю. Затем утилита наглядно отображает процесс выбора модели и настройки параметров, предоставляя пользователю возможность вносить коррективы. Например, можно выбрать модель с лучшими характеристиками или скорректировать поиск с учетом имеющихся знаний в предметной области.

Исследование, проведенное с участием студентов естественнонаучных факультетов, показало, что при использовании ATMSeer уровень доверия к системам автоматизированного машинного обучения существенно повышается. С утилитой также экспериментировали специалисты по машинному обучению — было отмечено, что под контролем пользователей производительность и эффективность работы автоматизированных средств улучшается.