Генеральный директор корпорации IBM Джинни Рометти считает, что компании, которые не могут объяснить, как искусственный интеллект в их разработках принимает решения, должны уйти с рынка. Необходимо добиваться полной прозрачности применения технологий искусственного интеллекта: надо знать, кем, как и на каких данных проводилось обучение моделей, отражает ли оно профессиональные знания, имеются ли в нем непреднамеренные систематические ошибки и так далее, подчеркивает она в статье, опубликованной на Всемирном экономическом форуме в Давосе.

Системы искусственного интеллекта с нейронными сетями глубинного обучения, сложными алгоритмами и вероятностными графическими моделями становятся «черными ящиками», процесс принятия решений в которых невозможно объяснить. Некоторые компании — например, Oracle и Amazon — пытаются сделать их более понятными для людей, тогда как в Google сомневаются в пользе подобных объяснений, указывая, что люди тоже не всегда способны объяснить свои решения.

Рометти призывает коллег внедрять принципы прозрачности в отношении к данным. Компании должны четко заявить, кто владеет данными и ценной информацией, которую из них извлекают путем анализа. Таких же принципов должны придерживаться государственные органы, подчеркивает она.