Специалисты по безопасности компании SlashNext на форуме взломщиков получили доступ к инструменту под названием WormGPT, созданному злоумышленниками для проведения атак компрометации деловой электронной почты. WormGPT описывается как альтернатива ChatGPT без ограничительных механизмов, которыми снабжаются все популярные чатботы с искусственным интеллектом для предотвращения злонамеренного использования.

Атаки компрометации деловой почты проводятся путем составления мошеннических сообщений и отправки их на корпоративные адреса. С помощью таких сообщений злоумышленники могут убедить жертву поделиться конфиденциальными сведениями, оплатить фальшивый счет, предоставить доступ к важной учетной записи и др.

Бот WormGPT реализован на базе GPT-J, свободно распространяемой большой языковой модели, которая была создана в 2021 году. Он дает возможность создавать убедительные сообщения с учетом индивидуальных особенностей жертвы. В SlashNext предполагают, что его обучали на множестве источников данных, в частности, на готовых вредоносных сообщениях. В компании проверили возможности бота, сформировав с его помощью сообщение для руководящего работника, которое побуждает его оплатить мошеннический счет. Результат специалисты назвали «настораживающим»: полученное сообщение поражало своей убедительностью и эффективной тактикой манипуляции.

Подобные инструменты на основе генеративного ИИ создают письма, не содержащие грамматических ошибок, что дополнительно уменьшает вероятность вызвать подозрение. По сведениям SlashNext, для атак против иноязычных жертв злоумышленники на форумах предлагают с помощью WormGPT создавать письма на своем родном языке, затем автоматизированными средствами переводить на язык жертвы и с помощью ботов вроде ChatGPT дорабатывать стиль.

Сотрудники SlashNext также заметили на хакерских форумах предложения о продаже «разблокировщиков» для ChatGPT и других ботов с ИИ — специализированных запросов, которые позволяют отключать их защитные механизмы.