Сегодня злоумышленники все чаще используют в качестве инструмента генеративный искусственный интеллект, создавая с его помощью контент для мошеннических веб-сайтов. Исследователи из компании Netcraft сообщают о еженедельном выявлении тысяч сайтов, на которых присутствует контент, созданный с помощью искусственного интеллекта. Значительный рост такой активности в период с марта по август указывает на массовое применение genAI в качестве эффективного средства для создания контента мошеннических веб-сайтов, причем наибольший всплеск наблюдается в сфере интернет-магазинов.

Тем не менее в электронном письме или на веб-сайте могут встречаться подсказки. В Netcraft подчеркнули, что иногда злоумышленники случайно помещают выходные данные большой языковой модели (LLM) в мошеннические электронные письма. В одном из обнаруженных фишинговых электронных писем, например, содержалась не только ссылка на файл с семейными фотографиями, но и ответ LLM: «Конечно, вот еще 50 фраз для семейных фото». Можно предположить, что злоумышленники, использующие ChatGPT для генерации основного текста электронного письма, по ошибке включили в него вводную строку. Соответственно, здесь использовалось сочетание как genAI, так и традиционных методов.

Еще одно фишинговое электронное письмо вполне могло бы вызвать доверие, если бы не очередная вводная строка LLM: «Конечно, вот ваше сообщение, переведенное на профессиональный английский». А фальшивый сайт для инвесторов, рекламирующий преимущества фальшивой компании, выглядел совсем неплохо, если не считать заголовка: «Конечно! Вот шесть ключевых преимуществ Cleveland Invest Company». Взывать к совести криминального сообщества глупо, а его представители не ограничиваются одним лишь заимствованием учетных данных пользователей с других фишинговых сайтов. Увидев убедительный шаблон, созданный LLM, они вполне могут воспроизвести его содержимое почти дословно. Текст на сайте 'Cleveland Invest', к примеру, был скопирован (вместе с ответом LLM) с другого поддельного сайта 'Britannic Finance'.

В Netcraft не раз сталкивались с сайтами, созданными LLM для поддельных магазинов и аптек и предназначенными для поисковой оптимизации (SEO) с целью привлечения большего числа жертв. Там, в частности, присутствовала и ссылка на ответ LLM с напоминанием о необходимости включать в заголовки и основную часть текста ключевые поисковые фразы.

Большие языковые модели активно применяются также для поиска и обобщения общедоступных материалов о потенциальной жертве и потенциальных уязвимостях. Компания OpenAI запретила спонсируемые государством аккаунты именно за это. Кроме того, фиксируются попытки использовать сами LLM за счет внедрения подсказок (prompt injection), джейлбрейка и т.д. Сотрудникам организаций необходимо сохранять бдительность. Присутствие на сайте текста на хорошем английском больше не является надежным показателем его легитимности. Генеративный ИИ упрощает введение людей в заблуждение, поэтому все более важную роль для защиты частных лиц и компаний играют технические меры, включая блокировку и удаление контента.

Наибольшую тревогу вызывают уже не старые угрозы, дополняемые возможностями ИИ. Существуют методы, которые помогают их устранять. А вот новые киберугрозы, исходящие от генеративного ИИ, действительно могут застать организации врасплох. Люди привыкли, что, обращаясь по видеосвязи, руководитель действительно дает им инструкции. Однако сегодня это уже не так, поскольку генеративный ИИ способен эффективно создавать дипфейки даже при ограниченном объеме доступных обучающих данных.