Эксперты «Лаборатории Касперского» и Irregular независимо установили, что «случайные» пароли, которые создают по запросу ведущие большие языковые модели, на самом деле совершенно не надежны. Например, в рамках исследования Irregular модель Claude Opus в ходе 50 попыток создать пароль в 18 случаях выдала один и тот же — G7$kL9#mQ2&xP4!w, а в «Лаборатории Касперского» выяснили, что у моделей ChatGPT, Llama и DeepSeek есть предпочтения в символах, у каждой — свои.

Причина в том, что LLM не синтезируют пароли криптостойким генератором случайных чисел, а пользуются заученными правилам или следуют тенденциям: пароли, к примеру, часто начинаются с большой буквы, в середине больше цифр, а в конце часто встречается восклицательный знак.

Наиболее опасно это в случаях, когда LLM используют для синтеза кода — если не проверить такой код в ситуации, когда нужно наскоро получить работоспособную систему, в нем могут оказаться пароли, созданные ИИ, который, прибегнув к порочной практике, может «жестко закодировать» секрет, необходимый для доступа к какой-либо функции. В связи с этим специалисты настоятельно рекомендуют проверить в рабочих системах переменные окружения Docker Compose, конфигурационные файлы .env, манифесты секретов Kubernetes и т. д. на верительные данные, созданные ИИ.