Эффективность работы больших языковых моделей чрезвычайно сильно зависит от того, как формулируются запросы к ним. Исследователи из компании VMware попытались сравнить разные способы оптимизации запросов на примере решения математических задач уровня начальной школы из известного набора GSM8K. Одним из способов было добавление позитивных утверждений: «Вы — профессор математики», «Мне очень нужна ваша помощь!» и других. Такие формулировки во многих случаях действительно помогали улучшить ответы больших языковых моделей. Однако второй способ — автоматическая оптимизация запросов с помощью системы DSPy — как и ожидалось, оказался эффективнее.

Неожиданными оказались найденные системой формулировки запросов. Например, в экспериментах с моделью Llama2-70B система создала запрос «Проложите курс через турбулентность и найдите источник аномалии. Используйте все доступные данные и опыт, которые помогут нам справиться с этой сложной ситуацией.» Представить, что такой запрос окажется эффективным, было практически невозможно, отмечают авторы. Простейшие модификации запросов могут приводить к резким колебаниям качества ответов, а совершенствование запросов вручную крайне трудоемко.