Средства генеративного искусственного интеллекта, которые сегодня массово создаются гигантами и стартапами отрасли ИТ, потребляют колоссальные объемы вычислительных ресурсов, львиная доля которых уходит на обучение больших языковых моделей. Основная нагрузка при этом ложится на графические процессоры, которых, соответственно, нужно все больше, и производители начинают не справляться с удовлетворением растущего спроса. Как следствие, в последние месяцы даже появился «черный рынок» GPU для ИИ, когда графические процессоры продаются через неофициальные каналы по завышенным ценам. В дефиците обвиняют в том числе компанию Nvidia, которая прибрала к рукам большую часть доступных мощностей по производству GPU.

По данным OpenAI, вычислительная мощность систем, задействованных в обучении крупнейших систем ИИ, с 2012 года удваивается примерно каждые 3,5 месяца, благодаря чему и стал возможным нынешний прогресс в этой области. А со времени появления интеллектуальных чатботов, как отмечают в сообществе IEEE, потребности технологических гигантов в оборудовании выросли еще сильнее: создатели больших языковых моделей вроде OpenAI и Amazon соперничают, постоянно наращивая их размеры, — сейчас число параметров у некоторых из них превышает триллион.

Исследовательские учреждения, как правило, не могут позволить себе эксперименты со столь ресурсоемкими большими языковыми моделями, и в научном сообществе ищут пути уменьшения мощностей, необходимых для обучения и эксплуатации таких систем. На сегодня получены обнадеживающие результаты с применением методов самообучения, обучения с переносом, обучения без ознакомления, а также с использованием базовых моделей — уже обученных на огромных объемах данных систем, на основе которых можно создавать специализированные.

Альтернативой Nvidia могут стать стартапы вроде Graphcore, Kneron, iDEAL Semiconductor и др., которые разрабатывают собственные чипы — ускорители задач ИИ. Созданные с нуля для конкретной цели, они обычно обеспечивают преимущества перед GPU общего назначения с точки зрения быстродействия, энергоэффективности, стоимости и др., однако стартапы такого рода тоже могут испытывать сложности, связанные с недоступностью производственных мощностей.

Nvidia контролирует более 80% рынка чипов для ИИ, но как и большинство участников полупроводниковой индустрии, пользуется услугами производства микроэлектроники, которые предоставляет тайваньская компания TSMC. Это делает Nvidia уязвимой для нарушений цепочки поставок, вызываемых геополитическими и другими потрясениями.

В самой TSMC, между тем, признают проблемы с удовлетворением спроса на GPU для систем ИИ и суперкомпьютеров. Руководители компании сообщали, что она выполняет примерно 80% поступающих от клиентов запросов, но по их словам, приблизительно через полтора года, когда планируется завершить наращивание мощностей, ситуация должна исправиться.

Благодаря ряду проектов с открытым кодом у небольших компаний появилась возможность разрабатывать компактные большие языковые модели для конкретных продуктов, способные работать локально, например, на бортовом компьютере автомобиля. Такой «граничный ИИ» (Edge AI) применяется в медицинской технике, беспилотных автомашинах, умных зданиях и др.

Создание локальных и менее требовательных к ресурсам моделей ИИ рассматриваются как один из путей решения проблемы дефицита GPU, но удовлетворить растущий спрос без повышения объема и расширения географии производства чипов не удастся, считают эксперты. В этой связи Intel, Samsung, Micron, Qualcomm, сама TSMC и другие планируют строить новые заводы в США и странах Евросоюза, но реализацию этих планов пока задерживают финансовые и другие барьеры.