В компании Cerebras Systems, конкурирующей с Nvidia и другими поставщиками ускорителей, разработали серверную ИИ-систему стоечного типа — CS-4, в которой вычислительные модули выполнены в виде кремниевых пластин, а взаимодействие компонентов без традиционных сетевых коммутаторов снижает задержки обмена данными в ИИ-инфраструктуре.

На каждой кремниевой пластине (21,5 × 21,5 см) размещены процессор Wafer Scale Engine, содержащий до 900 тыс. специализированных ядер для ИИ, около 4 трлн транзисторов, память SRAM емкостью почти 44 Гбайт и внутренняя сеть передачи данных. Производительность такого модуля для ИИ-задач доходит до 125 PFLOPS.

серверная ИИ-система стоечного типа
Источник: Cerebras

CS-4 в два раза опережает по производительности систему предыдущего поколения CS-3. В тесте с моделью GPT-OSS-120B новая система обрабатывала запросы одного пользователя в 30 раз быстрее, чем системы с графическми процессорами. Однако ее пропускная способность варьируется в зависимости от модели и конфигурации. Несмотря на заявленную энергоэффективность, которая до 10 раз больше, чем в CS-3, высокая вычислительная плотность CS-4 требует мощного питания и жидкостного охлаждения.

CS-4 — первая система Cerebras на основе новой стоечной архитектуры Nexus. Благодаря технологии прямого соединения кремниевых пластин Direct Wafer Links задержка обмена данными между двумя пластинами снижается до 2 мкс. Поддержка RoCE v2 — удаленного прямого доступа к памяти через Ethernet — позволяет подключать систему к сетям дата-центров. Пропускная способность каналов ввода-вывода достигает 7,2 Тбит/с.

Отказ от коммутаторов в системах Cerebras помогает снизить расходы на инфраструктуру и энергопотребление сетевого оборудования, на которое обычно приходится до трети энергозатрат кластеров ИИ. По сравнению с традиционными коммутируемыми сетями при таком подходе теряется вариативность в перенаправлении трафика или гибкость при обработке сбоев.

Однако для внешних коммуникаций, хранения данных, оркестровки и связи с гетерогенными вычислительными системами по-прежнему будут необходимы традиционные сетевые технологии. Поскольку система может подключаться к существующей высокоскоростной Ethernet-инфраструктуре и работать вместе с другими вычислительными платформами, к примеру, в раздельных системах инференса, производительность внешней сети остается критически важной, подчеркивают технические эксперты.

Внутренняя сеть Cerebras построена на собственной технологии Direct Wafer Links из-за чего ИИ-ускорители других компаний к ней подключить нельзя, а масштабирование требует дополнительных систем Cerebras. Кроме того, CS-4 нуждается в собственной программной платформе CSoft и отдельном контуре управления, что может усложнить эксплуатацию комплексов с GPU-кластерами.

Главный вопрос для заказчиков — станет ли CS-4 открытым компонентом объединенной ИИ-инфраструктуры или останется высокопроизводительной, но относительно закрытой экосистемой. Несмотря на поддержку таких фреймворков, как PyTorch, в программной зрелости Cerebras пока уступает Nvidia CUDA, полагают аналитики.