В компании SoftBank разработали программный стек для управления дата-центрами, рассчитанными на ИИ-нагрузки, который автоматизирует управление инфраструктурой и предоставляет сервисы логического вывода для больших языковых моделей — Infrinia AI Cloud OS. Новое ПО может выполнять различные задачи — от настройки BIOS до управления Kubernetes на таких платформах с графическими процессорами, как Nvidia GB200 NVL72.

Развернув облачную операционную систему Infrinia AI Cloud OS, операторы ЦОДов ИИ смогут предоставлять услуги «Kubernetes как сервис» (Kubernetes-as-a-Service, KaaS) в многопользовательской среде, а также «Инференс как сервис» (Inference-as-a-Service, Inf-aaS) для формирования логических выводов больших языковых моделей через API в рамках собственных облачных сервисов на базе графических процессоров, заявили в SoftBank. В холдинге утверждают, что новое ПО справляется с операционными проблемами облачных сервисов на базе графических процессоров, снижает совокупную стоимость владения и операционную нагрузку по сравнению с заказными или собственными решениями.

Его компонент Kubernetes-as-a-Service автоматизирует весь стек — от настроек BIOS и RAID до операционной системы, драйверов графического процессора, сетевых подключений, контроллеров Kubernetes и систем хранения. Он также динамически реконфигурирует NVLink-соединения и память при создании и обновлении кластеров, распределяя узлы в зависимости от близости к графическим процессорам и конфигурации домена NVLink, чтобы уменьшить задержки.

Inference-as-a-Service позволяет выбирать большие языковые модели и развертывать сервисы логического вывода без знания пользователями Kubernetes или инфраструктуры, предоставляет API, совместимые с OpenAI, а также масштабируется на нескольких узлах таких платформ, как GB200 NVL72.

В Forrester считают, что новое ПО знаменует выход SoftBank за пределы аппаратного обеспечения и переход к облачным решениям для графических процессоров. Infrinia AI Cloud OS позволяет SoftBank стать игроком рынка, который, по прогнозам, вырастет с 8,21 млрд долл. в 2025 году до 26,62 млрд долл. к 2030-му. Здесь SoftBank сталкивается с конкуренцией гиперскейлеров и провайдеров специализированных решений на основе графических процессоров. AWS, Microsoft Azure и Google Cloud предлагают управляемые услуги Kubernetes с поддержкой графических процессоров через сервисы EKS, AKS и GKE соответственно. Специализированные провайдеры, в том числе CoreWeave, Lambda Labs и RunPod, создали платформы на базе Kubernetes для решения аналогичных операционных задач.

В SoftBank планируют сначала развернуть новое ПО, используя собственные облачные сервисы на основе графических процессоров, а затем предложить его внешним клиентам.