OpenCAPI: ускорение ускорителей

В технологии микропроцессоров широко применяются аппаратные ускорители, а каждое новое поколение усовершенствованных системных архитектур предлагает все более привлекательное соотношение цены и производительности, причем этот процесс идет ускоренными темпами. Кроме того, на экономику вычислений в перспективе могут оказать существенное влияние новые технологии оперативной памяти.

Между тем существующие системные интерфейсы сдерживают эти тенденции. При взаимодействии приложений с аппаратными ускорителями традиционная архитектура ввода-вывода приводит к слишком большим издержкам, не позволяя достичь желаемого уровня производительности. В результате многие технологии и продукты для ЦОДов не удается эффективно использовать из-за ограничений унаследованных интерфейсов. Современные ускорители в них просто не вписываются, а закрытые, проприетарные интерфейсы препятствуют дальнейшему инновационному развитию. Кроме того, перспективные системы должны поддерживать новые технологии оперативной памяти с разными методами доступа.

Решить эти проблемы вендоры пытаются с помощью открытых архитектур, нацеленных на вовлечение широкого круга игроков ИТ-рынка и создание обширной экосистемы, состоящей из программного обеспечения и подключаемых устройств.

АЛЬТЕРНАТИВА PCIE

В октябре прошлого года консорциум OpenCAPI (www.opencapi.org) представил новую открытую спецификацию OpenCAPI (Coherent Accelerator Processor Interface), которая, как ожидается, позволит на порядок увеличить производительность центров обработки данных и ускорить решение таких задач, как машинное обучение, аналитика Больших Данных, когнитивные вычисления, обработка данных IoT и др., для которых требуются все возрастающие объемы вычислений.

Хотя процессоры становятся быстрее, их производительность зачастую снижается из-за того, что данные приходится извлекать из микросхем памяти, графических ускорителей (GPU) и других системных компонентов, используемых для специальных задач. Интерфейс OpenCAPI призван устранить эти узкие места в компьютерных системах.

Этот открытый интерфейс предназначен для обеспечения взаимодействия любых микропроцессоров с ускорителями вычислений, оперативной памятью нового типа и устройствами ввода-вывода. Благодаря ему приложения могут эффективно использовать ускорители, не создавая избыточной нагрузки на микропроцессор.

OpenCAPI основан компаниями AMD, Google, IBM, Mellanox Technologies и Micron. Его членами являются также Dell EMC, HPE, NVIDIA и Xilinx. Показательно, что Intel в этот консорциум не входит. Она использует технологию Quick Path Interconnect (QPI), а вместо ускорителей GPU предлагает альтернативное решение — процессоры стандартной архитектуры с большим числом ядер. Например, утверждается, что системы на базе Intel Xeon Phi по ряду показателей превосходят системы с GPU.

Между тем при создании суперкомпьютеров и вычислительных кластеров наряду с многоядерными процессорами x86 активно используются графические процессоры — ускорители операций (см. статью автора «Многоядерные процессоры в высокопроизводительных вычислениях» в январском номере «Журнала сетевых решений/LAN» за 2014 год).

По мнению производителей, такая архитектура гарантирует на порядок более высокую производительность по сравнению со стандартными вычислительными системами и позволяет существенно снизить стоимость оборудования и энергопотребление. Во всем мире уже не первый год наблюдается значительный интерес к подобным гибридным вычислительным системам, поскольку использование массивно-параллельной структуры GPU в высокопроизводительных вычислениях позволяет существенно ускорить решение многих критически важных задач.

Стандарт OpenCAPI предоставляет основу для реализации высокоскоростных коммуникаций между различными системными компонентами, включая оперативную память, хранилище данных и сеть. На самом деле IBM объявила о создании технологии CAPI еще в 2014 году. Она была разработана для систем на платформе POWER8 и стала доступной партнерам IBM по проекту OpenPOWER. Позднее корпорация решила открыть доступ к технологии CAPI для всей отрасли.

IBM и ее партнеры полагают, что открытые интерфейсы и ускорители с когерентной памятью упрощают программирование, позволяют повысить производительность ускорителей и значительно снижают потери процессорного времени по сравнению с традиционной подсистемой ввода-вывода. В рамках консорциума OpenCAPI была создана новая спецификация OpenCAPI с еще более высокой производительностью, чем у прежнего интерфейса CAPI на основе PCIе.

Вывод на рынок серверов и других продуктов, созданных на основе нового стандарта, ожидается во второй половине 2017 года. Сначала OpenCAPI появится в суперкомпьютерах и мощных серверах. IBM планирует одной из первых использовать эту технологию в своих серверах с процессорами POWER9.

Таким образом, серверы IBM POWER9 смогут поддерживать не только быстрый интерфейс графических ускорителей NVIDIA (через NVLink), но и высокопроизводительные коммуникации с программируемыми логическими интегральными схемами Xilinx FPGA и с ускорителями на базе ASIC. AMD получит альтернативу NVLink (проприетарной технологии NVIDIA) для организации коммуникаций ускорителей Radeon с серверными процессорами Zen, а производители серверов смогут подключать к процессорам быстродействующую память. Mellanox планирует ускорить коммуникации системных компонентов с сетевыми ускорителями (см. табл. 1).

Таблица 1. Планируемые к выпуску продукты с поддержкой OpenCAPI

Спецификация OpenCAPI предназначена для систем с «тяжелыми» нагрузками. В OpenCAPI используются восемь линий последовательной передачи данных (с тактовой частотой 25 МГц), их общая пропускная способность составляет 25 Гбайт/c, а задержка — всего 300–400 нс. В PCIe максимальная скорость — 16 Гбайт/с (см. рис. 1).

Рис. 1. В OpenCAPI используется новая схема интерконнекта между ЦП, памятью и адаптером ввода-вывода (по данным OpenCAPI)

Члены консорциума OpenCAPI уверены в том, что открытый подход способствует более активному продвижению инноваций и эффективной интеграции системных компонентов на сетевом уровне, уровнях хранения и вычислений. Благодаря OpenCAPI применение микросхем FPGA становится выгодным для более широкого спектра приложений. Наконец, это позволяет эффективнее использовать различные ускорители — сетевых коммуникаций, шифрования, сжатия данных, вычислений (см. рис. 1 и табл. 2). Ранее их преимущества нередко терялись из-за неэффективного обмена данными с центральным процессором.

Таблица 2. Преимущества OpenCAPI

Кроме того, в некоторых вычислительных системах применяется встроенная в ускорители специализированная память, но нередко объем данных настолько велик, что ускорителю необходима системная память большой емкости. При этом требования по задержке и пропускной способности превышают возможности существующих интерфейсов ввода-вывода. OpenCAPI как раз и обладает нужными характеристиками.

OpenCAPI позволяет любому процессору взаимодействовать с ускорителями и устройствами ввода-вывода, а также с оперативной памятью нового типа. В системах на базе OpenCAPI приложения «общаются» с устройством напрямую — нет необходимости в программном ядре, «съедающем» циклы ЦП. Обеспечивается и защита памяти — предотвращается несанкционированный доступ к другим ее областям. К тому же упрощается работа устройств OpenCAPI на разных процессорных платформах.

Консорциум OpenCAPI планирует открыть доступ к спецификации OpenCAPI до конца 2017 года. Ее смогут получить все заинтересованные компании, но для разработки собственных продуктов на базе OpenCAPI им потребуется лицензия, вместе с которой консорциум предоставит подробную документацию и инструменты разработки. Но это не единственный новый интерконнект — идет работа и над другими решениями.

АЛЬТЕРНАТИВЫ OPENCAPI

Другой отраслевой консорциум, Gen-Z, продвигает собственную инициативу под названием Open Memory Fabric. Это технология интерконнекта между оперативной памятью и памятью Storage-Class Memory. В Open Memory Fabric могут использоваться разные топологии: прямое соединение, коммутируемое или фабрика. Интерконнект обеспечивает взаимодействие вычислительного модуля (памяти SoC), ускорителей FPGA и GPU, пула памяти, сетевых адаптеров и модулей ввода-вывода.

Анонсированная почти одновременно с OpenCAPI технология Gen-Z нацелена на повышение эффективности операций чтения и записи при использовании дезагрегированной оперативной памяти и подсистем хранения данных. В планах консорциума Gen-Z — разработка масштабируемого системного интерконнекта и протокола для быстрой передачи данных между ОЗУ и СХД, что часто требуется при работе с большими объемами данных.

Как ожидается, разрабатываемые Gen-Z протоколы можно будет применять в различных коммутаторах и фабриках для коммуникаций между процессорами, FPGA, GPU и разными видами памяти, причем даже на уровне стойки, в то время как основная задача OpenCAPI — обеспечение когерентного доступа компонентов вычислительного комплекса к памяти. Проще говоря, OpenCAPI можно будет применять для коммуникаций внутри узла, Gen-Z — между узлами.

В консорциум Gen-Z входят компании AMD, ARM, Broadcom, Cavium Inc, Cray, Dell EMC, HPE, Huawei, IBM, IDT, Lenovo, Mellanox, Micron, Microsemi, Red Hat, Samsung, Seagate, SK Hynix, Western Digital и Xilinx. Из членов OpenCAPI в нем нет лишь Google и NVIDIA (см. табл. 3).

Таблица 3. Три консорциума, работающие над высокоскоростными системными шинами

Похожие разработки ведет группа CCIX (Cache Coherent Interconnect for Accelerators), сформированная в мае прошлого года компаниями AMD, ARM, Huawei, IBM, Mellanox, Qualcomm и Xilinx. Ни NVIDIA, ни Intel в нее не входят. Усилия группы нацелены на создание фабрики с когерентной кеш-памятью, обеспечивающей интерконнект между процессорами (разных вендоров) и ускорителями (FPGA и GPU) для обмена данными с оперативной памятью.

Очевидно, эти вендоры хотят предложить альтернативу интерфейсу Intel «ЦП — память — ускоритель — сеть», использовать собственные разработки в области микропроцессоров и FPGA и, наконец, получить что-то более производительное, чем интерфейс PCI. Такие коммуникации должны обеспечивать высокоскоростной обмен данными между более быстрыми процессорами, ускорителями вычислений, модулями DRAM и памятью типа Storage-Class Memory наподобие XPoint, а также по RDMA — с внешними массивами.

В целом усилия консорциумов OpenCAPI, Gen-Z и CCIX направлены на раскрытие потенциала новых технологий памяти и формирование — на основе открытых стандартов — экосистемы для ЦОДов нового поколения. По существу, все три отраслевых консорциума решают задачу создания высокопроизводительных коммуникаций для разнообразного нового оборудования и обеспечения совместимости устройств.

В появлении альтернативной технологии интерконнекта заинтересованы производители серверов (Cisco, Dell, Fujitsu, HDS, HPE, Huawei, IBM, InSpur, Lenovo, Oracle, Quanta и Supermicro), владельцы крупных ЦОДов (Amazon, Apple, Facebook, Google и Microsoft) и заказчики серверов. Не исключено, что CCIX, OpenCAPI и Gen-Z станут одной организацией, но пока это не обсуждается.

Так или иначе, выигрывают все, кроме Intel. Интерфейс OpenCAPI может оказать существенное влияние на серверный рынок. Это один из самых значимых анонсов на рынке серверов в минувшем году. Впрочем, не исключено, что в будущих ЦОДах найдут применение все три технологии.

Google и Rackspace разрабатывают сервер Zaius на платформе IBM POWER9

Новый сервер Open Compute Project (OCP), создаваемый компаниями Google и Rackspace на базе процессора IBM POWER9 и интерконнекта OpenCAPI, получил название Zaius P9. В нем используется не совсем обычная для OCP архитектура: наряду с POWER9 и компонентами OpenCAPI поддерживаются интерфейсы PCIe-Gen4 (см. рис. 2). Такая система будет обладать высокой пропускной способностью.

Рис. 2. Блок-схема сервера Zaius (по данным OpenCAPI)

 

Zaius — двухсокетный сервер на базе IBM POWER9 Scale Out CPU, поддерживающий модули памяти DDR4 и систему питания 48V-POL, совместимую со стандартом 48v Open Rack V2.0. ПО управления Zaius BMC разработано на основе Open BMC. Для установки мезонинных сетевых карт (NIC) предусмотрены слоты PCIe Gen4 x16 OCP 2.0.

Разработчики поделились новым дизайном с сообществом OCP и планируют представить его в OCP Foundation. Кроме того, они намерены опубликовать дизайн системной платы. Пока что это пилотный проект — система еще не тестировалась.

Google собирается развертывать в своем облаке разнородные архитектуры и продолжать взаимодействие с отраслью для совершенствования серверных архитектур.

ЗАКЛЮЧЕНИЕ

Стандарт OpenCAPI с архитектурой, ориентированной на данные, и преимуществом в скорости позволит добиться более высокой производительности вычислений. Интернет-компании, предприятия из финансовой отрасли, сфер розничной торговли, гостиничного бизнеса, здравоохранения, автомобилестроения все чаще обращаются к средствам машинного обучения, к расширенной аналитике и другим быстроразвивающимся технологиям. С помощью OpenCAPI можно будет создавать ЦОДы, которые лучше оснащены для того, чтобы быть готовыми справляться с любыми нагрузками.

Открытые стандарты должны способствовать формированию экосистемы приложений, использующих аппаратные ускорители. Это приложения HPC, системы «глубокого» обучения и другие решения. Новые интерфейсы помогут преодолеть архитектурные ограничения традиционной подсистемы ввода-вывода, устранить неэффективность прежней модели и упростить работу приложений с аппаратными ускорителями.

Этой цели невозможно достичь с помощью проприетарных решений или развертывания какой-то одной микропроцессорной архитектуры. Только открытые стандарты смогут устранить барьеры на пути разработки приложений, использующих аппаратные ускорители, и обеспечить возможность выбора. OpenCAPI предоставляет участникам рынка свободу действий. Компании могут теснее взаимодействовать друг с другом и внедрять инновации в современных ЦОДах на уровне сети, вычислительных ресурсов и систем хранения.

Сергей Орлов, независимый эксперт (sorlov1958@yandex.ru)