InfiniBand

Определение

InfiniBand — это стандарт, описывающий новую архитектуру и спецификации на передачу данных между процессорами и интеллектуальными устройствами ввода/вывода. InfiniBand заменяет в серверах шину PCI, обещая тем самым большую пропускную способность, более распределенную структуру и большую гибкость в архитектуре серверов.

По мере того как вычислительные ресурсы сосредоточиваются в центре данных, снижение вероятности возникновения узких мест и улучшение управления системами приобретают критически важное значение. Подсистемы ввода/вывода — вот корень многих проблем. InfiniBand — новая технология ввода/вывода, которая, как считают аналитики, позволит преодолеть сложности, создаваемые надежной, но уже не отвечающей современным требованиям архитектуры ввода/вывода.

Ассоциация InfiniBand Trade Association выпустила версию 1.0 одноименной спецификации ввода/вывода. В эту группу входят все ведущие производители систем, полупроводниковых устройств и периферии. Она была создана после объединения в прошлом году двух конкурирующих стандартов архитектур ввода/вывода — Future I/O и Next Generation I/O и на сегодняшний день насчитывает свыше 200 участников. На базе этой спецификации участники ассоциации начнут проектировать и создавать InfiniBand-совместимые продукты, которые, как ожидается, появятся на рынке в конце следующего года.

Больше чем просто ввод/вывод

Самое главное, InfiniBand заменит в серверах шину Peripheral Component Interconnect (PCI). Она предлагает гораздо более широкие возможности и высокую производительность, чем PCI. Хотя PCI достаточно надежна и обеспечивает приемлемую скорость, которая в дальнейшем будет наращиваться (и с выпуском PCI-X достигнет 1 Гбит/с), тем не менее она во многом уступает канальной архитектуре InfiniBand.

Например, с появлением систем InfiniBand проектировщики и ИТ-менеджеры смогут перестать рассматривать ввод/вывод как неотъемлемый компонент сервера, то есть всегда размещаемый внутри корпуса.

С помощью InfiniBand связь с удаленными модулями хранения, сетевые функции и соединения между серверами будут осуществляться за счет подключения всех устройств через центральную, унифицированную структуру коммутаторов и каналов InfiniBand. Именно таким образом InfiniBand решает «вопросы расстояния», возникающие при использовании архитектур на базе шин, таких как PCI, при которых расстояние между модулем ввода/вывода и материнской платой с процессором не может превышать нескольких дюймов или даже сантиметров. Канальная архитектура InfiniBand позволяет размещать устройства ввода/вывода на расстоянии до 17 м от сервера с помощью медной проводки, а также до 300 м с помощью многомодового волоконно-оптического кабеля и до 10 км — с помощью одномодового волокна.

Поскольку отпадает необходимость во внутренней системной шине ввода/вывода, проектировщики смогут пересмотреть концепцию внутреннего строения серверов. Аналитики компании Illuminata считают, что это решение позволит сократить размер корпуса сервера почти на 60% и тем самым увеличить полезное пространство в тесных центрах данных, заменив массивные серверы на более простые машины.

Вместо серверов с определенным количеством слотов PCI большинство систем будут поставляться просто с одним адаптером InfiniBand Host Channel Adapter (HCA). Адаптер HCA соединит компьютер с канальным коммутатором InfiniBand, подключемым к системам массовой памяти, маршрутизаторам и другой периферии, оснащенной InfiniBand Target Channel Adapter (TCA). Коммутирующая матрица реализует соединения «точка-точка».

Сейчас, если необходимо увеличить емкость памяти на сервере в тех случаях, когда больше не остается свободных слотов PCI, приходится отключать сервер, добавлять платы расширения PCI, подключать устройства хранения, конфигурировать массив с операционной системой, а затем перезагружать сервер. С помощью InfiniBand можно просто связать дисковый массив TCA с коммутатором InfiniBand. «Интеллектуальные» канальные адаптеры сделают все остальное, не прерывая выполняемые на сервере операции.

Канальные адаптеры — это интеллектуальные устройства, которые поддерживают все функции ввода/вывода без остановки серверного процессора. К примеру, во время инициализации структура InfiniBand обнаруживает все HCA и TCA в структуре и присваивает им логические адреса. Она отслеживает наличие устройств с помощью алгоритма опроса и обнаруживает новые канальные адаптеры по мере их добавления к коммутируемой структуре.

Связь со всеми

Спецификация InfiniBand предусматривает наличие в канальных адаптерах одного, четырех или 12 каналов, в зависимости от требуемого уровня производительности. Реализуемая ими скорость при двунаправленной передаче данных — 500 Мбит/с, 2 и 6 Гбит/с соответственно.

InfiniBand использует расширенную адресацию, поддерживаемую IPv6. В заголовках InfiniBand Global Route Header пересылаемые пакеты содержат адреса отправителя (HCA) и получателя (TCA), что позволяет коммутаторам InfiniBand сразу направлять пакет на нужное устройство.

Для обеспечения устойчивости к сбоям коммутаторы InfiniBand можно каскадировать. При использовании шин PCI серверы всегда имели критически уязвимую точку, а поскольку InfiniBand поддерживает более распределенную конструкцию и канальную архитектуру, можно организовать автоматическое резервное копирование и восстановление после сбоя, чего нельзя было сделать в системах с шинами. Боб Пирсон, вице-президент компании Vieo, считает, что InfiniBand позволит разработчикам создавать более быстрое программное обеспечение, поскольку они смогут получить приложения, способные напрямую обращаться к устройствам ввода/вывода вместо того, чтобы вовлекать в эти операции центральный процессор.

Архитектура InfiniBand