АdvancedTCA относится к категории системных архитектур с пассивной объединительной панелью. Такие архитектуры предполагают наличие в объединительной панели («крейте») одной большой платы, которая не имеет собственных активных компонентов и оснащена специальными разъемами (слотами) для установки процессорных, коммуникационных, сигнальных и иных функциональных плат. Функциональные платы (модули) взаимодействуют друг с другом по реализованным на объединительной панели сигнальным линиям. Требования к пассивным объединительным панелям и функциональным платам прописаны в соответствующих стандартах (AdvancedTCA/MicroTCA, CompactPCI, VMEbus и т.п.). Стандартизация позволяет свободно устанавливать на одну объединительную панель функциональные платы разных типов и версий, заменяя отдельные модули с целью устранения неисправности, повышения производительности и/или реализации поддержки новых функций, причем зачастую такая замена может производиться на работающей системе без ее останова. Эти и некоторые другие полезные свойства стандартизованных системных архитектур с пассивной объединительной панелью объясняют популярность таких технологий и их широкую распространенность в различных секторах компьютерной отрасли.
Системная архитектура AdvancedTCA — мощный и удобный инструмент для построения телекоммуникационных решений на базе последовательных внутрисистемных интерфейсов. Развивая успех, достигнутый технологией CompactPCI, спецификация AdvancedTCA позволяет разработчикам использовать в своих системах высокопроизводительные последовательные каналы на стандартизованной основе. Популярность архитектуры AdvancedTCA среди профессиональных пользователей обусловлена тем, что она совмещает в себе удобство открытого стандарта с эффективностью узкоспециализированной технологии, разработанной специально для телекоммуникационной отрасли. Большое значение в глазах специалистов имеет также высокая степень преемственности AdvancedTCA по отношению к классическому стандарту CompactPCI, успешно применяющемуся в телекоммуникационной отрасли уже более десять лет. Спецификация AdvancedTCA стала уже второй попыткой «наведения порядка» в телекоммуникационной отрасли. Первая фаза «телеком»-стандартизации была связана с развитием и продвижением технологии CompactPCI — адаптированной версии шинной архитектуры PCI, ориентированной на применение в широком классе задач, включая промышленные и телекоммуникационные.
«Проклятием» рынка телекоммуникационного оборудования всегда были закрытые внутрифирменные решения. Внутрифирменная модель ведения бизнеса затрудняла модернизацию и расширение телекоммуникационных систем, замедляла реализацию новых сервисов, влекла за собой дополнительные расходы, причем как для разработчиков телекоммуникационных систем, так и для конечных пользователей, что тормозило развитие отрасли в целом. Для борьбы с этой негативной практикой в начале 90-х годов ведущие игроки телекоммуникационного рынка, объединившиеся в консорциум PICMG (PCI Industrial Computer Manufacturers Group), стали развивать магистрально-модульную системную архитектуру, получившую название CompactPCI. Технологическим фундаментом для стандарта CompactPCI послужила высокопроизводительная шина PCI, являвшаяся в то время наиболее совершенным системным интерфейсом для офисного и серверного сегментов.
На сегодняшний день, преодолев инерцию телекоммуникационной отрасли и сдвинув с мертвой точки процесс отказа от внутрифирменных решений, стандарт CompactPCI достиг поставленных перед ним целей — производители оборудования и операторы получили возможность строить свои системы на базе открытых технологий и унифицированных, заведомо совместимых друг с другом аппаратных средств. Сейчас стандарт CompactPCI широко применяется не только в телекоммуникационных, но также в промышленных, контрольно-измерительных, оборонных, аэрокосмических и медицинских приложениях. Однако за время, прошедшее с момента появления CompactPCI, на рынке телекоммуникационных услуг произошли значительные изменения. Сегодня повсеместно востребованы новые сервисы типа VoIP (передача голоса по IP-сетям), VoD (видео по запросу) и 3G (мультимедийное наполнение сетей сотовой связи). В результате в традиционном для телекоммуникационной отрасли списке требований произошли подвижки. Производительности и пропускной способности стало требоваться не просто много, а очень много: число подписчиков новых, «тяжелых» сервисов постоянно растет, и одновременно с этим растет объем потребляемого каждым таким подписчиком трафика. Необходимый резерв пропускной способности могут обеспечить новые открытые технологии внутрисистемного обмена, базирующиеся на быстрых последовательных соединениях, однако освоение таких технологий собственными силами «с нуля» для динамичной компании задача более чем сложная. Получается, что закрытые решения, бывшее неудобными еще в 90-х годах, сегодня неудобны как никогда — в контексте развития новых телекоммуникационных сервисов внутрифирменная модель ведения бизнеса становится слишком дорогим удовольствием.
Спрос на сервисы следующего поколения стал основным стимулом к началу второго раунда стандартизации в телекоммуникационной отрасли. Стандарт AdvancedTCA (Advanced Telecom Computing Architecture, передовая телекоммуникационная вычислительная архитектура) стал ответом консорциума PICMG на ситуацию, сложившуюся на телекоммуникационном рынке к началу нового тысячелетия. Данный стандарт адресован перспективным системам нового поколения, которые должны обеспечивать долгосрочную поддержку самых современных сервисов и быть в этой связи более высокопроизводительными, более надежными, более удобными, более функциональными и более масштабируемыми (рис. 1).
В конце 2002 года консорциумом PICMG была принята первая редакция базовой спецификации AdvancedTCA (PICMG 3.0). Данное событие ознаменовало начало новой эры — эры применения последовательных внутрисистемных интерфейсов на стандартизованной основе. Современный стандарт AdvancedTCA образован серией спецификаций, принятых в период с марта 2005-го по апрель 2006 года. Спецификация PICMG 3.0 определяет требования к механическим параметрам плат, их питанию и охлаждению, а также к организации системного управления. Другие спецификации семейства AdvancedTCA посвящены вопросам использования конкретных каналов внутрисистемного взаимодействия, таких как Ethernet, InfiniBand, StarFabric, PCI Express, RapidIO и PRS.
Преемственность
Используя AdvancedTCA, можно решать те же задачи, что и при помощи CompactPCI, а также строить телекоммуникационные системы совершенно нового типа, не имеющие аналогов в прошлом по производительности, гибкости и расширяемости. В AdvancedTCA имеется ряд интересных с точки зрения практического применения свойств: поддержка горячей замены, тыльного ввода/вывода, мезонинов, интерфейс системного управления IPMI (Intelligent Platform Management Interface) и даже коммутация соединений на объединительной панели, которые перекочевали в новый стандарт из CompactPCI без каких-либо существенных изменений. Однако этим сходство между AdvancedTCA и CompactPCI не исчерпывается — главным отличием от магистрально-модульной архитектуры CompactPCI является тип используемой объединительной панели. На классической панели CompactPCI реализуется параллельная шина PCI, а на объединительной панели AdvancedTCA — только последовательные коммутируемые каналы. С целью обеспечения дополнительной свободы выбора для производителей и пользователей к внутрисистемным коммутируемым каналам Ethernet, определенным еще в спецификации PICMG 2.16, стандарт AdvancedTCA добавил пять новых типов последовательных каналов: InfiniBand, StarFabric, PCI Express, RapidIO и PRS. Коммутируемые соединения на объединительной AdvancedTCA могут иметь топологию типа звезда, двойная звезда, сдвоенная двойная звезда и полноячеистая сеть.
Что касается сугубо процессорной производительности, не учитывающей скорости внутрисистемного обмена, то здесь основным достижением стандарта AdvancedTCA стало увеличение размеров функциональных плат, шага размещения слотов и максимального энергопотребления одной платы. Все это в совокупности позволяет оформлять в конструктиве AdvancedTCA вычислительные узлы на базе современных процессоров, не опасаясь выйти за рамки термальных ограничений. Еще одним важным свойством AdvancedTCA является поддержка развитых функций централизованного системного управления на основе интеллектуального интерфейса IPMI. Стандарт AdvancedTCA предусматривает дублирование каналов передачи данных, средств управления и линий питания, что повышает устойчивость системы как целого к местным повреждениям.
С эксплуатационной точки зрения одной из отличительных особенностей семейства спецификаций AdvancedTCA является возможность реализации на их основе долгосрочных проектов, допускающих развертывание новых приложений и сервисов в отдаленной (пять и более лет) перспективе. Гарантия тому — огромный резерв производительности и пропускной способности, изначально заложенный в AdvancedTCA (пропускная способность одного крейта AdvancedTCA может достигать мультитерабитных значений, что позволяет удовлетворять запросы сегодняшних требовательных приложений с большим запасом), а также модульность, гибкость и расширяемость этой архитектуры.
Последовательные внутрисистемные соединения
Одной из предпосылок появления нового телекоммуникационного стандарта AdvancedTCA стали скоростные преимущества современных последовательных интерфейсов перед параллельными. Как известно, классические параллельные шины не обладают достаточным запасом пропускной способности и не могут рассматриваться как перспективные системные интерфейсы. Для интерфейса PCI с общим доступом к коммуникационной среде предел пропускной способности составляет 533 Мбайт/с уже при обмене между пятью слотами, а теоретический максимум пропускной способности в реальных приложениях современных последовательных интерфейсов пока не достигнут. Когда скорость передачи данных всего по одному «элементарному» каналу, состоящему из одной сигнальной пары, приближается к 10 Гбит/с, пропускная способность не только перестает быть самым узким местом системы, как это имеет место в различных PCI-решениях, но и превращается в одно из главных ее достоинств (рис. 2). Данное обстоятельство предопределило успех шины USB 2.0, дискового интерфейса Serial ATA и системного интерфейса PCI Express, а также привело к появлению целого ряда новых типов коммуникационных каналов и новых системных архитектур, одной из которых и посвящена настоящая статья.
Одна объединительная панель, удовлетворяющая требованиям PICMG 3.0, может поддерживать различные каналы внутрисистемного обмена. Описанная в спецификации PICMG 3.0 инфраструктура управления предполагает использование специальных электронных ключей, позволяющих системе определять тип установленной платы, а также то, какие каналы и топологии эта плата поддерживает. В одну полку рекомендуется устанавливать платы одного типа, однако электронные ключи позволят системе остаться работоспособной даже в случае неполной совместимости различных плат и объединительной панели по поддерживаемым внутрисистемным интерфейсам: совместимые порты будут активированы, несовместимые — отключены.
Базовой топологией для любой объединительной панели AdvancedTCA является «полноячеистая сеть» (full mesh), в которой все слоты напрямую связаны между собой. Такой способ организации соединений позволяет получать в границах одного шасси терабитные значения полной пропускной способности. В своем исходном виде топология типа «полноячеистая сеть» рассчитана на высокопроизводительные решения, где требуются максимально возможные скорости внутрисистемного обмена. Стандарт AdvancedTCA обеспечивает поддержку также и таких популярных топологических схем, как «звезда», «двойная звезда» и «сдвоенная двойная звезда», поскольку они могут быть получены из полноячеистой сети путем исключения некоторых каналов. Топологии типа «звезда», «двойная звезда» и «сдвоенная двойная звезда» предполагают взаимодействие функциональных плат друг с другом через специальные модули, называемые системными концентраторами или коммутаторами (рис. 3). Когда система построена по топологической схеме «полноячеистая сеть», все функциональные платы связаны друг с другом напрямую, а выделенные модули отсутствуют (рис. 4). Все звездообразные топологии уступают полноячеистой в пропускной способности, но дешевле в реализации.
Новая старая механика
Одним из главных факторов ограничения производительности систем стандарта CompactPCI было малое допустимое энергопотребление на один слот. Расстояние между контактными выводами 2 мм и 0,8-дюймовый шаг приводят к тому, что даже при использовании активного воздушного охлаждения одна функциональная плата CompactPCI не может рассеивать более 50 Вт, и это при том, что многие современные процессорные конфигурации вместе с поддерживающей их логикой потребляют вдвое большую мощность.
Творцы спецификации PICMG 3.0 задались целью добиться того, чтобы каждая плата могла рассеивать 200 Вт, и успешно решили эту задачу на механическом и на электрическом уровне. Новая механика, предполагающая использование функциональных плат, имеющих 8U (322,25 мм) в высоту, 280 мм в ширину и размещающихся с шагом 1,2 дюйма, стала результатом тщательного учета многочисленных и разноплановых требований к площади передней панели, охлаждению, габаритам объединительной панели и тыльному вводу/выводу. Отправной точкой для ее разработки послужил проверенный временем конструктив «Евромеханика», которому обязаны своим появлением системные архитектуры VMEbus и CompactPCI.
Увеличение шага с 0,8 до 1,2 дюйма позволяет монтировать на функциональные платы более высокие компоненты (современные процессоры, оперативная память большого объема, мощные преобразователи постоянного тока и т.п.). Кроме того, более свободное размещение плат вносит свой вклад в охлаждение системы, улучшая циркуляцию воздуха внутри крейта.
Площадь определенных в спецификации PICMG 3.0 функциональных плат достигла 903 кв. см (рост более чем в два с половиной раза по сравнению с формфактором 6U CompactPCI), что открыло перед разработчиками совершенно новые возможности в плане создания высокопроизводительных однослотовых решений с бортовыми коммутаторами, современными DSP-устройствами, мощными многоядерными процессорами и быстрой многогигабайтовой памятью. Подобно CompactPCI, стандарт AdvancedTCA позволяет организовывать ввод/вывод через заднюю панель, однако используемый при этом метод отличается от прежнего и более гибок. Спецификация PICMG 3.0 предусматривает тыльные интерфейсные модули, ширина которых теперь составляет 70 мм. Основное отличие от CompactPCI заключается в том, что в системной архитектуре AdvancedTCA модули тыльного ввода/вывода подключаются к функциональным платам не опосредованно, а напрямую: верхняя кромка объединительной панели проходит ниже зоны соответствующих контактов. Непосредственное соединение позволяет применять в разных ситуациях самые различные разъемы: высокоплотные 2-миллиметровые, быстрые дифференциальные, оптические и др.
Интеллектуальное управление IPMI
Чрезвычайно важное эксплуатационное значение имеет такая особенность технологии AdvancedTCA, как развитые функции системного управления. Специалисты консорциума PICMG разработали данную функциональность на базе спецификации интеллектуального интерфейса IPMI, дополнив ее рядом расширений.
IPMI — один из ключевых открытых стандартов для организации удаленного системного управления, позволяющий осуществлять дистанционный контроль, диагностику, администрирование и восстановление системы через удаленную консоль. Будучи аппаратным решением, IPMI не зависит от используемой операционной системы, и потому с его помощью можно управлять питанием, вентиляторами, напряжениями и температурами. Полная программная независимость IPMI позволяет производить диагностику и восстановление даже зависших и остановленных систем. Спецификация IPMI предусматривает как функции автоматического мониторинга аппаратных средств, так и выведение уведомлений, благодаря которым технический персонал может следить за состоянием системы в реальном времени и решать проблемы до их проявления. Все это делает интерфейс IPMI эффективным и высоконадежным решением, соответствующим специфике телекоммуникационных задач.
Одна из возможных конфигураций логического управления AdvancedTCA-полкой изображена на рис. 5.
Новые мезонины
Сегодня стандартизованные модули-мезонины различных типов широко применяются как разработчиками, так и пользователями промышленного и телекоммуникационного оборудования. В PICMG предусмотрели в системной архитектуре AdvancedTCA поддержку классического мезонинного формфактора PMC (PCI Mezzanine Card) и дополнили стандарт AdvancedTCA спецификацией на новый мезонинный конструктив, получивший название AdvancedMC (Advanced Mezzanine Card).
Изделия AdvancedMC — модули расширения нового поколения, учитывающие «привязанность» AdvancedTCA к современным и перспективным высокопроизводительным процессорам и быстрому внутрисистемному обмену на базе последовательных каналов. Пользователь системы стандарта AdvancedTCA, в составе которой есть платы со слотами AdvancedMC, имеет дополнительную степень свободы — он может конфигурировать свою платформу не только на уровне полки/объединительной панели, но и на уровне отдельных функциональных плат, устанавливая на них различные мезонины AdvancedMC.
В последнее время модули AdvancedMC, будучи как бы вторичными, производными по отношению к архитектуре AdvancedTCA, стали претендовать на самостоятельное существование — появилась спецификация MicroTCA, где платы–носители мезонинов AdvancedMC увеличены в размерах и превращены в полноценные объединительные панели, а модули AdvancedMC также подняты на одну иерархическую ступеньку вверх и играют роль функциональных плат. Едва появившись, стандарт MicroTCA практически сразу же получил мощную отраслевую поддержку. Достаточно вспомнить инициативу AMC Everywhere, с которой в марте 2005 года выступил международный холдинг Kontron. В рамках данной инициативы пропагандируется использование изделий AdvancedMC для расширения функциональности не только систем стандарта AdvancedTCA, но и MicroTCA. Главными конкурентными преимуществами AdvancedTCA были и остаются адекватная поддержка высокопроизводительных процессоров и предоставление возможности стандартизованного применения быстрых последовательных каналов для организации внутрисистемного обмена.
Системная архитектура MicroTCA
В середине 2006 года произошло знаменательное для всех целевых рынков AdvancedTCA событие — консорциум PICMG принял стандарт MicroTCA.
В стандарте MicroTCA модули AdvancedMC возведены в ранг функциональных плат. Идея подобного применения AdvancedMC витала в воздухе с тех самых пор, когда стало ясно, что некоторые из этих «мезонинов» не уступают по своим возможностям не только модулям CompactPCI, но и отдельным изделиям, выполненным в конструктиве AdvancedTCA. Системы MicroTCA с модулями AdvancedTCA в роли функциональных плат ориентированы главным образом на периферию телекоммуникационной инфраструктуры, где применение «полновесных» решений стандарта AdvancedTCA не оправдывает себя ни с функциональной точки зрения, ни по финансам. Спецификация MicroTCA не только стандартизовала использование модулей AdvancedMC в этом новом для них качестве, но и создала условия для построения общей элементной базы, охватывающей сразу все уровни иерархии телекоммуникационной индустрии.
Для MicroTCA определены крейты шести различных типов, что достаточно для использования стандарта не только в телекоме. Самые миниатюрные системы MicroTCA могут содержать всего один модуль AdvancedMC без контроллера MicroTCA Carrier Hub, что характерно для традиционных встраиваемых и промышленных компьютеров. Благодаря широкому ассортименту модулей AdvancedMC, в крейтах MicroTCA можно собирать различные конфигурации из процессоров, интерфейсов, специализированных функций и др. В телекоммуникационной отрасли стандарту MicroTCA отведен участок контроля доступа — оборудования базовых станций и корпоративных мультисервисных сетей.
Если руководствоваться критерием «производительность/цена», рыночная ниша MicroTCA лежит между AdvancedTCA и CompactPCI. Будучи не намного дороже изделий CompactPCI, по своей производительности и пропускной способности оборудование MicroTCA приближается к AdvancedTCA, поскольку, как и AdvancedTCA, опирается на быстрые последовательные каналы внутрисистемного обмена и предлагает адекватные коммуникационные механизмы для интеграции современных процессоров.
Оборудование стандарта AdvancedTCA обосновалось в ядре телекоммуникационной инфраструктуры, где необходимы большие вычислительные мощности и скорости передачи данных, однако на периферии, где требования чуть скромнее, AdvancedTCA нередко оказывается избыточен, а цена бывает чрезмерной, поэтому стандарт MicroTCA оказывается тут как нельзя кстати. Благодаря небольшим размерам, низкой стоимости и производительности систем MicroTCA, пропускная способность которых может достигать десятков гигабитов в секунду на одну полку, область их применения выходит далеко за рамки телекоммуникационной отрасли. На стандарт MicroTCA уже обратили внимание пользователи из промышленного, оборонного и медицинского секторов, — по сути, MicroTCA принадлежит рынку встраиваемых систем.
Уникальность стандарта MicroTCA состоит в том, что, сохраняя все основные преимущества AdvancedTCA — поддержку самых современных вычислительных и коммуникационных технологий, функций системного управления IPMI, а также гибкость и модульность, он позволяет реализовывать эти преимущества в системах меньших физических размеров и за меньшие деньги. Размеры и стоимость критичны не только для периферии телекоммуникационной инфраструктуры, но и для целых отраслей, что и обусловило живейший интерес к новому стандарту со стороны представителей соседних секторов. Выход технологии MicroTCA за пределы телекоммуникационного рынка обусловил более высокие темпы роста ее сектора по сравнению с AdvancedTCA. Вполне возможно, что в ближайшем будущем эта тенденция сохранится
Один стандарт хорошо, а два — лучше
Трудно назвать сектор телекоммуникационного бизнеса, где не ощущались бы преимущества стандартизации: свобода выбора, быстрый выход на рынок, удешевление процесса разработки, гибкость и расширяемость конечных систем, защита инвестиций, возможность многократного использования существующих наработок в различных проектах, продление срока службы оборудования, упрощение и удешевление обслуживания систем на протяжении их жизненного цикла. Еще труднее назвать ориентированный на перспективные приложения сектор, в котором сегодня не были бы востребованы быстрые последовательные интерфейсы, в том числе и для организации внутрисистемных соединений.
Многие текущие задачи можно с успехом решать при помощи CompactPCI; стандарт же AdvancedTCA, благодаря своему колоссальному «запасу прочности», ориентирован в большей степени на перспективные проекты и долгосрочные инвестиции. В отличие от CompactPCI, стандарт AdvancedTCA не имеет «офисных» аналогов — он создавался специально для телекоммуникационной отрасли. Этим обусловлены, в частности, стоимостные различия между аппаратными средствами CompactPCI и AdvancedTCA: первые дешевле, поскольку имеют общую компонентную базу с офисным рынком, вторые подороже, поскольку являются узкоспециализированными (хотя и стандартизованными) телекоммуникационными продуктами. Следует особо отметить, что, несмотря на все свои внешние и внутренние отличия, CompactPCI и AdvancedTCA суть две стороны одной и той же «телекоммуникационной медали»: чуть более высокая стоимость оборудования AdvancedTCA искупается его огромной производительностью, а чуть более скромные возможности оборудования CompactPCI — его низкой ценой.
Стандарт AdvancedTCA призван помогать разработчикам, желающим в кратчайшие сроки создавать современные мультисервисные сети, для которых требуется высочайшая пропускная способность и на уровне центрального офиса, и на периферии. Вместе с тем данная технология уже успешно применяется в оборонных системах, контрольно-измерительных приложениях и других сегментах рынка. Еще сильнее за рамки телекоммуникационных приложений выходят производные от AdvancedTCA стандарты AdvancedMC и MicroTCA.
Продолжая дело PICMG 2.16, стандарт AdvancedTCA способен удовлетворить потребности разработчиков в более высокой производительности, оставаясь при этом архитектурно и функционально похожим на своего предка. Близость со спецификацией PICMG 2.16 способна облегчить процесс перехода на AdvancedTCA и защитить инвестиции разработчиков в программное обеспечение. Позволяя строить конечные системы из готовых продуктов на базе новых последовательных каналов и современных процессоров, стандарт AdvancedTCA, кроме того, делает оборудование операторского класса более надежным, более управляемым и более удобным в обслуживании.
Преимущество технологий AdvancedTCA, AdvancedMC и MicroTCA уже оценили многие разработчики и пользователи, занимающиеся телекоммуникационными, промышленными, оборонными, медицинскими и контрольно-измерительными приложениями. Сторонников закрытых решений в указанных системных архитектурах может привлечь то обстоятельство, что они допускают использование как стандартных (Ethernet, InfiniBand и др.), так и внутрифирменных последовательных каналов. Сфера применимости стандарта AdvancedTCA и его производных, AdvancedMC и MicroTCA, гораздо шире телекоммуникационной отрасли, и в этом смысле новые технологии серии AdvancedTCA повторяют путь архитектуры CompactPCI, изначально ориентированной на рынок телекоммуникаций, но потом нашедшей применение и в различных смежных секторах рынка.
Леонид Акиншин, Владимир Бретман, Юрий Якшин (rtsoft@rtsoft.ru) — сотрудники компании «РТСофт» (Москва).
Эволюция стандарта PCI для жестких встраиваемых приложений
