На протяжении последних десяти лет компания LexisNexis занималась проектированием технологии HPCC Systems, позволяющей предоставлять разнообразные информационные услуги юридическим фирмам, библиотекам, коммерческим компаниям и госорганизациям.

"В течение нескольких лет мы, не привлекая лишнего внимания, предлагали своим клиентам услуги, которые пользовались большой популярностью, – сообщил Джеймс Пек, генеральный директор подразделения Risk Solutions LexisNexis . – И теперь наша компания с радостью готова представить свои технологии широкому кругу разработчиков программного обеспечения с открытым кодом, с тем чтобы они могли заняться дальнейшим совершенствованием платформы на благо наших клиентов и всего сообщества".

Программное обеспечение HPCC Systems работает в кластерах, построенных на основе обычного оборудования, и содержит ряд компонентов, использующих Enterprise Control Language – декларативный язык программирования, оптимизированный для обработки запросов и управления большими объемами данных.

Компонент Thor управляет извлечением, преобразованием и загрузкой данных, а система Roxie обеспечивает высокомасштабируемую, высокопроизводительную обработку запросов и поддерживает функции хранилища данных.

Система способна анализировать петабайты данных значительно быстрее и точнее существующих систем. Она обладает достаточно высокой масштабируемостью и позволяет объединять тысячи узлов.

Наряду с версией программного обеспечения для сообщества Open Source в LexisNexis предложат коммерческую корпоративную версию HPCC Systems, ее проектирование курирует технический директор компании Армандо Эскаланте.

На первый порах HPCC Systems будет предлагаться в качестве виртуальной машины, которую смогут тестировать представители сообщества. В полном объеме двоичный и исходный код будет представлен спустя несколько недель.

Версия с открытым кодом будет распространяться по лицензии GNU Affero GPL v3. Новый код, добавляемый LexisNexis и членами сообщества Open Source, сначала будет включаться в версию с открытым кодом.

В LexisNexis подчеркнули, что в состав HPCC Systems не войдут источники данных, средства обработки информации, уникальная технология связывания данных и прочие приложения, уже интегрированные в продукты компании.

Версия с открытым кодом будет иметь ряд ограничений по сравнению с корпоративной версией. В частности, на каждом узле будет запускаться лишь один процесс Thor. Кроме того, предполагается проводить лишь базовое тестирование на различных дистрибутивах Linux, тогда как корпоративная версия подвергнется гораздо более серьезной сертификации.

Корпоративная версия будет иметь несколько уровней поддержки, однако цены пока не объявлены.

Клиенты, оформившие подписку на Enterprise Edition, получат доступ к ряду модулей расширения, в том числе к инструменту, который сможет преобразовывать конструкции языка Pig Latin, используемого в Hadoop, в формат ECL.

Спецификации ECL предполагается распространять по лицензии Creative Commons.

"Несмотря на известное происхождение и длительное успешное использование компанией LexisNexis, новому программному обеспечению предстоит пройти еще долгий путь, прежде чем ему удастся завоевать симпатии потребителей, – считает Джеймс Кобиелус, аналитик Forrester Research. – Не сомневаюсь, что технология HPCC Systems успешно решает стоящие перед ней задачи, но LexisNexis слишком поздно вступает в игру. Программному обеспечению придется преодолевать массу барьеров, потому что многие поставщики и пользователи уже сделали ставку на Hadoop.

Дополнительное препятствие состоит в том, что LexisNexis не является производителем СУБД или хранилищ данных. Несмотря на оптимистичные заявления о возможностях HPCC Systems, компания не собирается в одиночку вступать в схватку за производительность со всем сообществом Hadoop. Эта задача отдается на откуп компаниям-стартапам и сообществу Open Source».