Arenadata представила релиз Arenadata Hadoop (ADH) 3.1.2.1.b1, в который вошёл новый сервис Apache Impala — распределённая система исполнения SQL-запросов в экосистеме Hadoop. Сервис предназначен для интерактивной обработки данных на сверхбольших объёмах данных, он открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов.

Можно выделить следующие преимущества нового функционала ADH для пользователей:

· Скорость обработки запросов в озере данных. Impala обеспечивает низкую задержку и высокий уровень параллелизма в экосистеме Hadoop. Это позволит эффективнее решать задачи self-service аналитики и ad-hoc запросов.

· Простота внедрения в текущую инфраструктуру. Заказчикам, у которых уже был установлен Hive, не придётся переносить данные и таблицы, так как Impala использует те же метаданные, форматы файлов и драйверы подключения.

· Масштабирование, независимое от основного кластера Hadoop. Arenadata Hadoop предоставляет возможность развёртывания Impala вне основного кластера. Это позволяет исключить конкуренцию за аппаратные ресурсы и отдельно масштабировать аналитическую нагрузку даже в существующих инсталляциях ADH.

· Оптимизация использования оборудования. Новый сервис поможет сократить стоимость обработки данных за счёт оптимального использования аппаратного обеспечения. Помимо этого, больше не требуется тратить ресурсы на адаптацию SQL-кода и дополнительное обучение аналитиков при миграции с Cloudera Data Platform.

· Оптимизация ландшафта заказчика. Отдельные сценарии ad-hoc и self-service аналитики, требующие массивно-параллельной обработки, теперь возможно реализовывать локально, не нагружая ими основное хранилище данных.

«Включение нового сервиса в Arenadata Hadoop существенно повысило производительность продукта для ряда бизнес-сценариев. Он в значительной мере отвечает требованиям заказчиков в части скорости исполнения запросов, что позволяет внедрять новые сценарии использования. В грядущих релизах ADH мы планируем расширять функциональность нового сервиса: его безопасность, доступность и интеграцию с другими компонентами, например, такими, как Arenadata Platform Security (ADPS)», — прокомментировал новый функционал ADH Александр Ермаков, технический директор Arenadata.

Новый релиз Arenadata Hadoop включил и другие изменения: представлено автоматическое управление высокой доступностью сервисов Hadoop, добавлен ADB Spark Connector с поддержкой Spark3, улучшен функционал керберизации кластера, позволяющий производить более детальную настройку.

О компании
Arenadata (https://arenadata.tech/) — один из крупнейших в стране разработчиков системного программного обеспечения для хранения и обработки больших данных, построенного на базе технологий с открытым кодом. Как один из наиболее активных участников сообщества свободного ПО в России, Arenadata вносит вклад в развитие нескольких международных проектов. Все программные продукты компании объединены в многофункциональную платформу данных, которая позволяет строить надёжные гибко масштабируемые хранилища и озёра данных. Качество программного обеспечения Arenadata подтверждено государственными сертификатами и неоднократно проверено крупнейшими организациями России и зарубежья.

Компания Arenadata является лидером в сегменте систем управления базами данных для сложной аналитики*, входит в тройку ведущих разработчиков системного ПО согласно исследованию CNews Analytics и состоит в списке «30 самых дорогих компаний Рунета» по версии Forbes.

*Согласно исследованиям фонда ЦСР, «Монитор технологий» РДТЕХ и отчёту по рынку СУБД «Круги Громова».