Широкое разнообразие источников, типов и форматов данных, хранящихся, создаваемых или поступающих в огромных объемах, поставило ИТ-индустрию перед необходимостью развивать и внедрять особый класс решений для их интеграции. Аналитики Gartner в своем Магическом квадранте за 2022 год определяют ее как практическую дисциплину, охватывающую архитектурные модели, методологии и инструменты для обеспечения согласованного доступа и предоставления данных разных типов из широкого круга источников. Потребителями интегрированных данных могут быть как конечные пользователи, так и бизнес-приложения.
Среди основных классов задач интеграции данных Gartner выделяет, в частности, проектирование конвейеров данных, интеграцию облачных и операционных данных (в том числе их сбор, обмен ими, их совместное использование несколькими компаниями, синхронизация данных, управление основными данными и пр.), выстраивание фабрик данных и некоторые другие.
По мнению аналитиков, современные средства интеграции данных должны поддерживать не только различные виды их перемещения, интерактивной и пакетной обработки, но также виртуализацию данных и интеграцию потоковых данных, предоставлять сервисы API и обеспечивать сложные варианты преобразования данных. Кроме того, они должны помогать оптимизировать повторяющиеся операции интеграции данных, используя для этого метаданные и модели машинного обучения, а также обеспечивать подготовку данных для различных ролевых функций пользователей.
Что немаловажно, средства интеграции должны поддерживать переносимость созданных на их базе наработок между различными видами архитектурных решений: локального развертывания, размещения в облаке, предоставления функциональности по модели SaaS и пр. Наконец, чтобы обеспечить возможность реализации различных сценариев использования, средства интеграции данных должны поддерживать работу с метаданными, управление данными, процессы DataOps и FinOps.
Рынок на подъеме
Согласно оценкам аналитиков Gartner, темпы прироста рынка интеграции в 2021 году увеличились почти в два раза: увеличение составило 11,8% против 6,8% в 2020 году. Аналитики объясняют это в первую очередь восстановлением экономики после пандемии.
Что любопытно, заказчики систем интеграции данных все чаще выбирают продукты не лидеров этого сегмента рынка, а более мелких поставщиков: если в 2017 году доля пяти крупнейших вендоров составляла в совокупности 71%, то в 2021 году сократилась до чуть более половины (точнее, до 52%). Похожее снижение доли лидеров наблюдается и при анализе первой тройки, и даже первой десятки поставщиков. По мнению аналитиков, такое снижение связано с тем, что лидеры сделали слишком сильный акцент на развитие и продвижение своих продуктов, предоставляемых по схеме iPaaS. Другой причиной снижения может быть то, что относительно мелкие вендоры больше внимания уделяют совершенствованию отдельных групп функций, что дает им возможность готовить более полезные и выгодные предложения для заказчиков в отдельных сегментах спроса, поэтому Gartner рекомендует лидерам находить баланс между развитием своих тяжелых многофункциональных платформ и легковесных точечных решений.
Тенденции спроса
Среди ключевых тенденций аналитики отмечают спрос на поддержку современных стилей предоставления данных и экосистем облачных данных, виртуализацию и репликацию данных, а также интеграцию данных, доступную как облачный сервис.
Особое внимание заказчики обращают на возможности для реализации фабрик данных и функции проектирования расширенной интеграции данных и их предоставления конечным пользователям. Интеграция данных вручную оказывается излишне трудоемкой, поэтому организации ищут способы ее автоматизировать. Согласно оценкам аналитиков Gartner, к 2024 году долю интеграций данных, производимых в ручную, удастся сократить до 50%. Этому будет способствовать внедрение шаблонов проектирования фабрик данных, поддерживающих расширенную интеграцию данных. А благодаря внедрению механизмов искусственного интеллекта в решения для управления данными и их интеграции потребность организаций в ИТ-специалистах этого профиля к 2024 году может снизиться примерно на треть (если точнее, аналитики ожидают снижение на 30%).
Стремясь улучшить технологические аспекты работы с данными, заказчики уделяют большое внимание семантическому моделированию, созданию онтологий и поддержке графов знаний — эти возможности помогают повысить качество управления информацией, касающейся конкретной предметной области. Кроме того, организации стремятся развивать децентрализованное предоставление данных, используя подходы «данные как сервис» и «инфраструктура как код», непрерывную интеграцию и предоставление данных на основе процессов DataOps, интеграцию «точно в срок», автоматизацию планирования и тестирования и пр.
Важным изменением в динамике спроса является повышенное внимание к финансовым аспектам интеграции данных и поддержке процессов FinOps. В частности, организации ожидают, что решения для интеграции данных помогут автоматизировать отслеживание, прогнозирование и упреждение затрат, связанных с интеграцией данных в распределенных и облачных средах, а также находить оптимальные соотношения стоимости и производительности продуктов, обеспечивающих предоставление данных конечным пользователям. Еще одним важным изменением стали более высокие требования к поддержке процессов DataOps, а точнее, к возможностям по использованию в них продуктов для интеграции данных и к поддержке автоматизации этих процессов.
Также в числе приоритетных требований — поддержка гибридного и межоблачного управления данными. По оценкам Gartner, около половины половина внедрений систем управления данными сделано с одновременным использованием и локальных, и облачных сред. Ожидается, что средства интеграции данных получат больше возможностей для динамического построения и перестраивания интеграционной инфраструктуры в гибридных средах управления данными. Согласно прогнозам Gartner, средства интеграции, которые не будут поддерживать работу с данными в гибридных мультиоблачных средах по схеме PaaS, к 2025 году потеряют половину (50%) своей доли рынка, а их место займут поставщики, которые предоставляют такую возможность.
Отдельной проблемой, решение которой хотели бы получить заказчики, является снижение риска блокировки доступа к базам данных со стороны поставщиков облачных сервисов и приложений, поэтому организации в большей степени ориентируются на инструментарий, не зависящий от репозитория или облачной экосистемы конкретного поставщика сервисов.
Denodo — в квадранте лидеров
Одной из компаний, включенных Gartner в квадрант лидеров, стала Denodo. Аналитики особо подчеркивают возможности платформы Denodo для работы с распределенными источниками данных, интеграция которых обеспечивается с помощью технологии виртуализации данных. Она позволяет создавать логические хранилища и фабрики данных, не перемещая и не копируя сами данные в отдельные новые репозитории.
В качестве еще одного важного преимущества аналитики отмечают оптимизатор запросов, в котором применяется сбор статистики о текущем использовании шаблонов запросов, а затем ее анализ с помощью алгоритмов машинного обучения. Такой подход позволяет увеличить производительность и обеспечить более быстрое получение результатов запросов, причем с меньшей ресурсоемкостью.
Другим важным преимуществом в Gartner называют наличие бесплатной облегченной версии платформы, получившей название Denodo Express, которая нередко используется заказчиками для ознакомления с возможностями платформы: эта версия предоставляет стандартный набор функций, но имеет ограничения на емкость, отводимую для одного пользователя. По данным аналитиков, около 80% заказчиков, которые приобрели Denodo Platform, предварительно скачали и изучили Denodo Express.