Инструменты Больших Данных

По мере роста потребностей в обработке Больших Данных появляются новые модели управления данными, позволяющие выполнять миллиарды запросов в секунду. Одновременно, чтобы не отстать от рынка, меняют и традиционные реляционные модели. Как разобраться в современном ландшафте СУБД и выбрать решение, наилучшим образом удовлетворяющее конкретным требованиям?

Темы мартовского и апрельского номеров журнала компьютер (IEEE Computer Society, Vol. 49, No. 3, 4, 2016) — современное положение дел в мире технологий электронной слежки и обработки Больших Данных.

После того как аналитики в середине 2015 года исключили Big Data из раздела прорывных технологий, говорить о Больших Данных стало немодно.

В нефтегазовой отрасли пока еще мало внимания уделяется Большим Данным. Руководители ИТ-подразделений крупных российских нефтяных компаний почти не упоминают о своих планах работ в этом направлении. На пути к реальному использованию методов Больших Данных в отрасли сохраняется множество препятствий.

До наступления эпохи Больших Данных было относительно просто найти информацию, релевантную запросу, однако ситуация изменилась, когда организации перестали довольствоваться только своими внутренними базами и стали смотреть на сторону в поисках источников сведений, способствующих повышению конкурентоспособности.

Социальные сети — это ежедневно растущие петабайтные объемы неструктурированных данных, сбор, хранение и обработка которых традиционными средствами затруднительны. Технологии стека Hadoop позволяют решать эти задачи, однако реализация проектов не всегда оказывается безболезненной.

Социальные сети могут стать источником дополнительных данных о клиентах, однако для его использования требуются специализированные инструменты. Открытые технологии из стека Hadoop позволяют строить платформы, способные в режиме массовой обработки извлекать ценную информацию для обогащения профилей клиентов.

Система управления кластером Hadoop YARN значительно повышает надежность и гибкость технологии MapReduce, позволяя в оперативной памяти поводить распределенную потоковую обработку данных, а значит, строить аналитические системы реального времени, используемые, например в ситуационных центрах.

Система управления кластером Hadoop YARN значительно повышает надежность и гибкость технологии MapReduce, позволяя в оперативной памяти проводить распределенную потоковую обработку данных, а значит, строить аналитические системы реального времени, используемые, например, в ситуационных центрах.

Эффективность анализа данных о функционировании телекоммуникационного оборудования определяется возможностями системы сбора и обработки этих данных, объемы которых могут увеличиваться экспоненциально. Как выполнить глубокий анализ поведения сетевого оборудования в условиях лавинообразного роста показаний телеметрии?

Проектирование архитектур систем работы с Большими Данными связано с множеством трудностей. В частности, архитектуру распределенного ПО надо тесно увязать со структурами данных и архитектурой развертывания. Чтобы удовлетворить требования к качеству, при проектировании системы нужно учитывать особенности всех трех архитектур одновременно.

Данные сегодня считаются стратегическим активом предприятий цифровой эпохи, и с ними бизнес должен уметь работать.Чтобы облегчить ему эту задачу, в конце 2014 года компания Informatica, поставщик средств интеграции данных, представила интеллектуальную платформу данных (Intelligent Data Platform, IDP).

За последние годы экосистема Hadoop претерпела существенные структурные изменения, обретая черты полнофункциональной системы для горизонтально масштабируемой обработки данных, работающей с интерактивными и поточными нагрузками. Заметную роль в этом изменении сыграли проекты Spark, Storm и Tez.

Технологии обработки Больших Данных сегодня находят все более широкое применение, интегрируясь, в частности, в DLP-решения и позволяя анализировать все информационные потоки компаний и предприятий. Однако появление такого функционала выводит продукты защиты от утечек на уровень инструментов расследования инцидентов.

Представив год назад архитектуру логического хранилища данных Unified Data Architecture, определяющую место и задачи различных платформ относительно источников и потребителей данных, компания Teradata предлагает теперь среду QueryGrid для унифицированной работы со всеми платформами как с единым пулом ресурсов для хранения и обработки любых типов данных.

Большие Данные меняют жизнь общества — все больше государств, компаний и отдельных людей устремляются на поиски сокровищ в виде плодотворных идей, фактов или тенденций, ранее скрытых в ворохе больших массивов разнообразных данных. Однако данные раскрывают свои секреты лишь тем, кто готов «слушать» и вооружен необходимыми инструментами, позволяющими обнаружить неочевидные корреляции и охватить все имеющиеся массивы.

Аналитика Больших Данных нужна сегодня не только финансистам, биоинформатикам и маркетологам. Она становится необходима и ИТ-менеджерам. Существующие инструменты управления ИТ не позволяют оценить эффективность своего применения, предсказать динамику изменения производительности, а главное — современный уровень сложности ИТ-сред уже не оставляет места ручному управлению.

Системы алгоритмической торговли широко используются финансовыми организациями для автоматизированного выставления биржевых заявок — анализ больших объемов разнообразных данных в таких системах позволяет, например с помощью стека решений от IBM, получать устойчивую прибыль путем выявления незначительных колебаний курсов.

Задача бизнеса и государства в конечном итоге состоит в удовлетворении потребностей своих клиентов и граждан, а если это удается плохо, то люди уходят к другим компаниям или государствам. Всего этого можно избежать, если бизнес осознает, что Большие Данные наряду с деньгами уже стали экономическим инструментом, позволяющим, например, составлять индивидуальные предложения для каждого клиента.

В конце февраля 2013 года компания Intel объявила о выпуске продукта Intel Distribution for Apache Hadoop, способного оказать влияние на динамику развития рынка облачных технологий и технологий анализа Больших Данных. Что собой представляет этот продукт, где можно его применять и как оценить эффективность различных конфигураций Hadoop?