Apache Spark

Стартап, создавший облачную платформу распределенной обработки неструктурированных данных на базе Apache Spark, стремительно развивается: в 2022 году его оборот может превысить 1 млрд долл.

На российском рынке остро ощущается потребность в платформах обработки больших данных, однако почти отсутствует локальная экспертиза. Появление дистрибутива Arenadata Hadoop, сертифицированного ODPi и собранного российскими разработчиками, призвано заполнить этот пробел.

Программы поиска оптимальных маршрутов давно стали обыденностью, однако нахождение кратчайшего пути — не единственный практический результат теории графов. Сегодня имеется множество инструментов, позволяющих решать задачи графовой аналитики, каждый из которых эффективен в определенных ситуациях.

Неполадки в работе телекоммуникационной сети часто возникают в результате нештатных ситуаций, которые не вызывают нарушений и остаются незамеченными, что впоследствии может привести к ухудшению качества сервисов или к сбоям. Обнаружение таких ситуаций с помощью кластерного анализа дает возможность принимать превентивные меры, позволяющие исключить сбои.

Особенность Vora — возможность использования традиционных методов оперативной аналитической обработки и языков программирования для анализа всех доступных на предприятии данных.

По утверждениям участников проекта Apache Arrow, он позволит увеличить производительность при решении аналитических задач в сто с лишним раз.

Как объясняют в Databricks, бесплатный вариант оптимален для разработчиков, ученых и специалистов по данным, а также для любых ИТ-специалистов, желающих освоить Spark.

Благодаря приверженности идеям Open Source, экосистема Hadoop и Apache Spark, важнейших на сегодня технологий в мире Больших Данных, развивается быстрее, чем если бы технология принадлежала только одному разработчику.

Иногда в мире Больших Данных их считают конкурентами, но чаще преобладает точка зрения, согласно которой они дополняют друг друга.

Streams дает возможность создавать потоки путем «подписки» на источники данных. Подписчиками могут быть как люди, так и машины. Например, отдел ИТ может подписаться на поток данных из журналов операций, чтобы автоматизировать обнаружение аномалий, указывающих на проблемы.

Версия реляционной СУБД Splice Machine 2.0 сочетает в себе масштабируемость Hadoop и присущую Spark скорость обработки данных в оперативной памяти.

На ежегодном форуме IBM обсуждалось, как бизнесу извлечь выгоду из окружающих его данных.

Социальные сети могут стать источником дополнительных данных о клиентах, однако для его использования требуются специализированные инструменты. Открытые технологии из стека Hadoop позволяют строить платформы, способные в режиме массовой обработки извлекать ценную информацию для обогащения профилей клиентов.

В компании добавляют, что HANA Vora будет полезен организациям, которым надо анализировать большие объемы данных в контексте бизнес-процессов, в том числе предприятиям, работающим в финансовой сфере и в отраслях услуг связи, здравоохранения и производства.

Система управления кластером Hadoop YARN значительно повышает надежность и гибкость технологии MapReduce, позволяя в оперативной памяти проводить распределенную потоковую обработку данных, а значит, строить аналитические системы реального времени, используемые, например, в ситуационных центрах.

Эффективность анализа данных о функционировании телекоммуникационного оборудования определяется возможностями системы сбора и обработки этих данных, объемы которых могут увеличиваться экспоненциально. Как выполнить глубокий анализ поведения сетевого оборудования в условиях лавинообразного роста показаний телеметрии?

Корпоративные клиенты компании смогут оперативно получать информацию о состоянии и эффективности функционирования своих ИТ-систем.

Корпорация передала сообществу Spark предназначенный для машинного обучения язык программирования SystemML и намерена предлагать Spark вместе с сервисом IBM Bluemix.

Сегодня, когда многие предприятия осознали ценность анализа Больших Данных, самое время привлечь к этому процессу администраторов баз данных и хранилищ данных.

В 2014 году программное обеспечение Apache Hadoop совершило революцию в области Больших Данных, а в 2015-м Apache Spark обещает вытеснить Hadoop благодаря своим более развитым средствам анализа.