Apache Spark

На российском рынке остро ощущается потребность в платформах обработки больших данных, однако почти отсутствует локальная экспертиза. Появление дистрибутива Arenadata Hadoop, сертифицированного ODPi и собранного российскими разработчиками, призвано заполнить этот пробел.

Программы поиска оптимальных маршрутов давно стали обыденностью, однако нахождение кратчайшего пути — не единственный практический результат теории графов. Сегодня имеется множество инструментов, позволяющих решать задачи графовой аналитики, каждый из которых эффективен в определенных ситуациях.

Неполадки в работе телекоммуникационной сети часто возникают в результате нештатных ситуаций, которые не вызывают нарушений и остаются незамеченными, что впоследствии может привести к ухудшению качества сервисов или к сбоям. Обнаружение таких ситуаций с помощью кластерного анализа дает возможность принимать превентивные меры, позволяющие исключить сбои.

Социальные сети могут стать источником дополнительных данных о клиентах, однако для его использования требуются специализированные инструменты. Открытые технологии из стека Hadoop позволяют строить платформы, способные в режиме массовой обработки извлекать ценную информацию для обогащения профилей клиентов.

Система управления кластером Hadoop YARN значительно повышает надежность и гибкость технологии MapReduce, позволяя в оперативной памяти проводить распределенную потоковую обработку данных, а значит, строить аналитические системы реального времени, используемые, например, в ситуационных центрах.

Эффективность анализа данных о функционировании телекоммуникационного оборудования определяется возможностями системы сбора и обработки этих данных, объемы которых могут увеличиваться экспоненциально. Как выполнить глубокий анализ поведения сетевого оборудования в условиях лавинообразного роста показаний телеметрии?