В организации Apache Software Foundation объявили о выходе первого готового к рабочему применению релиза Spark — программного механизма, позволяющего выполнять некоторые задачи анализа данных в Hadoop Distributed File System в сто раз быстрее стандартного MapReduce. Помимо скорости Spark обещает более высокую стабильность, чем ориентированные на поточную обработку фреймворки реального времени наподобие Twitter Storm.

Задачи Spark можно программировать на Java, Scala и Python. С версией 1.0 предлагается стабильный интерфейс программирования для взаимодействия со Spark и компонент Spark SQL для опроса структурированных данных.

Spark входит в дистрибутивы Hadoop от компаний Cloudera, Pivotal, IBM, Intel и MapR. Основанная разработчиками Spark компания Databricks предлагает платные услуги поддержки системы.