Разрабатываемая сейчас версия 0.23 распределенной системы обработки данных Apache Hadoop сможет работать на кластерах из 6 тыс. машин, в каждой из которых установлено по 16 и более процессорных ядер и параллельно выполнять до 10 тыс. заданий, рассказал вице-президент Apache Foundation и основатель компании Hortonworks Арун Марти на конференции O'Reilly Strata. Версия 0.23 сейчас находится на стадии альфа-тестирования. Ее выход должен состояться в текущем году. Уже сейчас Hadoop испытана на кластерах из 4 тыс. машин.

В новой версии Hadoop планируется реализовать также поддержку федерации и средств высокой доступности в файловой системе HDFS. Платформа MapReduce, на базе которой построена Hadoop, тоже будет обновлена. Ее новая версия под условным названием Yarn, обладает повышенной производительностью, в особенности на больших кластерах.

На той же конференции компания Hortonworks, специализирующаяся на работе с системами Hadoop, и компания MarkLogic объявили об интеграции своих платформ, благодаря чему у пользователей появится возможность объединить средства MapReduce со средствами индексации и интерактивного анализа в реальном времени MarkLogic.