Hadoop

Новые приложения предназначены для решения одной из основных задач обработки больших объемов данных: объединения данных из разных источников и внесения их в систему обработки — например, кластерную СУБД Hadoop.

Компания Hitachi Data Systems покупает компанию Pentaho, занимающуюся разработкой программного обеспечения бизнес-анализа. Приобретенные технологии анализа Hitachi намерена интегрировать в свои системы Интернета вещей, которые будут разрабатываться для сферы здравоохранения, общественной безопасности и других отраслей.

В 2014 году программное обеспечение Apache Hadoop совершило революцию в области Больших Данных, а в 2015-м Apache Spark обещает вытеснить Hadoop благодаря своим более развитым средствам анализа.

Всего за несколько лет технологии Больших Данных прошли путь от громких обещаний до одной из главных движущих сил новой цифровой эпохи. В 2014 году мы все чаще имели возможность наблюдать, как предприятия, реализующие проекты Больших Данных, от этапа тестирования переходят к их производственной эксплуатации.

Системы вроде Hadoop и Spark справляются с управлением огромными объемами информации, но инструментов для ее разбора и анализа пока не хватает. Компания SpaceCurve, стартап всего с двухлетней историей, выпустила новую СУБД, обеспечивающую возможность оперативного анализа географических данных по мере их поступления.

Мощная, масштабируемая платформа для больших данных сочетает предварительно настроенное и протестированное аппаратное обеспечение с ПО с открытым исходным кодом.

За последние годы экосистема Hadoop претерпела существенные структурные изменения, обретая черты полнофункциональной системы для горизонтально масштабируемой обработки данных, работающей с интерактивными и поточными нагрузками. Заметную роль в этом изменении сыграли проекты Spark, Storm и Tez.

Кроме того, есть возможность импортировать данные из Hadoop для более быстрого анализа в самой Vertica.

Теперь и операционная система Linux уже не чужда Microsoft. С таким посланием генеральный директор Microsoft Сатья Наделла обратился к аудитории на фоне изображения «Microsoft любит Linux» во время веб-конференции, где были анонсированы новые сервисы, добавленные к облаку Azure, включая пакет Cloudera Hadoop и дистрибутив CoreOS Linux.

В последние несколько лет технология Hadoop и большие данные стремительно ворвались в технологическое пространство, сумев привлечь самое пристальное внимание поставщиков облачных и мобильных сервисов.

Аналитика Больших Данных требует применения высокопроизводительных систем, однако на пути конвергенции этих двух миров имеется ряд препятствий. Как решать проблему Больших Данных на суперкомпьютерах?

Teradata покупает уже третью короткий срок компанию, специализирующуюся на Больших Данных. На этот раз в область ее интересов попала консультационная фирма Think Big Analytics.

Сравнивать коммерческие системы обработки Больших Данных на основе Hadoop теперь станет несколько проще благодаря появлению нового теста от Transaction Processing Performance Council.

Компания Hortonworks основана в 2011 году группой сотрудников Yahoo, принимавших участие в создании первой версии кластерной СУБД Hadoop.

Вызвавшая в свое время фурор модель распределенных вычислений MapReduce уже успела морально устареть — производительности, обеспечиваемой данной моделью, для аналитики Больших Данных уже недостаточно.