Большие данные

Объемы данных, которые вынуждены сегодня накапливать компании, постоянно растут, что порождает проблему их оптимального хранения. Значительную часть этих объемов составляют разнообразные учетные журналы, которые часто вообще не используются, хотя и могут оказаться полезными в будущем. Как с помощью Apache Hadoop обеспечить эффективное хранение журналов с целью их последующей обработки?

Общий объем инвестиций в компанию Double Data составил около 200 млн руб.

Сегодня приложения с интенсивной обработкой больших объемов данных выполняются на высокопроизводительных компьютерах, и перенос таких приложений в облако требует решения ряда проблем. Для работы в облаках нужны масштабируемые и эффективные методы управления данными, а также более быстрые сети и системы хранения наряду с более строгими требованиями к качеству обслуживания.

YDF использует для анализа Больших Данных наработки «Яндекса» в области машинного обучения, распознавания образов и речи, нейронных сетей, обработки естественного языка.

Данные системы помогут дорожным службам предотвращать ДТП или даже решить, как распределить технику для очистки дорог в снегопад.

Под давлением клиентов поставщик корпоративного программного обеспечения и сервисов Pivotal планирует открыть исходный код части своего пакета, предназначенного для анализа данных.

Группа поставщиков средств управления Большими Данными, в число которых вошли компании IBM, Hortonworks и Pivotal, решили объединить свои усилия для создания унифицированной базовой платформы программного обеспечения с открытым кодом Hadoop.

Новые приложения предназначены для решения одной из основных задач обработки больших объемов данных: объединения данных из разных источников и внесения их в систему обработки — например, кластерную СУБД Hadoop.

Система ориентирована на обнаружение аномалий в больших объемах структурированных и неструктурированных данных, поступающих из любых источников.

Средства пойдут на разработку сервисов с использованием технологий обработки Больших Данных.

По оценкам экспертов Research and Markets, среднегодовой рост мирового рынка облачной аналитики в ближайшей перспективе будет превышать 26%.

Компания Hitachi Data Systems покупает компанию Pentaho, занимающуюся разработкой программного обеспечения бизнес-анализа. Приобретенные технологии анализа Hitachi намерена интегрировать в свои системы Интернета вещей, которые будут разрабатываться для сферы здравоохранения, общественной безопасности и других отраслей.

По оценкам экспертов Research and Markets, среднегодовой рост мирового рынка облачной аналитики в ближайшей перспективе будет превышать 26%.

В 2014 году программное обеспечение Apache Hadoop совершило революцию в области Больших Данных, а в 2015-м Apache Spark обещает вытеснить Hadoop благодаря своим более развитым средствам анализа.

Всего за несколько лет технологии Больших Данных прошли путь от громких обещаний до одной из главных движущих сил новой цифровой эпохи. В 2014 году мы все чаще имели возможность наблюдать, как предприятия, реализующие проекты Больших Данных, от этапа тестирования переходят к их производственной эксплуатации.

Институт имени Алана Тьюринга создается в Великобритании для ведения исследований в области сбора, организации и анализа Больших Данных.

Компании выпустили решение для анализа потоков данных в реальном времени. Совместно созданная система позволяет оперативно реагировать на события, и как утверждается, обладает неограниченной масштабируемостью.

Компании смогут предложить клиентам полную автоматизацию кампаний цифрового маркетинга — от инновационных процедур сегментирования клиентов до многоканального взаимодействия с клиентами в режиме реального времени.

Технология HANA изначально была в большей степени рассчитана на обработку структурированных данных, например финансовых, но с недавнего времени в системе появилась поддержка работы с потоковыми данными, например, поступающими в реальном времени уведомлениями и информацией о событиях.

Компания Revolution Analytics известна прежде всего созданием одного из наиболее популярных коммерческих дистрибутивов среды выполнения языка программирования R, ориентированного на решение задач статистики и аналитики.