Объемы данных, обрабатываемых современными информационными системами, постоянно растут, а логика бизнес-приложений усложняется, что исключает какое-либо участие человека и вызывает потребность в адаптивных алгоритмах, способных учитывать изменения окружающей среды. Машинное обучение сегодня переживает бурный рост, и такие компании, как «Яндекс», уже почувствовали это в своей работе.
В 2013 году сенсаций ждать не стоит — продолжится развитие технологий, с которых началось нынешнее десятилетие, однако все ярче будут проявляться черты наступившей новой эры работы с данными.
ИТ на пороге качественных перемен: Большие Данные, мобильность, беспроводной доступ к Всемирной паутине — все эти веяния времени вряд ли будет правильным рассматривать только с точки зрения технологий и пытаться решать порождаемые ими задачи путем установки очередного ящика в серверную комнату. Скорее всего, речь идет, пусть и не буквально, о новом измерении, дополняющем имеющиеся четыре.
Сегодня для анализа Больших Данных пытаются использовать подходы и методы, разработанные еще при создании технологий информационных хранилищ, и хотя при этом делаются поправки с учетом количественных показателей, в них не учитываются принципы сбора, обработки и анализа данных. Вместе с тем некоторые особенности традиционных операций могут противоречить специфике обработки Больших Данных.
«Большие Данные» — понятие достаточно общее и размытое, это и большие объемы данных, и средства аналитики, и параллельная обработка, и распределенное хранение, и обработка со скоростью поступления данных. Компания IBM предложила платформу обработки Больших Данных, решающую все эти задачи.
Инициатива федерального правительства США «Большие данные: исследования и разработки» носит административный характер и полностью игнорирует личностный фактор. Что за этим стоит?
После пяти лет работы по созданию системного ПО для устройств хранения исследовательское подразделение корпорации EMC в России расширило поле своей деятельности на решение проблем обработки Больших Данных.
Проблема Больших Данных вызвана не столько большими объемами, сколько неспособностью традиционных методов справиться с потоками разнообразных данных, поступающих из огромного числа внешних и внутренних источников, имеющих различную структуру и схемы индексации. Для работы с Большими Данными требуются новые решения, например, такие как пакет SAS High-Performance Analytics.
Проблема Больших Данных вечна и призрачна — на всем протяжении истории технологии управления данными всегда имелись данные, которые хотелось бы эффективно хранить и обрабатывать, но их объемы делали эту задачу непосильной для существующих СУБД. Однако иногда удается найти решение частных случаев проблемы Больших Данных — например, для категорий данных, управляемых традиционными СУБД.
Выполненная по заказу ЦРУ, разработка компании Cleversafe может быть востребована в ряде сугубо гражданских приложений.
Многочисленные исследования аналитиков и игроков ИТ-рынка свидетельствуют, что одна из главных нынешних проблем компаний и организаций — переизбыток информации, причем высказывается даже мнение, что человечество производит сейчас данных больше, чем может хранить. Что значит для общества проблема Больших Данных и какие пути ее решения предлагают сегодня субъекты индустрии ИТ?
Технические руководители крупнейших ИТ-компаний: Hitachi Data Systems, Teradata, EMC/Greenplum и Fujitsu рассказывают о своих взглядах на Большие Данные, облака и аналитику.
В течение последних лет корпорация IBM планомерно выстраивала на базе собственных и приобретенных технологий платформу управления информацией, охватывающую все средства, необходимые предприятиям для работы с данными, однако сейчас эта картина будет неполной без включения в цепочку поставки средств работы с Большими Данными.