В МТИ предлагают способ радикально «уменьшить» Большие Данные

Источник: web.mit.edu

Результирующие данные занимают гораздо меньше места в памяти, но обрабатывать их можно обычными способами, утверждают авторы, и обработка будет происходить гораздо быстрее.

Приемник сигналов GPS определяет местонахождение каждые 10 секунд, и за день набирается около гигабайта. Но при анализе маршрута не нужно учитывать координаты всех точек на пути, достаточно знать места поворотов, а путь между ними можно принять соответствующим прямой. Именно это делает алгоритм, объясняют авторы.

При этом он действует «на лету», по мере поступления данных. Например, он сжимает первый полученный мегабайт, затем ждет накопления следующего и снова сжимает, и т. д. Помимо математического представления каждого сегмента сохраняются точные координаты случайной выборки точек. На их основе алгоритм может по ходу действия пересчитывать оптимальную длину сегментов.

Часть информации при такой компрессии теряется, но ученые гарантируют, что уровень ошибок будет весьма низким. В принципе тот же метод может работать с любыми типами данных: нужно лишь найти значение линейных аппроксимаций разброса точек. Например, при анализе видеоданных каждый сегмент линии это монтажный кадр, а соединения соответствуют смене планов.