Графы могут достигать терабайтных размеров, а для их обработки обычно используются серверные кластеры с большим объемом оперативной памяти.

Ученые МТИ объявили о разработке системы, в которой для анализа графов вместо DRAM используется недорогая флеш-память. «Движком» решения стал алгоритм, сортирующий обращения к графу и размещающий их во флеш-памяти в таком порядке, чтобы к ним можно было осуществлять доступ максимально быстро. Кроме того, для снижения непроизводительных издержек некоторые запросы объединяются. Сам алгоритм требует большой вычислительной мощности, но для его выполнения ученые создали аппаратный ускоритель, размещенный на плате вместе с флеш-памятью.

Исследователи протестировали систему на графе Web Data Commons, включающем данные по 3,5 млрд веб-страниц и 128 млрд гиперссылок. Для обработки графа традиционным образом потребовался сервер стоимостью в тысячи долл. со 128 Гбайт памяти. Той же производительности удалось достичь после подключения двух ускорителей с 1 Гбайт DRAM и 1 Тбайт флеш-памяти к настольному компьютеру не самой большой мощности.

В дальнейшем исследователи планируют создать программно-аппаратную платформу, которая позволит с помощью несложных программ на обычных ноутбуках обрабатывать большие данные с производительностью на уровне серверов.