В штаб-квартире Национального института стандартов и технологий США прошла конференция, посвященная проблемам оценки и использования различных технологий анализа данных. С этой конференции NIST начинает процесс разработки общих методов классификации, с помощью которых впоследствии можно будет описывать и применять создаваемые технологии в разных отраслях.

Участники конференции говорили о фундаментальных переменах, происходящих сейчас в сфере анализа данных. Создатель платформы Hadoop Дуг Каттинг рассказал о впервые реализованном в ней методе анализа данных непосредственно в месте их хранения. Большие объемы данных невозможно перемещать без существенных затрат, отметил он.

Из-за сложности систем анализа данных их поддержка со временем становится все сложнее, особенно после того, как первоначальные разработчики уходят из организации, подчеркнул профессор Берлинского технического университета Волькер Маркл.

Еще одной проблемой будет визуализация данных, считает главный научный сотрудник Тихоокеанской северо-западной национальной лаборатории Пак Чунь Вонг. Стандартные методы визуализации не подходят для работы с большими массивами данных, которые могут быть организованы в иерархии с глубиной в несколько десятков уровней, отметил он.