Множество производителей реляционных СУБД, от компаний-стартапов, предлагающих спецсерверы хранилищ данных с массивной параллельной обработкой, до признанных корифеев, накопивших опыт оперативной обработки транзакций, переходят к технологии обработки данных MapReduce, разработанной компанией Google.
Sybase стала одним из последних производителей, кто присоединился к этому движению. Директор Sybase по технологии Ирфан Хан объявил, что его компания сейчас работает над интеграцией функциональности MapReduce в свою популярную аналитическую СУБД Sybase IQ.
Новая функциональность должна помочь Sybase IQ быстрее обрабатывать больший объем данных, подчеркнул Хан. Sybase IQ – самая устоявшаяся из СУБД, базирующихся на архитектуре столбцов, широко используется для бизнес-аналитики и аналитических приложений.
"Благодаря интеграции MapReduce и подходу, предусматривающему поддержку определяемых пользователем функций, мы сможем перенести обработку ближе к месту размещения данных и при этом сохранить привычный SQL-подобный интерфейс", - особо отметил Хан.
Недавно созданные компании Aster Data и Greenplum стали инициаторами поддержки NoSQL в 2008 году, когда объявили о намерении добавить поддержку технологии MapReduce к своим приложениям хранилищ данных, чтобы ускорить обработку больших наборов аналитической информации.
Сторонники этого подхода утверждают, что MapReduce, наряду с родственным ему свободно распространяемым Java-проектом Hadoop, быстрее, чем реляционные базы данных, обрабатывает большие массивы информации (сотни терабайтов или даже петабайтов), распределенные по крупномасштабной сети серверов, подобной сетям поисковых серверов Google.
Первыми MapReduce и Hadoop начали применять у себя компании, работающие в Web, такие как Yahoo, Facebook и LinkedIn, предъявляющие те же требования к обработке данных, что и Google.
Между тем сторонники SQL утверждают, что преимущества MapReduce и Hadoop выявляются только при определенных типах обработки данных, таких как индексация текстов и добыча данных, а язык и инструментарий SQL работают быстрее и лучше удовлетворяют разнообразные требования большинства предприятий.
Однако, если судить по отзывам компаний, представленным на состоявшейся прошлой осенью конференции HadoopWorld, интерес к новой технологии довольно заметен. В частности, на конференции выступили представители Visa, JP Morgan Chase, Booz Allen, New York Times и China Mobile.
Один из пионеров рынка реляционных баз данных, Майкл Стоунбрекер, стал соавтором статьи, в которой утверждается, что технология SQL в большинстве случаев по-прежнему превосходит MapReduce. Однако эти выводы не повлияли на политику компании Vertica Systems, где Стоунбрекер работает директором по технологии, и она объявила о намерении добавить поддержку функциональности Hadoop в версию 3.5 своей СУБД Vertica.
Поставщик устройств для хранилищ данных Netezza и старожил этого рынка компания Teradata тоже работают над добавлением функциональности MapReduce.
Кроме того, группа исследователей под руководством ученого из Йельского университета Даниэля Абади разработала систему HadoopDB, которая объединяет PostgreSQL, Hadoop и версию Hadoop компании Facebook, получившую название Hive.
На действиях трех ведущих производителей традиционных реляционных СУБД, по-видимому, сказывается тот факт, что корпоративные клиенты все чаще вместо оперативной обработки транзакций первоочередное внимание уделяют аналитике.
В октябре представители IBM сообщили, что компания разработала Web-сервис на базе технологии Hadoop, получивший название M2. Однако пока неизвестно, намерена ли компания использовать эту технологию для своих реляционных СУБД DB2 или Informix.
Microsoft, как сообщается, встроит возможности, аналогичные MapReduce, в следующую версию СУБД SQL Server 2008, известную под кодовым названием Madison.
Корпорация Oracle в свою очередь объявила, что уже интегрировала поддержку MapReduce в свою СУБД.
Аналитик Курт Монаш отметил, что на него произвела большое впечатление интеграция SQL и MapReduce, реализованная компанией Aster Data. "Я глубоко благодарен ребятам из SAS Institute, партнера Aster, за такую работу", - сказал он.