Но, по словам Майка Олсона, основателя и председателя совета директоров компании Cloudera, занимающейся распространением Hadoop, все может измениться.

«Я полагаю, уже в нынешнем году мы увидим, что Hadoop исчезает из нашего поля зрения, – заявил он на открытии конференции O'Reilly Strata Conference + Hadoop World в Нью-Йорке. – Наверное, в нынешней обстановке такое утверждение многим покажется нелепым».

В 2009 году конференция Hadoop World (в 2012 году это мероприятие решили объединить с O'Reilly Strata Conference) собрала около 400 участников. Теперь, шесть лет спустя, Олсон выступал перед аудиторией в 5 тыс. человек, причем многие наблюдали за его речью в Интернете. Возникает вопрос, каким же образом Hadoop – технология, находящаяся в самом центре экосистемы, которая помогла организациям трансформировать свои данные, – будет развиваться и исчезать одновременно?

«Когда я впервые поднялся на сцену Hadoop World, об этом очаровательном желтом слонике никто еще не слышал, – заметил Олсон, указав на логотип Apache Hadoop. – За прошедшие годы мы переключились на иные темы. Речь пошла о технических проектах, суть которых нам приходилось разъяснять. И теперь мы рассказываем, какие задачи решаются с их помощью».

Вот что имел в виду Олсон, говоря об «исчезновении» Hadoop в нынешнем году. Эта технология превратится в основополагающий слой инфраструктуры данных, на базе которых создаются приложения, помогающие нам лучше понять происходящее вокруг.

«В большинстве случаев бизнес-пользователей не интересует, находятся ли нужные им данные в корпоративном хранилище Teradata или в базе данных Oracle, – пояснил Олсон. – То же самое справедливо и в отношении Hadoop. Системы Teradata, EMC, Oracle и прочих производителей уже исчезли из нашего поля зрения. И Hadoop предстоит пройти тем же путем».

Но несмотря на исчезновение Hadoop из виду рыночные возможности этой технологии расширяются стремительными темпами. Исследования Gartner показывают, что сегодня 73% предприятий уже используют или планируют использовать приложения на платформе Hadoop.

«В общем и целом у них нет желания разрабатывать приложения своими силами, – подчеркнул Олсон. – И я убежден в том, что сегодня мы участвуем в создании рынка объемом в 1 трлн долл. Существующий рынок реляционных баз данных и приложений на их основе оценивается сейчас в 100 млрд долл. Многие клиенты Cloudera наверняка заметили, что объем доступных им данных за последние годы вырос в тысячу раз. Поэтому к уже имеющимся цифрам смело можно добавлять еще один нолик. Сегодня мы разрабатываем на платформе Hadoop решения, которые может позволить себе каждый. И клиенты тоже готовы перейти на нее. А значит, вам нужно создавать такие приложения, точнее, нам всем нужно создавать их».