Новая эра работы с данными: «большая семерка» ОС, версия 2013

Непрерывное обновление ИТ-ландшафта побуждает желание узнать, что произойдет в этой области в 2013 году, однако любая попытка составить перечень наиболее значимых технологий этого периода изначально ущербна — для выделения какой-либо устойчивой тенденции на основе оценки фрагментарных изменений, произошедших в уходящем году, 365 дней, даже по меркам стремительной компьютерной эволюции, слишком мало. Как показывает опыт, для создания любой значимой новации требуется пять-шесть лет — например, путь планшетного компьютера от начала инженерного проектирования до выхода на массовый рынок занял почти десять лет, хотя устройство достаточно простое. А еще для формирования прогнозов стоило бы учесть предысторию, к тому же почти все новации не изолированы, они прямо или косвенно связаны между собой, возникают в общем историческом, экономическом и социальном контексте. Кроме того, ИТ развиваются крайне неравномерно, бывают полосы относительного спокойствия, а бывают периоды, как например сейчас, когда отрасль переживает колоссальный тектонический сдвиг.

Во втором десятилетии XXI века темпы развития ИТ явно ускорились — изменилась сама ее модель, охватывающая пространство от гаджетов до суперкомпьютеров и характеризуемая такими чертами, как многоядерная архитектура, виртуализация, сервисная архитектура, работа с семантикой и т. п. По совокупности новых качеств есть все основания считать, что в прошлом остается вычислительная эра (Computing Era) — наступает иная эра работы с данными, которые становятся стратегическим сырьем человечества. Обычно говорят об эре Больших Данных, но точнее говорить об эре решения проблем (Problem Solving Era), ведь суть не в данных как таковых, а в возможности их использования при принятии решений. Для новой эры характерны, с одной стороны, более высокий уровень абстракции и автоматизации, а с другой — близость к реальному миру людей и вещей. Новая эра вызывает к жизни и поддерживающую ее компьютерную науку нового поколения — Computer Science 2.0, объединяющую множество дисциплин, связанных с менеджментом, обработкой и анализом данных, которые становятся доступными в самых разнообразных областях человеческой деятельности.

Следствием происходящей смены эпох становится изменение представления о компьютере, который из счетного устройства превращается в универсальный инструмент работы с данными. Самый весомый аргумент в пользу этого утверждения — успех планшетных компьютеров. Вместе с переходом от счета к работе с данными на первые места выходят новые методы менеджмента данных и аналитика во всех ее видах, необходимые для извлечения полезных знаний из сырых данных, что критически важно в условиях роста объема разнообразных сведений. Развитие и становление Computer Science 2.0 предполагает коллаборацию профессионалов самых различных специальностей — от сугубо гуманитарных до технических.

Достойное место в Computer Science 2.0 займет Data Science, и хотя сейчас окружающая эту еще не сложившуюся науку атмосфера немного перегрета, в серьезных кругах ей уделяется особое внимание. Появление науки о данных в конце 60-х предвидел еще Петер Наур, один из создателей языка Algol-60, а с 2001 года Data Science признана как академическая дисциплина, вопросы которой обсуждаются в таких журналах, как The Data Science Journal и The Journal of Data Science.

Смещение фокуса со счета на данные заставляет предположить, что локомотивом развития индустрии на ближайшие годы станет не рост производительности процессоров, а появление новых типов систем хранения данных, чему способствуют, в частности, новые открытия и перспективные исследования.

• Память атомарного масштаба (atomic-scale memory). Магнитная память разрабатывается исследователями из IBM, предлагающими использовать лишь дюжину атомов для хранения одного бита, что позволит на два порядка увеличить плотность хранения данных.
• Память на кварцевом стекле (quartz glass storage). Компания Hitachi намеревается выпустить первые изделия на базе этой технологии в 2015 году, и хотя здесь не ожидается рекордов плотности, однако можно хранить 40 Мбайт на квадратном дюйме, что выше аналогичного показателя для CD (35 Мбайт) при обеспечении вечного хранения, теоретически до миллионов лет, что решит, например, проблему сохранения культурного наследия.
• Память на основе ДНК (DNA-encoded storage). Теоретически одной лабораторной пробирки такой памяти должно хватить для записи всего содержания современного Интернета. В эксперименте Гарвардского университета книга, содержащая 53 426 слов, 11 иллюстраций и код программ на JavaScript объемом 1 Мбайт, была записана на одну молекулу; правда, пока процесс ее выращивания занял несколько суток, а чтение информации осуществлялось еще дольше и сопровождалось большим количеством ошибок.

В более близкой перспективе возможны серьезные изменения в архитектуре хранения данных — можно предположить конвергенцию систем хранения и серверов: диски приблизятся к процессорам, существенная часть данных будет храниться в облаках, причем на накопителях SSD с энергонезависимой памятью NAND, сегнетоэлектрической памятью (Ferroelectric RAM, FeRAM или FRAM) и памятью на мемристорах, пассивных элементах, способных изменять свое сопротивление в зависимости от величины протекавшего через него заряда.

Тем не менее в преддверии 2013 года требуются более определенные прогнозы, и, суммируя мнения множества аналитиков ИТ-индустрии, сегодня можно говорить, что общими технологическими тенденциями наступающей эры работы с данными будут новые интерфейсы, Большие Данные и облака, а среди частных — следующие семь.

1. Мобильная революция.

Количество устройств для доступа к WWW превысит количество всех остальных вместе взятых, что для корпоративных ИТ означает завершение монополии Windows. Существующее пока разнообразие подходов к созданию мобильных приложений сохранится, но наметится тенденция движения от «родных» и специализированных приложений в сторону универсальных, например на базе HTML5. Здесь же стоит упомянуть носимые компьютеры Phablet (от smartphone и tablet), которые до недавнего времени были экзотикой, хотя, если быть точным, первые экземпляры таких систем появились еще в 1961 году. В последующие годы было разработано множество различных вариантов компьютеров и специализированной периферии, вплоть до появления стандартов WPAN (Wireless Personal Area Network) и WBAN (Wireless body area network), положивших начало коммерциализации таких устройств. Современные версии носимого компьютера сочетают в себе лучшее из мира телефона и планшетного компьютера.

2. Персональное облако и корпоративные хранилища приложений.

Персональное облако, состоящее из множества устройств, потеснит ПК как единственное хранилище персонального контента, произойдет сдвиг от клиентских устройств в сторону облачных сервисов, доступных посредством этих устройств. Предприятия начнут создавать доступные с мобильных устройств их сотрудников, клиентов и партнеров ресурсы приложений, что вызовет изменение роли подразделений ИТ, которые утратят нормирующие и регулирующие функции, а превратятся в подразделение внутреннего информационного снабжения, поддерживающего экосистему и управление компании.

3. Интернет вещей.

Интернет вещей — разрастающаяся паутина взаимосвязанных интеллектуальных объектов, которая обещает радикально изменить способы взаимодействия с повседневными вещами. Ясно, что подобные изменения бросают вызов традиционным понятиям конфиденциальности и безопасности — в единую среду скоро будет интегрировано более 50 млрд различных устройств, способных взаимодействовать между собой (Machine to Machine, M2M). Парадигма M2M материализуется в самых разных воплощениях, открывая возможности для сборки сложных инфраструктур, состоящих из средств вычисления, хранения и собственно сетей, а также для оркестровки этих ресурсов и налаживания управления ими с целью их предоставления в виде сервисов.

4. Гибридные ИТ и облака.

Интенсификация работы сотрудников требует от ИТ выполнения роли брокеров (Cloud Services Brokerage, CSB) между ними и сервисами, доставляемыми из облаков. Значимость ИТ-подразделений не снижается, а повышается — на них будет возлагаться задача адаптации к сервисной модели отдельных сотрудников и всего предприятия.

5. Большие Данные в корпоративной стратегии.

Стратегии работы с Большими Данными смещаются из области решения отдельных задач на уровень общей корпоративной стратегии, формируется Предприятие 2.0, в котором воедино связаны системы управления контентом, хранилища и системы управления данными и метаданными, а также специализированные файловые системы.

6. Аналитика повсюду.

Повсеместное распространение аналитических методов будет способствовать все более полному вовлечению всех групп пользователей в контекст работы компаний, что должно привести к повышению качества принимаемых решений.

7. Интегрированная экосистема ИТ.

Множество отдельных разрозненных систем будет заменено интегрированными средами, охватывающими специализированные машины (appliance) и пространство облачных сервисов, вовлекающее бизнес-сервисы и средства манипулирования приложениями, работающими с различными устройствами.

Все эти технологии будут определять эру работы с данными — так или иначе они связаны с людьми, оказывая влияние на их жизнь и вызывая последствия как глобального масштаба, так и затрагивая только ИТ-специалистов. Здесь уместно вспомнить удивительную по глубине статью Дэниса Цикритзиса «Как удержаться на гребне технологических волн, нами же созданных», написанную в 1997 году к 50-летию ACM. Автор, признанный авторитет в ИТ, рассуждает о том, какие требования к ИТ-профессионалам предъявляет каждая очередная технологическая волна и как адаптироваться к переменам, чтобы не быть выброшенным на берег. Цикритзис отмечал, что трудно советовать, как удержаться на волнах, если не ясна их природа, и можно дать лишь несколько полезных рекомендаций, ориентируясь на возраст человека и стаж производственной или научной деятельности. Разным людям нужны разные рекомендации, особенно если они принадлежат разным группам-поколениям: поколение Фортрана, Кобола, перфокарт; поколение мэйнфреймов, OS-360, PL/1; поколение мини-компьютеров, Unix, Си; поколение MS-DOS, Windows, ПК; поколение Интернета, электронной почты и Web.

Основная мысль Цикритзиса очевидна — преимущество и возможность максимально долго оставаться в специальности имеет тот, кто является носителем багажа знаний, а не навыков и практического опыта. В этой связи обладателям традиционных специальностей можно много лет спокойно почивать на полученном в вузе багаже знаний, а тем, кто связал свою жизнь с ИТ, приходится постоянно преодолевать трудности, связанные с перманентными обновлениями. Практические навыки полезны и относительно легко приобретаются, но они бесполезны на следующей волне и живут ровно столько, сколько живет конкретная технология. Большие Данные и облака изменят труд всех занятых в индустрии ИТ, но сильнее всего они затронут системных администраторов, сетевых инженеров и специалистов, связанных с работой с данными, — тех, кого сейчас называют data scientist.

Не вызывает сомнения тот факт, что появление облачных ЦОД подставит под удар многочисленную армию технических специалистов — переход в облака заметно сократит рынок труда таких массовых специальностей, как системные администраторы, администраторы баз данных, инженеры по эксплуатации вычислительных систем, систем кондиционирования и энергоснабжения. Но прежде всего изменения коснутся администраторов — на этих «пехотинцев ИТ» (soldiger of foot) повлияют автоматизация и усложнение ПО. Благодаря первому уменьшится численность пехоты, зато заметно вырастут квалификационные требования к оставшимся, а диагностика состояния аппаратно-программных конфигураций может быть настолько сложной, что придется создавать команды, состоящие из специалистов разных профилей. Ситуация в этой сфере напоминает автоматизацию промышленного производства с цехами, полными работников, которых сейчас заменили сложнейшие автоматизированные комплексы. Системный администратор будущего — это высококвалифицированный системный инженер сегодняшнего дня.

Эре работы с данными потребуется множество специалистов по программированию сетей (network software engineer), на сегмент рынка труда которых, в частности, заметное влияние окажут программно-конфигурируемые сети (Software-Defined Networking, SDN).

На рынке специалистов data scientists будет наблюдаться гигантский неудовлетворенный спрос — университеты не смогут за короткий срок подготовить или переподготовить нужное количество работников. По оценкам аналитиков, в 2012 году инвестиции в эту новую область составят во всем мире 28 млрд долл. и возрастут до 34 млрд в 2013 году, а через два года работа с Большими Данными станет обычной практикой предприятий. К 2018 году положительный эффект от внедрения этих технологий превзойдет экономический эффект от внедрения традиционных. В соответствии с этим к 2015 году с Большими Данными во всем мире только в сфере ИТ будет так или иначе связано 4,4 млн рабочих мест, из них 1,9 млн в США, причем каждый из этих сотрудников создаст еще три рабочих места других специальностей в данном секторе информационной экономики. В отношении к новой специальности уже появился даже налет гламура — ее называют самой привлекательной (sexy), хотя, по существу, мало еще кто понимает, что такое data scientist.