Флеш-память становится необходимым звеном в инфраструктуре хранения и ключевым компонентом гиперконвергентных решений. Постепенно вытесняя унаследованные технологии, она помогает эффективнее перемещать и хранить данные.

Все более широкое внедрение твердотельных накопителей (Solid State Drive, SSD) — одна из наиболее значимых тенденций на рынке систем для хранения данных. Вслед за стартапами ведущие производители таких систем включили в свои линейки бездисковые массивы, где используется исключительно флеш-память (All-Flash Array, AFA). Твердотельные накопители оказали заметное влияние и на архитектуру серверов среднего и старшего классов. Реальностью становится бездисковый ЦОД. Благодаря низким задержкам и высокому быстродействию твердотельных накопителей значительно увеличиваются производительность ИТ-систем в IOPS (операциях ввода-вывода в секунду) и их пропускная способность.

По прогнозу аналитиков Gartner, в 2017 году накопителей SSD корпоративного класса будет продано больше, чем HDD. В ближайшие три года в корпоративном сегменте объем продаж SSD (в денежном выражении) будет расти в среднем на 20% в год, в то время как HDD — лишь на 4%. В Transparency Market Research (TMR) тоже считают, что до 2022 года быстрее всего будет развиваться сегмент накопителей SSD корпоративного класса, и дают еще более оптимистичную оценку: среднегодовые темпы роста продаж таких продуктов могут превысить 76%.

Наряду с увеличением быстродействия растет и вместимость SSD. Этим летом компании Seagate, Samsung, Toshiba, Western Digital и с десяток других вендоров представили новые технологии и продукты, в том числе флеш-накопители для архивирования данных — SSD большой емкости.

Компания Samsung к 2020 году собирается представить флеш-накопитель форм-фактора 2,5 дюйма емкостью 100 Тбайт. В ее SSD большой емкости применяется 64-слойная память 3D V-NAND. Скорость передачи данных одной микросхемы емкостью 64 Гбайт достигает 800 Мбит/с. Samsung представила также BGA (Ball-Grid Array) SSD с тремя битами на ячейку. При весе 1 г он вмещает 1 Тбайт данных. Скорость последовательного чтения составляет 1500 Мбайт/c, а записи — 900 Мбайт/c. В числе других новинок Samsung — SSD форм-фактора M.2 емкостью 2 Тбайт.

Toshiba и Western Digital (последняя недавно приобрела SanDisk) собираются начать в 2017 году массовое производство 64-слойной памяти 3D NAND (BiCS). В ней используется технология TLC (три бита на ячейку). Емкость микросхемы памяти — 32 Гбайт. В планах Toshiba — флеш-память BiCS FLASH удвоенной емкости. Toshiba анонсировала также новые накопители BGA SSD NVMe PCIe Gen3 x2. В них применяются микросхемы BiCS емкостью 512 Гбайт. Продукт будет выпускаться в виде модулей M.2 Type 1620 и M.2 Type 2230.

Новые разработки находят отражение в расширении сферы применения накопителей SSD.

В НОВОЙ РОЛИ: ФЛЕШ-ПАМЯТЬ В СИСТЕМАХ АРХИВИРОВАНИЯ, РЕЗЕРВНОГО КОПИРОВАНИЯ И В ОБЪЕКТНЫХ ХРАНИЛИЩАХ

Флеш-накопители традиционно применяются для хранения активных, «горячих» данных. Именно с учетом этого предназначения проектируются системы хранения с алгоритмами тиринга (динамического многоуровневого хранения) и кеширования (см. рис. 1).

Рис. 1. Использование накопителей разного типа для хранения «горячих» и «холодных» данных
Рис. 1. Использование накопителей разного типа для хранения «горячих» и «холодных» данных 

 

Сегодня ситуация принципиально меняется. Одна из важных тенденций: накопители SSD все чаще используются для хранения не только «горячих», но и «холодных» данных, в частности для их резервирования и даже архивирования. Этому способствует внедрение виртуализированных программно конфигурируемых инфраструктур хранения (SDS), с помощью которых подобные приложения можно реализовать достаточно эффективно и экономично. Еще один фактор — увеличение емкости SSD, подчас опережающих по этому показателю не только дисковые накопители, но и накопители на магнитной ленте.

Как отмечают в Seagate, флеш-накопители большой емкости предназначены для использования в массивах хранения данных и системах активного архивирования, а также для поддержки нагрузок с интенсивным чтением. Систему емкостью 1 Пбайт уже сейчас можно собрать из 17 накопителей SSD, причем контроллеров требуется меньше, чем в прежних системах эквивалентной емкости.

Наконец, фактор стоимости нивелируется за счет того, что для нагрузок без интенсивного ввода-вывода, таких как архивирование и резервирование данных, можно применять недорогие флеш-накопители, рассчитанные на меньшее число циклов перезаписи. Например, компания Facebook разработала экспериментальные решения с использованием SSD для архивирования на носителях WORM — флеш-памяти QLC 3D NAND (с четырьмя битами на ячейку). Такие SSD емкостью до 100 Тбайт недолговечны (рассчитаны всего на 150 циклов записи), но относительно дешевы.

Еще один вариант — гибридные устройства с накопителями разного типа. И это не только традиционная комбинация SSD+HDD. Так, система HPE StoreEver LTO-7 Ultrium 15000 объединяет флеш-накопители Intel P3500 NVMe SSD и магнитные ленты. В конфигурации с двумя процессорами E5-2650 v4 Xeon с частотой 2,2 ГГц и оперативной памятью 64 Гбайт средняя скорость резервирования составляет 374 Мбайт/с, а восстановления из резервной копии — 295 Мбайт/с.

Таким образом, на всех уровнях флеш-память постепенно вытесняет унаследованные технологии хранения (см. рис. 2) и становится необходимым звеном в инфраструктуре хранения, помогающим эффективнее перемещать и хранить данные.

Рис. 2. Четыре уровня хранения предполагают использование для разных нагрузок и задач накопителей соответствующего типа (по данным Western Digital/SanDisk). Для всех этих уровней уже разработаны флеш-накопители, которые придут на смену унаследованным технологиям
Рис. 2. Четыре уровня хранения предполагают использование для разных нагрузок и задач накопителей соответствующего типа (по данным Western Digital/SanDisk). Для всех этих уровней уже разработаны флеш-накопители, которые придут на смену унаследованным технологиям

 

Еще одно интересное направление использования флеш-массивов — хранение неструктурированных данных. Например, система IBM DeepFlash 150 представляет собой оптимизированный по плотности и стоимости хранения массив JBOF (Just a Bunch Of Flash) в шасси высотой 3U, который заказчики могут использовать с ПО IBM Spectrum Scale на базе IBM General Parallel File System (см. рис. 3). Последнее устанавливается на отдельном сервере и служит для реализации основных функций массива (снимки данных, сжатие, репликация) и управления хранением.

Рис. 3. Система хранения IBM DeepFlash 150 с программным обеспечением IBM Spectrum Scale
Рис. 3. Система хранения IBM DeepFlash 150 с программным обеспечением IBM Spectrum Scale

 

«На борту» у DeepFlash 150 — 64 флеш-карты MLC от Western Digital. Они менее долговечны, чем накопители IBM FlashCore, и не предназначены для активной перезаписи, поэтому используются для хранения видео или медицинских снимков. По данным IBM, система представляет собой новый класс флеш-массивов — недорогих и отличающихся высокой плотностью.

Ранее в этом году IBM выпустила флеш-массивы FlashSystem A9000 и A9000R для провайдеров облачных сервисов и крупных центров обработки данных, а также специализированные модули флеш-памяти для своей системы DS8888. Аналитики Gartner относят компанию к лидерам рынка флеш-систем («Gartner Magic Quadrant for Solid-State Arrays», август 2016 года).

Флеш-массивы стали использоваться для хранения неструктурированных данных и другими вендорами — например, системы Pure Storage FlashBlade и EMC Project Nitro (флеш-версия Isilon) рассчитаны на хранение нескольких петабайтов таких данных.

ВЫСОКАЯ СКОРОСТЬ, МАЛАЯ ЗАДЕРЖКА

Одновременно развиваются решения, где более полно используются растущая емкость флеш-памяти и ее производительность. Так, в этом году EMC выпустила новую версию VMAX All Flash (см. рис. 4) — флеш-массив, поддерживающий унифицированный (блочный и файловый) доступ с возможностью масштабирования до 4 Пбайт. Как утверждают в компании, модели EMC VMAX 450 и EMC VMAX 850 отличаются более низкой, чем у традиционных дисковых массивов, стоимостью владения (TCO). EMC планирует также представить новую технологию сжатия данных в реальном времени, которая поможет значительно оптимизировать использование емкости.

Рис. 4. Система EMC VMAX All Flash призвана обеспечить получение полной отдачи от производительности флеш-памяти и экономических преимуществ новых SSD с большой емкостью. Масштабируемая модульная архитектура VBrick позволяет легко наращивать ее и перемещать данные
Рис. 4. Система EMC VMAX All Flash призвана обеспечить получение полной отдачи от производительности флеш-памяти и экономических преимуществ новых SSD с большой емкостью. Масштабируемая модульная архитектура VBrick позволяет легко наращивать ее и перемещать данные

 

По информации вендора, VMAX All Flash обеспечивает производительность в миллионы IOPS, задержку до 500 мкс при чтении-записи и пропускную способность до 150 Гбит/с. Благодаря встроенным сервисам по работе с данными, VMAX All Flash может работать с критически важными приложениями, обеспечивая непрерывность функционирования и возможность аварийного восстановления при использовании технологии удаленной репликации EMC SRDF. А технология Write Folding повышает надежность флеш-памяти и помогает достигнуть пиковой производительности.

Технологии флеш-памяти корпоративного класса быстро развиваются, появляются новые форм-факторы накопителей, совершенствуются интерфейсы. Для таких накопителей используются протоколы и технологии, раскрывающие потенциал интерфейса PCIe, например Non-Volatile Memory Express (NVMe). Флеш-память NVMe позволяет снизить задержки при доступе к носителю (см. рис. 5) и может применяться для повышения общей производительности системы, особенно в таких ресурсоемких задачах, как виртуализация, аналитика Больших Данных и высокопроизводительные вычисления (HPC). Таким образом, флеш-накопители корпоративного класса можно разделить на два основных сегмента: устройства NVMe с интерфейсом PCIe для самых требовательных задач и накопители SATA для остальных нагрузок. Последние пользуются пока наибольшим спросом.

Рис. 5. Сравнение флеш-накопителей SATA и PCI/NVMe
Рис. 5. Сравнение флеш-накопителей SATA и PCI/NVMe

 

С помощью NVMe можно получать доступ к флеш-памяти, минуя прослойку SCSI, что сокращает время доступа, особенно в случае аппаратной поддержки NVMe, когда функции драйвера реализуются на аппаратном уровне. По данным Samsung, если у SATA SSD задержка составляет 40–110 тыс. наносекунд, то у PCIe NVMe SSD она достигает 20-100 тыс. наносекунд, то есть может быть вдвое ниже. Для сравнения, у HDD этот показатель равен 3–10 млн наносекунд.

По сравнению с современными NVMe SSD, анонсированные Samsung накопители Z-SSD с памятью V-NAND и контроллером новой архитектуры имеют в четыре раза меньшую задержку, а скорость последовательного чтения у них больше в 1,6 раза. Эти устройства будут конкурировать с Micron 3D XPoint. Коммерческие поставки начнутся в 2017 году. Кроме того, в планах Samsung на 2017 год — накопители NVMe PCIe Gen4X8 SSD со скоростью передачи данных до 12 Гбайт/с.

По скорости технология X-Point от Intel/Micron способна конкурировать с накопителями NVMe. Ее применение потребует изменений в системном ПО, однако внедрение может начаться уже в 2017 году.

Тем временем на рынке появляется все больше NVMe-накопителей. Например, Seagate недавно выпустила накопитель Nytro XP7200 NVMe SSD на 8 Тбайт со скоростью передачи данных 10 Гбайт/c. Он предназначен для высокопроизводительных вычислений, СУБД и аналитики Больших Данных.

ПЛОТНОСТЬ ЗАПИСИ И СТОИМОСТЬ ХРАНЕНИЯ

Недавно произошло знаменательное событие: флеш-память NAND превзошла технологию HDD по поверхностной плотности записи, о чем было объявлено на конференции International Solid State Circuits Conference (ISSCC). В частности, компания Micron продемонстрировала лабораторные образцы памяти 3D NAND с плотностью 2,77 Тбит/дюйм2 (у HDD она составляет около 1,3 Тбит/дюйм2 и за последний год выросла всего на 60%). Флеш-память эволюционирует быстрее (см. рис. 6).

Рис. 6. Прогноз роста плотности записи у SSD и HDD. За опорные точки взяты анонсы новых продуктов, представленные на конференциях ISSC последних лет, и данные Advanced Storage Technology Consortium
Рис. 6. Прогноз роста плотности записи у SSD и HDD. За опорные точки взяты анонсы новых продуктов, представленные на конференциях ISSC последних лет, и данные Advanced Storage Technology Consortium 

 

Вместе с ростом плотности записи снижается стоимость хранения на SSD, причем у HDD этот показатель улучшается значительно медленнее (см. рис. 7). Так, компания Fixstars уже продает 2,5-дюймовый накопитель SSD емкостью 13 Тбайт по цене 1 долл/Гбайт. В новинке SSD-13000M используются контроллер разработки Fixstars и память MLC NAND по технологии 15 нм. Между тем у накопителей HDD стоимость хранения гигабайта данных снизилась с 9 центов в 2012 году до 6 центов в 2016-м, правда, в следующем году она вряд ли изменится.

Рис. 7. Прогноз стоимости 1 Тбайт у флеш-накопителей NAND и жестких дисков в расчете на четырехлетний период
Рис. 7. Прогноз стоимости 1 Тбайт у флеш-накопителей NAND и жестких дисков в расчете на четырехлетний период 

 

Вместе с тем маловероятно, что этот показатель сравняется у SSD и HDD в ближайшем будущем. К тому же, как ожидается, благодаря использованию технологии Heat-Assisted Magnetic Recording (HAMR) плотность записи на HDD вскоре увеличится на 40% (Seagate уже продемонстрировала соответствующий HDD с плотностью записи 1,4 Тбит/дюйм2). Широкое применение в ЦОДах такие новинки могут найти в 2018 году.

Бесспорный козырь SSD — производительность флеш-памяти, что позволяет применять ее для самых «тяжелых» нагрузок. Например, у SSD емкостью 15 Тбайт показатель IOPS/Тбайт более чем в 15 раз превышает аналогичный показатель для HDD 10k 1,8’’ при десятикратно меньшей задержке. Не случайно флеш-память стала одним из ключевых компонентов гиперконвергентных систем.

ФЛЕШ-ПАМЯТЬ В ГИПЕРКОНВЕРГЕНТНЫХ СИСТЕМАХ

Развитием концепции интегрированных систем стали гиперконвергентные системы — эти модульные решения легко масштабируются путем добавления отдельных узлов. По данным исследования ESG, 70% компаний из сегмента ИТ в ближайшие пару лет планируют выделить средства на развертывание подобных решений. Гибкие и масштабируемые гиперконвергентные инфраструктуры позволяют развернуть частное облако и воспользоваться преимуществами облачных сервисов.

В большинстве конфигураций таких систем применяются флеш-накопители — в «чистом» виде или в сочетании с HDD. Это дает возможность добиться высокой плотности оборудования и производительности, обеспечивающей выполнение самых ресурсоемких задач.

Например, EMC в феврале этого года выпустила VxRail — инфраструктурное решение для сред VMware, в котором объединены средства виртуализации, вычислительные ресурсы, хранилище и система защиты данных. Компактное шасси VxRail высотой 2U содержит четыре сервера (то есть четыре узла) и 24 накопителя HDD или SSD. В ее состав также входит программно определяемое хранилище данных Virtual SAN. Масштабировать систему можно от 3 до 64 узлов, причем характеристики будут расти почти линейно. 64 узла в 16 блоках способны поддерживать 3200 виртуальных машин. Никаких внешних массивов и сетей хранения не требуется. Высокопроизводительные версии для поддержки интенсивной нагрузки комплектуются флеш-памятью более 76 Тбайт, памятью DRAM 2 Тбайт и 112 вычислительными ядрами.

Hitachi Data Systems объявила летом о выпуске конвергентной системы Hitachi Unified Compute Platform 2000 (UCP 2000) и платформы UCP HC V240 из линейки гиперконвергентных решений Hitachi Unified Compute Platform HC (UCP HC). Как подчеркивают в HDS, конвергентные решения обеспечивают максимально быстрое развертывание инфраструктуры ИТ, которая, в свою очередь, способна поддерживать виртуализированную среду с высокой плотностью ВМ.

Новые системы Hitachi UCP 2000 упрощают и ускоряют развертывание частных и гибридных облаков. Поддержка конфигураций, построенных целиком на базе флеш-памяти, и использование модульных архитектурных компонентов позволяют добиться высокого уровня гибкости. В то же время вычислительные ресурсы, ресурсы хранения и сетевые подключения можно независимо масштабировать, обеспечивая бесперебойную работу при разных нагрузках.

Системы UCP 2000 способны поддерживать различные среды виртуализации, включая VMware, Microsoft и OpenStack. Они подходят для приложений общего назначения, инфраструктур VDI, баз данных, сред разработки и тестирования ПО.

Hitachi UCP HC V240 (см. рис. 8) представляет собой универсальное гиперконвергентное программно-аппаратное решение. На основе этой системы можно создавать управляемые централизованно пулы ресурсов для развертывания виртуальных машин с использованием настраиваемых политик.

Рис. 8. Система UCP HC V240 обеспечивает высокую производительность и масштабируемость ИТ-инфраструктуры. Она прошла сертификацию по программе VMware Virtual SAN Ready Node и функционирует на базе гиперконвергентного ПО от VMware
Рис. 8. Система UCP HC V240 обеспечивает высокую производительность и масштабируемость ИТ-инфраструктуры. Она прошла сертификацию по программе VMware Virtual SAN Ready Node и функционирует на базе гиперконвергентного ПО от VMware

 

Архитектура таких систем позволяет масштабировать вычислительные ресурсы и ресурсы хранения, обеспечивая простоту управления. Нередко в них применяются проприетарные решения и подходы. Например, чтобы увеличить срок службы накопителей на флеш-памяти, сохранив относительно низкую их стоимость, в гиперконвергентной системе хранения Dell SC9000 используется механизм перемещения данных между уровнями хранения — флеш-памятью SLC или eMLC, выдерживающей большое количество циклов перезаписи, и памятью 3D NAND, в которую в сжатом виде записываются редко используемые данные.

Разработчики массива HPE 3PAR усовершенствовали свою технологию Adaptive Sparing в расчете на новые емкости (в последней модели СХД применяются SSD емкостью 7,68 и 15,36 Тбайт). Динамическое выделение емкости способствует внутренней «сборке мусора» на накопителе — ведь теперь приходится работать с указателями на большие объемы флеш-памяти. Кроме того, по мере увеличения емкости узким местом становится интерфейс доступа к данным. И здесь важную роль играет технология Express Layout, позволяющая сразу двум контроллерам работать с SSD через интерфейс SAS 12 Гбит/c (active/active).

Свою новинку представила и Oracle. В апреле компания сообщила о выпуске оптимизированного программно-аппаратного комплекса Oracle Exadata X6 Database Machine (см. рис. 9). В его составе — процессоры Intel Xeon, сетевые соединения InfiniBand, серверы Oracle Exadata Storage Server, использующие только флеш-накопители или комбинацию SSD и HDD, а также программное обеспечение Oracle Exadata Storage Server. Как сообщается, в Exadata X6 применяется флеш-память нового поколения, которая «конкурирует по производительности с DRAM».

Рис. 9. Oracle Exadata X6 выполняет более 5,6 млн IOPS в процессах OLTP в одной стойке
Рис. 9. Oracle Exadata X6 выполняет более 5,6 млн IOPS в процессах OLTP в одной стойке

 

В конфигурации Oracle Exadata X6 Extreme Flash (без HDD) каждая стойка содержит флеш-накопители NVMe общей емкостью более 358 Тбайт. Такой объем флеш-памяти больше, чем максимальная емкость конкурирующих массивов хранения класса All-Flash, доступных сегодня на рынке. При наличии множества стоек емкость флеш-памяти Oracle Exadata можно масштабировать до более чем 6 Пбайт.

В конфигурации Oracle Exadata X6 High Capacity используются наполненные гелием жесткие диски вместимостью 8 Тбайт для увеличения общей емкости дисковой подсистемы в стойке до более 1,3 Пбайт. Производитель утверждает, что встроенный механизм интеллектуального кеширования во флеш-памяти обеспечивает производительность уровня флеш-накопителей по цене дисковой памяти.

Те же технологии Oracle Exadata теперь доступны в облаке Oracle Cloud для облачного сервиса баз данных.

ЗАКЛЮЧЕНИЕ

Оснащенные флеш-накопителями серверы и СХД уже сегодня позволяют решать самые ресурсоемкие задачи, такие как поиск в крупных базах данных, оперативная обработка транзакций, бизнес-аналитика и крупномасштабная виртуализация в облачных вычислениях. Практически решена проблема долговечности SSD: современные накопители рассчитаны на пять лет интенсивного использования. SSD имеют все шансы в ближайшее время заменить HDD в серверах, а в будущем — и в СХД. Уже анонсированы SSD емкостью 16 Тбайт, а к 2020 году появится флеш-память емкостью 40 Тбайт. Новые разработки могут привести к существенным изменениям в архитектуре вычислительных систем и центров обработки данных.

Cергей Орлов, независимый эксперт