Мы знаем, что данные становятся все более ценным для бизнеса ресурсом. Известно и то, что объем генерируемых в мире данных будет расти в геометрической прогрессии. Но тогда возникает вопрос: где же компании собираются их хранить? С появлением новых технологий в этой отрасли стали происходить заметные изменения, которые окажут влияние на рынок корпоративных СХД.
Ожидается, что в скором времени резко вырастут объемы видеоматериалов и тех данных, которые собираются с различных датчиков. Последние тенденции приведут к изменениям в самом подходе к хранению информации и управлению ею. ИТ-администраторы и директора должны заранее планировать будущие изменения и быть к ним готовыми.
Каждая ответственная компания стремится раскрыть возможности своих данных, но сперва их необходимо сделать более управляемыми. В этом случае традиционные инструменты отходят на второй план: в первую очередь предприятие нуждается в мощном оборудовании и максимально стандартизированном управлении информацией.
Например, компании должны по возможности централизовать администрирование существующих СХД, в идеале — управлять ими через единый интерфейс. Данные будет намного легче сортировать, контролировать и использовать, если их можно будет универсальным образом интерпретировать.
Еще один тренд — автоматизация хранения с целью повышения эффективности, снижения затрат на администрирование и исключения ошибок. Например, аналитика с использованием ИИ и машинного обучения позволяет прогнозировать заполняемость, выделять редко используемые данные для перемещения на другие уровни хранения, выявлять потенциальные риски.
Рост мирового рынка СХД с функциями ИИ (AI-Powered Storage). По данным Market Research Future
Решения на основе искусственного интеллекта и машинного обучения для управления и анализа больших объемов данных получат широкое распространение. Особенно с учетом того, что сложность и разнообразие данных продолжают расти.
Многие компании предпочитают использовать комбинацию локального хранилища и облачных платформ. Там, где требуется быстрый доступ к большим объемам данных, по-прежнему необходимы сети хранения SAN или другие локальные системы. Однако для резервного копирования и архивирования больше подходит облако. Чтобы оптимизировать распределение ресурсов, используются механизмы многоуровневого хранения — тиринга, которые автоматически определяют оптимальное место для размещения данных.
Используемые технологии хранения данных — сейчас и через два года. По прогнозу Spiceworks Research
Другой тенденцией, которая может оказать глубокое влияние на решения хранения данных, является развитие технологий искусственного интеллекта. Здесь в игру вступают большие объемы информации, особенно на этапе машинного/глубокого обучения: существующие данные проверяются на наличие определенных характеристик системой ИИ, которая затем соответствующим образом «обучается».
Рост продаж СХД для нагрузок ИИ в мире. Источник: IDC
Везде, где используются вычислительные системы на основе GPU, решающую роль играет быстрый обмен данными между алгоритмами ИИ и базовой системой хранения. В конечном счете здесь применяются те же принципы: нужно найти правильное сочетание локальных и облачных систем хранения.
Облачным провайдерам все чаще приходится обеспечивать максимально быстрое подключение к корпоративной инфраструктуре. По этой причине новые центры обработки данных, такие как ЦОД Microsoft или Amazon, размещаются «ближе к пользователю». Это помогает устранить или, по крайней мере, свести к минимуму проблемы с медленным подключением к облачному серверу.
Это применимо также и к небольшим региональным облачным провайдерам, которые гораздо более децентрализованы, чем инфраструктура ЦОД Azure или AWS. Им требуется хорошее интернет-соединение, но его проще получить с помощью небольших локальных центров обработки данных. Региональные провайдеры такого типа представляют собой разумный компромисс с точки зрения стоимости и производительности. Они могут выступать в качестве точек высокоскоростного подключения к публичным облакам при реализации мультиоблачных решений.
Использование сервисов облачного хранения данных — сейчас и через два года. По прогнозу Spiceworks Research
Многие компании используют несколько публичных облачных сервисов в сочетании со своей локальной инфраструктурой. Это влияет на процессы перемещения, миграции данных и организации доступа приложений к информации. Системы хранения cloud-ready призваны обеспечить переносимость данных между несколькими облачными платформами, а также между локальной площадкой и облаком.
Постоянный рост количества уровней хранения будет влиять на резервное копирование и восстановление: «вернуть» петабайт утерянных данных намного сложнее, чем гигабайт или терабайт. Это в равной степени относится и к архивированию, хотя, естественно, этот процесс менее критичен по времени, чем восстановление из бэкапа. Здесь решающую роль будут играть другие факторы, такие как интеллектуальное индексирование или хранение метаданных, потому что нужно максимально упростить поиск неструктурированных данных — например, видеоконтента.
В недалеком будущем даже предприятия среднего бизнеса не смогут эффективно функционировать без решений HPC. Если раньше высокопроизводительными вычислениями занимались преимущественно университеты и государственные ВЦ, то теперь ситуация изменилась. С увеличением объема данных решения HPC будут необходимы везде, где используются вычислительные приложения и приложения моделирования, требующие большой емкости хранения.
Например, крупному конструкторскому бюро с очень сложными вычислениями подобные решения понадобятся для расчета и визуализации трехмерных объектов. Из-за большого объема данных, участвующих в этом процессе, подобная работа либо была бы чрезвычайно трудоемкой, либо вообще не могла быть проведена.
К новым трендам в отрасли хранения данных можно отнести хранилища объектов для улучшенной индексации и выделения метаданных, а также модули SCM (storage-class memory) для более быстрого доступа к информации с использованием интеллектуальных механизмов тиринга. Благодаря накопителям SCM задержки будут сокращаться до 50%. Энергонезависимая память с производительностью, близкой к скорости работы RAM, позволяет значительно ускорить обработку больших наборов данных.
Кроме того, технология флеш-памяти в виде компонентов SSD продолжит вытеснять в корпоративной среде классические жесткие диски.
Компании будут продолжать заменять традиционные HDD на твердотельные накопители, чтобы повысить производительность, упростить управление и снизить энергопотребление систем. Новые поколения флеш-массивов будут предлагать более совершенные средства автоматизации и защиты данных, а также интеграцию с публичными облаками.
В гораздо большем масштабе будет развертываться протокол NVMe. Линейка массивов хранения Lenovo уже включает в себя хранилища с поддержкой NVMe для увеличения производительности дисковых массивов серии DM.
Массив DM7000F All Flash стал первым на рынке продуктом, который позволил реализовать сквозное решение NVMe over Fabric от сервера до хранилища
Накопители SSD PCIe, использующие NVMe-спецификацию протоколов доступа к твердотельным накопителям, подключенным по шине PCI Express, — одна из основных тенденций развития технологий хранения данных.
Прогноз роста совокупной емкости поставляемых в мире накопителей разного типа. Источник: IDC
По прогнозу IDC, к 2021 году флеш-массивы с подключениями по NVMe и NVMe-oF обеспечат примерно половину всех доходов от поставок внешних систем хранения. Аналитики считают, что у NVMe-oF большой потенциал, поскольку эта спецификация обеспечивает чрезвычайно высокую пропускную способность при сверхнизкой задержке и открывает путь к созданию распределенных СХД с низколатентной фабрикой.
С развитием технологий Lenovo намерена обеспечить защиту инвестиций заказчиков, поскольку существующие системы способны поддерживать новые протоколы без замены оборудования. И новейшая платформа Lenovo NVMe — прямое тому доказательство. СХД с накопителями NVMe демонстрируют свои лучшие качества в работе с базами данных, поэтому для доставки приложений с максимально низкими задержками массив DM7100 поддерживает подключаемые диски NVMe. Это позволяет значительно увеличить производительность СХД в IOPS и построить мощное и масштабируемое хранилище.
Сейчас, безусловно, захватывающее время для отрасли хранения данных: новое поколение СХД уже вступает в игру, а на горизонте появляются очередные инновации. Все они становятся ответом на актуальные потребности в работе с облаками, автоматизации, а также оптимизации задач управления и обработки данных.
Ожидается, что в скором времени резко вырастут объемы видеоматериалов и тех данных, которые собираются с различных датчиков. Последние тенденции приведут к изменениям в самом подходе к хранению информации и управлению ею. ИТ-администраторы и директора должны заранее планировать будущие изменения и быть к ним готовыми.
Стандартизация управления данными
Каждая ответственная компания стремится раскрыть возможности своих данных, но сперва их необходимо сделать более управляемыми. В этом случае традиционные инструменты отходят на второй план: в первую очередь предприятие нуждается в мощном оборудовании и максимально стандартизированном управлении информацией.
Например, компании должны по возможности централизовать администрирование существующих СХД, в идеале — управлять ими через единый интерфейс. Данные будет намного легче сортировать, контролировать и использовать, если их можно будет универсальным образом интерпретировать.
Еще один тренд — автоматизация хранения с целью повышения эффективности, снижения затрат на администрирование и исключения ошибок. Например, аналитика с использованием ИИ и машинного обучения позволяет прогнозировать заполняемость, выделять редко используемые данные для перемещения на другие уровни хранения, выявлять потенциальные риски.
Рост мирового рынка СХД с функциями ИИ (AI-Powered Storage). По данным Market Research Future
Решения на основе искусственного интеллекта и машинного обучения для управления и анализа больших объемов данных получат широкое распространение. Особенно с учетом того, что сложность и разнообразие данных продолжают расти.
Гибридные системы хранения и многоуровневое хранение данных (тиринг)
Многие компании предпочитают использовать комбинацию локального хранилища и облачных платформ. Там, где требуется быстрый доступ к большим объемам данных, по-прежнему необходимы сети хранения SAN или другие локальные системы. Однако для резервного копирования и архивирования больше подходит облако. Чтобы оптимизировать распределение ресурсов, используются механизмы многоуровневого хранения — тиринга, которые автоматически определяют оптимальное место для размещения данных.
Используемые технологии хранения данных — сейчас и через два года. По прогнозу Spiceworks Research
Искусственный интеллект и «быстрое» хранение данных
Другой тенденцией, которая может оказать глубокое влияние на решения хранения данных, является развитие технологий искусственного интеллекта. Здесь в игру вступают большие объемы информации, особенно на этапе машинного/глубокого обучения: существующие данные проверяются на наличие определенных характеристик системой ИИ, которая затем соответствующим образом «обучается».
Рост продаж СХД для нагрузок ИИ в мире. Источник: IDC
Везде, где используются вычислительные системы на основе GPU, решающую роль играет быстрый обмен данными между алгоритмами ИИ и базовой системой хранения. В конечном счете здесь применяются те же принципы: нужно найти правильное сочетание локальных и облачных систем хранения.
Локальные ЦОД для ускорения коммуникаций
Облачным провайдерам все чаще приходится обеспечивать максимально быстрое подключение к корпоративной инфраструктуре. По этой причине новые центры обработки данных, такие как ЦОД Microsoft или Amazon, размещаются «ближе к пользователю». Это помогает устранить или, по крайней мере, свести к минимуму проблемы с медленным подключением к облачному серверу.
Это применимо также и к небольшим региональным облачным провайдерам, которые гораздо более децентрализованы, чем инфраструктура ЦОД Azure или AWS. Им требуется хорошее интернет-соединение, но его проще получить с помощью небольших локальных центров обработки данных. Региональные провайдеры такого типа представляют собой разумный компромисс с точки зрения стоимости и производительности. Они могут выступать в качестве точек высокоскоростного подключения к публичным облакам при реализации мультиоблачных решений.
Использование сервисов облачного хранения данных — сейчас и через два года. По прогнозу Spiceworks Research
Мультиоблачное хранение
Многие компании используют несколько публичных облачных сервисов в сочетании со своей локальной инфраструктурой. Это влияет на процессы перемещения, миграции данных и организации доступа приложений к информации. Системы хранения cloud-ready призваны обеспечить переносимость данных между несколькими облачными платформами, а также между локальной площадкой и облаком.
Решения для резервного копирования и восстановления должны соответствовать новым требованиям
Постоянный рост количества уровней хранения будет влиять на резервное копирование и восстановление: «вернуть» петабайт утерянных данных намного сложнее, чем гигабайт или терабайт. Это в равной степени относится и к архивированию, хотя, естественно, этот процесс менее критичен по времени, чем восстановление из бэкапа. Здесь решающую роль будут играть другие факторы, такие как интеллектуальное индексирование или хранение метаданных, потому что нужно максимально упростить поиск неструктурированных данных — например, видеоконтента.
Высокопроизводительные вычисления — для среднего бизнеса
В недалеком будущем даже предприятия среднего бизнеса не смогут эффективно функционировать без решений HPC. Если раньше высокопроизводительными вычислениями занимались преимущественно университеты и государственные ВЦ, то теперь ситуация изменилась. С увеличением объема данных решения HPC будут необходимы везде, где используются вычислительные приложения и приложения моделирования, требующие большой емкости хранения.
Например, крупному конструкторскому бюро с очень сложными вычислениями подобные решения понадобятся для расчета и визуализации трехмерных объектов. Из-за большого объема данных, участвующих в этом процессе, подобная работа либо была бы чрезвычайно трудоемкой, либо вообще не могла быть проведена.
Модули SCM
К новым трендам в отрасли хранения данных можно отнести хранилища объектов для улучшенной индексации и выделения метаданных, а также модули SCM (storage-class memory) для более быстрого доступа к информации с использованием интеллектуальных механизмов тиринга. Благодаря накопителям SCM задержки будут сокращаться до 50%. Энергонезависимая память с производительностью, близкой к скорости работы RAM, позволяет значительно ускорить обработку больших наборов данных.
Кроме того, технология флеш-памяти в виде компонентов SSD продолжит вытеснять в корпоративной среде классические жесткие диски.
SSD и NVMe
Компании будут продолжать заменять традиционные HDD на твердотельные накопители, чтобы повысить производительность, упростить управление и снизить энергопотребление систем. Новые поколения флеш-массивов будут предлагать более совершенные средства автоматизации и защиты данных, а также интеграцию с публичными облаками.
В гораздо большем масштабе будет развертываться протокол NVMe. Линейка массивов хранения Lenovo уже включает в себя хранилища с поддержкой NVMe для увеличения производительности дисковых массивов серии DM.
Массив DM7000F All Flash стал первым на рынке продуктом, который позволил реализовать сквозное решение NVMe over Fabric от сервера до хранилища
Накопители SSD PCIe, использующие NVMe-спецификацию протоколов доступа к твердотельным накопителям, подключенным по шине PCI Express, — одна из основных тенденций развития технологий хранения данных.
Прогноз роста совокупной емкости поставляемых в мире накопителей разного типа. Источник: IDC
По прогнозу IDC, к 2021 году флеш-массивы с подключениями по NVMe и NVMe-oF обеспечат примерно половину всех доходов от поставок внешних систем хранения. Аналитики считают, что у NVMe-oF большой потенциал, поскольку эта спецификация обеспечивает чрезвычайно высокую пропускную способность при сверхнизкой задержке и открывает путь к созданию распределенных СХД с низколатентной фабрикой.
С развитием технологий Lenovo намерена обеспечить защиту инвестиций заказчиков, поскольку существующие системы способны поддерживать новые протоколы без замены оборудования. И новейшая платформа Lenovo NVMe — прямое тому доказательство. СХД с накопителями NVMe демонстрируют свои лучшие качества в работе с базами данных, поэтому для доставки приложений с максимально низкими задержками массив DM7100 поддерживает подключаемые диски NVMe. Это позволяет значительно увеличить производительность СХД в IOPS и построить мощное и масштабируемое хранилище.
Сейчас, безусловно, захватывающее время для отрасли хранения данных: новое поколение СХД уже вступает в игру, а на горизонте появляются очередные инновации. Все они становятся ответом на актуальные потребности в работе с облаками, автоматизации, а также оптимизации задач управления и обработки данных.