Вот и подходит к концу AWS re:Invent 2021 - одно из главных событий года в мире облачных технологий. И в этой статье мы хотели бы поделиться финальной порцией анонсов. Очень много интересных новостей, начиная со снижения цен на хранилище S3, запуска EC2 на базе M1, расширения сетевых возможностей, заканчивая множеством новинок и для разработчиков. Можно не только почитать, но и подключиться к стриму, где архитекторы из AWS обсудят эти новинки и ответят на ваши вопросы. Регистрация здесь

Новый функционал для VPC:

1. IP Address Manager (IPAM) 

С помощью IPAM сетевые администраторы получили возможность назначать, мониторить, структурировать и проводить аудит IP адресов в используемых сетях, снижая необходимое количество времени на управление и мониторинг сетевых пространств.  

2. VPC Network Access Analyzer 

Новый функционал Amazon VPC Network Access Analyzer позволяет идентифицировать непреднамеренные способы доступа по сети к ресурсам AWS. С его помощью вы можете убедиться, соответствует ли ваше сетевое окружение VPC AWS необходимым требованиям безопасности, а также нормативным требованиям. Детальнее по ссылке.

AWS Transit Gateway (TGW) поддерживает пиринг с другим TGW внутри одного региона 

До настоящего времени TGW можно было подключить через пиринг к другому TGW только в том случае, если он находился в другом регионе AWS. Теперь есть возможность соединить пирингом два TGW в пределах одного региона, что позволяет строить более гибкие сетевые пространства и упрощать интеграцию по сети с различными третье-сторонними вендорами или партнёрами, которые имеют сетевое окружение в том же регионе.

AWS Direct Connect SiteLink

SiteLink - новый функционал AWS Direct Connect (DX), который позволяет отправлять данные из одной DX локации в другую, минуя сетевую инфраструктуру AWS региона. Напомним, DirectConnect позволяет подключать вашу локальную сетевую инфраструктуру к облаку AWS минуя интернет, что даёт гарантированную пропускную способность и меньшие сетевые задержки. До функционала SiteLink не было возможности перенаправлять трафик между DX локациями напрямую. Теперь есть возможность создать глобальную сетевую связность между различными офисами и дата центрами, используя для этого глобальную магистральную сеть AWS. Это снижает сетевые задержки путём отправки данных по кратчайшему пути между DX локациями.

AWS Local Zones

AWS Local Zones - это тип инфраструктуры AWS, содержащий вычислительные ресурсы, хранилище данных, базы данных и некоторые другие сервисы в локациях, находящихся рядом с крупными населёнными и индустриальным центрами. 

Начиная с 2022 года AWS запустит более 30 новых локаций Local Zones в крупных городах по всему миру (более чем в 21 стране), и это в дополнение к 16 Local Zones в США. Это поможет решать задачи конечных пользователей по всему миру с гораздо меньшими сетевыми задержками. 

AWS Cloud WAN (preview)

Новый WAN (wide area networking) – сервис, позволяющий строить, управлять и мониторить унифицированную глобальную сеть, которая управляет трафиком, проходящим между ресурсами в облаке AWS и локальными средами. 

С помощью Cloud WAN вы используете центральную панель управления и сетевые политики для создания глобальной сети, простирающейся на различные локации и сети. Теперь нет необходимости в конфигурации и управлении разными частями сети по-отдельности, возможно даже с помощью разнообразного инструментария. Cloud WAN автоматически создаёт глобальную сеть на несколько регионов AWS с помощью BGP, что позволяет легко обмениваться маршрутами внутри сети по всему миру. 

AWS Shield Advanced - автоматическая митигация DDoS атак на уровне приложений 

Все клиенты AWS бесплатно пользуются автоматической защитой от известных DDoS атак на сетевом уровне (L3, L4) посредством AWS Shield Standard для повышения доступности используемых сервисов AWS.

Для дополнительной защиты от продвинутых DDoS атак на разных сетевых уровнях (L3-L7), которые атакуют ваши приложения, вы можете подключить платную подписку на сервис AWS Shield Advanced. AWS Shield Advanced обеспечивает более чувствительные методы  обнаружения и индивидуальные меры защиты от крупных и сложных DDoS атак, предоставляет дополнительные инструменты мониторинга таких атак в режиме почти реального времени, а также поддерживает интеграцию с AWS WAF, межсетевым экраном для защиты приложений от сетевых атак на 7м (L7) уровне. 

С помощью нового фукнционала AWS Shield Advanced после предварительной настройки выявляет закономерности, связанные с событиями DDoS на 7м уровне, изолирует этот аномальный трафик, автоматически создавая правила AWS WAF в ваших списках управления доступом (Web ACL). Эти правила могут работать в режиме мониторинга (Count) для анализа их влияния на трафик ресурсов, а уже затем переключены в режим блокировки. Эти возможности позволяют быстро реагировать на события DDoS, которые угрожают доступности ваших приложений, и смягчать их последствия.

Действие, выполняемое автоматически-созданными правилами WAF, можно в любой момент изменить на режим мониторинга или блокировки. Вы также можете просматривать метрики обнаружения и митигации связанные с DDoS-событиями на уровне приложений (L7), для дальнейшего расследования или оценки воздействия любых средств митигации, создаваемых Shield.

Новые EC2 инстансы на M1

Год назад на re:Invent-е AWS запустили новый тип виртуальных машин на базе MacOS, что значительно упростило жизнь разработчикам в Apple экосистеме. Но развитие ARM процессоров не стоит на месте, и хорошим примером тому является 3-е поколение Graviton со значительным приростом производительности. Теперь можно запустить MacOS на базе ARM процессора на новых типах инстансов - EC2 M1 Mac. По сравнению с x86 чипами это дает прирост производительности до 60% в процессе разработки приложений под: iPhone, iPad, Apple Watch и Apple TV. EC2 M1 Mac работают на базе двух физических компонентов:

• Mac mini c конфигурацией чипа M1: 8-ядерный процессор, 8-ядерный графический процессор, 16 Gb объединенной памяти и 16‑ядерная система Neural Engine 

• Система AWS Nitro, обеспечивающая пропускную способность сети до 10 Gbps и 8 Gbps к EBS хранилищу подключенную через Thunderbolt. 

Хранение данных

Поддержка Amazon S3 в AWS Backup (предварительное ознакомление)

AWS Backup позволяет централизованно управлять политиками резервного копирования для различных сервисов AWS. Новая интеграция с Amazon S3 даёт возможность создавать резервные копии ваших бакетов как в определённый момент времени, так и по расписанию. В них входят сами объекты в бакетах, их теги, правила доступа (ACL) и метаданные. Первая резервная копия является полной, а все последующие - инкрементальными. При необходимости вы можете восстановить как весь бакет, так и отдельные объекты из него. AWS Backup интегрирован с организациями, и это позволяет централизованно задавать политики резервного копирования.

Кроме того, резервные копии можно защитить от случайного удаления, используя AWS Backup Vault Lock.

Вы можете зарегистрироваться в программе предварительного ознакомления по ссылке.

Новый класс хранения Amazon S3 Glacier Instant Retrieval и снижение цен

AWS выпустила новый класс хранения Amazon S3 Glacier Instant Retrieval. Он подходит для архивных данных и обеспечивает самую низкую стоимость хранения долгоживущих данных, к которым редко обращаются (как правило, раз в квартал), но которые требуют миллисекундного извлечения.

Новый класс хранения поддерживается в S3 Intelligent-Tiering, который автоматически перемещает объекты между несколькими классами в зависимости от паттерна доступа к ним.

Кроме того, класс Amazon S3 Glacier был переименован в S3 Glacier Flexible Retrieval и теперь предоставляет бесплатное пакетное извлечение данных (bulk retrieval) в течении 5-12 часов, а стоимость хранения была снижена на 10% во всех регионах с 1 декабря 2021 года.

Наконец, компания AWS объявила о снижениях до 31% цены хранения в классах S3 Standard-IA и S3 One Zone-IA в регионах US West (N. California), Asia Pacific (Hong Kong), Asia Pacific (Mumbai), Asia Pacific (Osaka), Asia Pacific (Seoul), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo) и South America (São Paulo).

Поддержка VMware и VMware Cloud on AWS в AWS Backup

AWS объявила о выпуске поддержки VMware в AWS Backup, с помощью которой вы можете автоматизировать защиту данных в ваших виртуальных машинах VMware, которые запущены как в дата-центрах вне облака, так и в VMware Cloud on AWS. AWS Backup позволяет использовать централизованные политики резервного копирования для VMware вместе с другими поддерживаемыми сервисами.

Резервные копии хранятся в хранилище в 3 зонах доступности и обеспечивают сохранность данных в 99.999999999% (11 девяток) и доступность в 99.99%.

Amazon FSx for OpenZFS

Amazon FSx for OpenZFS позволяет запускать полностью управляемые файловые системы на AWS, которые заменяют ZFS или другие локальные файловые серверы на базе Linux, помогая повысить гибкость и снизить затраты. FSx for OpenZFS - это новое дополнение в сервисах Amazon FSx, которые предлагают полнофункциональное и высокопроизводительное файловое хранилище на базе широко используемых файловых систем, включая NetApp ONTAP, Windows File Server и Lustre.

FSx for OpenZFS построен на файловой системе OpenZFS с открытым исходным кодом, которая широко используется локально для хранения и управления эксабайтами данных различных рабочих нагрузок, таких как машинное обучение, автоматизация проектирования электронных устройств, среды сборки приложений, обработка мультимедиа и финансовая аналитика: в них основное значение имеют масштаб, производительность и экономическая эффективность. Amazon FSx for OpenZFS работает на базе процессоров AWS Graviton и новейших дисковых и сетевых технологий AWS и обеспечивает до 1 миллиона операций ввода-вывода в секунду с задержкой в сотни микросекунд.

Новое поколение Amazon FSx for Lustre и улучшение интеграции с Amazon S3

Новое поколение Amazon FSx for Lustre, основанное на процессорах AWS Graviton, обеспечивает несколько улучшений производительности и цены. Во-первых, новые файловые системы обеспечивают до 5 раз более высокую пропускную способность на терабайт (до 1 ГБ/с на терабайт размера) по сравнению с файловыми системами предыдущего поколения. Во-вторых, благодаря поддержке инстансов с несколькими сетевыми интерфейсами теперь вы можете обеспечить пропускную способность сети до 400 Гбит/с на таких инстансах Amazon EC2, как P4d и DL1. В-третьих, новое поколение файловых систем FSx for Lustre снижает ваши затраты на пропускную способность до 60% по сравнению с файловыми системами предыдущего поколения. Чтобы помочь вам еще лучше оптимизировать затраты на хранение данных, FSx for Lustre теперь позволяет включить сжатие данных, чтобы вы могли снизить размер хранилища без негативного влияния на производительность.

Кроме того, AWS объявила о двух дополнительных возможностях Amazon FSx для Lustre. Первая - это полная двунаправленная синхронизация файловых систем с Amazon Simple Storage Service (Amazon S3), включая удалённые файлы и объекты. Вторая - возможность синхронизации файловых систем с несколькими бакетами или префиксами S3.

AWS re:Post - комьюнити сервис для вопросов и ответов от экспертов

AWS re:Post - это управляемый сообществом Q&A сервис, c помощью которого вы можете получить экспертные рекомендации и узнать о лучших практиках для работы с AWS от клиентов, партнёров и сотрудников AWS. Сервис автоматически распределяет вопросы среди экспертов на основе их области знаний, что соответственно повышает качество ответов. Имея Premium Support подписку в рамках вашего аккаунта, можно получить приоритезированные ответы от AWS Support Engineers. Также сервис использует машинное обучение для качественной и релевантной поисковой выдачи.

AWS Amplify Studio - новая визуальная среда для быстрой разработки приложений

Следующей новинкой стал релиз продукта AWS Amplify Studio. AWS Amplify Studio - это визуальная среда разработки, которая позволяет разработчикам и не только легко создавать и выпускать веб и мобильные приложения в очень короткие сроки. С помощью Amplify Studio вы можете быстро создать серверную часть приложения, создать компоненты полнофункционального пользовательского интерфейса (UI) и подключить пользовательский интерфейс к серверной части с минимальным усилиями. Amplify Studio позволяет экспортировать все элементы пользовательского интерфейса и инфраструктуры в виде кода, при этом давая вам возможность полностью контролировать дизайн и поведение приложения без опыт работы с облаками и AWS в частности.

Microservice Extractor for .NET

Интересной новостью стал релиз сервиса Microservice Extractor для .NET, цель которого - автоматизировать и упростить процесс рефакторинга и разделения монолитных приложений разработанных на платформе .NET на более компактные и независимые сервисы. Сервис поддерживает ASP.NET фреймворк и позволяет планировать, визуализировать и модернизировать приложения написанные на нём.

AWS Cloud Development Kit (AWS CDK) версия 2 и Construct Hub

AWS выпустила вторую версию cвоего AWS Cloud Development Kit - опенсорс фреймворка для описания инфраструктуры и ресурсов облачных приложений с использованием знакомых языков программирования в рамках подхода Infrastructure as Code. Для клиентов, которые предпочитают Terraform, существует Cloud Development Kit для Terraform, предоставляющий конструкции CDK для определения файлов состояния Terraform HCL c помощью TypeScript и Python. Для пользователей Kubernetes проект CDK8sproject позволяет использовать конструкции CDK для определения конфигурации Kubernetes через TypeScript, Python, Java и Go. 

Construct Hub - это open-source комьюнити, где каждый может находить и обмениваться CDK библиотеками. На момент запуска Construct Hub содержит более 700 CDK библиотек, включая ключевые AWS CDK модули, что позволит разработчикам быстрее описывать инфраструктуру, используя свой любимый язык программирования. Ознакомиться со списком уже созданных библиотек можно тут 

Детально ознакомиться к изменениями и использованием Construct Hub можно в AWS блоге. 

Релиз AWS SDK для Swift, Kotlin и Rust

Также приятным анонсом стал релиз AWS SDK для Swift, Kotlin и Rust. Это позволит разработчикам упростить взаимодействия с AWS сервисами и их публичных API на ещё большем количестве платформ.

IoT

Открытый репозиторий компонентов для IoT Greengrass

AWS IoT Greengrass - это набор из программных модулей, устанавливаемых на IoT-устройства и облачного сервиса IoT Greengrass. Компоненты позволяют вынести на устройство управление, обработку и обмен данными с облаком.

Репозиторий компонентов IoT Greengrass - это коллекция готовых модулей, доступная на Github, которую вы можете использовать для ускорения разработки своих приложений для IoT. На текущий момент в ней доступны такие модули, как выгрузка видео в потоки Amazon Kinesis Video Streams, реализация Modbus TCP, локальная база данных для временных рядов InfluxDB и визуализатор данных Grafana.

Например, модуль выгрузки видео можно использовать для передачи потока RTSP с видеокамер на локальное устройство Greengrass. Базу данных InfluxDB и Grafana можно использовать для визуализации данных с датчиков.

Управление устройствами AWS IoT Greengrass с помощью AWS Systems Manager

AWS Systems Manager упрощает управление инстансами EC2, AWS Outpost’ами и даже серверами в ваших ЦОДах. Теперь Systems Manager научился управлять и устройствами IoT Greengras. С помощью него можно делать апгрейды операционной системы, выполнять различное обслуживание и получать доступ к устройствам. С помощью Systems Manager вы можете управлять всеми своими устройствами из одной точки.

Например, производитель медицинских устройств мог использовать AWS IoT Greengrass для обновления версий программного обеспечения и тестирования апдейтов, а теперь все это можно делать автоматически по расписанию через Systems Manager. 

Благодаря интеграции администраторы могут использовать AWS Systems Manager для получения единого консолидированного представления обо всей ИТ-инфраструктуре. К примеру, на производстве AWS Systems Manager позволит одновременно управлять и промышленными компьютерами, и серверами, размещенными в цехах, и инстансами EC2.

Превью AWS IoT RoboRunner

Как и везде в ИТ, чем разнообразнее парк машин, с которым приходится иметь дело, тем сложнее им управлять. Для многих классов устройств эта задача уже решена, и вы можете управлять инфраструктурой, построенной на оборудовании разных поставщиков из одной консоли. Но не для роботов. AWS IoT RoboRunner решает эту задачу.

Когда у вас есть роботы разных типов и от разных поставщиков, вам понадобится инструмент, который предоставит унифицированный доступ к данным, необходимым для создания приложений, работающих со всем парком роботов. Каждый раз, когда в парке появляется новый робот, требуется сложная трудоемкая интеграция с системой управления работой.

AWS IoT RoboRunner упрощает интеграцию новых типов роботов, создание и развертывание приложений, помогающих паркам роботов беспрепятственно работать совместно. Например, вы можете определить локацию, где используются ваши роботы в консоли управления AWS. AWS IoT RoboRunner автоматически создаст централизованное хранилище всех данных о роботах и их задачах. Все роботы в этой локации будут составлять единый парк роботов, но при этом каждый робот будет «виден» отдельно.

Затем вы используете библиотеку Fleet Gateway Library для разработки кода интеграции с вашими роботами и системой управления работой для получения данных от каждого парка роботов. Вы можете использовать библиотеку Task Manager Library для управления роботами, и потом выполнять приложения по управлению роботами в AWS Lambda или непосредственно на устройствах с помощью IoT Greengrass.

AWS IoT RoboRunner предоставлет интерфейс и API для того, чтобы обеспечить единый способ управления всем парком роботов. Вам также доступны примеры приложений, которые можно взять за основу, чтобы ускорить разработку.

Эта новая услуга основана на той же технологии, которая используется в фулфилмент-центрах Amazon. Теперь она доступна всем разработчикам для создания передовых приложений робототехники.

Превью сервиса создания цифровых двойников AWS IoT TwinMaker

AWS IoT TwinMaker позволяет разработчикам создавать цифровые двойники реальных систем для мониторинга и оптимизации процессов. Цифровые двойники - это виртуальные представления физических объектов, таких как здания, заводы, производственные линии и оборудование. Их состояние постоянно обновляется с помощью реальных данных, чтобы повторять поведение систем, которые они представляют. Сферы применения цифровых двойников разнообразны. Одна из самых популярных – использование имеющихся данных для более глубокого изучения работы этих систем.

С помощью AWS IoT TwinMaker вы можете быстро создать цифровых двойников оборудования, процессов и объектов, интегрировав данные из разных источников: датчиков, видео и приложений, - без необходимости создания централизованного хранилища. Вы можете использовать уже доступные коннекторы для разных сервисов AWS: AWS IoT SiteWise для данных от оборудования и датчиков, Amazon Kinesis Video Streams для видео, Amazon Simple Storage Service (S3) для хранения файлов, например, чертежей САПР и данных приложений. Вы можете создать собственные коннекторы к сторонним источниками, как Snowflake или Siemens MindSphere. AWS IoT TwinMaker понимает отношения и связи между виртуальными копиями ваших физических систем и источниками данных и создает их точную модель.

AWS IoT TwinMaker позволяет работать с трехмерными моделями. Например, вы можете создать виртуальную копию производственной площадки со всеми станками и другим производственным оборудованием и использовать получаемые с датчиков и оборудования данные для моделирования её работы. Либо использовать машинное обучение для моделирования поведения в разных ситуациях. TwinMaker имеет встроенный плагин к Amazon Managed Grafana для визуализации данных на дашбордах.

Превью AWS IoT FleetWise

Современный автомобиль - это компьютер. AWS IoT FleetWise - это новый сервис, который упрощает и удешевляет сбор данных с автомобилей. С помощью FleetWise производители автомобилей могут собирать данные для удаленной диагностики, оценки состояния автомобильного парка для сокращения гарантийных возвратов и отзывов, а также собирать данные для тренировки моделей машинного обучения, применяемых в системах автономного управления автомобилем или ассистентах ADAS.

FleetWise предоставляет набор библиотек, которые устанавливаются на борту автомобиля и реализуют единый интерфейс обмена данными, независимо от форматов, используемых бортовыми системами. Производители могут сами выбирать, данные о каких именно событиях передаются в облако. Переданные данные могут использоваться для автоматического принятия решений и упреждающих действий, позволяющих производителю обнаруживать возможные неполадки еще до того, как владелец обратиться в автосервис.

Заключение

AWS ставит перед собой амбициозную цель - обучить облачным технологиям 29 миллионов специалистов к 2025 году. И мы считаем, что re:Invent 2021 показал широкую перспективу развития для практически каждого IT-профессионала. Глядя на количество анонсов и разнообразие сервисов можно четко увидеть, что в работу с облачными технологиями вовлекается все более широкий круг специалистов: от разработчиков, DevOps инженеров и Data Scientists до аналитиков и дизайнеров, работа которых не заключается в написании кода. 

Все важные анонсы прошедшего re:Invent 2021 вы можете почитать :
AWS re:Invent 2021. Keynotes
AWS re:Invent 2021. Keynotes — AI/ML
Или посмотреть в видеозаписях (Часть 1, Часть 2) на YouTube.

*Сегодняшний стрим мы добавим позже в эту статью

Также вы можете прийти к нам, и архитекторы Softline помогут вам решить задачи по работе с облаком Amazon Web Services.