Занимаясь уже достаточно давно iOS разработкой, имея личный опыт в разработке VR устройств и собственного комплекса фотограмметрии, в этот раз я откровенно был впечатлен долгожданным анонсом Apple гарнитуры смешанной реальности Vision Pro на WWDC2023. Компанией была представлена новая платформа, по‑большому счету, со всеми уже знакомыми современными инструментами iOS‑разработки. Пазлы ARKit, RealityKit и SwiftUI наконец‑то сложились и я рад поделиться подборкой ссылок на ресурсы и стартовые материалы. Перед чтением, конечно полезно немного пофантазировать о будущих приложениях, которые обязательно изменят мир. Приготовьтесь начать погружение или добавляйте материал в закладки (которые вы так никогда и не прочитаете), поехали!
Итак, Apple недавно разместила подробный учебный материал и видео для разработчиков устройств смешанной реальности (MR), с использованием SDK, которое будет доступно в конце июня 2023. Вы сможете создавать несколько окон, добавлять трехмерный контент или превращать его в полностью погружающую VR/AR/MR сцену. Ваше приложение может быть показано рядом в общем пространстве предметов или исключительно в изолированном 3D-пространстве. VisionOS использует такие фреймворки, как SwiftUI, RealityKit и ARKit, для расширения пространственного вычисления и помощи разработчикам в создании приложений с глубоким погружением и захватывающих сцен. Вы можете разрабатывать приложения для Vision Pro с помощью таких инструментов, как Xcode, Reality Composer Pro и Unity. Apple вскоре выпустит SDK VisionOS, связанные инструменты и документацию, чтобы предоставить разработчикам всестороннюю техническую поддержку.
Конкретно сейчас, Apple открыла доступ к большому количеству качественно сделанных видео, таких как это:
Обзор возможностей пространственных вычислений
VisionOS(xrOS) предоставляет бесконечное 3D‑пространство для создания новых интерактивных сцен. Вы можете открыть для себя основы пространственных вычислений — windows, volumes, spaces и узнаете, как можете использовать эти элементы при разработке. Исследуйте, новые инструменты от Apple, такие как Xcode 15 и новый Reality Composer Pro.
Платформа использует SwiftUI, RealityKit и ARKit для расширения пространственных вычислений, помогая создавать увлекательные приложения. VisionOS(xrOS) также акцентирует внимание на дизайне доступности, обеспечивая комфорт и удобство взаимодействия для всех пользователей:
Дизайн для visionOS(xrOS)
Разработка приложений, игр и впечатлений для пространственных вычислений в visionOS(xrOS) требует понимания новых элементов и компонентов.
Узнайте, как можно создавать отличные приложения, игры и сцены для пространственных вычислений, откройте для себя новые возможности ввода и компоненты. Возможно это будет ваш первый опыт или уже много лет разрабатываете AR/VR приложения, вы сможете создавать интерактивные сцены, красивые аудио фоны и звуковые эффекты в пространстве, человекоориентированный пользовательский интерфейс и многое другое с помощью visionOS:
Разработка с помощью Xcode 15
Несмотря не нелюбовь многих iOS разработчиков к XCode(и есть за что), вы все‑такие можете начать разрабатывать для visionOS с его помощью пока не подоспеют альтернативные IDE. Вам покажут, как добавить visionOS(xrOS) к существующим проектам или создать полностью новое приложение, прототипировать в предварительном просмотре Xcode и импортировать контент из Reality Composer Pro. Также вы можете использовать симулятор xrOS для оценки ваших опытов в различных симулированных сценах и условиях освещения. Узнаете, как создавать тесты и визуализации для изучения столкновений, затемнений и понимания сцены для вашего пространственного контента, а также оптимизировать его производительность и эффективность.
Погружение в SwiftUI и RealityKit
Чтобы получить максимум от visionOS(xrOS), понадобится изучение SwiftUI и RealityKit. Эти инструменты позволяют создавать интересные сцены и опыты в примитивах пространственных элементов visionOS(xrOS): windows, volumes и spaces:
Reality Composer Pro
Reality Composer Pro — новый инструмент для предварительного просмотра и подготовки трехмерного контента для приложений на visionOS(xrOS). Reality Composer Pro доступен вместе с Xcode и может помочь импортировать и организовывать ресурсы, такие как трехмерные модели, материалы и звуки. И, самое главное, он тесно интегрируется с процессом сборки в Xcode для предварительного просмотра и оптимизации ваших ресурсов visionOS(xrOS). Разработчики могут изучить использование этого инструмента для создания контента, добавления материалов к объектам и активации контента Reality Composer Pro в Xcode. Вы также можете изучить последние обновления Universal Scene Description (USD):
Начало работы в visionOS(xrOS) c Unity
Приложения visionOS(xrOS) можно создавать прямо в Unity. Разработчики Unity могут использовать свои существующие 3D‑сцены и ресурсы для создания приложений или игр для VisionOS благодаря глубокой интеграции между Unity и фреймворками Apple. Unity предлагает все преимущества разработки для платформы Apple, включая доступ к нативному вводу и функциям смешанной реальности:
Помимо Unity visionOS(xrOS) предлагает платформу для создания интерактивных сцен в играх и медиа‑приложениях. Разработчики научатся использовать RealityKit для отображения 3D‑контента, исследуют аспекты дизайна визуальных и движущихся элементов, а также научатся использовать Metal:
Разработка совместных и продуктивных приложений
Совместное использование и сотрудничество составляют важную часть visionOS, предлагая опыт в приложениях и играх, который позволяет людям чувствовать себя, будто они находятся в одном пространстве. По умолчанию, люди могут делиться окном любого приложения с другими участниками видеозвонка в FaceTime, точно так же, как на Mac. Однако, при использовании фреймворка GroupActivities, вы можете создавать коллаборативные опыты следующего поколения.
Начните проектирование и разработку для SharePlay на Apple Vision Pro, изучив типы общих активностей, которые вы можете создавать в своем приложении. Узнайте, как установить общий контекст между участниками ваших опытов и как вы можете поддерживать еще более значимые взаимодействия в приложении:
Работ с Web
С помощью visionOS(xrOS) веб‑контент можно воспринимать совершенно новым образом. Узнайте, как оптимизировать свой сайт для пространственных вычислений, понять модель ввода для этой платформы и использовать функции разработчика Safari для прототипирования и тестирования своих опытов:
Также появились изменения для быстрого просмотра 3D-контента (QuickLook), с которыми можно ознакомиться здесь:
Работа iPhone и iPad приложение в visionOS
Существующие iOS и iPadOS приложения могут быть запущены в visionOS(xrOS). Разработчики могут узнать о зависимостях фреймворков и взаимодействии с приложениями, разработанными для iPad из следующих видео-сессий:
Заключение
За последние 10–15 лет, в целом, никаких принципиальных изменений в мобильных не было. Мы наблюдали как смартфоны становились тоньше, мощнее, камеры чётче, потом смартфоны снова стали толстыми и тяжелыми и неприлично выросли размеры экранов. Да, мобильные телефоны и приложения вошли довольно плотно в жизни людей и прошли путь Web. Пока рано предрекать гарантированный успех или провал новой платформы, однако, это действительно интересная и ёмкая технология, которая на долгие годы вперед задаст развитие мобильным технологиям и вычислениям. Сейчас возможно уникальное время, а выводы которые можно будет сделать только спустя годы.
В любом случае, для многих разработчиков, дизайнеров и предпринимателей visionOS(xrOS) — это как глоток свежего воздуха, где самые необычные фантазии приложений с учетом пространственного опыта могут реализоваться в сверх-интересные проекты с головокружительными историями. И по‑моему, мы находимся именно сейчас в этой точке отсчета.
В своем ТГ канале я периодически рассказываю о технологиях visionOS(xrOS) и продуктовых кейсах Vision Pro в сжатом формате, подписывайтесь чтобы не пропустить важные новости на эти темы.
Если у вас есть вопросы относительно современной разработки под iOS, macOS, watchOS, tvOS или visionOS(xrOS) приложений, задавайте, постараюсь на них ответить!
FarizR
а с vision там можно ходить вокруг объекта или он всегда перед тобой будет?
Rockerman Автор
Да. Есть разные режимы - чисто оконные приложения на SwiftUI, режим с показом 3D объекта в "коробке" с помощью volumes, режим смешанной реальности (объект с привязкой в пространстве), полу-иммерсивный (180 градусов) и с полным погружением (VR режим). Для этого используются примитивы windows, volumes и spaces. Кроме этого, есть еще так называемый "порталы" с привязной к поверхности - как иллюминатор в космическом корабле и это очень интересная фитча для каких-нибудь квестов с дополненной реальностью.