В 1992 году Луис Розенберг случайно получил оборудование для дополненной реальности с провального испытания парашюта. Он создал систему Virtual Fixtures, которая позволяла наложить виртуальные объекты на реальное пространство, улучшая навыки пользователей. Результаты эксперимента вдохновили Розенберга увидеть потенциал дополненной реальности для широкой аудитории. Он считает, что эти технологии станут неотъемлемой частью жизни людей к 2030 году.

Дополненная реальность: что было до 90-х

Дополненная реальность (AR) — это интеграция цифровой информации с окружающей пользователя средой в реальном времени. В отличие от виртуальной реальности (VR), которая создает полностью искусственную среду, в AR пользователь видит реальное окружение с наложенной на него сгенерированной перцептивной информацией.

Считается, что впервые идею дополненной реальности высказал автор книги «Волшебник страны Оз» Фрэнк Баум аж в 1901 году.

В книге «The Master Key» он описал очки, которые помогали узнать истинный характер человека. Главный герой мог различать людей — добрые они или злые, мудрые или глупые, добрые или жестокие. Достаточно было надеть эти очки, и те проецировали на лоб человеку букву, соответствующую его характеру.

Сам термин «дополненная реальность» был придуман только в 1990 году сотрудником исследовательского отдела компании Boeing Computer Services Томасом Кауделлом. Так, он он описывал работу налобных дисплеев, которые используют электрики.

При этом сами реальные разработки AR начинаются с конца 50-х XX века.

Впервые в той или иной степени AR была реализована кинематографистом Мортоном Хейлигом в 1957 году. Он изобрел систему Sensorama, которая передавала зрителю визуальные образы, звуки, вибрацию и запах. Разумеется, она не управлялась компьютером, но это был первый пример попытки добавить дополнительные данные к впечатлениям.

В середине 60-х годов профессор Гарвардского университета Айвен Сазерленд и ученый-компьютерщик Боб Спроул разработали Sketchpad — систему автоматизированного проектирования. Она позволяла пользователям проектировать и рисовать в реальном времени непосредственно на дисплее компьютера с помощью светового пера.

В 1968 году Сазерленд разработал первую систему Head-Mounted Display (HMD), известную как «Дамоклов меч». Такое название выбрали из-за специфического крепления, система как бы нависала над пользователем. Она заложила основу AR, наложив простую каркасную графику на то, как пользователь видел физический мир. «Дамоклов меч» стал знаковым достижением в области компьютерной графики и взаимодействия человека и компьютера. 

В конце 1970-х годов появилась система Videoplace Майрона Крюгера. С помощью видеокамер и проекторов пользователи могли взаимодействовать с виртуальными объектами и исследовать сгенерированные компьютером среды. Это в чем-то предвосхищало потенциал интерактивных AR-приложений.

Еще в 1962 году Мортон Хелиг в своем патенте описал систему, обеспечивающую реалистичное моделирование потенциальных рабочих и военных ситуаций:

Сегодня все чаще требуются способы и средства обучения и тренировки людей, которые не подвергают их реальному воздействию возможных опасностей в конкретных ситуациях. Например, в вооруженных силах необходимо обучать людей эксплуатации и обслуживанию чрезвычайно сложного и потенциально опасного оборудования, причем желательно обучать людей с наименьшей опасностью для их жизни и с наименьшим возможным повреждением дорогостоящего оборудования.

Военная и авиационная промышленность всегда признавала потенциал AR в области обучения и ситуационной осведомленности. В 1980-х годах ВВС США использовали Heads-Up Displays (HUD) для наложения критических данных о полете на лобовое стекло самолета, что повышало способность пилотов обрабатывать информацию во время полета. Это была в основном текстовая информация, и в полном смысле назвать дополненной реальностью ее было нельзя — она не объединяла реальный и виртуальный мир. 

Именно в исследовательской лаборатории ВВС США (Armstrong Labs) была доработана платформа Virtual Fixtures — первая в мире система дополненной реальности с эффектом погружения. Ее автором стал Луис Розенберг. 

Луис Розенберг

Луис Розенберг родился в 1969 г. и с ранних лет был очарован идеей интеграции виртуального мира с реальным. Увлекаясь робототехникой и инженерным делом, он получил высшее образование в обеих областях, а в 1990-х годах защитил докторскую диссертацию по машиностроению в Стэнфордском университете.

На увлечение технологией AR Розенберга вдохновили работы Сазерленда и Крюгера. Розенберг хотел создать систему, которая могла бы не только накладывать виртуальные объекты на реальный мир, но и предоставлять пользователям тактильные ощущения для взаимодействия с этими виртуальными элементами. Его интересовало то, как компьютеры могут усилить возможности человека.

Отчасти на эту идею Розенберга подтолкнула собственная дислексия.

В его детстве родители перепробовали много способов победить дислексию у сына, но ничего не помогало, и тогда сам Луис предложил пойти другим путем. В начале 80-х он попросил у родителей компьютер. Тогда компьютеры были редкостью даже на рабочем месте, и родители Луиса ничего про них не знали, кроме того, что это было очень дорого. Но Луису удалось «соединить свое сознание с машиной». «Если я что-то писал неправильно, машина выдавала мне синтаксическую ошибку и давала шанс попробовать снова, — вспоминал Розенберг. — Это была очень полезная функция для человека с дислексией». Так компьютер улучшал возможности человека.

К началу 90-х годов уже существовали дисплеи, крепящиеся на голову, перчатки виртуальной реальности, трекеры для рук, трекеры для головы. А также были прозрачные дисплеи с зеркалами, которые использовались для того, чтобы видеть реальный мир через виртуальный.

В те годы в Стэнфорде и в исследовательском центре Эймса разрабатывались одни из самых первых систем зрения, перчаточные системы и 3D-аудиосистемы. Розенбергу посчастливилось заниматься исследованиями некоторых из этих ранних систем зрения. Его исследования сосредоточились вокруг моделирования межглазного расстояния для стереоскопического 3D, и он провел бесчисленные часы в виртуальной реальности.

Графика была грубой, отслеживание головы запаздывало, точность была низкой, но эти проблемы Розенберга совсем не беспокоили, поскольку он знал, что со временем технология станет лучше. Его беспокоило другое: то, насколько изолированным и замкнутым он чувствовал себя в этой виртуальной реальности — как будто мир становился меньше, а не больше. Он хотел взять всю мощность виртуальной реальности и, по его словам, «разбрызгать ее по всему реальному миру, чтобы люди могли взаимодействовать с реальными и виртуальными объектами вместе, как с единой бесшовной смешанной реальностью».

Его ранние исследования были посвящены разработке концепции «виртуальных приспособлений» (Virtual Fixtures) — технологии, которая обеспечивала пользователям тактильную обратную связь в виртуальных средах.

Virtual Fixtures была направлена на улучшение взаимодействия человека и компьютера путем интеграции устройств обратной связи с силовыми элементами в симуляторы виртуальной реальности. По сути, эта технология расширяла виртуальный мир до физического, позволяя пользователям «чувствовать» виртуальные объекты и взаимодействовать с ними. Концепция имела огромный потенциал для применения в медицине, робототехнике и обучающих симуляторах.

Розенберг предлагал конкретный пример применения технологии в медицине. 

Например, хирург, выполняющий разрез, затрачивает много умственных усилий, чтобы его сделать. Можно уменьшить умственные усилия и повысить точность, предоставив хирургу приспособление, например, линейку, которая позволит ему сделать разрез быстрее. Но проблема в том, что линейка ограничена реальным миром, и поместить ее в тело пациента нельзя. А вот если бы линейка была виртуальной, то могла бы помочь хирургу фактически улучшить его работу так же, как если бы была реальным приспособлением в теле пациента. И преимущества виртуальной реальности позволили бы врачу взаимодействовать и с реальным телом, и с виртуальными приспособлениями.

Эта концепция была представлена Розенбергом в Исследовательской лаборатории ВВС США (Armstrong Labs).

Продолжая работу над проектом Virtual Fixtures дальше, Розенберг углубился в сферу телеробототехники. Он стремился решить проблему манипулирования объектами в удаленных средах, что крайне важно в космической отрасли и работе с опасными материалами.

Дальнейшие исследования Розенберга привели к значительному прогрессу в области систем телеоперации, когда пользователи могли дистанционно управлять роботизированными руками и получать обратную связь, что позволяло им выполнять задачи с высокой точностью. Эти исследования открыли новые возможности для применения телероботов — от глубоководных исследований до дистанционной хирургии.

Разработка Virtual Fixtures

Но вернемся в исследовательскую лабораторию ВВС США. 

Розенберг также заручился поддержкой центра дизайнерских исследований в Стэнфорде и исследовательского центра Эймса и продолжил работу над Virtual Fixtures.

Поскольку в начале 1990-х годов 3D-графика была слишком медленной для создания фотореалистичной и пространственно-регистровой дополненной реальности, в Virtual Fixtures использовались два реальных физических робота, которые управлялись экзоскелетом.

Идея заключается в том, что пользователь надевает экзоскелет для выполнения задачи из пространства оператора в удаленной среде. Экзоскелет или физические объекты (на доске приспособлений) будут ограничивать возможные движения руки оператора так же, как физическая линейка ограничивает движения карандаша (чтобы провести прямую быстрее и точнее).

Разница между виртуальным приспособлением и линейкой заключается в том, что виртуальное приспособление физически не существует в удаленной среде, т. е. там, где реально выполняется задача (оно может существовать в пространстве оператора), но пользователь все равно получает от него тактильную (сенсорную) обратную связь. 

Несмотря на то что исследования продвигались, проект был ограничен по бюджету, а потребности в оборудовании были велики. Но летом 1992 года произошло то, что помогло дальнейшему развитию системы Virtual Fixtures.

В своей статье «Как случай с парашютом помог развитию дополненной реальности» Розенберг рассказывает о проекте ВВС по разработке новых парашютов. Когда создавалась новая конструкция, парашюты прикреплялись к установкам, оснащенным датчиками и приборами. Два инженера поднимались в самолет с аппаратурой, сбрасывали установки и прыгали рядом, чтобы смотреть, как раскрываются парашюты.

Однажды во время одного такого запуска парашют не раскрылся, и все датчики и камеры, которые были на конструкции, разбились. Розенберг попросил посмотреть разбитые камеры и ему удалось собрать два работающих устройства из шести. Именно благодаря этим разбившимся камерам стало возможным первое тестирование интерактивной системы дополненной реальности на людях.

В условиях недостатка оборудования на проекте именно эти чудом собранные камеры помогли Розенбергу создать смешанную реальность с точной пространственной регистрацией, обеспечивающую эффект погружения, в котором можно было протянуть руку и взаимодействовать с реальной и виртуальной средой одновременно.

Для создания эффекта погружения была использована уникальная конфигурация оптики, включающая пару бинокулярных увеличителей, расположенных так, чтобы пользователь видел руки робота, выдвинутые вперед так, чтобы они были зарегистрированы в точном месте реальных физических рук пользователя. В результате пользователь, двигая руками, видел руки робота в том месте, где они должны были находиться, и получал пространственно-зависимое погружение. 

Ключевой частью проекта было измерение производительности человека: и для этого использовалась доска задач. Участникам нужно было взять колышек и переместить его из одного отверстия в другое отверстие так быстро, как они могли это фактически сделать. Это называлось задачей вставки колышка по закону Фиттса.

Затем исследователи накладывали виртуальные приспособления на окружение пользователя и смотрели, помогают ли они улучшить их производительность. В данном случае виртуальное приспособление представляло собой конус, и когда пользователи перемещали колышек из одного отверстия в другое, они могли буквально почувствовать виртуальный конус, направить руку и улучшить работу.

Розенберг был уверен, что подобные технологии вскоре станут повсеместными. И в 1993 г. он основал компанию Immersion, целью которой было создание массовых потребительских приложений.

Дальнейшие исследования и развитие

Система Virtual Fixtures Луиса Розенберга стала поворотным моментом в развитии дополненной реальности. Несмотря на то что технология находилась на ранней стадии развития, его дальновидный подход к сочетанию виртуальных и реальных элементов создал прецедент для будущих AR-инноваций.

Наиболее коммерчески выгодным в то время было ручное управление роботами в удаленных или опасных условиях — например, при уборке опасных отходов.

После новаторской работы в Стэнфорде Розенберг основал несколько стартапов, в том числе Immersion Corporation и MicroPose, которые специализировались на тактильных технологиях и отслеживании движений. 

Розенберг также основал компанию Microscribe, создавшую первый в мире настольный 3D-дигитайзер — Microscribe 3D, который использовался при создании в том числе «Шрека», «Ледникового периода» и т. д. Розенберг также основал компанию Outland Research — разработчика современных интерфейсов для мобильных устройств и дополненной реальности.

В 2014 году Луис Розенберг основал компанию Unanimous AI, где хотел усилить интеллект человеческих групп путем разработки новой формы ИИ, основанной на биологических принципах роевого интеллекта. В результате была создана технология Swarm AI — мощный метод усиления роевого интеллекта, который был подтвержден более чем 20 научными работами.

Как работает технология Swarm AI:

Розенберг по-прежнему считает, что дополненная реальность даст людям сверхспособности. По его прогнозам, уже к 2030 году гарнитуры дополненной реальности станут привычным инструментом для хирургов, рентгенологов и других медицинских специалистов. Ведь именно сейчас технологии VR и AR, наконец, достигли такого уровня развития, что могут предложить реальную ценность. 

Например, благодаря AR-гарнитурам и новым технологиям медицинской визуализации стало возможным «рентгеновское зрение». Исследование, проведенное Медицинской школой Университета Тейкё, позволило протестировать экспериментальное отделение неотложной помощи с возможностью получения компьютерных томограмм всего тела травмированных пациентов. У медицинской бригады были AR-гарнитуры, которые помогли увидеть травмы пациента, лежащего на операционном столе, и таким образом, медики смогли смоделировать лечение. Все это сэкономило время и уменьшило количество отвлекающих факторов.

Дополненная реальность даст врачам вспомогательный контент, который будет накладываться на тело пациента и отображаться там, где информация наиболее необходима. Например, хирурги, выполняющие сложную операцию, будут видеть навигационные подсказки, проецирующиеся на пациента в режиме реального времени. Эти подсказки помогут им выполнить вмешательство с большей точностью. Потенциальная польза для хирургии огромна: от минимально инвазивных процедур, таких как лапароскопия и эндоскопия, до свободных хирургических манипуляций.

И все это восходит к первой системе дополненной реальности Virtual Fixtures Луиса Розенберга.