После нескольких лет устойчивого развития дополненная реальность, наконец-то, находится на пороге большого взлёта. Все больше инструментов и решений делают ее ближе к народу. Команда М.Видео и Эльдорадо активно следит за всеми трендовыми технологиями. Тем интереснее погрузиться в историю AR. Под катом любопытное повествование от одного из пионеров развития этой технологии, Луиса Розенберга.

В 1992 году оборудование для первой интерактивной AR-системы в буквальном смысле свалилось с неба.

Я забираюсь в экзоскелет для верхней части тела, усеянный датчиками, двигателями, шестернями и подшипниками, а затем наклоняюсь вперёд, прижимая лицо к окулярам свисающей с потолка визуальной системы. Перед собой я вижу большую деревянную доску, выкрашенную в чёрный цвет и испещрённую сеткой отделанных металлом отверстий. Доска реальна, как и реален штифт в моей руке, который я пытаюсь как можно быстрее переместить из одного отверстия в другое. Когда я начинаю двигать штифт, над нужным отверстием появляется виртуальный конус и виртуальная поверхность, наклонённая в его сторону. Перемещая штифт в конус, а затем в отверстие, я ощущаю эту поверхность.

Это платформа Virtual Fixtures, которую я разработал в 1990-х для проверки потенциала «оверлеев восприятия» в совершенствовании навыков человека при выполнении требующей ловкости ручной работе. И затея себя оправдала.

Сегодня специалисты по виртуальной реальности считают эту платформу одной из первых интерактивных систем дополненной реальности, позволяющих пользователям объединить настоящие и виртуальные объекты в общей реальности.

Работа началась в 1991 году в рамках диссертации в Стэнфордском университете. Спустя три года, создав множество прототипов, я закончил проект, а собранная мной система занимала половину кабинета и состояла из оборудования почти на миллион долларов. Я накопил достаточно данных испытаний на людях, чтобы со всей определенностью сказать, что аугментация реального рабочего места виртуальными объектами может существенно улучшить производительность пользователя в требующих точности задачах.

Из-за того, что проект длился недолго, можно подумать, что всё шло без проблем, но на самом деле он много раз был близок к провалу; виной тому были ограниченный бюджет и существенный дефицит оборудования. На самом деле, мой труд мог завершиться провалом ещё на самом раннем этапе, если бы летом 1992 года парашюту — реальному, не виртуальному — удалось раскрыться в небе над Дейтоном, штат Огайо.

Прежде чем объяснять, как парашютная авария поспособствовала развитию дополненной реальности, мне нужно рассказать об историческом контексте.

Тридцать лет назад технологии виртуальной реальности только зарождались, сам термин был придуман лишь в 1987 году Джароном Ланье, которому удалось поставить на коммерческие рельсы первые шлемы и перчатки. Его работы были основаны на исследованиях Айвена Сазерленда, создавшего технологию наголовных дисплеев и отслеживания положения головы, без которых появление VR было бы невозможным. Дополненная реальность (augmented reality, AR), то есть объединение реального и виртуального миров в общую интерактивную реальность, на практике ещё не существовала.

В те времена я был аспирантом Стэнфордского университета и внештатным исследователем Исследовательского центра Эймса в НАСА, заинтересованным в создании виртуальных миров. В Стэнфорде я работал в Центре исследований дизайна — группе, нацеленной на изучение взаимодействия людей и технологий; она создала одни из первых VR-перчаток, визуальных систем с погружением и систем 3D-звука. В НАСА я работал в Лаборатории современных дисплеев и пространственного восприятия центра Эймса, в которой исследователи изучали фундаментальные параметры, необходимые для создания реалистичных иммерсивных симулируемых миров.

Разумеется, знать, как создавать качественный VR-процесс, и создать его — это не одно и то же. В лучших PC того времени были установлены процессоры Intel 486, работавшие на частоте 33 МГц. С поправкой на инфляцию они стоили примерно 8 тысяч долларов, но были в тысячу с лишним раз слабее, чем современный дешёвый игровой компьютер. Другой вариант заключался в том, чтобы потратить 60 тысяч долларов на рабочую станцию Silicon Graphics, которая всё равно была в сто раз слабее, чем средний современный PC. То есть, несмотря на то, что исследователи, работавшие с VR в конце 80-х и начале 90-х, занимались фундаментальным трудом, грубая графика, огромные шлемы и задержка, вызывавшая головокружение и тошноту, очень портили восприятие виртуальной реальности.

В НАСА я проводил исследовательский проект по оптимизации восприятия глубины в первых системах 3D-видения и стал одним из тех, у кого задержка между движением и отображением на экране вызывала головокружение. И я наглядно убедился, что создававшиеся тогда изображения определённо были виртуальными, но далёкими от реальности.

Однако меня не смущали головокружение и низкое качество изображения, ведь я был уверен, что оборудование постепенно будет совершенствоваться. Больше меня беспокоило то, насколько закрытым и изолированным я ощущал себя в VR. Мне хотелось расширить эту технологию, взять мощь VR и применить её в реальном мире. Я мечтал о соединённой реальности, где виртуальные объекты заполняют физические среды настолько достоверным образом, что они бы казались подлинными частями окружающего мира, позволяя прикасаться к ним, как будто они на самом деле существуют.

Мне было известно об очень простой разновидности соединённой реальности — наголовных дисплеях, используемых военными лётчиками. Дисплеи позволяют отображать полётные данные перед глазами лётчиков, чтобы им не приходилось опускать глаза и смотреть на приборы. Мне не доводилось пользоваться такими дисплеями, однако я узнал о них из таких блокбастеров 1980-х, как Лучший стрелок (Top Gun) и Терминатор. В Лучшем стрелке во время воздушных боёв перед лётчиком появлялся светящийся прицел; в Терминаторе зрение киборга было дополнено прицелом с текстовыми и цифровыми данными.

Все эти соединённые реальности были совершенно неиммерсивными, они показывали изображения на плоской поверхности и не были привязаны к реальному миру в 3D-пространстве. Но они наводили на мысли о возможностях. Я думал, что можно пойти гораздо дальше простых прицелов и текста на плоской поверхности и создать виртуальные объекты, которые пространственно привязаны к реальным объектам в обычной среде. И я надеялся, что можно наделить эти виртуальные объекты реалистичными физическими свойствами.

Чтобы реализовать своё видение, мне были необходимы существенные ресурсы, гораздо больше того, что имелось у меня в Стэнфорде и НАСА. Поэтому я изложил свою концепцию в Группе по изучению тактильной обратной связи из Лаборатории Армстронга ВВС США, теперь являющейся частью Исследовательской лаборатории ВВС.

Чтобы объяснить практическую ценность слияния реального и виртуального миров, я использовал аналогию с простой металлической линейкой. Если ты хочешь провести прямую линию в реальном мире, это можно сделать от руки, что медленно и требует значительного умственного напряжения, но линия всё равно не будет особо прямой. Или можно взять линейку и сделать это гораздо быстрее и с меньшим умственным напряжением. А теперь представьте, что вместо реальной линейки можно взять виртуальную, и она мгновенно появится в реальном мире; при этом она будет идеально привязана к реальному окружению. Представьте, что эта виртуальная линейка кажется физически достоверной, настолько, что можно провести вдоль неё реальным карандашом. Так как линейка виртуальна, она может иметь любую форму и размер, а также обладать дополнительными полезными свойствами, которых никогда не получить реальной металлической линейке.

Разумеется, линейка — это лишь аналогия. Представителям ВВС я рассказывал о множестве различных сфер применения дополненной реальности, от промышленного производства до хирургических операций. Например, представим хирурга, которому нужно сделать опасный надрез. Он может использовать неуклюжее металлическое приспособление, чтобы рука двигалась ровно и не задела жизненно важные органы. Или же мы можем изобрести нечто, способное дополнить операцию — виртуальное приспособление, направляющее реальный скальпель хирурга, не только визуально, но и физически. Так как оно виртуально, такое приспособление может проходить напрямую сквозь тело пациента, погружаясь в ткани ещё до того, как был сделан надрез. Военных эта концепция привела в восторг, их интерес касался не только операций на близком расстоянии, например, хирургических вмешательств, но и удалённых действий, выполняемых при помощи роботов с дистанционным управлением. Например, техник на Земле мог бы ремонтировать спутник при помощи дистанционного управления роботом, а помогали бы ему виртуальные приспособления, добавляемые в видеоизображения с реального места поломки. Представители ВВС согласились профинансировать мои траты в Стэнфорде, а также выделить небольшой бюджет на оборудование. Ещё важнее было то, что мне предоставили доступ к компьютерам и другому оборудованию на военно-воздушной базе «Райт-Паттерсон» рядом с городом Дейтон, штат Огайо.

Так родился проект под названием Virtual Fixtures, направленный на создание прототипа, который можно будет протестировать на живых испытателях. А я стал исследователем-скитальцем: разрабатывал базовые идеи в Стэнфорде, реализовывал фундаментальные технологии в Центре Эймса, а всю систему собирал на базе «Райт-Паттерсон».

А теперь о парашютах.

Будучи молодым сотрудником двадцати с небольшим лет, я хотел узнать о проектах, создававшихся в различных лабораториях по соседству. С особым вниманием на базе «Райт-Паттерсон» я наблюдал за проектом разработки новых парашютов. Как вы можете догадаться, когда исследовательская команда придумывала новую конструкцию, она не могла просто прицепить к ней человека и протестировать её. Вместо этого разработчики прикрепляли парашюты к установкам, оснащённым датчиками и оборудованием. Два инженера с оборудованием поднимались на самолёте, сбрасывали установки и прыгали вместе с ними, чтобы наблюдать, как раскрываются парашюты. Как мы вскоре узнаем, это стало ключевым аспектом разработки первой AR-системы.

Тем временем в проекте Virtual Fixtures я намеревался проверить жизнеспособность базовой концепции — того, что рабочее место можно дополнить виртуальными объектами, которые кажутся настолько реальными, что позволяют помогать пользователям в выполнении различных задач, требующих ручного труда и ловкости. Для проверки идеи я не собирался заставлять пользователей проводить хирургические операции или ремонтировать спутники. Мне нужна была простая повторяющаяся задача для количественной оценки производительности ручного труда. У ВВС имелась стандартизованная задача, которая долгие годы использовалась для проверки ловкости человека в условиях различных умственных и физических нагрузок. Она называлась задачей вставки штифтов по закону Фиттса, в ней испытуемые должны быстро перемещать металлические штифты между отверстиями в большой доске.

Поэтому я начал разработку системы, способной объединить виртуальные приспособления с реальной доской, позволяющей ощутить смешение реальностей и идеально точно регистрировать движение в 3D-пространстве. Я намеревался сделать эти виртуальные объекты настолько реальными, чтобы удар реального штифта о виртуальное приспособление ощущался столь же правдоподобным, как удар об настоящую доску.

Я написал программное обеспечение для симуляции широкого выбора виртуальных приспособлений, от простых поверхностей, позволяющих руке промахнуться мимо нужного отверстия, до аккуратных конусов, помогающих пользователю вставить реальный штифт в реальное отверстие. Также я создал виртуальные оверлеи, симулировавшие текстуры и соответствующие им звуки, и даже оверлеи, имитирующие движение в плотной виртуальной жидкости, по вязкости напоминавшей мёд.

Для повышения реализма я моделировал физику каждого виртуального элемента, точно регистрируя его местоположение в трёх измерениях, чтобы пользователь ощущал систему как реальную деревянную доску. Когда пользователь касался области, соответствующей виртуальной поверхности, двигатели в экзоскелете физически отталкивали руку; такая технология интерфейсов называется тактильной обратной связью. Она казалась настолько достоверной, что можно было провести по грани виртуальной поверхности точно так же, как вы проводите карандашом по реальной линейке.

Чтобы точным образом согласовать эти виртуальные элементы с реальной доской, мне нужны были высококачественные видеокамеры. В то время видеокамеры были гораздо дороже, чем сегодня, и в моём бюджете не осталось средств на их приобретение. Это препятствие меня расстраивало: ВВС предоставили мне доступ к широкому выбору потрясающего оборудования, но когда дело коснулось камер, они ничем не могли мне помочь. Казалось, камеры были необходимы во всех исследовательских проектах, имевших гораздо больший приоритет, чем моя система.

И это возвращает нас к инженерам, тестирующим экспериментальные парашюты. Однажды эти инженеры зашли в мою лабораторию поболтать; между делом они сообщили, что их парашют не раскрылся, установка ударилась о землю и все датчики с камерами были уничтожены.

Казалось, что это неудача и для моего проекта, потому что если в отделе есть лишние камеры, то инженеры могут забрать их себе.

Но я решил попросить взглянуть на обломки, оставшиеся от неудачного теста. Это был изуродованный хаос из погнутого металла, свисающих схем и разбитых камер. Однако несмотря на то, что камеры выглядели ужасно (разбитые корпуса и повреждённые объективы), мне стало любопытно, смогу ли я заставить одну из них работать.

Каким-то чудом мне удалось собрать из шести разлетевшихся камер две рабочие. Таким образом, первое испытание интерактивной системы дополненной реальности с участием человека стало возможным благодаря камерам, которые в буквальном смысле свалились с неба и разбились об землю.

Чтобы понять, насколько важны были эти камеры для системы, вспомните простое современное AR-приложение, например Pokémon Go. Если на задней панели вашего телефона нет камеры для съёмки и отображения реального мира в реальном времени, то это будет не приложение с дополненной реальностью, а обычная видеоигра.

То же самое относилось и к системе Virtual Fixtures. Однако благодаря камерам со сломанной парашютной установки мне удалось создать смешанную реальность с точной пространственной привязкой, обеспечивающую иммерсивный процесс, при котором пользователь может одновременно взаимодействовать с реальными и виртуальными окружениями.

В экспериментальной части проекта я провёл серию испытаний на людях, в которых пользователи взаимодействовали с различными виртуальными приспособлениями, наложенными на их восприятие реальной доски. Наиболее полезными приспособлениями оказались конусы и поверхности, способные направлять руку пользователя, нацеливающуюся штифтом на отверстие. Это наиболее эффективные сложные физические эксперименты, которые нельзя легко воссоздать в реальном мире, но запросто реализовать виртуально. Например, я написал код виртуальных поверхностей, которые притягивали штифт как магниты. Пользователям казалось, что штифт приклеивался к поверхности. Они могли двигать штифт по поверхности, а затем рывком отрывать его от неё. Такие приспособления увеличивали скорость и ловкость в испытаниях более чем на 100 процентов.

Из всего множества сфер применения Virtual Fixtures, которые мы рассматривали в то время, наиболее коммерчески жизнеспособной нам казалось ручное управление роботами в удалённых или опасных средах, например, при ликвидации опасных отходов. Если расстояние добавляло в дистанционное управление роботами временную задержку, виртуальные приспособления становились ещё более ценными для повышения ловкости человека.

Сегодня исследователи с большим успехом продолжают изучать перспективы применения виртуальных приспособлений для дистанционного управления роботами, в том числе в ремонте спутников и роботизированных хирургических операций.