Компания Google представила SDK Resonance Audio — инструментарий для звукового оформления игр, 360-градусных видео, VR и AR приложений.
Это далеко не первая разработка компании в этой сфере. В январе 2016 года вышел Google Cardboard SDK с объемным звуком. Его доработанная версия вошла в VR-платформу Daydream 2.0, которая в данный момент открыта для сторонних разработчиков.
Новинка под названием «Resonance Audio» объединяет наработки Google в этой области и позволяет реализовывать их на множестве платформ, в том числе мобильных.
Ниже расскажем про особенности Resonance Audio.
Фото Jennifer Boyer CC BY
Что это дает
- Эффект полноценного присутствия. Угол обзора человеческого зрения в среднем составляет 160-200 градусов, но с помощью возможностей слуха человек может сформировать для себя полный образ пространства. Синхронизировав виртуальное зрение и виртуальный звук, можно будет добиться большего эффекта присутствия в виртуальной реальности.
- Экономное использование CPU. Здесь работает технология Ambisonics — 3D-версия Mid-Side записи. Если говорить простыми словами, она позволяет экономить вычислительные ресурсы в процессе «сведения» сотен виртуальных источников звука. Помимо этого, для Unity предусмотрена возможность предварительных вычислений эффекта реверберации в зависимости от акустических свойств виртуального окружения.
- Кроссплатформенность. Resonance Audio работает на операционных системах Android, iOS, Windows, MacOS, Linux; на движках Unity и Unreal Engine; с аудиобиблиотекой FMOD; пакетом программ Wwise; цифровыми звуковыми рабочими станциями. Также Google предоставляет API для C/C++, Java и Objective-C.
- Формирование сложных звуковых сред. С помощью SDK можно работать с рядом параметров, влияющих на пространственное восприятие звуков. Например, задавать направление распространения звуковой волны. Разработчики приводят ситуацию с источником звука в виде виртуальной гитары: она будет звучать громче, если ваш игровой персонаж будет стоять перед ней и тише, если за ней.
Помимо этого SDK предусматривает различное восприятие звука в зависимости от окружающих условий (например, в открытом и замкнутом пространстве). За счет использования данных возможностей разработчики смогут создавать более реалистичные сцены.
Как работает Resonance Audio
Технология позволяет задать положение источника звука вместе с характером его распространения и имитирует взаимодействие звуковых волн с виртуальными предметами. Для этого Resonance Audio вводит три вида составляющих общего восприятия того или иного звукового воздействия.
- Прямой звук — идет от источника к слушателю напрямую без взаимодействия с препятствиями. Он обладает наибольшей интенсивностью по сравнению с другими составляющими и затихает по мере отдаления от источника.
- Первичные отражения от поверхностей — имеют меньшую интенсивность, которая зависит в том числе и от свойств поверхности. Они позволяют оценить размер и форму виртуального пространства.
- Далее следуют вторичные и последующие отражения, которые прибывают с возрастающей плотностью и накладываются на прямой звук. По ним строится более полная картина окружающего пространства.
Как подчеркивает Крис Хэгстром (Chris Hegstrom), саунд-дизайнер Microsoft HoloLens, звуковую информацию человеческий мозг обрабатывает быстрее, чем зрительную. Инстинкт самосохранения приучил человека определять дистанцию до источника звука, и на этом принципе построен процесс формирования эффекта присутствия, за который во многом отвечает как раз аудиосоставляющая:
Эффект присутствия — это разница между «Вау, в этой игре очень крутая анимация огромного жука» и «Черт возьми, надо мной пролетел гигантский жук!»
С помощью возможностей Resonance Audio человек, погруженный в виртуальный мир, формирует своеобразную «карту» пространства, в котором он находится. И приблизительное местоположение объектов, которые он не может увидеть, человек определяет как раз с помощью слуха.
Что еще нужно знать
Значимость работы над технологиями объемного звука подтверждают эксперименты, один из которых провела компания G’Audio Lab. Людям предоставили две демонстрационные версии игры — одну с объемным звуком, а другую с обычным. После завершения игрового процесса, респонденты открыто говорили о том, что даже и не думали, что звук может внести такую большую разницу в ощущения от игрового процесса.
Джоел Сусал (Joel Susal), глава подразделения Dolby, которое занимается виртуальной и дополненной реальностью, напоминает, что именно реалистичные звуковые эффекты вроде резкого скрипа двери или звука приближающихся шагов заставляют нас инстинктивно повернуть голову, чтобы увидеть источник звука и разобраться в том, что все-таки происходит. Технология объемного звука позволит обогатить игровой процесс VR-игр и расширить область взаимодействия с игровой средой.
Объемный звук можно использовать не только в играх и фильмах, но и в музыкальных клипах, во время прямых VR-трансляций концертов и спортивных матчей, чтобы человек, находясь дома, чувствовал себя частью события. Объемный звук поможет ощутить то, что не так-то легко почувствовать даже в реальном мире — например, не просто пойти на концерт, а побыть прямо на сцене, рядом с любимым исполнителем.
Другие материалы из нашего «Мира Hi-Fi»:
Комментарии (18)
LAG_LAGbI4
14.12.2017 15:28а разве раньше такого не было? я что-то не понимаю, что именно новое изобрели?
andrewzhuk
14.12.2017 15:35Все уже было в Симпсонах.Здесь про релиз sdk, не столько про научные отрытия все-таки
blackdiamondj
14.12.2017 16:47X-Fi?
tandzan
14.12.2017 18:24Aureal Vortex?
slav1k
15.12.2017 15:38Да, помню. Quake3 и карта Vortex с A3D.
Стоишь спиной к провалу и прямо этой спиной чувствуешь, как там гудит пламя. Пролетающая мимо уха ракета, кажется, шевелит волосы на голове.
А бегущего за стеной противника ты практически видишь по топоту сапог и можно стрелять на звук.
И всё это в простых наушниках.
А потом их выкупил Creative и всё закончилось. Формально в X-Fi даже вроде есть A3D, но не в одной игре такого объемного звука я больше не встречал.
Карточку так и не продал, лежит как память.
creker
14.12.2017 23:31Просто еще один SDK для объемного звука, что, как никак, полезно. Судя по видео, действительно ничего нового прямо и некоторые недавние тайтлы подобное делали уже. Умных слов много, но результат не сильно отличается от того, что уже слышали.
icetinte
14.12.2017 15:59Помню давным давно играл в игру, кажется она называлась снайпер. Там был жутко реалистичный звук падения патронов из барабана револьвера. В первый раз я рефлекторно заглянул под стол, думал упало что то
gsaw
15.12.2017 00:57«Черт возьми, надо мной пролетел гигантский жук»
«верх и низ» действительно реализованно? А то во многих играх я до сих пор не ориентируюсь. В Фаллоуте к примеру не поймешь, где ходят. Под тобой или над тобой. Многое теряется в восприятии от отсутсвия третьей координаты. Хотя у меня вообще то playstation 4 и старые наушники сони, с «surround sound» и «7.1». Может уже есть продвинутые аудиосистемы?PKav
15.12.2017 11:40Верх и низ кое-как работает только в наушниках, на системах объемного звука если смотреть строго вперед этого не слышно от слова совсем.
DmitryMry
16.12.2017 11:24Возможно, что проблема в наушниках. Когда взял себе Beyerdynamic Custom Studio вместо недорогих (порядка пары тысяч) Philips, то заметил серьёзное улучшение позиционирования (например, там субъективно весь звук перемещался в полусфере, находящейся передо мной, но не сзади).
gsaw
16.12.2017 11:46Да нет, наушники хорошие, после них я не мог полноценно играть в call of duty, так как в обычных наушниках было только стерео. В этих же у меня полноценные 2 координаты. Могу точно определить направление, но только в одной плоскости. Звук по вертикальной оси, как я понял почитав в интернете, наушники не умеют еще, а тот же dolby atmos предлагают колонки либо вверх подвешивать, либо отражение от потолка использовать.
DmitryMry
16.12.2017 13:00Я в своих слышу звук в трёх координатах. А верх/низ слышал даже в тех Филипсах. Не забывайте, что Dolby Atmos — это в первую очередь не про наушники. Но про Fallout и Call of Duty не скажу, так как не пробовал.
KatbertW
Мне кажется, что основной игровой жанр для такой технологии — это exploration games. И я бы поиграл в какой-нибудь реворк Firewatch с таким звуком
Prome_T
Ну, ни что не мешает использовать технологию в любых FP играх. Да и для TP технология будет совсем не лишней.
dobrman
FPS тоже от нее не проиграет, меня например немного напрягает, что на некоторых картах в CS:GO шаги воспринимаются так, как будто противник пробежал в 5 метрах, хотя между вами пол карты и пара бетонных стен.