В Voximplant мы в основном занимаемся автоматикой звонков: автоматически ответить и рассказать что с заказом, автоматически позвонить перед доставкой, автоматически соединить с нужным клиентом — вся вот эта история и JavaScript в облаке. Но кроме этого мы любим делать к нашей платформе SDK: Web SDK, чтобы звонить из браузера и в браузер, нативные Android и iOS SDK, чтобы в роуминге звонить через интернет, React Native SDK, чтобы звонить из кросс-платформенных приложений. А несколько дней назад мы сделали SDK для Unity. Который позволяет звонить из виртуальной реальности.
Сюрприз: это не про игры
Когда произносят «Unity», подразумевают игры. И мы даже пообщались с представителями игровой индустрии, нужны ли им в играх голосовые и видеозвонки. Дружный хор «Нет, ни в коем случае!» нас слегка удивил. Оказалось, что для большинства кооперативных игр возможность общения голосом со случайными партнерами по игре ни к чему хорошему не приводит. Читы, оскорбления и мат — самое частое, чего опасаются разработчики. Лишь крупнейшие проекты со специфичным геймплеем могут позволить себе добавить голосовое общение: World of Warcraft, World of Tanks и им подобные. Но не кооперативный аналог Clash Royale из App Stor’а.Unity + VR = не только игры
Виртуальная реальность в пользовательском сегменте сейчас — это игрушки. Не в смысле «играть в игрушки», а в смысле «высокотехнологичная игрушка»: попробовал, повосхищался и положил на полку, потому что контента нет. А вот для бизнеса все не так. То, насколько легко оказалось обмануть наш вестибулярный аппарат и зрительную кору мозга, по достоинству оценили все компании, которым нужно обучать сотрудников. Это программиста можно обучить, имея только стол, стул и ноутбук. А инженеры-нефтяники набираются опыта, копаясь в очень дорогом оборудовании. Которое, к тому же, любит располагаться в труднодоступных местах, куда их еще и доставить надо. Использование шлемов виртуальной реальности и обучающих программ позволяет экономить астрономические суммы, привлекать к обучению гораздо больше кандидатов и давать им гораздо больше материала.VR в образовании, тренировках и квестах
С момента релиза SDK прошло всего несколько дней, но мы уже видим большой интерес к передаче видео и голоса без задержек «внутрь» VR приложений. Из того, что нам рассказывают и хотят попробовать:
- Обучение в специализированных школах. Эксперименты по физике и химии в виртуальном пространстве выглядят зрелищно и хорошо запоминаются. А надевший шлем и превратившийся в «говорящий шарик» учитель может «телепортироваться» от одного ученика к другому, корректируя их действия и отвечая на вопросы. При этом востребованный учитель может вести занятия сразу для нескольких школ, физически находясь у себя дома или в головном офисе.
- Презентации в виртуальном пространстве. Что дает VR по сравнению с монитором? Возможность крутить головой. Вспоминаем обычный вебинар: слайды на весь экран, маленькое видео ведущего в уголке — грусть, тоска. Ставим камеру перед ведущим, проецируем видеозвонок на текстуру в виртуальную реальность, на текстуру слева от него — слайды. Получаем возможность ученикам не только общаться в реальном времени, но и поворотом головы выбирать, на чем фокусировать внимание — на слайдах или на докладчике. То есть делать то, что мы делаем при посещении очных занятий.
- Обучение сотрудников МЧС, нефтяников и прочих ребят, которым для тренировки нужны специальные места, ситуации и оборудование. Коммуникации без задержек и возможность включать в конференцию множество людей с разных устройство: веб-страниц личных кабинетов, сотовых, SIP-переговорных.
- Квесты. Возможность сыграть в мафию, сидя у себя дома — бесценно :)
Реализация: немного боли и страдания
Android и iOS SDK с libwebrtc наперевес у нас есть уже давно, и мы наивно полагали, что сделать SDK для Unity будет не очень сложно. Суровая реальность, как обычно, внесла свои коррективы. Первая «наивная» версия добавляла в верхнее меню пункт «экспортировать Android/iOS проект с нужными модификациями и подключенными библиотеками». Знакомые разработчики, которым мы это показали, покрутили пальцем у виска и отправили смотреть Google Сardboard SDK. Как оказалось, сборку нативного кода все-таки можно интегрировать в сам Unity Editor: для этого нужно разложить бинарные файлы в строго отведенные места проекта и добавить плагин к самой IDE, который включится в процесс сборки и проведет все модификации «на лету». Еще одной сложностью были права в новых андроидах: сама по себе Unity их спрашивать не умеет, поэтому пришлось делать два круга обвязки: первый добавлял в проект нужный манифест, а второй — запрашивал права к микрофону и камере при инициализации SDK.Ваше мнение?
Все вышеописанное делают с момента появления первых VR-прототипов. Включая передачу голоса и видео. Но каждая такая разработка сейчас — уникальная штука со своим парком велосипедов. Делать их дорого и долго. А наш SDK позволяет добавлять в VR приложения голос и видео за несколько часов, что позволяет коллегам быстро экспериментировать и двигать вперед индустрию. Первые результаты будут минимум через полгода, но вы можете попробовать наш SDK уже сейчас и поделиться своим мнением о будущем VR в комментариях.
Комментарии (19)
dmitry_ch
27.04.2017 16:33+1Корпоратив может и заинтересоваться. Вопрос в железе — не у всех оно есть, и стандартов маловато.
AlcaZeltser
27.04.2017 17:00+1Очки/шлемы становятся доступнее, стандарты тоже формируются: https://www.gvra.com/
Я думаю, что это все вопросы времени :)
grokinn
27.04.2017 19:42+1На мой взгляд с современными устройствами VR видеозвонки не зайдут, шлемы сейчас тяжелые и большие, надевать их не очень хочется, для этого нужна как по мне существенная причина, увлекательная и очень красивая игра может быть такой причиной, а необходимость поговорить в видеочате — нет, я лучше уж буду смотреть в двумерный монитор, чем натягивать на себя шлем, путаться в проводах, искать на ощупь устройства ввода и т.п.
eyeofhell
27.04.2017 20:27Обучение, тренинги?
mortimoro
28.04.2017 11:20Под них софт надо писать — это долго, дорого, непрактично.
eyeofhell
28.04.2017 11:45Так юнити жеж. Быстро и недорого. К нам уже несколько компаний зашли, которые такой софт делают. Про нефтяников — это я не придумал :)
mortimoro
28.04.2017 13:48+1Я работаю в крупной телекоммуникационной компании и если честно, то не могу придумать, какого рода тренинги и обучение мы могли бы поместить в VR. Даже для настройки спутниковой связи проще и нагляднее взять со склада железяку, подняться на крышу и развернуть систему в условиях, приближенных к «боевым». Теоретически, это можно запихнуть в VR, но смысла в этом я не вижу.
В юнити я не силен, но по моему опыту работы с подрядчиками, «быстро и недорого» по качеству обычно не соответствует ожиданиям заказчика и в итоге все равно выльется либо в «долго и дорого» с кучей доработок, либо так и останется на уровне негодной заготовки.
aylarov
27.04.2017 22:16Скептики доставляют, то есть никому не интересно смотреть что видит кто-то другой в VR? :)
lxsmkv
28.04.2017 01:41+1Очень интересно наблюдать как фантастика из романа «Фальшивые зеркала» Лукьяненко потихоньку становится реальностью. Ждем Windows Home под VR ;)
slavius
28.04.2017 09:00+1Прямой путь в Глубину Диптауна:) и уже ТАМ звонить друзьям. Картинка почему-то Зал Славы напомнила оттуда.
teleghost
28.04.2017 09:02+1Системы видеоконференцсвязи на рынке уже более 20 лет, но бизнес ими активно не пользуется. Потому что не нужно это для решения задач, наверное.
mortimoro
28.04.2017 11:46В нашей компании видеоконференции используются для связи с другими офисами довольно активно и это весьма удобно, так как многие вещи можно показать «на пальцах» и не тратить уйму времени на словесные объяснения. Да и комфортнее общаться с группой людей, имея визуальный контакт. Если гендиректор выступает, это транслируется на все офисы сразу — «телевизионный» формат воспринимается сотрудниками лучше, чем объявление на внутреннем сайте. Так что для крупных компаний видеосвязь очень полезна.
Но плоской картинки, даже не очень хорошего качества, вполне хватает. А вот VR явно излишен по ряду причин.
Почему бизнес не активно использует видеосвязь:
1. Потому что не каждому бизнесу это по карману и они попросту не имеют возможности оценить преимущества видеосвязи в рабочей обстановке.
2. Только средние и крупные компании имеют более одного офиса. И зачастую плотная координация между филиалами не требуется, достаточно обычного телефонного звонка руководителю филиала.
SemenetsLeonid
28.04.2017 11:46В VR не нужны видеозвонки, они нужны в AR.
Microsoft год назад уже показали Holoportation для HoloLens.eyeofhell
28.04.2017 11:47А Цукерберг несколько месяцев назад показал в VR. Кстати, с нашим SDK его демку с видеозвонком с виртукальных часов на запястье можно за день повторить. 5:21 вот тут: https://youtu.be/NCpNKLXovtE?t=321
SemenetsLeonid
28.04.2017 12:10+1Не был в курсе об успехах Фейсбука. Выглядит неплохо.
Основное отличие в том, что подход с AR позволяет взаимодействовать с окружающими предметами напрямую, проецируя на них изображение. VR такой возможности не предоставляет, во всяком случае до того момента, пока не появятся контроллеры с реалистичной обратной связью.
Считаю, что и сейчас, и в перспективе AR устройства больше ориентированы на рабочие и обучающие процессы, а VR устройства на развлекательные.
mortimoro
Только если в секс по телефону звонить. Но тогда в комплекте к очкам должна идти силиконовая сиська и еще один полезный девайс для органа чуть ниже пояса. Для всего остального достаточно плоской картинки, по крайней мере, на нынешнем уровне развития VR.
eyeofhell
С сексом по телефону непонятно, как и какое видео передавать. Сейчас все мучаются с точным позиционированием камеры для профессионально снятых роликов… А если делать звонок в реальном времени — то куда в виртуальности картинку кидать? И с чего ее снимать? Тут по-моему больше вопросов, чем ответов. А вот преподаватель у доски, или говорящий летающий шарик для детей во время урока физики — тут уже понятно и куда что выводить, и зачем головой вращать.
mortimoro
У меня знакомая работала в сексе по телефону — им выдавали готовые текстовки и надо было просто читать клиенту «с чувством, толком, расстановкой». Некоторые и без заготовок обходились.
С видео можно сделать аналогично:
— Чего сегодня хочет мой шаловливый папочка?
— Хочу стиль собачки, детка.
И ему включают соответствующее VR-видео из коллекции порнхаба, а оператор только озвучивает, продолжая читать по заготовленной текстовке.
eyeofhell
O_O