Еще не успели стихнуть разговоры об удивительных возможностях, которые открывают технологии дополненной реальности (AR) и виртуальной реальности (VR), а уже всё чаще стало звучать другое словосочетание – «расширенная реальность» (XR). Страсти вокруг нее разожгло, конечно же, появление гаджета Apple Vision Pro. Для кого-то эти «очки» стали дорогущей игрушкой, но подобные устройства можно использовать и для серьезных полезных дел. Например, в медицине.
Пласты реальности: разбираемся в терминологии
Для тех, кто не в курсе, стоит пояснить за все эти AR, VR и XR. Итак:
Дополненная реальность (augmented reality, AR) – это когда компьютер берет картинку реального мира и накладывает на нее какую-то полезную (или не очень) информацию. Такое можно провернуть как с помощью AR-очков, так и с помощью обычного планшета или смартфона. Если вы помните про нашумевшую в свое время игру Pokémon GO – вот это самое оно.
Виртуальная реальность (virtual reality, VR) обманывает мозг по полной. Она погружает человека в полностью выдуманный, искусственный мир. В отличие от AR, тут от реальности вообще ничего не остается.
Смешанная реальность (mixed reality, MR) позволяет реальным и цифровым объектам сосуществовать и взаимодействовать между собой. Это более продвинутая штука по сравнению с AR и VR, и для нее нужны более серьезные вычислительные мощности.
Наконец, расширенная реальность (extended reality, XR) – это, если выражаться простыми словами, самая крутая штука. Она объединяет AR, VR и MR.
Эксперты пророчат XR большое будущее. Вот, например, что написали в отчете GlobalData за июль 2023 года:
XR способна произвести революцию в обучении, дизайне, взаимодействии, сотрудничестве и развлечениях. Она поспособствует трансформационным изменениям во всех отраслях и улучшит качество взаимодействия между людьми.
Расширенная реальность для хирургов
Технологии расширенной реальности могут привести к большим изменениям и в медицине. Например, уже есть предпосылки для интеграции XR в хирургию. В начале февраля 2024 года в рамках сотрудничества между компанией eXeX и нейрохирургом Робертом Мэсоном XR была использована во время некоторых операций по реконструкции позвоночного столба. Врачи отметили, что пока технология используется в операционной только в «качестве логистического и организационного инструмента». Но со временем возможности ее применения расширятся, и она может стать неотъемлемым инструментом хирургов.
Эксперты считают, что во время операций в первую очередь будут полезны такие функции XR, как наложение компьютерных изображений и дополнительной информации на поле зрения в реальном времени, обеспечение визуального руководства. Вне хирургических вмешательств расширенную реальность можно использовать для анализа предоперационных и послеоперационных данных, быстрого доступа врачей к информации о каждом пациенте.
Прямо сейчас внедрением технологий XR в хирургию занимается несколько стартапов. Лидерами среди них являются Synaptive, XACT Robotics и CMR Surgical. Австралийская компания Omniscient создает цифровые карты мозга, которые потом могут использовать нейрохирурги, неврологи и психотерапевты.
Шкала с HP над головой пациента
С помощью Vision Pro можно выводить перед глазами врача любую информацию о пациенте, начиная графиками артериального давления за определенное время и заканчивая результатами последней рентгенографии грудной клетки или анализов крови. Вопрос в том, насколько это вообще нужно, целесообразно, и насколько сильно повысит эффективность работы врачей. К тому же, прежде чем внедрять подобные технологии в повседневную клиническую практику, неплохо бы хорошенько изучить их возможности.
Недавно поисками ответов на эти вопросы занялась некоммерческая региональная группа здравоохранения Sharp HealthCare в Сан-Диего. В начале февраля она закупила 30 комплектов Vision Pro и передала их медицинским работникам, занятым выполнением самых разных задач. Чтобы лучше изучить, насколько будет полезен новый гаджет в больницах, Sharp сотрудничает с лидером отрасли в области систем электронных медицинских записей Epic.
Эксперты отмечают, что XR-гарнитуры, конечно, позволяют людям воспринимать информацию по-другому. Но стоит помнить, что «по-другому» и «лучше» – не синонимы. Важно тщательно сравнить, как медперсонал выполняет те или иные обязанности с гаджетом и без него, чтобы понять, где расширенная реальность может быть по-настоящему полезна. В эксперименте участвуют не только врачи, но и медицинские сестры, специалисты по информационным технологиям и разработчики ПО в медицине.
Некоторые области применения XR кажутся наиболее очевидными.
В гарнитуре Vision Pro встроены внутренние видеокамеры, направленные на глаза пользователя. За счет того что они постоянно отслеживают взгляд, человек может «выбрать» какой-либо объект или значок, просто посмотрев на него. Это может быть очень удобно для проверки зрения.
Применение XR выглядит перспективным, когда специалисту нужно решать одновременно несколько задач. Например, постовая медсестра в стационаре могла бы быстро визуализировать жизненные показатели закрепленных за ней пациентов, следить через видеокамеры за лежачими больными, которые могут самовольно встать и получить травму.
Массу показателей часто вынуждены отслеживать в реальном времени врачи-анестезиологи. Вместо того чтобы бегать по палатам или постоянно смотреть в разные мониторы, доктор мог бы просто надеть гарнитуру и вывести через нее всю нужную информацию.
Во многих компьютерных играх над головами персонажей есть шкалы с оставшимися HP, иногда отображается уровень энергии, магии. Врачи могли бы точно так же видеть над головами пациентов частоту пульса, артериальное давление, результаты ЭКГ и другие показатели. При этом классическое словосочетание «осмотр больного» заиграло бы совсем новыми красками!
Тренируйся на кошках…виртуальных
Виртуальные 3D-модели отлично подходят для обучения студентов-медиков. Трехмерные анатомические атласы на компьютерах и смартфонах уже давно не новинка. VR-технологии существенно расширяют возможности. С помощью них медикам можно показывать сложные анатомические модели. Виртуальный орган можно повертеть в разные стороны, посмотреть во всех подробностях, как он работает.
С помощью XR можно пойти еще дальше и смоделировать практически любую медицинскую процедуру, операцию. Практикант сможет самостоятельно выполнить сложное хирургическое вмешательство, при этом цена ошибки будет нулевой.
Возможно, новые технологии станут подспорьем не только новичком. Есть сложные операции, которые приходится выполнять довольно редко, при этом высок риск послеоперационных осложнений, гибели пациента. Чтобы в совершенстве овладеть подобными вмешательствами, хирургу нужно довольно долго поработать в специализированной клинике. А в виртуальном пространстве можно было бы тренироваться каждый день.
Медицинские вмешательства с помощью VR можно продемонстрировать и самому пациенту. Тогда он будет лучше представлять, что ему предстоит перенести, станет более осознанно и добросовестно сотрудничать с врачом, да и уровень стресса при правильном подходе это заметно снизит.
Начнут ли участковые терапевты принимать пациентов в XR-очках?
Ну и главный вопрос: Скоро ли мы увидим терапевтов и других врачей, которые будут принимать пациентов в XR-гарнитуре? Возможно, для самих докторов это было бы удобно. Но эксперты считают, что такое применение технологии нецелесообразно.
Всё-таки во время приема большую роль играет человеческое взаимодействие между доктором и больным. Сложно говорить о доверительных отношениях, если перед вами сидит специалист в маске, напоминающий робота. Эту проблему уже обсуждали в пандемийные времена, когда многим больным вместо привычного человеческого лица приходилось общаться с респиратором и защитными очками.
То ли дело быстро получить необходимую информацию в операционной, отделении интенсивной терапии или перед тем, как пациент зайдет в кабинет. Тут польза подобных гаджетов очевидна – осталось понять, как их использовать наиболее рационально. Несомненно, что это направление будет развиваться, и рынок XR-технологий в медицине будет только расти.