![](https://habrastorage.org/getpro/habr/upload_files/967/86d/c21/96786dc219b1c250cea62d07067f7d9a.jpg)
Привет, читатель!
Недавно мне довелось пообщаться с новаторами от мира дополненной реальности (AR). Это научно-практический коллектив, который проводит исследование и обучение применению технологий AR в хирургических операциях. Вы ведь не думали, что дополненная реальность — это только симуляция в играх? В общем, прошу под кат — к интервью с разработчиками и истории совмещения передовых визуальных технологий с хирургическими инструментами.
На встрече по пет-проекту коллеги упоминали о наличии у знакомых врачей очков дополненной реальности и их применении при проведении операций. Сами технологии по отдельности — хирургия, трекинг объектов в пространстве, приложения дополненной реальности — существуют достаточно давно. Однако, чтобы их соединить в один продукт, необходимо приложить немало труда. Я связался с разработчиками системы, чтобы познакомиться с проектом Medgital, попробовать повзаимодействовать с дополненной реальностью и поделиться информацией.
Для демонстрации работы приборов и программ коллеги позволили сделать снимки в кабинете с ранее используемыми моделями и макетами. Фото- и видеоматериалы выкладываю с их одобрения и согласия.
Первые 100 операций
На вопросы отвечает разработчик навигационной системы дополненной реальности Ильдар Рафаэльевич Мамаев.
Расскажите, с чего начался проект?
История проекта начинается в Политехническом университете Санкт-Петербурга на кафедре информационных технологий. На ее базе существовала лаборатория визуализации компьютерной графики. Изначально она фокусировалась на исследовательских проектах, а с 2015 года переключилась на медицинские.
Специалисты лаборатории разработали тренажер для открытой хирургии по просьбе одной из клиник. Тогда же, в 2015 году, началось их сотрудничество. Результаты первого проекта демонстрировали на выставках, мы получили несколько наград. На мероприятиях встретили большой отклик заинтересованных в разработках с использованием инновационных методов компьютерной графики и визуализации.
Научный коллектив обнаружил большой потенциал визуальных технологий. Устанавливали новые контакты с клиниками, постоянно пробовали применять различные технологии в медицине. Прорабатывали различные устройства и консультировались с врачами для поиска оптимальных ниш и потенциально интересных проектов. В ходе ресерча тематики разработали технологии по реконструкции и построению трехмерной модели сердца.
Как от визуализации пришли к смешанной реальности?
В 2018 году приобрели очки дополненной реальности Microsoft Hololens. Сразу же возникла идея визуализировать анатомию в этих очках в виде трехмерной модели и применять метод сопоставления ее с пациентом. В течении года создали первый прототип, опубликовали несколько статей по этой тематике. Однако проект немного тормозил из-за технических ограничений очков и сложностей, связанных с отслеживанием и позиционированием.
Когда появилось новое поколение устройств, мы поняли, что оптимизированная технология позиционирования может применяться в операциях. В конце 2020 и начале 2021 годов мы смогли заинтересовать Первый медицинский университет и клинику Алмазова в проведении операций с использованием новой технологии. Изначально применяли сырую версию системы позиционирования, поэтому приходилось корректировать ее под каждого пациента индивидуально.
Какой результат был после первых операций с прототипом системы?
Успех этих операций подтолкнул лабораторию к новым исследованиям и разработкам. А для этого нужны были деньги. Летом 2021 года заинтересовали двух инвесторов, которые профинансировали создание MVP. В течении следующего года доработали систему, сделав ее адаптируемой для разных пациентов без необходимости индивидуального изготовления элементов. Уже в 2022 году провели около 20 операций в области стоматологии челюстно-лицевой хирургии. В том же году получили грант от фонда Бортника и начали регистрацию медицинского изделия. Позже стали резидентами «Сколково».
В 2023 году количество операций, проведенных с использованием нашей системы, приближалось к 100. По состоянию на июль 2024 года мы работаем с двенадцатью различными клиниками в Санкт-Петербурге, в Москве и других регионах.
Помимо развлечений, эти технологии применяются так же в маркетинге, образовательных целях, и, с недавних пор, в медицине.
Обучение работе с системой
Какие задачи вы как разработчик выполняете в проекте?
Прежде всего, это разработка новых фич, которые масштабируют наш проект в других направлениях. Также занимаюсь поддержкой софта, который используется в очках дополненной реальности. В мои обязанности входит подготовка учебных материалов, обучение хирургов и других клиентов, которые приобретают наше программное обеспечение и оборудование. Периодически езжу в деловые командировки, участвую в выставках. В будущем планирую выступать и на конференциях.
Требуется ли специальное обучение для разработки?
Я обучался на физика, потом переучился на программиста. Я не врач, хотя необходимый минимум знаний, например в области анатомии, неизбежно приобретается в процессе работы.
На вопросы отвечает доктор медицинских наук, профессор Михаил Сергеевич Коржук.
Какой опыт требуется специалистам для работы с очками?
Дополненная реальность — достаточно сложный инструмент, который требует от хирурга определенных навыков. Плюсы его использования: выбор наилучших вариантов разъединения и соединения тканей и органов, снижение риска осложнений, сокращение времени операции. Но есть и минусы: большой объем подготовительной работы и непривычность оперирования в AR-очках. Не все, но некоторые недостатки можно преодолеть, используя дистанционную онлайн-работу.
![Демонстрация работы молодым специалистам. Демонстрация работы молодым специалистам.](https://habrastorage.org/getpro/habr/upload_files/717/6c6/cd0/7176c6cd09b18ae23c1b1226bae5be01.jpg)
Персонал, использующий очки, — преимущественно хирурги со стажем, которым актуально получить опережающую хирургическую информацию, предупредить и исключить потенциальные сложности. Они высоко оценивают технологию. Молодым специалистам система кажется не более, чем зрелищной.
Как используется система в образовании?
Мы накопили базу 3D-моделей пациентов. С их разрешения используем ее в обучении студентов-медиков для иллюстрации как нормальной анатомической картины, так и соответствующих поражений. Демонстрируем модели через AR-очки или на мониторе. Можно считать, что это виртуальный анатомический атлас. Также для учебных целей распечатываем некоторые элементы 3D-моделей из пластика.
Технологии в действии
Коллеги предоставили возможность протестировать добавление модели и совмещение с оснасткой. По ощущениям — как Тони Старк в «Железном человеке» чертежи в пространстве раскидывал. К сожалению, запись отличается от реальности и имеет задержки и небольшие нестыковки.
В чем заключается применение технологий дополненной реальности в медицине?
Суть AR в том, чтобы одновременно предоставить пользователю информацию из двух источников: от его органов чувств (восприятие реального мира) и с компьютера. Если информация из виртуального мира используется для воздействия на реальный объект, технология называется «смешанной реальностью». В качестве исходных данных в ней используются DICOM-файлы КТ или МРТ. В программе 3D-Slicer производится визуализация, редактирование и сохранение информации о пациенте и заболевании в формате 3D-модели. В ряде случаев сохраняем данные и об этапах операции.
Как проходит подготовка к операции?
Первый этап — подготовка к операции — включает выполнение КТ или МРТ. Затем бригада специалистов разного профиля (хирург, онколог, травматолог, рентгенолог) формирует 3D-модель. Эта часть работы называется сегментацией. Особое внимание уделяется ключевым особенностям пациента и пораженных органов. Далее консилиум оценивает детальность и качество модели, иногда рекомендует доработки.
Модель может быть использована как персональный анатомический атлас пациента, карта хирургической навигации с отметкой зон и этапов повышенного хирургического риска, а также для изготовления медицинского оснащения. В последнем случае подготавливаются и передаются в 3D-печать трехмерные модели медицинских изделий. Например, пластиковая док-шина, созданная под конкретного пациента, обеспечивает необходимое для проведения манипуляций стабильное положение конечности. В зависимости от того, как планируется использовать 3D-модель, подбирается устройство ее отображения. Это может быть монитор, проектор, AR-очки.
В качестве примера — клинический случай одного из пациентов с инородным телом в стопе.
![Модель стопы с док-шиной программе 3D-Slicer. Модель стопы с док-шиной программе 3D-Slicer.](https://habrastorage.org/getpro/habr/upload_files/5fd/a12/de2/5fda12de25c845077ffa907319c5476f.png)
Навигационная система, в состав которой входят очки дополненной реальности, позволяет привязать 3D-модель к пациенту. Для этого модель дорабатывают с помощью ПО Medgital Studio, разработанного с использованием графического движка Unity. В окнах программы отмечаются оси сопоставления, оси для введения инструмента, опорные точки модели. Отмечаются не менее трех статичных точек для фиксации маркера модели. Маркер входит в комплект навигационной системы и имеет QR-код для привязки.
Далее исходные файлы DICOM и файлы 3D-модели загружаются в MegitalVision. В приложении выполняется настройка цветового отображения, функций прозрачности элементов изображения. Загружаются 3D-модели осей, опорных точек, инородных тел и дополнительных слоев, например, поверхности кожи. Выполняется совмещение моделей со сканом. Для каждой добавленной модели задается собственный цвет. Последним этапом добавляются точки крепления QR-кода. Затем файлы в автоматическом режиме передаются в память очков.
![Окно программы Medgital Vision с моделью нижней конечности, чертежом фиксирующей шины, проекциями сканов, элементами моделирования операции. Окно программы Medgital Vision с моделью нижней конечности, чертежом фиксирующей шины, проекциями сканов, элементами моделирования операции.](https://habrastorage.org/getpro/habr/upload_files/fa2/f61/3f7/fa2f613f74114a357556c6ae0be5db41.png)
Последний этап — проведение операции. Во время подготовки и после анестезии пациенту придается положение, в котором выполнялась компьютерная томография. Конечность можно зафиксировать при помощи оснастки. На заранее отмеченные места крепится пластина с QR-кодом. Оперирующий врач с помощью ассистента надевает очки и в виртуальном меню выбирает файл модели пациента. По QR-коду производится автоматическое совмещение модели с телом пациента. Затем — сама манипуляция. Оси, опорные точки, изображения органов используются как ориентиры этапов операции.
![Извлеченное инородное тело. Извлеченное инородное тело.](https://habrastorage.org/getpro/habr/upload_files/a3b/473/bbd/a3b473bbde42d6f10155dae1146c3fd0.jpg)
Вы упомянули, что используется 3D-печать. Насколько это распространено в хирургии? Мне известно, что наибольшее распространение технология получила в стоматологии.
Многие авторы научных работ используют напечатанные модели органов пациента для лучшей ориентации в анатомической картине. Нам это не особенно нужно, поскольку есть возможность изучить модель в очках дополненной реальности. А вот для изготовления персональных медицинских изделий 3D-печать — хорошая опция. В приведенном выше примере шина содержала направляющие каналы для указывающих местоположение инородного тела стержней.
Планы по продвижению системы и ее использованию
Ильдар Мамаев:
Мы продемонстрировали нашу систему на международных выставках, включая презентацию в Бахрейне, в министерстве здравоохранения в Дубае и Турции. Мы видим большую заинтересованность потенциальных клиентов. На данный момент у нас есть регистрационное удостоверение на медицинское изделие. Созданное решение является уникальным на российском рынке и нашу систему активно используют в ведущих клиниках страны.
Михаил Коржук:
Дополненная реальность применяется в ряде медицинских организаций в Санкт-Петербурге и Москве. Количество пролеченных с ее помощью больных исчисляется сотнями. Большинство из них с успехом оперированы. Основной вектор нашей работы в настоящее время — упрощение технологии для конечного пользователя-врача, формирование профессионального сообщества по использованию технологии дополненной реальности в хирургии. Мы создали курс повышения квалификации врачей по этому направлению. Так мы создаем фундамент широкого применения этого сложного, но крайне полезного для здоровья пациентов раздела IT.
Комментарии (8)
Ok_Lenar
14.08.2024 10:57+1В видео столько раз пытались увеличить но так и ни разу не вышло, или я не прав?
Nashev
14.08.2024 10:57Преобразование КТ в объёмную модель - это очень достойная тема, но вот очки и манипуляция моделью в объёме руками пока хромают на все четыре лапы (((
VRyabchevsky Автор
14.08.2024 10:57Если правильно вас понял, то манипуляции с моделью не должны проводиться руками. Модель автоматически должна «накладываться» по метке на пациенте
Yuri0128
Наверное круто..... Но:
это серьезно? Тама достаточно 1 медицинского инженера (medical engineer) и рентгенолога (иногда это все в одном), а все спецы уже потом будут вопросы задавать а оте 2 будут на них отвечать и крутить модель как нужно при формирование протокола операции.
По поводу 3Д-печати - ну хирургический шаблон форева.
А вот по поводу дополенной реальности - то видео "демонстрации" - какое отношение имеет к реальной операции, - вы думаете у хирурга будет время, возможность и желание делать оте жесты и смотреть на дергающееся изо? Вот бы проектировать срез КТ на операционное поле, чтобы понимать где что и куда низзя лезть а где находится гвоздь в стопе. Но это было-бы лучше грамотный хирургический шаблон.
А на операции посерьезнее - так показанное ну на игрушку смахивает.
VRyabchevsky Автор
Спасибо за комментарий.
Да, фактически сейчас этой делает один специалист, консультируясь с коллегами по профилю.
Это демо снимал отдельно. Во время проведения манипуляций используются специальные метки:
/
При использовании очков картинка не дергается так сильно, как на видео.
Yuri0128
Так бы показали бы применение в реальной операции - куда более познавательно было-бы.
так при сложной операции даже "не так сильно" отвлекает и раздражает.
И вопрос: если операция делается в бинокулярах (в стоматологии так точно часто) или под микроскопом, - как в этих случаях дополненная в вашем (ой, Ильдара Мамаева ) исполнении применяется?
VRyabchevsky Автор
Уточню еще раз этот вопрос, но не все материалы могу выкладывать.
Направил вопрос разработчику, будет информация - отпишусь отдельным комментарием.