В мае этого года компания VK открыла доступ к своему облачному сервису платформы VK Cloud Solutions на GPU, созданному в 2021 году российскому медицинскому стартапу VeinCV, резиденту «Сколково». Облачный сервис необходим для повышения качества работы созданной VeinCV системы бесконтактной визуализации вен на основе ИИ. Информационная служба Хабра связалась с пресс-службой «Сколтеха», на базе которого создан проект, чтобы побольше узнать о VeinCV и его разработке. На вопросы отвечал Олег Рогов, сооснователь и генеральный директор стартапа, а также научный сотрудник «Сколтеха».
Расскажите о VeinCV. Кто работает в проекте? Он сразу сформировался на базе «Сколково» или присоединился в рамках какой-то инициативы?
Наш стартап объединяет специалистов в области IT-разработки, специалистов по искусственному интеллекту, молодых учёных, докторов наук крупнейших университетов, инженеров из крупнейших технических корпораций, научных сотрудников в области медицины, а также высококвалифицированных специалистов в области производства, развития бизнеса, маркетинга. Стаж работы каждого из членов core team превышает 17 лет в своей области. Наши ключевые специалисты являются общепризнанными лидерами рынка с региональными, федеральными и международными достижениями. Я сам закончил физический факультет МГУ, а сейчас являюсь научным сотрудником «Сколтеха».
Сначала наш стартап был создан научными сотрудниками и студентами «Сколтеха», а потом мы решили подать заявку в «Сколково». В настоящий момент мы продолжаем своё RnD развитие на базе «Сколтеха», к нам приходят студенты на практику, мы публикуем результаты наших исследований в высокоцитируемых научных изданиях
Какие разработки, кроме упомянутого визуализатора вен, есть у стартапа? Если их нет, то какие планируются или уже в работе?
Веновизор являются лишь первой ступенью развития нашего программно-аппаратного комплекса. Программно-аппаратный комплекс будет задействован в решении задач не только в флебологии, но и, например, кардиологии, онкологии, а также косметологии.
Стартап использует исключительно отечественные технические решения и комплектующие, или часть их них завозится из-за рубежа? Как на стартап повлияли санкции?
Текущие события и ограничительные меры значительно ускорили развитие и внедрение нашего решения в медицинские учреждения и никак не отразились на нашей производственной деятельности. В планах компании — полный переход на отечественную компонентную базу к 2024 году.
К вопросу о веновизоре. Как проходила верификация вашего программно-аппаратного комплекса?
Верификация проходила как в ряде федеральных медицинских центров, так и в крупных частных клиниках. На данный момент устройство прошло испытания более чем на четырех тысячах пациентов. Во время верификации мы учитываем мнения специалистов, чтобы дорабатывать и оптимизировать наш комплекс для его более удобного и эффективного дальнейшего использования.
Сталкивались ли с критичными проблемами отказоустойчивости и, если да, то как решали?
Таких кейсов в нашей практике пока не было.
Всё-таки какова вероятность ошибки (сдвига), если речь идёт, например, о тонком сосуде?
Очень много факторов влияют на данный аспект, как и на каждый конкретный прокол вены. Однако вероятность непопадания и травмирования именно тонкого сосуда даже у беспроблемного (ординарного) пациента в среднем составляет до 30%.
Вероятность же сдвига проекции венозного рисунка достаточно мала, что подтверждается опытом продолжительного пилотирования нашего прибора.
Какой ресурс у IT-источника?
Вся программная часть нашего комплекса является уникальной запатентованной архитектурой, впервые использующей ИИ для такого рода медицинских и IT задач. Она была разработана научными сотрудниками и студентами университета «Сколтех».
Вы позиционируете решение именно как устройство для быстрого и безболезненного забора крови? Возможно ли расширение функциональности, например, для ранней диагностики тромбофлебита?
Забор крови, лабораторные исследования, а также станции переливания крови — лишь первая ступень развития нашего программно-аппаратного комплекса. Мы предлагаем решения для флебологии, включая не только оптимизацию, подготовку и упрощение разных хирургических операций, но и диагностику и лечение ряда флебологических заболеваний, включая тромбофлебит.
Программно-аппаратный комплекс объединяет разработку VeinCV для флебологии и клинических анализов, а также решения для других терапевтических областей, включая кардиологию, онкологию, а также таких околомедицинских областей как косметология.
Ваш веновизор такой непортативный, в то время как есть уже несколько решений трансиллюминаторов вен для использования, например, врачами скорой помощи, которым как раз нужно быстро попасть в самый сложный сосуд. В чём преимущества разработки VeinCV, и планируются ли какие-то портативные сканеры не только для целей забора крови, но и для других манипуляций на венах?
Наше решение не основано на технологии трансиллюминации и работает на базе принципиально иной технологии: инфракрасная камера с применением прецизионной оптики позволяет видеть вглубь, под поверхность кожи. Прибор компенсирует движения руки и в режиме реального времени анализирует и поддерживает проецируемую картинку: комплекс методов искусственного интеллекта позволяет в динамике обрабатывать данные и проецировать венозный рисунок пациента на его кожу.
Наш программно-аппаратный комплекс подразумевает портативную модификацию для карет скорой помощи, фельдшерских пунктов, а также стационарную модификацию для работы в кабинетах профильных специалистов, для лабораторий и отдельных медицинских кабинетов.
Насколько доступным может быть программно-аппаратный комплекс и его комплектующие для учреждений здравоохранения?
Наша компания стремится создать комплексное наукоемкое адаптируемое решение, применимое для всех текущих медицинских задач, масштабируемое для различных медицинских областей и доступное как для частных, так и для государственных медицинских учреждений.
На текущий момент у нашего программно-аппаратного комплекса нет прямых аналогов во всем мире ни по техническому, ни по коммерческому аспектам. Кроме того, наше решение значительно дешевле существующих на рынке подобных устройств.
Уровень обывательского доверия к решениям, вынесенным ИИ, выше или ниже, чем к решениям от врачей?
Интеграция обучаемых моделей и ИИ для решения медицинских задач даёт возможность пациентам получить высококвалифицированное «второе мнение». Это не только помогает оптимизации системы здравоохранения, но и способствует большей удовлетворенности пациента, а также дает возможность профильным врачам заниматься действительно критическими профильными случаями.
Готовы ли сами врачи доверять ИИ?
С одной стороны, в крупных медучреждениях профессионалы высокой квалификации основываются на своем многолетнем опыте. Несмотря на очевидную консервативность отрасли, по нашему опыту, в целом, врачи готовы внедрять в работу новые решения, повышающие эффективность работы и удовлетворенность пациентов.
Планируется ли разработка собственного облачного решения на замену VK Cloud Solutions? Или вы планируете пользоваться им на постоянной основе?
Наш программно-аппаратный комплекс может работать как на базе VK Cloud Solutions, так и подключаться к внутренней информационной системе медицинского учреждения, а также функционировать без использования облачного решения.
Как устройство будет работать в случае, если доступ к облаку VK внезапно исчезнет?
Проблем не возникнет, так как комплекс либо подключится к внутренней информационной системе медицинского учреждения, либо будет функционировать без использования облачного решения. Мы также можем подключать наш комплекс по запросу медицинского учреждения к федеральной или региональной системе телемедицины или создавать облачное решение специально для медицинского учреждения.
Расскажите, как вы обучали ИИ. Какая база была сформирована, сколько испытуемых?
В процессе разработки мы использовали свой уникальный датасет, включающий 1680 размеченных экспертами снимков, которые мы применяли для обучения, валидации и теста на отложенной выборке. Подробности можно прочитать в наших научных публикациях:
Adaptive Denoising and Alignment Agents for Infrared Imaging;
Near-Infrared-to-Visible Vein Imaging via Convolutional Neural Networks and Reinforcement Learning.
Подробнее об устройстве
Информационная служба Хабра ознакомилась с исследованиями авторов. В них представлен старый прототип устройства от 2020 года. К сожалению, технические подробности нового веновизора на текущий момент не раскрываются, но некоторые подробности состава прототипа доступны с изучению. Как указали в пресс-службе «Сколтеха», на текущий момент прорабатывается абсолютно новая версия программно-аппаратного комплекса и нынешние компоненты отличаются от компонентов прототипа.
В исследовании работа экспериментальной установки представлена следующим образом. ИК-диоды, работающие в диапазоне длин волн от 750 нм до 900 нм (Kingbright, L-7113SF4C), освещают целевую область. ИК-камера (Raspberry NoIR camera V2) собирает свет, рассеянный в тканях и поглощённый гемоглобином в крови. Установленный перед камерой ИК-фильтр используется для уменьшения эффекта рассеянного света от окружающего света, в основном, в видимом диапазоне. Скрещенные поляризаторы используются для уменьшения отражения от поверхности, чтобы свести к минимуму блики. Вычислительное ядро (Raspberry Pi 4 с 4 ГБ оперативной памяти) обрабатывает сырое изображение, снятое камерой, и отправляет результат в проектор.
Само вычислительное ядро содержит входные данные с фильтром Frangi для U-Net и различные модули для выравнивания масок изображений на основе CV и RL. Наконец, проектор (XGIMI Z3) используется для перевода преобразованных сегментированных вен обратно на предплечье для правильного выравнивания маски для рук.
К сожалению, код и набор данных для обучения своей нейросети в свободном доступе также не представлены. Как указано в работе, тестирование и проверка работы проводилась на сервере под управлением Ubuntu 16.04 (32 ГБ ОЗУ), обучение проводилось с использованием NVidia GeForce Ti 1070 (8 ГБ ОЗУ).
Комментарии (10)
ZlodeiBaal
08.06.2022 19:22+6Визуализация вен это всегда забавно.
Мы когда-то делали это для систем биометрической идентификации людей.
Но к продукту есть пара вопросов.
1) При чем тут ИИ? Операция визуализации вен обычно делалась 1-2 фильтрами более классическими. Аппараты которые для этого использовались лет 10 назад это так и делали — www.youtube.com/watch?v=uWjx4yyNPww
2) В чем отличие от существующих аппаратов? Многие из них достаточно маленькие и компактные, например такие — www.medicalexpo.com/prod/christie-medical/product-122281-859227.htmlMoskus
08.06.2022 20:43+1Ну, с ИИ легче (дороже) продать. Дорисовывать недостающие данные - это ведь очень модно, особенно если известно, что погрешность в любом случае есть. Так и Яндекс поступает с положением общественного транспорта (когда поток от GPS прерывается), делает supersampling для погодных карт.
begin_end
09.06.2022 00:33Тут давно даже статья про портативный гаджет есть, без ИИ, разумеется.
Тогда сразу бросились разбирать принцип, в новинку было… а получить снимок вен совсем не сложно (кустарно сделанное 780nm изображение). Миниатюрный лазерный проектор труднее сделать, хотя если попробовать пропускать поляризованный луч лазера через жк дисплейчик без задней стенки, можно обойтись без механики.
И все же, зачем ИИ? Вдруг он несуществующую вену нарисует… Разве что применять его для интеллектуального управления общими настройками контрастности, не трогая картинку.Moskus
09.06.2022 06:51+1Принцип действия прибора довольно простой, аналогов - дофига. Как продать своё изделие (на секунду забудем про экономическую изоляцию)? Конечно, добавить фичу, которая делает прибор вроде бы лучше, возможно - хуже, но неуловимо хуже (так что невозможно точно связать ошибку с наличием ИИ), в пределах погрешности. Прецедентов в прошлом - достаточно, например - Самсунг так "творчески заимствовал" у Sony. Это до ИИ, конечно, было.
VeinCV
11.06.2022 00:33Добрый день!
1) Операция визуализации вен обычно делалась 1-2 фильтрами более классическими. Аппараты, которые для этого использовались лет 10 назад, это так и делали.
2) Верно, для вполне вменяемой детализации достаточно пары фильтров. Да и опытная медсестра конечно с легкостью найдет вену, поэтому аппараты, которые делали и 10 лет назад не нашли широкий спрос, потому что решали проблему CV, а не задачу конкретного специалиста-врача. Здесь и отличие. Мы запатентовали решения, позволяющие проводить анализ изображений, необходимый докторам-флебологам или онкологам, например, в их посвседневной работе. А ещё мы показали, что эти устройства могут быть гораздо доступнее для клиник с точи зрения цены.
TsarS
Вроде нет там датасета. Да и в issue жалуются на это .
ancotir Автор
Спасибо, сейчас уточню у них.
UPD: Уточнила. К сожалению, сейчас доступ закрыт, датасет не публичный. Сейчас уберу из материала.
VeinCV
Добрый день! Благодарим за комментарий! Доступ к нашему датасету предоставляется в научных целях по запросу и после подписания NDA.