F.D.A. одобрило множество новых программ, использующих искусственный интеллект, однако врачи скептически относятся к тому, что эти инструменты действительно улучшают качество обслуживания и подкреплены серьёзными исследованиями.

В медицине предостерегающие истории о непредвиденных последствиях применения искусственного интеллекта уже стали легендой.

Так, программа, предназначенная для прогнозирования развития у пациентов сепсиса (смертельно опасной инфекции кровотока) вызвала целый ряд ложных срабатываний. Другая программа, предназначенная для улучшения последующего ухода за наиболее больными пациентами, как оказалось, привела к углублению неравенства в здравоохранении.

Опасаясь подобных недостатков, врачи держат ИИ в узде и используют в качестве секретаря, второго мнения, к которому необязательно обращаться, и организатора работы бэк-офиса. Однако эта область набирает обороты и получает всё больше инвестиций для использования в медицине и за её пределами.

В Управлении по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), играющем ключевую роль в утверждении новых медицинских препаратов, ИИ является актуальной темой. Он помогает открывать новые лекарства. С его помощью можно выявить неожиданные побочные эффекты. И даже обсуждается вопрос о том, как помочь сотрудникам, которые перегружены повторяющимися, рутинными задачами.

Однако в одном важнейшем вопросе роль FDA подвергается резкой критике: насколько тщательно оно проверяет и описывает утверждённые им программы, помогающие врачам обнаруживать всё: от опухолей до тромбов и коллапса лёгких.

«У нас будет много возможностей для выбора. Это интересно, — сказал в интервью доктор Джесси Эренфельд, президент Американской медицинской ассоциации, ведущей лоббистской группы врачей. — Но если врачи собираются внедрять всё это в свой рабочий процесс, если они собираются платить за это и если они собираются использовать это — мы должны быть уверены, что эти инструменты работают».

Недавно президент США Байден издал указ, который призывает к принятию нормативных актов в широком спектре ведомств, чтобы попытаться справиться с рисками безопасности и конфиденциальности, которые несут в себе информационные технологии, в том числе в здравоохранении. Указ предусматривает увеличение финансирования исследований в области ИИ в медицине, а также программы безопасности для сбора сообщений о вреде или небезопасных практиках. В конце этой недели состоится встреча с мировыми лидерами для обсуждения этой темы.

Выступая на мероприятии в понедельник, Байден отметил важность контроля за развитием и безопасностью ИИ и создания систем, которым люди могут доверять.

«Например, чтобы защитить пациентов, мы будем использовать ИИ для разработки лекарств от рака, которые работают лучше и стоят дешевле, — сказал Байден. — Мы также запустим программу безопасности, чтобы убедиться в том, что системы здравоохранения, созданные с помощью ИИ, не причиняют вреда».

Ни одно американское ведомство не управляет всем этим ландшафтом. Сенатор Чак Шумер, демократ от Нью-Йорка и лидер большинства, в сентябре созвал руководителей технологических компаний на Капитолийский холм, чтобы обсудить пути развития этой сферы и выявить «подводные камни».

Компания Google уже привлекла внимание Конгресса своим пилотным проектом нового чат-бота для медицинских работников. Он получил название Med-PaLM 2 и предназначен для ответов на медицинские вопросы, но вызвал опасения по поводу конфиденциальности и информированного согласия пациентов.

То, как FDA будет контролировать такие «большие языковые модели», или программы, имитирующие экспертов — это лишь один из больших вопросов, с ответами на которые агентство отстаёт от быстро развивающихся достижений в области ИИ. Представители агентства только начали говорить о рассмотрении технологий, которые будут продолжать «обучаться» в процессе обработки тысяч диагностических снимков. Кроме того, существующие правила агентства поощряют разработчиков концентрироваться на одной проблеме за раз, например на шуме в сердце или аневризме мозга, в отличие от используемых в Европе средств искусственного интеллекта, которые сканируют целый ряд проблем.

Сфера деятельности агентства ограничена продуктами, одобренными для продажи. Оно не имеет полномочий в отношении программ, которые системы здравоохранения создают и используют внутри себя. Крупные медицинские системы, такие как Стэнфорд, клиника Майо и Дьюк, а также медицинские страховые компании могут создавать свои собственные информационно-технологические инструменты, которые влияют на принятие решений о лечении и страховом покрытии тысяч пациентов, практически не подвергаясь прямому государственному надзору.

Тем не менее, у врачей возникает всё больше вопросов по мере того, как они пытаются применить около 350 программных средств, одобренных FDA для обнаружения тромбов, опухолей или дыр в лёгком. Они не нашли ответов на основные вопросы: Как создавалась программа? На скольких людях она была протестирована? Может ли она выявить то, что обычный врач может пропустить?

Отсутствие общедоступной информации, что, возможно, парадоксально в условиях изобилия данных, заставляет врачей относиться к этому с опаской: технология, которая кажется захватывающей, может привести пациентов к увеличению числа биопсий, росту медицинских счётов и применению токсичных лекарств без существенного улучшения качества лечения.

Доктор Эрик Тополь, автор книги об использовании искусственного интеллекта в медицине, не теряет оптимизма в отношении потенциала этой технологии. Однако, по его мнению, FDA допустило ошибку, позволив разработчикам ИИ держать свой «секретный соус» в тайне и не потребовав проведения тщательных исследований для оценки значимых преимуществ.

«Чтобы изменить медицинскую практику и внушить уверенность в том, что это путь к успеху, необходимо иметь действительно убедительные, великолепные данные», — сказал д-р Тополь, исполнительный вице-президент исследовательского центра Scripps Research в Сан-Диего. Вместо этого, добавил он, FDA разрешило «использовать обходные пути».

Крупные исследования начинают раскрывать новые подробности. Одно из них показало преимущества использования ИИ для выявления рака молочной железы, а другое выявило недостатки приложения, предназначенного для выявления рака кожи, сказал д-р Тополь.

Д-р Джеффри Шурен, руководитель подразделения FDA по медицинскому оборудованию, признал необходимость постоянной работы над тем, чтобы программы искусственного интеллекта выполняли обещания их разработчиков после получения разрешения. В то время как лекарства и некоторые приборы перед утверждением проходят испытания на пациентах, к программам с ИИ это обычно не относится.

Одним из новых подходов может стать создание лабораторий, в которых разработчики могли бы получать доступ к огромным массивам данных и создавать или тестировать ИИ-программы, сказал д-р Шурен на конференции Национальной организации по редким расстройствам 16 октября.

«Если мы действительно хотим обеспечить правильный баланс, нам придётся изменить федеральное законодательство, потому что существующей структуре, которую мы используем для этих технологий, уже почти 50 лет, — сказал д-р Шурен. — Она совсем не была рассчитана на ИИ».

Осложняют попытки адаптировать машинное обучение для крупных больничных и медицинских сетей и другие факторы. Программные системы не разговаривают друг с другом. Нет согласия по поводу того, кто должен за них платить.

По одной из оценок, около 30% радиологов (область, в которой ИИ получили широкое распространение) используют ИИ-технологии. Простые инструменты, которые могут повысить резкость изображения, легко продаются. Но более рискованные, например, выбирающие, чьё сканирование мозга должно быть приоритетным, вызывают беспокойство врачей, если они не знают, например, была ли программа обучена распознавать болезни как 19-летних, так и 90-летних.

Осознавая подобные недостатки, доктор Нина Коттлер возглавляет многолетнюю многомиллионную работу по проверке программ искусственного интеллекта. Она является главным врачом по клиническим ИИ в компании Radiology Partners, расположенной в Лос-Анджелесе, которая ежегодно считывает около 50 млн снимков для примерно 3200 больниц, независимых отделений неотложной помощи и центров визуализации в США.

Она знала, что погружение в систему ИИ будет непростым делом для 3600 радиологов компании. Ведь Джеффри Хинтон, известный как «крёстный отец ИИ», в 2016 году огорошил всех представителей профессии, предсказав, что машинное обучение полностью заменит радиологов.

По словам д-ра Коттлер, она начала оценивать утверждённые программы искусственного интеллекта с опроса их разработчиков, а затем протестировала некоторые из них, чтобы определить, какие программы пропускают относительно очевидные проблемы или выявляют более тонкие.

Она отклонила одну утверждённую программу, которая не выявляла аномалии лёгких за пределами случаев, обнаруженных её радиологами, и пропустила некоторые очевидные аномалии.

По её словам, впечатляющей оказалась другая программа, сканирующая снимки головы на предмет аневризмы — потенциально опасного для жизни состояния. Несмотря на большое количество ложных срабатываний, она обнаружила на 24% больше случаев, чем выявили рентгенологи. Больше людей с явной аневризмой головного мозга получили последующее лечение, в том числе 47-летний пациент с выпячиванием сосуда в неожиданном участке мозга.

В августе, в конце телеконференции, доктор Рой Фаган понял, что ему трудно говорить с пациентом. Заподозрив инсульт, он поспешил в больницу в сельской местности Северной Каролины для проведения компьютерной томографии.

Изображение поступило в Greensboro Radiology, практику Radiology Partners, где оно вызвало сигнал тревоги в программе ИИ для диагностики инсульта. Радиологу не пришлось просматривать случаи, предшествующие случаю доктора Фагана, или перебирать более 1 000 срезов изображения; снимок с изображением тромба в мозге появился сразу.

Радиолог перевёл доктора Фагана в более крупную больницу, где можно было быстро удалить тромб. Очнувшись, последний почувствовал себя нормально.

«Не всегда это работает так хорошо, — сказал доктор Шриеш Кришнан из Greensboro Radiology, который также является директором по развитию инноваций в Radiology Partners. — Но когда это срабатывает настолько хорошо, это меняет жизнь пациентов».

Доктор Фаган хотел вернуться к работе в следующий понедельник, но согласился отдохнуть в течение недели. Впечатлённый программой ИИ, он сказал: «Наличие этой технологии — это настоящее достижение».

Компания Radiology Partners не опубликовала результаты своих исследований в медицинских журналах. Однако некоторые исследователи, которые это сделали, привели менее вдохновляющие примеры применения ИИ в медицине.

Исследователи Мичиганского университета изучили широко используемый в электронной медицинской карте инструмент ИИ, предназначенный для прогнозирования развития сепсиса у пациентов. Они обнаружили, что программа выдаёт предупреждения у каждого пятого пациента, хотя сепсис развивается только у 12% из них.

Другая программа, анализирующая затраты на здравоохранение в качестве косвенного показателя для прогнозирования медицинских потребностей, в итоге лишила лечения чернокожих пациентов, которые были так же больны, как и белые. Как показало исследование, опубликованное в журнале Science, данные о расходах являются плохим индикатором болезни, поскольку на чернокожих пациентов обычно тратится меньше денег.

Эти программы не были проверены FDA. В условиях неопределённости врачи обратились к отчётам об утверждении программ агентством. Но они мало что нашли. Одна исследовательская группа, изучавшая программы искусственного интеллекта для тяжелобольных пациентов, обнаружила, что свидетельства их использования в реальных условиях «полностью отсутствуют» или основаны на компьютерных моделях. Специалисты Пенсильванского университета и Университета Южной Калифорнии также обнаружили, что некоторые программы были одобрены на основании их сходства с существующими медицинскими устройствами, включая те, в которых искусственный интеллект даже не использовался.

Другое исследование программ, прошедших проверку FDA до 2021 г., показало, что из 118 инструментов искусственного интеллекта только один описывал географическое и расовое распределение пациентов, на которых обучалась программа. Большинство программ было протестировано на 500 или менее случаях, что, по мнению авторов исследования, недостаточно для их широкого применения.

Доктор Кит Дрейер, автор исследования и главный специалист по науке о данных в Mass General Brigham, в настоящее время возглавляет проект Американского колледжа радиологии, призванный восполнить этот пробел в информации. С помощью поставщиков ИИ, готовых поделиться информацией, он и его коллеги планируют опубликовать обновлённую информацию о программах, получивших разрешение агентства.

Так, например, врачи смогут узнать, сколько педиатрических случаев программа должна уметь распознавать, чтобы проинформировать их о «слепых пятнах», которые могут повлиять на лечение.

Джеймс Маккинни, представитель FDA, сказал, что сотрудники агентства просматривают тысячи страниц отчётов, прежде чем разрешить ту или иную программу ИИ, но признал, что производители программного обеспечения могут составлять публично публикуемые краткие обзоры. По его словам, они «не предназначены для принятия решений о покупке», а более подробная информация содержится на этикетках продуктов, которые не являются общедоступными.

По словам д-ра Эренфельда, президента A.M.A., крайне важно правильно организовать надзор за ИИ в медицине, в чём участвуют несколько агентств. По его словам, врачи внимательно изучили роль ИИ в смертельных авиакатастрофах, чтобы предупредить об опасностях, которые таят в себе автоматизированные системы безопасности, отменяющие решения пилота или врача.

По его словам, расследование авиакатастроф 737 Max показало, что пилоты не были обучены тому, как отменить действие системы безопасности, что и привело к смертельным столкновениям. Он обеспокоен тем, что врачи могут столкнуться с подобным использованием искусственных интеллектов в фоновом режиме при обслуживании пациентов, что может оказаться вредным.

«Простое понимание того, что ИИ существует, должно быть очевидным началом, — сказал д-р Эренфельд. — Но неясно, как это будет происходить, если у нас нет правильной нормативной базы».