Мощные компьютерные системы сейчас успешно соперничают с человеком в таких сферах, как игра в шахматы, го, сочинение музыки или даже создание трейлеров к фильмам. Но может ли машина поставить диагноз лучше, чем врач-человек?
Участники проекта из Гарвардской медицинской школы считают, что так происходит далеко не всегда. Группа ученых провела исследование, цель которого — выяснить, кто более точно ставит диагноз — люди или же специализированные приложения. Результаты исследования были опубликованы в авторитетном издании JAMA Internal Medicine.
Как оказалась, врачи-люди ставят правильный диагноз в два раза чаще, чем большинство из предлагаемых в сети медицинских приложений. Всего участники проекта проверили корректность работы 23 таких программ. Эта работа, как утверждают ее авторы, первая, где сравнивается диагностическая работа врачей и популярных приложений.
За последние 20 лет медицинские приложения, оформленные в виде интерактивных опросников, стали очень популярны. Ежегодно сотни миллионов людей используют такие программы вместо похода к врачу, считая, что так можно получить правильный диагноз без потерь времени. К тому же иногда этот софт бесплатен. Исследований по изучению эффективности таких приложений пока никто не проводил, и ученые из Гарварда решили стать первыми.
В исследовании пригласили принять участие 234 врачей. Их попросили оценить 45 разных клинических случаев. В это число входили заболевания с обычными симптомами, а также случаи, когда определенное заболевание сопровождалось несколько искаженной симптоматической картиной. Для каждого из предложенного варианта врачей просили поставить диагноз.
Было разрешено ставить основной диагноз и два альтернативных. Как оказалось, врачи ставили правильный диагноз в 72% случаев с явной симптоматикой. А вот диагностические приложения справились с задачей гораздо хуже, дав правильный ответ лишь в 34% вариантов. 84% врачей поставили правильный ответ, оценив его, как основной. С этой же задачей справились лишь 51% приложений.
Еще хуже приложения показали себя в тех случаях, когда симптомы были не слишком явными, или заболевание проявляло себя искаженной симптоматикой.
«Сейчас ясно видно, что люди побеждают программы в плане точности диагностики. Сейчас один из важнейших вопросов — повышение точности работы приложений и сервисов», — заявил Атеев Мехрота, руководитель работы.
Несмотря на то, что врачи-люди показали гораздо лучший результат, чем приложения, специалистам тоже есть, что улучшать. По статистике, врачи ошибаются при диагностике заболеваний в 10-15% случаев. 15% ошибок — это довольно много. Во многих случаях такая ошибка может стоить человеку здоровья или даже жизни.
«В клиническом диагнозе сегодня столько же опыта и мастерства, сколько и науки. Но для технологий помощи в диагностике есть отличные перспективы. В таких инструментах есть реальная технологическая привлекательность», — говорит автор проекта.
Что касается приложений, которые умеют ставить диагнозы, то речь идет об официальных программах и сервисах, разработанных той же Медицинской школой Гарварда, различными больницами, страховыми компаниями и правительствеными организациями. Такие программы запрашивают у пользователя список симптомов, анализируют ответы и ставят диагноз. Также диагностическая программа обычно советует пациенту со сложными проблемами сразу же отправиться к врачу.
Результаты работы самих программ тоже отличаются. По словам авторов исследования, наиболее точными являются такие программы, как Isabel, iTriage, Mayo Clinic, и Symcat. «Эти программы могут быть полезными для тех, кто хочет определить, нужно ли идти к врачу. Но в этом случае показания программы не стоить брать на веру сразу же», — говорит руководитель исследования.
Диагностикой занимаются и когнитивные системы типа IBM Watson. В этом случае работа ведется иначе, чем при оценке состояния человека с использованием диагностических программ. Такая система способна анализировать огромные массивы неструктурированных данных, определяя взаимосвязанные элементы с использованием новейших данных по каждому конкретному случаю.
Сейчас для пациента надежнее все же сходить к врачу, а не использовать какую-то программу (хотя и сертифицированную больницей) для получения диагноза. Возможно, в ближайшем будущем ситуация изменится. Ученые говорят о необходимости повышения точности работы диагностических программ и сервисов, с тем, чтобы в будущем разработать второе, третье и последующие поколения таких программных систем. Только если программы станут точнее, можно будет говорить о возможности замены общения с врачом работой с диагностом-компьютером.
DOI:10.1001/jamainternmed.2016.6001
Комментарии (22)
Andy_Big
14.10.2016 14:46Врачи ставят диагноз лучше интернет-сервисов или приложений
Да машинам никогда не сравниться с нашими врачами. Мне давеча в поликлинике поставили диагноз «ОРЗ» без всяких анализов и даже практически без осмотра :) Глазник лет пять назад тоже ставил диагноз, даже просто не заглянув в глаза, не то что какими-то там аппаратами проверить :)
VBKesha
14.10.2016 14:52Добавлю:
— Ушиб грудной клетки при падении на копчик, и болях в пояснице.
— Сахарный диабет, по анализу крови на сахар без учёта остальных факторов.
arheops
14.10.2016 14:57+1Ну проблема не в том, что врачи ошибаются в 15% случаев. Проблема в том, что есть врачи, которые ошибаются в 50% случаев и их больше 50% от всех врачей. Да вобщем-то проблема даже не в этом. Проблема в том, что у тебя нет реальных методов проверить, к врачу какой квалификации ты попал.
APLe
14.10.2016 15:02+5В исследовании пригласили принять участие 234 врачей.
Самое интересное не уточнили. Что это за врачи? Это 234 лучших врачей страны? Или это 234 терапевта из случайным образом выбранных районных поликлиник?
SinsI
14.10.2016 17:51+171 практикующих (выполнили 475 анализов), 121 — из ординатуры (487 анализов), 42 — интерна (143 анализа).
Не приведены данные об количественном распределении решённых задач между ними (т.е. медианное и срединное количество анализов, выполненных каждым), а также об их сложностном распределении между ними (т.е. могло быть что 20 суперпрофессионалов заполнили все самые сложные, а все остальные — по 1 лёгкому случаю) — говорится только, что каждый случай был рассмотрен минимум 20 врачами.
SinsI
14.10.2016 16:28+2Проблема данного исследования: каждый врач предоставил анализ только для 3-7 ситуаций из 45 возможных. Т.е. они могли выбирать те из них, с которыми были близко знакомы, и только для них заполнять опросники, что и могло привести к резкому завышению результатов.
sumanai
14.10.2016 17:00+4IBM Watson, я как понял, они не тестировали? Вроде его результаты были лучше людей.
AxisPod
14.10.2016 17:57Норм, но когда врач ставит диагноз ОРВИ, выписывает антибиотики (а часто вообще впаривают Анаферон, при этом врач твой друг), на деле Ангина. Как-то интернету верить начинаешь больше.
Dum_spiro_spero
15.10.2016 00:27Я бы сказал есть фундаментальная проблема — трудно оценить собственную квалификацию.
Причем у врачей в поликлинике в этом смысле вообще плохо.
Ушел пациент — и больше не пришел. Что это значит? Вылечился по этой методике? Ушел к другому врачу? Плюнул на всё? Само прошло?
Врачебные полуошибки сплошь и рядом. Например назначение антибиотиков а) без учета противопоказаний, б) без тестирования на восприимчивость, в) без поддерживающей терапии. У кого-то — все ОК, у кого-то может стать гораздо хуже.
jinxal
15.10.2016 11:39Как можно сравнивать со средними показателями по приложениям? Если одно приложение дало результат 100%, а другое 20%, то какой смысл говорить о «60% в среднем»? Ну и как вообще можно эту тему поднимать без использования IBM Watson?
Создается впечатление заказного исследования от, скажем, профсоюза медицинских работников.SinsI
16.10.2016 00:37+1Там указано, что один из авторов — акционер компании, предоставляющей услуги диагноза специалистами через мобильное приложение, так что даже заказа не требуется.
Wuzaza
15.10.2016 22:00Постановка диагноза состоит из целой кучи этапов. Кроме анализа инструментальных и лабораторных показателей, которые во многом сводятся к рутинному сравнению с нормой и математической интерпретацией.
Например целенаправленный сбор анамнеза, который требует учета целой кучи нюансов, постановки дополнительных вопросов.
А самое главное физикального обследования, которое на данный момент машине не доступно вообще.
Поэтому полноценная замена врача при текущем развитии технологии, да и в ближайшем будущем невозможна. Если только как временная альтернатива при невозможности быстро попасть к врачу (но не при нежелании или «не доверяю я этим убийцам в халатах»).
Или же для проведения рутинного скрининга, с целью выявления группы риска по различным заболеваниям, с последующим визитом к врачу.sumanai
15.10.2016 23:40> А самое главное физикального обследования, которое на данный момент машине не доступно вообще.
C Вики:
> Если в начале XX века физикальные методы обследования были единственной возможностью врачу получить данные о состоянии больного, то к концу XX века ситуация изменилась, практически все данные физикального обследования можно получить с помощью инструментальных методов.
А инструменты машинам доступны, да они сами инструменты.Wuzaza
15.10.2016 23:56Согласен с вами. Что касается терапии — да — уже сейчас основную информацию врач черпает из инструментальных методов. И, кстати, зачастую злоупотребляет этими данными.
А вот в хирургии и гинекологии, особенно в экстренной, основную роль в постановке диагноза играют физикальные методы, поскольку инструментальные методы и анамнез малоинформативны и неспецифичны.sumanai
16.10.2016 00:17> особенно в экстренной
Ну, по универсальности человека пока не обогнали, пока роботы будут подбирать инструмент, человек помрёт уже ))
Но это не самая распространённая профессия у медиков, и при этом даёт такую нагрузку, что как раз тут и хочется автоматизировать.
T-362
>За последние 20 лет медицинские приложения, оформленные в виде интерактивных опросников, стали очень популярны.
Это типа популярных в 00х тестиков «кто ты из Гарри Поттера»?