По данным Всемирной организации здравоохранения, черепно-мозговая травма является третьей по значимости причиной смерти во всем мире. Кроме того, ЧМТ является одной из основных причин приобретенной инвалидности. 

Из-за ограниченных регенеративных возможностей нервной системы реабилитация пациентов с черепно-мозговой травмой является длительным процессом, также требующим тщательного и верного подбора, в соответствии с индивидуальными особенностями пациента и течением болезни.

Исследователи опробовали силы GPT-агентов, обученных на медицинских рекомендациях, для обеспечения подбора правильной реабилитации для случаев из существующей практики. Результаты работы будут приведены ниже!

Приятного прочтения :)

Введение в исследование

В последнее время значительное внимание привлекло использование искусственного интеллекта для предоставления персонализированных медицинских услуг по клинической реабилитации мозга. ИИ предлагает преимущество в виде оперативных диагностических и терапевтических рекомендаций для реабилитации мозга. 

Новым направлением исследований является использование больших языковых моделей в качестве инструмента поддержки реабилитации, что нашло применение в самых разных областях, включая хронические заболевания легких, физическую и скелетно-мышечную реабилитацию и тд. 

Важно уточнить, что несмотря на прогресс в развитии LLM, эта технология имеет ограничения, включая вопросы точности и полноты. LLM также могут генерировать "галлюцинации", что делает их непригодными для предоставления профессиональных медицинских советов. Более того, отсутствие объяснимости выходных результатов затрудняет установление доверия между врачами и пациентами при взаимодействии с «роботизированной системой».

В области технологий GPT использование агентов считается новейшим подходом для решения сложных проблем. Этот подход показал исключительные результаты в таких сферах, как программирование, игры и сложные компьютерные задачи. Однако применение в медицинской сфере остается в зачаточной стадии. 

Таким образом, данное исследование направлено на изучение использования агентной технологии, основанной на медицинских рекомендациях, которая может предоставлять ответы на вводимые пользователем данные. В то же время в ответы были включены соответствующие материалы из медицинских руководств для повышения объяснимости результатов.

Данное исследование включало в себя сравнительный анализ ответов между прямыми GPT-4 и GPT-агентами (построенными на основе методических рекомендаций). Набор вопросов для реабилитации был выбран из базы данных вопросов и ответов врача и пациента для оценки. Первичная конечная точка была лучшим ответом, в то время как вторичные конечные точки включали точность, полноту, объяснимость и эмпатию.

Результаты и методы исследования

В настоящем исследовании с использованием GPT-4 было сконструировано несколько агентов, включая «Классификацию медицинских рекомендаций» (отвечал за кластерный анализ рекомендаций, извлечение тем и подтем каждого раздела, а затем сохранение всех этих извлеченных разделов для последующего использования), «Поиск вопросов» (искал введенный вопрос в подтемах, и на выходе был вопрос + связанное с ним содержание медицинского руководства от первого агента), «Оценку соответствия» (проверял, релевантны ли вопрос и его содержание), «Интеллектуальные ответы на вопросы» (агент с ответами на вопросы, который синхронно вводил вопрос пользователя и соответствующий тематический контент в модель GPT-4 для генерации ответа на вопрос) и «Оценку результатов и цитирование источников» (выполнял две функции: оценивал точность сгенерированного ответа, сравнивая его с содержанием рекомендаций, выдавал окончательный ответ вместе с соответствующим содержанием рекомендаций, которое соответствовало этому ответу). 

В ходе эксперимента были даны ответы на 30 случайных вопросов (из 300 подготовленных), собранных из реальных онлайн-источников, связанных с реабилитацией после черепно-мозговых травм. 

Было замечено, что GPT-агентам требовалось значительно больше времени для ответа, чем GPT-4 (в среднем 54.05 против 9.66 секунд на вопрос). Агент "Оценка результатов и цитирование источников" имел самое долгое время ответа. 

Что касается количества слов, GPT-4 отвечал в среднем 57 словами, что значительно меньше, чем средний показатель в 371 слово для GPT-агентов.

*Статистический анализ

Категориальные данные первичной конечной точки представлены в виде числа случаев и соответствующих им показателей. Сравнения между группами проводили с использованием критерия хи-квадрат или точного критерия Фишера. Другие данные измерений для нормального распределения представлены в виде средних значений ± стандартных отклонений, а сравнения между группами проводились с использованием двух независимых выборочных t-критериев. Данные измерений для асимметричного распределения представлены в виде медиан и диапазонов квартилей. Уровень статистической значимости установлен на уровне р< 0,05.

Результаты оценки

Ответы на 30 случайных вопросов оценивались тремя экспертами. По результатам оценки было установлено, что GPT-агенты в большинстве случаев давали более качественные ответы (n = 20, 66,7%) по сравнению с GPT-4 (n = 10, 33,3%). 

Анализ хи-квадрат показал, что GPT-агенты значительно превосходят группу GPT-4 (χ2 = 6,667, p = 0,0098). 

Дальнейший анализ оценки точности (accuracy) показал, что GPT-агенты (3,8 ± 1,02) превзошли GPT-4 (3,2 ± 0,96, p = 0,0234). Однако оценка полноты (completeness) показала, что обе модели показали неполные ответы, без существенной разницы (2 ± 0,87 против 1,7 ± 0,79, p = 0,213). С точки зрения объяснимости (explainability) и оценки эмпатии (empathy) GPT-агенты показали себя значительно лучше, чем GPT-4.

В анализе ответов, сталкивались с информацией, не охваченной руководствами, GPT-агенты явно указывали "неясно", вместо того чтобы изобретать контент, противоречащий руководствам. В разделе оценки результатов GPT-агенты явно указывали, были ли ответы правильными, и конкретное содержание из руководств.

Примеры ответов GPT-4 и GPT-агентов, а также их оценка:

Выводы

Многие скептически относятся к применению сил GPT в медицинских целях. Очевидно, что на данном этапе (да и, полагаю, вообще в будущем) невозможно отказаться от услуг квалифицированных медиков, веками спасающих человеческие жизни.

Однако, нельзя исключить пользу больших языковых моделей в вопросах помощи специалистам и пациентам на этапе первичной консультации! 

GPT-агенты, обученные на подготовленных профессионалами рекомендациях (и сейчас используемых врачами), способны безошибочно, точно и развернуто отвечать на поставленные вопросы, избегая “галлюцинаций”, информации, не относящейся к тематике проблемы.

Я считаю, что такие технологии являются прекрасной возможностью для облегчения деятельности врачей, ускорения консультаций, а также обучения практикантов, для дальнейшего успешного лечения и медицинского вмешательства. Также даже сами пациенты (даже если уходить от ЧМТ), смогут получать правильные рекомендации о лечении до посещения мед.учреждения, чтобы не допустить ошибок и избежать паники (хотя бы в формате виртуальных ассистентов, которые уже начинают применяться).

Авторами основного исследованиями являются: Li Zhenzhu, Zhang Jingfeng, Zhou Wei, Zheng Jianjun.

Также, под прошлой моей работой о применении GPT, как помощников для определения диагнозов и путей лечения, несмотря на положительные результаты исследований, было много негативных комментариев, связанных с опасением и невозможностью корректного применения ИИ в медицине.

Надеюсь, эта работа даст шанс GPT-агентам безопасно реализоваться в сфере медицины и здравоохранения и стать союзником как для врачей, так и для пациентов!

На этом все!

Спасибо за прочтение! Будем ждать Вас в комментариях :)