Практически каждый день мы видим и слышим новости о том, что искусственный интеллект научился делать что-то новое либо начал применяться в новом амплуа. С одной стороны, это невероятно значимые события в научном и технологическом плане. С другой, многих это настораживает, а порой откровенно пугает. Тем не менее польза от ИИ превосходит любые связанные с ним страхи. Ученые из Венского технического университета (Австрия) разработали новый алгоритм, способный определять необходимое лечение кортикостероидами для пациентов с сепсисом. На чем основан алгоритм, как именно он работает, и лучше ли он человека в этой задаче? Ответы на эти вопросы мы найдем в докладе ученых.

Основа исследования

Несмотря на все научные изыскания и технологический прогресс, некоторые вещи в нашем современном мире остаются неизученными или спорными. К последним относится вопрос определения оптимальных показаний, дозы и сроков лечения кортикостероидами пациентов с сепсисом* в отделениях реанимации и интенсивной терапии.

Сепсис* — патологический процесс, в основе которого лежит реакция организма в виде системного воспаления на инфекцию различной природы (бактериальную, вирусную, грибковую), приводящая к остро возникающей дисфункции органов.

Септический шок* — наиболее тяжелый вариант течения сепсиса, характеризующийся выраженными циркуляторными, клеточными, метаболическими нарушениями, которые обусловливают повышение риска летального исхода.

Сепсис до сих пор является одним из злейших врагов медиков. По всему миру в год из-за сепсиса и сопутствующих ему осложнений погибает порядка 11 миллионов человек. Из описания термина вполне очевидно, что сепсис подразумевает целый набор патологических процессов, которые могут иметь разную этиологию и, как следствие, разные исходы.

Из-за высокой вариативности сепсиса многочисленные клинические испытания по его лечению предоставили весьма противоречивые данные о пользе определенных методов. Потому на данный момент самым действенным и оптимальным решением является контроль источника сепсиса, антибиотики и поддержание тканевой перфузии.

Еще в 1952 году Чарльз Кук и Чарльз Смит в своем труде «Sepsis and Cortisone» впервые описали метод лечения сепсиса посредством кортикостероидов. С тех пор этот метод широко исследовался, однако до сих пор мы не может утверждать, что данный метод единственно эффективный.

Совсем недавно применение кортикостероидов при сепсисе основывалось на данных о надпочечниковой недостаточности, сопровождающей критическое состояние. Поскольку диагностические критерии надпочечниковой недостаточности отсутствуют, выявление пациентов, которым следует назначать кортикостероиды, затруднено. Кроме того, несколько исследований показали, что кортикостероиды могут привести к более быстрому разрешению шока, но дали неоднозначные результаты в отношении выживаемости.

В настоящее время руководства по лечению сепсиса предлагают использовать кортикостероиды у септических пациентов с постоянной потребностью в вазопрессорах (препараты, повышающие артериальное давление). Однако оптимальная схема лечения, в частности сроки, продолжительность и доза кортикостероидов, неизвестны, а клиническая значимость потенциальных побочных эффектов терапии кортикостероидами неясна.

Поскольку интервенционные исследования сепсиса сложны из-за крайней гетерогенности его фенотипов, машинное обучение может представлять собой дополнительный метод оценки конкретных методов лечения с использованием данных наблюдений. Как отмечают ученые, цель их труда состоит в том, чтобы построить алгоритм, который может использовать различия клиницистов в тактике лечения на большом наборе данных таким образом, чтобы можно было найти влияние лечения на схожих пациентов в данный момент времени. Для решения таких задач может использоваться обучение с подкреплением*.

Обучение с подкреплением (RL от reinforcement learning)* — один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой.

Алгоритмы обучения с подкреплением могут служить основой для инструментов поддержки принятия решений в интенсивной терапии, где принятие решений основано на последовательных данных с высокой степенью детализации. Если коротко, такие алгоритмы пытаются найти «оптимальную» тактику, которая максимизирует некоторую функцию вознаграждения (например, выживаемость) при заданной конкретной стратегии лечения с подробным описанием состояния пациента в данный момент.

В рассматриваемом нами сегодня труде ученые описывают разработку алгоритма обучения с подкреплением для поиска оптимального подхода к терапии кортикостероидами у пациентов с сепсисом на основе клинических данных высокого разрешения из базы данных отделений интенсивной терапии.

Методология исследования

Данные, использованные для создания алгоритма, были получены из базы данных AmsterdamUMCdb. AmsterdamUMCdb содержит клинические данные с высоким разрешением, относящиеся к 23106 поступлениям в отделения интенсивной терапии 20109 пациентов с 2003 по 2016 год. Пациентов с сепсисом выявляли на основании критериев «Сепсис-3» (третий международный консенсус по определению сепсиса и септического шока). Пациенты в возрасте до 18 лет на момент поступления в отделение интенсивной терапии и пациенты, которые находились в отделении интенсивной терапии менее 24 часов, были исключены. Началом септического эпизода считался день, когда произошло изменение оценки по шкале SOFA (Sequential Organ Failure Assessment, т. е. шкала последовательной органной недостаточности), и пациенты оставались в когорте сепсиса до выписки или смерти.

Всего была извлечена 281 переменная, из которых 277 входных переменных были закодированы в виде многомерного временного ряда с временным разрешением 24 часа. Каждый день ОИТ (отделение интенсивной терапии) рассматривался отдельно, и в каждую точку данных включались только текущие измерения, доступные на тот момент времени. Были включены только числовые переменные, представленные более чем в 2% точек данных. Дисбаланс, возникающий из-за отсутствия данных и переменной частоты выборки, был устранен путем предварительной обработки: отсутствующие лабораторные значения были импутированы (восстановлены) с использованием прямого заполнения, а отсутствующие дозы лекарств были установлены на 0. В целом, 17.93% всех входных значений были импутированы. Числовые данные были нормализованы к значениям от -1 до +1. Для часто замеряемых параметров (например, частоты сердечных сокращений) рассчитывалось среднее значение, максимум, минимум и стандартное отклонение, а для других (например, непрерывно вводимых лекарств) использовалась сумма, т. е. кумулятивная доза за 24 часа. Таким образом, окончательное количество извлеченных параметров увеличилось до 379.

Обучение с подкреплением основано на моделировании виртуального принимающего решения «агента», взаимодействующего со своей средой, описываемой набором непрерывных состояний. Взаимодействие между агентом и средой предопределено как пространство действия (в данном случае конечное число вариантов лечения). На каждом шаге агент выбирает действие, а среда меняет свое состояние, возвращая вознаграждение. Сигнал вознаграждения используется для обучения агента, который постепенно обучается оптимальной тактике, максимизирующей отдачу.

Как уже упоминалось ранее, был использован алгоритм обучения с подкреплением, состоящий из двух отдельных нейронных сетей, основанный на марковском процессе принятия решений с использованием метода «субъект-критик», способного предложить оптимальную дозу кортикостероидов для каждого пациента с сепсисом путем ретроспективного анализа клинических данных. Набор данных был случайным образом разделен на обучающий, состоящий из 70% всех пациентов, и два меньших набора данных для проверки (20%) и тестирования (10%) (схема ниже).


Изображение №1

Алгоритм был обучен на траекториях последовательных состояний пациента, где состояние соответствовало вектору всех признаков в течение 24-часового периода, кроме смертности и введенной дозы кортикостероидов. Сигнал вознаграждения, связанный с каждым переходом, был связан со смертностью в отделении интенсивной терапии.

Пространство действия состояло из пяти дискретных действий, определенных путем преобразования кумулятивной 24-часовой дозы системных кортикостероидов в эквивалентную дозу гидрокортизона и объединения полученных значений: нулевое действие («без кортикостероидов») и четыре диапазона доз: 1–100 мг, 101–200 мг, 201–300 мг и более 300 мг гидрокортизона.

Алгоритм обучения с подкреплением первоначально оценивался путем сравнения фактического вознаграждения за согласованные действия, т. е. когда фактическое лечение и доза кортикостероида, предложенные агентом, были идентичными, с вознаграждением за несогласованные действия в тестовой выборке.

Эффективность таких алгоритмов нельзя было оценить напрямую путем измерения полученного вознаграждения за каждое действие, поскольку тактика обучения (оценки) с подкреплением отличалась от тактики врача (поведения), а фактическое вознаграждение представляло эффективность тактики врача.

Была внедрена оценка алгоритма методом HCOPE (high-confidence off-policy evaluation), который сравнивает эффективность тактики алгоритма с базовым уровнем (т. е. с эффективностью тактики врача) и вычисляет вероятность того, что тактика алгоритма имеет производительность ниже/выше этого базового уровня, чтобы выбрать наиболее эффективную модель.

Также была выполнена оценка важности каждой переменной с помощью алгоритма послойного распространения релевантности (LRP от layer-wise relevance propagation). Затем было выполнено ранжирование входных признаков RL алгоритма в соответствии с их вкладом в решение агента.

Результаты исследования

В исследовании использовались данные от 3051 поступление в отделение интенсивной терапии, что соответствует 2946 отдельным пациентам. Повторные госпитализации в отделение интенсивной терапии, как удаленные, так и во время одного и того же пребывания в больнице, включались, если они соответствовали определению сепсиса, и анализировались как независимые эпизоды. 1395 госпитализаций были связаны с применением вазопрессоров и уровнем лактата >2 ммоль/л во время пребывания в ОИТ, что соответствовало критериям септического шока. Совокупная продолжительность пребывания в стационаре от начала сепсиса до выписки составила 28557 дней, что соответствует такому же количеству точек данных. Набор обучающих данных включал 2136 случайно выбранных госпитализаций в отделения интенсивной терапии, в результате чего осталось 610 случаев для оценки алгоритма и 305 случаев для его тестирования.


Таблица №1: данные пациентов.

Относительная ошибка модели «субъект-критик» уменьшалась на этапах обучения и через 250 эпох достигла уровня 0.044 от начальной относительной ошибки (2a).


Изображение №2

Соответствие между действием виртуального агента и ретроспективным действием врачей отделения интенсивной терапии начиналось с 22%, что было ожидаемым значением, учитывая размеры пространства действия (пять возможных действий). Общее согласие между виртуальным агентом и врачами достигло 63% после конвергенции (2c). Точно так же вероятности выбора каждого действия из пространства действий изначально были равны. В течение тренировочных эпох виртуальный агент все больше склонялся к отказу от кортикостероидов. После конвергенции в 65% дней в ОИТ агент выбирал отказ от кортикостероидов, а для пациентов, которым ранее уже были назначены кортикостероиды, доза препаратов была низкой (2b). Напротив, врачи назначали кортикостероиды в 45% точек данных. Хоть виртуальный агент и проявлял тенденцию к пассивному поведению, в 49% случаев, когда он предпочитал вводить кортикостероиды, врачи действовали также.

В тестовом наборе данных лечение, предложенное виртуальным агентом, соответствовало ретроспективным действиям врачей отделения интенсивной терапии в 59% точек данных. Тенденция агента назначать меньше кортикостероидов также была подтверждена набором данных тестирования: кортикостероиды не принимались в 62% дней пребывания в ОИТ по сравнению с 52% среди врачей. Соответственно, средняя суточная доза кортикостероидов, назначенная виртуальным агентом, была ниже (графики ниже).


Изображение №3

И врачи, и RL агенты, как правило, назначали кортикостероиды на ранней стадии септического эпизода. При этом использование кортикостероидов резко снижалось через 10 дней.

Соотношение между вознаграждением за тактику агента и тактику врача увеличивалось в процессе обучения. HCOPE оценка показала, что 95%-ная нижняя граница ожидаемого среднего вознаграждения за тактику агента была выше по сравнению со средним вознаграждением за ретроспективные решения врачей через 200 эпох (графики ниже).


Изображение №4

Соответственно нормализованный ожидаемый коэффициент смертности снизился и составил менее 0.7. В целом, когда пациенты из тестовой выборки получали ту же терапию, которую предложил RL агент, смертность была ниже: 22.38% — тактика агента и 28.33% — тактика врача. Такая тенденция наблюдалась как в случае использования агентом кортикостероидов, так и в случае отказа от них.


Изображение №5

Дополнительно было проведено моделирование ретроспективной тактики лечения врачей, используя модель случайного леса, которая предсказывала решения врачей о лечении.

Как исследуемый алгоритм, так и алгоритм случайного леса основывались на жизненно важных параметрах и лабораторных показателях для определения оптимальной тактики лечения. Однако использование вазопрессоров и ПДКВ (положительное давление в конце выдоха) были явно более актуальными для клинической тактики. Соответственно, хоть агент обучения с подкреплением и был последовательно более строгим по сравнению с врачами, разница более очевидна у пациентов, которые соответствовали критериям септического шока (графики выше).

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.

Эпилог

В рассмотренном нами сегодня труде ученые рассказали об алгоритме на базе машинного обучения с подкреплением, который использовал клинические данные для определения оптимальной терапии кортикостероидами, направленной на снижение смертности у пациентов с сепсисом.

Во время подготовки алгоритм обучался, используя данные тысяч пациентов, которые поступали в отделения интенсивной терапии. Решения алгоритма о применении или отказе от кортикостероидов сравнивалось с таковым у врачей.

В результате разработанный алгоритм показал куда более консервативное отношение к препаратам, однако уровень смертности его пациентов был ниже, чем у врачей. В ходе моделирования выживаемость пациентов, которых лечил алгоритм, увеличилась на 3% и достигла 88%.

Как отмечают ученые, подобные результаты хоть и являются признаком работоспособности алгоритма, но поручать ему принимать клинические решения пока еще рано. В будущем предстоит проделать еще немало работы, чтобы повысить эффективность алгоритма, а также потенциально сделать его более персонализированным, т. е. таковым, который будет принимать решения касательно лечения основываясь не только на общих данных, но и на индивидуальных клинических данных конкретного пациента.

Также ученые считают, что их труд, как и многие другие работы с ИИ, поднимает важный вопрос этики и ответственности. Кто будет отвечать за неверное (потенциально фатальное) решение алгоритма? Что делать, если алгоритм выдал верный вариант лечения, но врач использовал другой? Должен ли врач всегда учитывать мнение машины, или же он в праве его полностью игнорировать? Пока эти вопросы лишь априорные размышления. Однако рано или поздно они перейдут на куда более практический уровень, и мы должны быть к этому готовы, так как частота использования ИИ в самых разных областях жизни человека будет только расти.

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?