У ЭМК есть еще один плюс: они помогают повысить качество медицинской помощи. Об этом сегодня и пойдет речь. Рассказываем, как реализуется контроль качества медицинских услуг в DOC+ и какую роль в этом процессе играют электронные карты.
«Только спросить: про больницы, про здоровье, про детей»
Первый этап: организация системы контроля качества
В «классических» больницах качество медицинских услуг, контролируют с помощью обходов территорий и палат и сбора врачебных консилиумов, а также проверки медицинских карт (в том числе их проверяют страховые компании). Например, в США участие в оценке рабочих процессов поликлиники принимают 74% врачей, а в Швеции — 93%.
Мы — мобильная клиника, поэтому наши сотрудники узнают мнение клиентов не в процессе обхода палат, а по телефону. Сейчас наш колл-центр делает два звонка.
Если человеку было назначено лечение, мы звоним ему через 40 минут после вызова и просим оценить сервис по пятибалльной шкале. Также операторы предлагают воспользоваться услугами клиник-партнеров, если врач рекомендовал посещение узкого специалиста или дополнительное обследование: МРТ, рентген и др.
Второй звонок выполняется через 3 дня: мы перезваниваем клиенту и спрашиваем о его самочувствии. Наша электронная система автоматически сортирует порядок обзвона по специальной формуле, чтобы упростить работу оператору — сначала в списке те, кому нужно звонить в первую очередь.
Чтобы получить больше фидбека о работе сервиса, мы общаемся с пациентами в чатах, проводим опросы и осуществляем тестовые вызовы, когда под видом клиента врача вызывают сотрудники DOC+. Однако все это очень трудоемкие процессы, которые не лишены субъективизма. Они не позволяют осуществлять контроль качества системно и в полном объеме.
Единственным массовым источником информации о предоставляемых медицинских услугах являются электронные карты. В них мы можем увидеть все жалобы пациента и результаты осмотра и оценить на их основе назначения врача.
В начале работы нашего проекта для проверки ЭМК мы организовали так называемую биржу электронных карт, на которой сообщество врачей-сотрудников DOC+ в формате peer-to-peer оценивало назначения и ставило соответствующие баллы.
Чтобы сбалансировать систему, каждую карту проверяли два доктора. Если проставленные ими баллы не сильно отличались друг от друга, считалось, что карта успешно проверена. В противном случае карта направлялась на дополнительную проверку старшим экспертам, — этими экспертами у нас были заместители главного врача по терапии и педиатрии — которые выносили финальный вердикт по спорным моментам.
Второй этап: создание спецкомиссии
Мы продолжили тестировать и развивать систему проверки медицинских карт и совершенствовать работу биржи. Чтобы ускорить процесс оценки ЭМК и повысить его качество (а в перспективе снизить количество проверок одной карты), мы организовали специальный отдел, в задачи которого входит проверка карт:
«Мы решили заменить роту “врачей-призывников” на отряд из десяти “спецназовцев”, — проводит аналогию Эльдар Гарифуллин, заместитель операционного директора по аналитике и медицинским проектам, — создали специализированную врачебную комиссию, которая отвечает за формирование внутренних стандартов: как лечить ту или иную нозологию».Первое время одну карту также проверяли два специалиста комиссии, потому что разногласия сохранялись даже среди лучших и опытнейших врачей. Каждый раз, когда возникал такой кейс, приходил арбитр в лице заместителя главврача и решал спорные моменты.
Однако, в отличие от прошлой модели, теперь врачебная комиссия (ВК) получила возможность вырабатывать стандарты. При решении проблемы, вызвавшей разногласия, создавался прецедент, которым доктора руководствовались в дальнейшем.
Со временем такой подход позволил накопить опыт и снизить число ситуаций, когда оценки двух экспертов значительно отличались, до 5% (и ниже). В этот момент мы перешли к модели проверки «одна карта — один эксперт», чтобы снизить нагрузку на ВК. Однако ~5% ЭМК по-прежнему проверяются двумя экспертами. Это позволяет нам убедиться, что члены комиссии ставят оценки объективно, и контролировать устойчивость всей системы.
Как проводится оценка
Комиссия получает на проверку обезличенную информацию о пациенте: историю болезни, показатели при осмотре, диагноз, данные о том, какие препараты назначил врач (имя которого также скрыто), какие анализы рекомендовал сдать и к каким узким специалистам обратиться.
Эксперты проверяют ЭМК на точность и корректность заполнения: оценивается полнота осмотра больного и сбора анамнеза, соответствие диагноза отмеченным симптомам и др. Проверка ведется по 20 критериям согласно инструкциям, выданным экспертам. Каждый критерий оценивается по трехбалльной шкале: 0 — «не соответствует стандартам»; 0,5 — «частично соответствует»; 1 — «соответствует стандартам».
Мы используем трехбалльную систему, поскольку пока еще возникают спорные ситуации. Для таких ситуаций и оставлен вариант «частично соответствует». Однако со временем мы планируем полностью формализовать все процессы и перейти на бинарную систему оценки по каждому критерию — ЭМК будет или соответствовать требованиям, или не соответствовать.
В этом случае не будет каких-то промежуточных вариантов, и отбор станет более жестким: либо врач был во всем прав, либо нет. Все последние рекомендации Минздрава по оценке качества предлагают именно бинарную систему.
Зачем это нужно
Такая система оценки позволяет нам с каждой заполненной и проверенной ЭМК повышать качество оказываемых услуг. Все баллы, которые поставил эксперт, сохраняются в базе данных. Эта информация позволяет выявлять недостатки системы, анализировать проблемы с постановкой диагноза и назначением лечения. Из статистики мы узнаём, насколько правильно врачи прописывают лекарства, чтобы можно было сразу внести коррективы в их работу.
Мы видим проблемы, с которыми сталкивается большинство врачей, а также области, которые вызывают затруднения у отдельного доктора. Это позволяет нам оперативно принимать меры: проводить семинары и лекции по нужным темам или просить одних специалистов «подтянуть» других.
Вся эта работа помогает сформировать стандарты лечения, основанные на лучших практиках и доказательной медицине, и «вооружить» ими всех врачей.
Каждый специалист видит в электронной системе свой текущий рейтинг, составленный по результатам оценки всех его ЭМК за текущий месяц, и детальную расшифровку по всем критериям проверки карт с комментариями члена врачебной комиссии. Это позволяет снять большинство спорных моментов — врач читает комментарий эксперта и понимает свою ошибку.
Также у доктора есть возможность прийти на заседание ВК и обсудить все интересующие моменты. В ближайшее время мы начнем проводить такие встречи ежемесячно. Эти собрания будут интегрированы в общий график обучения наших врачей.
Выборка и распределение ЭМК
Экспертиза целиком находится в ведении врачебной комиссии, которая смотрит карты и самостоятельно их анализирует. Однако мы работаем над автоматизацией этого процесса, чтобы помочь экспертам с оценкой ЭМК.
Как работает сейчас: уже создан специальный алгоритм отбора карт, формирующий стек на проверку из 20% ЭМК и учитывающий разные факторы: сколько карт этого доктора уже проверено, является ли эта карта «специфической». Например, мы чаще проверяем ЭМК, по которым оформлялись больничные листы, из-за требований ФСС.
В ближайшее время алгоритм начнет учитывать сложность нозологии (чем реже встречается заболевание, тем выше вероятность проверки), а также текущий рейтинг доктора (чем опытнее врач, тем ниже вероятность отбора карт его пациентов).
Второй алгоритм системы отбирает карты из сформированной очереди и распределяет их среди экспертов.
Как будет работать в будущем: мы стараемся сделать алгоритмы отбора карт более интеллектуальными. Идея состоит в том, чтобы с помощью техник машинного обучения натренировать алгоритм предсказывать балл, который поставит комиссия.
Обучающая выборка для системы формируется на основании накопленных данных о картах и проставленных баллах. На этих данных будут обучены 20 моделей — по одной на каждый критерий — которые начнут предсказывать вероятность неполучения высшего балла по заданному критерию.
Полученные этими алгоритмами оценки объединяются в одну итоговую, показывающую общую вероятность того, что карта не получит высший балл. Таким образом, набор ЭМК, подлежащий проверке, можно будет упорядочить по оценке вероятности. Это позволит выявлять «хорошие» и «плохие» ЭМК и назначать картам, требующим проверки врачебной комиссией, более высокий приоритет.
«Такой превентивный алгоритм позволит проводить автоматическую предварительную оценку 100% карт в момент их заполнения и отправлять на ручную проверку лишь 20% самых “проблемных”», — рассказывает Илья Ларченко, директор по инновациям DOC+.Сейчас работу в этом направлении ведет департамент обработки и анализа данных DOC+. Его задача — с помощью машинного обучения найти признаки, которые влияют на оценку по каждому из критериев, и построить математическую модель, оценивающую карту по этим признакам.
Для обработки неструктурированных данных используется NLP-препроцессор, который был разработан ранее для нужд другого внутреннего проекта. Препроцессор умеет извлекать из жалоб пациентов и анамнеза, который врач пишет в свободной форме, различные симптомы и их характеристики. Использование этих данных поможет строить более качественные модели (о том, как устроена наша система обработки естественного языка, мы расскажем в одном из следующих материалов).
Такая форма приоритизации снизит нагрузку на врачей и позволит оценивать большее количество карт. Кроме того, она увеличит скорость проверки, так как мы будем выявлять «ошибочные» ЭМК прямо в момент заполнения (а не через три дня, когда эксперт их проверит), а врач, находясь у пациента, будет получать подсказки от системы.
Мы в DOC+ создаем услугу для массового рынка, поэтому должны показывать стабильно высокое качество в условиях роста аудитории — это ключевой аспект нашей стратегии. В самом начале пути мы оказывали медпомощь лишь силами наших врачей. Такой подход позволил нам контролировать качество предоставляемых услуг, чтобы затем расширить их спектр, имея за плечами понимание того, как работает рынок.
Мы оказали более 100 тыс. медицинских услуг и набрали в штат 350 врачей двадцати разных специальностей. Например, в декабре 2016 с DOC+, кроме терапевтов и педиатров, начали работать ЛОРы и неврологи. Также появилась возможность вызывать медсестру для проведения процедур и импортировать результаты лабораторных анализов из партнерских лабораторий, а данные осмотра — из партнёрских клиник.
При этом наша полуавтоматизированная система контроля качества работы докторов позволила DOC+ стать обладателем уникальной для всего рынка экспертизы, которая открыла возможности для развития новых продуктов. Она позволяет нам поддерживать стабильно высокое качество телемедицинской помощи по 10 врачебным специальностям в DOC+ Онлайн. А невидимые интеграции дают возможность контролировать уровень медицинских услуг, которые оказывают нашим пациентам партнерские офлайн-клиники.
Мы убеждены, что подобные системы автоматизации процессов, работающие на стыке IT и медицины, помогут снизить вероятность возникновения врачебных ошибок. А база знаний, которую мы формируем, откроет возможности для предоставления персонализированной помощи клиентам.
Дополнительное чтение: материалы из нашего блога «Только спросить»:
Комментарии (16)
ErshoFF
25.01.2018 18:44Можете озвучить какой процент полученной оплаты составляет оплата контролирующих лечащего врача сотрудников(ещё врачей, обзвонщиков и других сотрудников)? (как вариант ответа оплата: если принять за единицу оплату лечащего врача, то стоимость контролирующих сотрудников составляет ...)
Также интересно как мед.организация может использовать рекомендации (в вашем тексте это стандарты лечения) отличные от федеральных (утвержденных минздравом)? Вроде как отход от рекомендаций (стандартов) карается страховыми проверяющими.
Bigdoc
26.01.2018 11:08Позволю себе ответить частично. Во-первых стандарты есть не по всем болезням; во-вторых это больше рекомендации, чем обязательства, то есть если будут проблемы у пациента, то да проверят всё ли было сделано по стандарту. Скажем так, это необходимый минимум с некоторыми заскоками — в общем отходы от стандарта возможны; ну и в-третьих и это основное на данный момент — в законодательстве существуют недосказанности и получается, что все НПА касаются государственных клиник, точнее про частные нигде собственно не написано.
Более того, насколько мне известно (Doc+ поправьте если я не прав), на данный момент даже статус выездов на дом не определен (на него нет отдельной лицензии например). В законодательстве есть скорая помощь и участковые терапевты с педиатрами и всё. Формально медицинские услуги могут оказываться только в специально оборудованных помещениях («в амбулаторных условиях» если вы почитаете лицензию), к которым квартиры не относятся конечно же.
Поскольку Doc+ не работает ни по ОМС, ни по ДМС (где в теории могут (и это ключевое слово! Страховым по ДМС тоже не всегда это выгодно) потребовать выполнения стандартов), то они вправе писать свои собственные стандарты и большинство частных клиник этим по факту занимаются, играя таким образом границей качество лечения/средний чек (и кстати выполнение федеральных стандартов местами будет выглядеть чистой «раскруткой» пациента, поскольку не всему написанному есть разумные объяснения) и проверить их может только роспотребнадзор и росздравнадзор.
На рынке медуслуг установился некий status quo, который принимают и участники рынка и надзорные органы, но он нигде не зафиксирован. Причем status quo зависит от региона! Одно и тоже может быть разрешено и запрещено одновременно в соседних регионах. Так например Москва и СПб — два разных мира; вообще в другой реальности живет Татарстан.ErshoFF
26.01.2018 11:32Я считаю, что
Более того, насколько мне известно (Doc+ поправьте если я не прав), на данный момент даже статус выездов на дом не определен (на него нет отдельной лицензии например). В законодательстве есть скорая помощь и участковые терапевты с педиатрами и всё. Формально медицинские услуги могут оказываться только в специально оборудованных помещениях («в амбулаторных условиях» если вы почитаете лицензию), к которым квартиры не относятся конечно же.
стоит прокомментировать Doc+, иначе получается что идет оказание услуг не обозначенных в лицензии, что есть нарушение лицензии.
Стандарты (рекомендации в оф.документах минздрава) есть для всех известных болезней, пересматриваются каждые два года.
Лицензия дается на лечение известных болезней.
Не дай бог дойдет до следователя/прокурора который по умолчанию не понимает в лечении но сможет проверить содержание лечения соотв. стандарту.
И если оно не соответствует, тогда ой.
На рынке медуслуг установился некий status quo, который принимают и участники рынка и надзорные органы, но он нигде не зафиксирован. Причем status quo зависит от региона! Одно и тоже может быть разрешено и запрещено одновременно в соседних регионах. Так например Москва и СПб — два разных мира; вообще в другой реальности живет Татарстан.
Очень интересный момент, озвучьте пожалуйста ссылку на такой пример из оказания мед.услуг, спасибо.Bigdoc
26.01.2018 12:02Вот в том-то и дело, что это не оказание услуг не обозначенных в лицензии, а это просто никак не регламентировано. Все ездят, никто не придирается, но по букве закона этого просто нет.
Стандарты еще даже не все дописали! Вы наверное имеете в виду МЭСы (медико-экономические стандарты), так их как бы отменили и заменили на новые рекомендации — новые не дописаны.
Лицензия дается не на лечение болезней, лицензия дается на возможность в данном конкретном помещении оказывать некоторые медицинские услуги — лечение болезней и услуги несколько разные по смыслу вещи. Например операции при грыжах межпозвонковых дисков делают по факту нейрохирурги, а операция относится к разделу ортопедия-травматология — приходится иметь 2 лицензии и врачей с 2 сертификатами.
Именно так у нас и работает судебная система и государство в целом — законодательство читают по буквам, не вникая в суть написанного, и без учета того что медицина это не точная наука.
Например есть такой САНПИН 2.1.3.2630-10 «САНИТАРНО-ЭПИДЕМИОЛОГИЧЕСКИЕ ТРЕБОВАНИЯ К ОРГАНИЗАЦИЯМ, ОСУЩЕСТВЛЯЮЩИМ МЕДИЦИНСКУЮ ДЕЯТЕЛЬНОСТЬ» — это то на основании чего дают лицензию. Там например огромная таблица МИНИМАЛЬНЫЕ ПЛОЩАДИ ПОМЕЩЕНИЙ — кабинетов то есть.
Там например есть такие пункты «Кабинет врача, со специально оборудованным рабочим местом (гинеколог, уролог, проктолог, офтальмолог, оториноларинголог, генетик и др.) — 18 метров» и «Манипуляционная, смотровая с аппаратными методами диагностики и лечения, в том числе при кабинете врача-специалиста 16м».
По всей стране например аппарат УЗИ может стоять в кабинете гинеколога, поскольку он относится к специальному оборудованию, в Татарстане должен стоять в отдельном кабинете.
И например терапевт не может сидеть в «Кабинет врача (фельдшера) для приема взрослых пациентов (без специализированных кресел, аппаратных методов диагностики, лечения и парентеральных вмешательств), кабинет предрейсовых/послерейсовых осмотров — 12 метров» потому что кушетка и фонендоскоп там тоже относят к специальному оборудованию.
Мазки гинекологические обычно берут по лицензии на сестринскую деятельность вообще, однако в некоторых местах требуют отдельно лицензии на акушерство. Татарстан — опытный регион по внедрению всего в РФ и там другая жизнь.
И там же есть опечатки! Например в приказе по оснащению кабинета аллерголога указано, что пикфлоуметров должно быть 5. Зачем? Потому что копипаста из таблицы оснащение ОТДЕЛЕНИЯ (!!!). А могут потребовать 5 в 1 кабинете.Bigdoc
26.01.2018 12:11Про аппарат УЗИ оттуда же
«8.4. Лечебно-диагностическое оборудование, не требующее специальных условий размещения и используемое в ходе приема врача, может быть установлено непосредственно в его кабинете (например: физиотерапевтическое оборудование в кабинете косметологии терапевтической, аппарат ЭКГ в кабинете терапевта/кардиолога, аппарат УЗИ в кабинете гинеколога).» но это никого не волнует! Должна быть манипуляционная!
ErshoFF
26.01.2018 12:49Спасибо за разъяснения, но не тот ресурс чтобы обсуждать законодательство. Оно такое есть, ему надо соответствовать чтобы было меньше проблем.
Лицензия дается не на лечение болезней, лицензия дается на возможность в данном конкретном помещении оказывать некоторые медицинские услуги — лечение болезней и услуги несколько разные по смыслу вещи.
Все-таки хочется комментарий от Doc+ по поводу законности отступления от условий лицензии.
Татарстан во многих делах тестовый регион. Разве не правильно перед внедрением провести тест на небольшом участке?
Ссылки на отличия не привели, будет достаточно ссылки (на конкретные документы), можно даже на отличия всей страны и тестового региона.
Моё мнение:
одни и те же врачи(в частных и государственных учреждениях) учатся в одних ВУЗах, повышают квалификацию (иначе не будет сертификата и соотв-но возможности работать) в одних и тех же учреждениях. Но в учреждениях внедряют системы контроля вместо (может и вместе со стимулированием, но об этом не слова) стимулирования повышения квалификации лечащих врачей их сильнее контролируют. И выдают это за повышение качества лечения. Сильный контроль приводит к правильно написанной истории болезни, а не к лучшему лечению.Bigdoc
26.01.2018 12:53Doc+ и не отступает от лицензии. Я этого нигде не говорил.
Ссылки на что? Документы везде одинаковые. Как их читают я вам примеры привел.ErshoFF
26.01.2018 13:06Из комментария
Более того, насколько мне известно (Doc+ поправьте если я не прав), на данный момент даже статус выездов на дом не определен (на него нет отдельной лицензии например). В законодательстве есть скорая помощь и участковые терапевты с педиатрами и всё. Формально медицинские услуги могут оказываться только в специально оборудованных помещениях («в амбулаторных условиях» если вы почитаете лицензию), к которым квартиры не относятся конечно же.
Поэтому и есть желанию услышать Doc+ (например: «да, мы так делаем и это не нарушение», или: «мы делаем вот так и это в рамках разрешенной лицензией деятельности», или другой ответ).
Ссылки на что? Документы везде одинаковые. Как их читают я вам примеры привел.
Пример не есть ссылка.
Доступ к законодательству у нас открытый и ссылку на конкретный документ тоже можно привести. А лучше две ссылки на один по смыслу документ который в разных регионах трактуется по разному.
Стандарты еще даже не все дописали! Вы наверное имеете в виду МЭСы (медико-экономические стандарты), так их как бы отменили и заменили на новые рекомендации — новые не дописаны.
Я имел в виду «клинические рекомендации по лечению» которые утверждаются минздравом.
anna_lesnykh
29.01.2018 09:35Поэтому и есть желанию услышать Doc+ (например: «да, мы так делаем и это не нарушение», или: «мы делаем вот так и это в рамках разрешенной лицензией деятельности», или другой ответ).
В соответствии со ст.32 Федерального закона «Об основах охраны здоровья граждан в Российской Федерации» медицинская помощь может оказываться
амбулаторно (в условиях, не предусматривающих круглосуточного медицинского наблюдения и лечения), в том числе на дому при вызове медицинского работника. Поэтому оказание нашими врачами медицинских услуг при выездах к пациентам полностью соответствует требованиям закона.
Bigdoc
26.01.2018 12:48По поводу на дому. Я несколько сгустил краски. Амбулаторно — это и на дому тоже. Но это описано в формате не запрещено. Регламентации нет. И к этому придираются.
В общем проблем в законодательстве у нас много.
anna_lesnykh
28.01.2018 20:43Также интересно как мед.организация может использовать рекомендации (в вашем тексте это стандарты лечения) отличные от федеральных (утвержденных минздравом)? Вроде как отход от рекомендаций (стандартов) карается страховыми проверяющими.
За основу всех наших внутренних стандартов взяты клинические рекомендации Минздрава.
VVizard
29.01.2018 10:02Подскажите почему так мало врачей у вас? Только терапевты и педиатры. Почему нет других? Например эндокринологов?
alinatestova Автор
29.01.2018 10:27На выезды в DOC+ ездят педиатры, терапевты, неврологи, ЛОРы и медсестры.
Онлайн консультируют терапевты, педиатры, ЛОРы, неврологи, гинекологи, гастроэнтерологи, диетологи, кардиологи, консультанты по ГВ (список врачей доступен в приложении DOC+).
Есть еще целый ряд специальностей врачей, которые принимают в партнерской клинике офлайн. В том числе, эндокринолог, к которому можно записаться через приложение DOC+.
Bigdoc
Полезный и интересный опыт. Замглавврача по КЭР — великий человек! А на какой МИС работаете?
alinatestova Автор
Спасибо, что читаете! У DOC+ есть свое решение, «самописная» МИС.