В процессе приобретения какого-либо навыка существует два фундаментальных аспекта — теория и практика. Они тесно связаны, а отсутствие одного из них может привести к печальным последствиям. Особенно ярко это проявляется в медицине. Можно прочитать сотни книг, описывающих строение тела человека, но во время реальной операции растеряться и совершить ошибку. Либо можно учиться на практике, не уделяя внимание теории, и тем самым навредить массе подопытных пациентов. Обучение является важным процессом не только для человека, но и для машины, особенно глубокое обучение. Но этот процесс требует большого количества вводных данных, которые система смогла бы проанализировать и использовать как базу знаний. И тут возникает проблема — для глубокого обучения системы в рамках медицины необходимы данные реальных пациентов, которые являются конфиденциальной информацией во многих странах. Получается, что такой системе не на чем учиться. И тут ученые из университета Йювяскюля (Финляндия) предложили использовать технологию deepfake, с помощью которой они создали огромную базу МРТ снимков колена человека. Полученные снимки не только помогают глубокому обучению, но и оказались достаточно убедительными, что обманули ряд профессиональных медиков. Как создавался deepfake костей и насколько он все же реалистичен? Ответы на эти вопросы мы найдем в докладе ученых.

Основа исследования

Если раньше словосочетание «искусственный интеллект» вызывал у людей либо удивленный взгляд, либо недоумение (либо крики о конце света), то сейчас этим понятием никого особо не удивишь. В наши дни искусственный интеллект и машинное обучение присутствуют во многих областях, в том числе и в медицины. Анализируя медицинские данные на наличие лежащих в их основе паттернов и взаимосвязей, системы глубокого обучения имеют широкий спектр применений, начиная от прогнозирования результатов лечения пациентов, диагностики, классификации и сегментации данных до генерации и анонимизации наборов данных с помощью синтетических медицинских данных.

Параллельно с появлением новых технологий появляются и новые проблемы законодательного и даже этического характера. Машинному обучению не удалось избежать бюрократии, в частности нормативов, касающихся конфиденциальности и использования медицинских данных. В США эти данные регулируются через HIPAA (Health Insurance Portability and Accountability Act), в ЕС — GDPR (General Data Protection Regulation). В соответствии с этими регламентами анонимные медицинские данные не могут распространяться между странами, учитывая возможность повторной идентификации людей. С одной стороны это защищает приватность пациентов, но с другой сильно усложняет жизнь исследователям. Обмен такими данными между учеными из разных стран сопряжен с рядом условий, которые необходимо соблюдать. К примеру, когда данные о состоянии здоровья передаются из страны ЕС в третью страну, третья страна должна показать наличие у себя механизмов защиты данных, эквивалентных GDPR. Обмен исследовательскими данными практически невозможен без предварительной подготовки, официальных соглашений и тщательного планирования. Другими словами, международная группа ученых вполне может уделять бюрократии больше времени, чем фактическому исследованию, которое они проводят.

Решением вышеописанной проблемы может стать технология DeepFake. Высококачественные данные DeepFake, созданные искусственными нейронными сетями, могут эффективно сохранять важную медицинскую информацию для медицинских исследований и задач глубокого обучения. При этом эти данные не являются чьими-то, т. е. любые регуляции конфиденциальности на них не распространяются. Данные DeepFake могут быть открытыми и свободно распространяться между исследовательскими группами и широкой общественностью.

В рассматриваемом нами сегодня труде ученые сосредоточили свое внимание на данных об остеоартрите (ОА), который в настоящее время является четвертой по распространенности причиной инвалидности во всем мире. Клинически колено является наиболее частой локализацией остеоартрита. Остеоартроз коленного сустава (KOA от knee joint osteoarthritis) проявляется дегенерацией хряща, сужением суставной щели и развитием костных деформаций. Кроме того, обычно развиваются костные шпоры (остеофиты). Болезнь неизлечима и обычно может привести к хирургическому вмешательству и хроническим побочным эффектам. Однако при ранней диагностике клиническое прогрессирование потенциально может быть замедлено, а качество жизни и подвижность пациента могут быть улучшены.

Ранняя диагностика остеоартрита представляет собой серьезную проблему для медицинских экспертов и искусственных нейронных сетей. Основная причина – слабые рентгенологические признаки начала заболевания на ранних стадиях.

Классификация Kellgren&Lawrence (KL) по оценке остеоартрита является наиболее часто используемой «нисходящей» системой классификации рентгеновских снимков пациентов на различных стадиях развития остеоартрита. Степень KL 0 указывает на отсутствие рентгенологических признаков остеоартрита, а KL 4 указывает на тяжелый остеоартрит. При глубоком обучении функции изображений изучаются в иерархии «снизу вверх» из больших наборов данных изображений остеоартрита. Выученные признаки используются с алгоритмом классификации для прогнозирования KL оценок.


Примеры для каждого класса KL: от 0 (нет рентгенологических признаков ОА) до 4 (тяжелый ОА), JSN — сужение суставной щели (отмечено стрелками). Красным выделены области с остеофитами.

Как говорят ученые, сверточные нейронные сети (CNN от convolutional neural network) необходимы в исследованиях KOA с глубоким обучением. Основная причина заключается в том, что CNN являются фундаментальным блоком в современном глубоком обучении и вызвали значительный скачок производительности в подходах к распознаванию объектов, их классификации, сегментации и кластеризации.

Наряду с этими «классическими» задачами появились новые приложения, такие как нейронная передача стилей, сверхвысокое разрешение и генерация текста в изображение. Новый тип нейронной сети, которому некоторые из этих приложений обязаны своим успехом, — это генеративно-состязательная нейронная сеть (GAN от generative adversarial neural network). Эти сети позволили генерировать синтетические (DeepFake) данные с учетом достаточного количества реальных данных. GAN для визуализации обычно используют сверточные блоки и включают две нейронные сети, противоположные друг другу. Одна нейронная сеть генерирует изображения DeepFake, чтобы обмануть другую сеть, которой поручено классифицировать DeepFake и реальные данные. Одновременное обучение этих нейронных сетей может в конечном итоге привести к равновесию Нэша*.

Равновесие Нэша* — набор стратегий в игре для двух и более игроков, в котором ни один участник не может увеличить выигрыш, изменив свою стратегию, если другие участники своих стратегий не меняют.

В медицине синтез на основе GAN можно увидеть в различных областях данных, таких как компьютерная томография, рентгеновские изображения и магнитно-резонансная томография. В целом, GAN часто используется для задач анонимизации и расширения данных в медицине. В первом случае GAN полностью заменяют реальные данные, а во втором — дополняют их посредством DeepFake данных.

В своем исследовании ученые представили рентгеновские снимки остеоартроза коленного сустава различной степени тяжести, выполненные посредством DeepFake. Полученные снимки проверялись 15 профессионалами, которые пытались выявить среди подборки реальные снимки и DeepFake.

Результаты исследования

Архитектура генеративно-состязательной нейронной сети Вассерштейна.

В ходе исследования ученые обучили две генеративно-состязательные нейронные сети Вассерштейна со штрафом за градиент (WGAN-GP от Wasserstein generative adversarial neural networks with gradient penalty). С их помощью были получены анатомически точные рентгеновские снимки остеоартрита коленного сустава, которые оценивались экспертной группой. Также эти снимки использовались в качестве дополнения (или полной замены) обучающих данных в задаче KL-классификации, выполняемой другой нейронной сетью.


Схема задач и данных, используемых в исследовании. Реальные данные выделены зеленым цветом, DeepFake — красным, фиолетовый — операции обработки данных, а синий — процедуры, связанные с классификацией. Заголовки блоков содержат возрастающие числа для обозначения порядка операций (от 1 до 5).

Блок генератора был построен в основном с модулями повышающей дискретизации и двумерной свертки с экспоненциальной единичной активацией и пакетной нормализацией. По той же схеме был создан блок дискриминатора, но за исключением модулей повышающей дискретизации и пакетной нормализации. Модуль дискриминатора отличался наличием выпадающих слоев для борьбы с переоснащением.

Два блока имели одинаковое количество параметров: 6 304 900 для генератора и 6 335 861 для дискриминатора, потому любому блоку было бы трудно иметь преимущество во время тренировки. Генеративную сеть обучали дважды независимо, каждый раз на 1000 эпох — первый раз с KL 0 и 1 (отсутствие остеоартрита (ОА) и сомнительные данные) и второй раз с классами KL 2, 3 и 4 (от легкого до тяжелого ОА).


Изображение №1

Выше показаны результаты мониторинга эпох с фиксированными координатами скрытого пространства. Изображения охватывают период от раннего обучения до лучших моделей для KL01 WGAN и KL234 WGAN. Наблюдалась четкая картина улучшения с точки зрения общей анатомии, рентгенологической текстуры и условий контрастирования.

На изображении выше также показаны координаты фиксированного скрытого пространства после обучения, поступающие в генератор в разные сохраненные эпохи из обучения KL01 и KL234 WGAN. Было обнаружено, что основные структурные изменения начали уменьшаться по мере прохождения тренировки, в то время как изменения текстуры продолжали улучшаться. Например, в модели KL01 наблюдалось особое внимание к структурным особенностям, таким как общая форма коленного сустава. После эпохи 18 начали проявляться изменения текстуры, поскольку форма надколенника стала более выраженной. Аналогичные улучшения были и в модели KL234. В отличие от KL01, форма коленного сустава KL234 стала менее гладкой и с более острыми краями, что характерно для поздних стадий остеоартрита.


Изображение №2

Чтобы оценить качество и медицинскую точность полученных изображений, ученые опросили десять специалистов в области радиологии и пять специалистов в области ортопедической хирургии. Им были представлены 12 реальных и 12 DeepFake снимков из классов KL01 и KL234 (примеры показаны выше), выбранных случайным образом и в случайном порядке. Задача состояла в том, чтобы определить, является ли изображение подлинным или синтетическим. Кроме того, медицинских экспертов попросили оценить как реальные, так и синтетические изображения по степени тяжести ОА.

Результаты опроса показали, что средняя точность, достигнутая среди медицинских экспертов, составила 61.35%: хирурги-ортопеды набрали 65.25%, а радиологи — 59.40%. Далее средняя точность бинарного класса была разложена по отдельным классам. Для DeepFake снимков точность составила 59.89%, а для реальных — 62.81%. Радиологи показали точность определения DeepFake снимков — 56.17% и реальных — 62.63%. Хирурги-ортопеды достигли точности 67.33% для DeepFake и 63.17% для реальных снимков.

Эти результаты показали, что в среднем изображения DeepFake сбивали с толку экспертов не меньше, чем настоящие изображения. Это открытие указывало на то, что реалистичность поддельных изображений была достаточно высокой, чтобы ввести в заблуждение медицинских экспертов. Любопытно и то, что крайне часто эксперты называли DeepFake снимки реальными, а реальные считали синтетически сгенерированными.


Изображение №3

Выше представлены три наиболее неправильно классифицированных (классифицированных как настоящие) изображения DeepFake (> 70% экспертов) и три наименее неправильно классифицированных (< 13% экспертов).

Судя по данным, все эксперты правильно оценили 83.48% класса DeepFake KL01, что аналогично реальному KL01 с точностью 89.44%. Это означает, что медики правильно выявили остеоартрит в степени KL 0 (остеоартрита нет) и KL 1 (остеоартрит подозревается, но не утверждается) как на DeepFake, так и на реальных снимках. Для класса DeepFake KL234 эксперты правильно оценили 57.78% снимков, а вот для реальных снимков этот показатель был ниже (52.78%).


Изображение №4

GAN сети могут визуализировать изученные представления скрытого пространства. Каждое изменение значения скрытого измерения* влияет на результирующий DeepFake. Исследуемые модели были обучены с помощью 50 функций/скрытых измерений.

Скрытое измерение* — это переменные, которые не наблюдаются напрямую, но существование которых предполагается, чтобы объяснить закономерности изменения наблюдаемых или явных переменных.

Скрытые измерения, как правило, запутываются после обучения, и подмножества могут управлять одной или несколькими общими высокоуровневыми функциями. Было создано три простых примера, демонстрирующих будущий потенциал в разработке рентгеновских изображений KOA.

В первых двух строках изображения №4 показаны пошаговые изменения в одном скрытом измерении от -4.2 до +4.2. В первой строке показан случайный пример KL01, а во второй строке — пример KL234. Наконец, последняя строка демонстрирует линейную интерполяцию всех скрытых измерений между двумя случайно сгенерированными рентгеновскими снимками.

При ближайшем рассмотрении в основном наблюдаются изменения формы межмыщелковой вырезки и латерального мыщелка большеберцовой кости в первом ряду. Во втором ряду наблюдалось, что латеральный мыщелок большеберцовой кости приближался к латеральному мыщелку бедренной кости. В этом отношении второй снимок коленного сустава постепенно становился более симметричным. В последнем ряду видно, что снимок в центре имеет сходные характеристики с обоими рентгеновскими снимками по бокам от него.

В совокупности вышеописанные результаты говорят о том, что использование нейронных сетей и машинного обучения позволяет создавать достаточно реалистичные рентгеновские снимки, верность которых была подтверждена экспертами-медиками.

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.

Эпилог

В рассмотренном нами сегодня труде ученые решили использовать современные технологии в борьбе с необычным, но очень раздражающим врагом, — с бюрократией. Любые данные медицинского характера являются конфиденциальной информацией и охраняются законом во многих странах мира. Порой эти данные могут быть крайне полезны для ученых и медиков, изучающих то или иное заболевание в поисках оптимального лечения. Однако обмен такими данными между учеными из разных стран сопряжен с бумажной волокитой, которая может сильно замедлить процесс исследования, а порой и вовсе его нарушить.

В таком случае можно было бы поменять законы и правила, вняв нуждам научного сообщества, но этот процесс также занял бы годы бюрократической возни. Потому ученые решили пойти иным путем и применили машинное обучение и технологию DeepFake, позволяющую создавать синтетические изображения объектов и людей, которые порой сложно отличить от реальных.

В результате они создали базу рентгеновских снимков коленного сустава человека с разной степенью развития остеоартрита. Первые снимки были далеки от идеала, но в ходе обучения нейронная сеть смогла достичь вполне реалистичных результатов. DeepFake снимки получились столь правдоподобны, что приглашенные эксперты-медики чаще называли их настоящими, чем реальные снимки. Кроме того медики успешно определяли ту или иную степень остеоартрита, которая была заложена в DeepFake снимке.

Авторы исследования считают, что их труд не только важен для решения проблемы с обменом данными, но и для дальнейшего обучения систем искусственного интеллекта. Смешивая реальные и синтетические снимки, можно обучить такие системы самостоятельно выявлять признаки того или иного заболевания или дефекта. Особенно полезно это может быть для выявления, к примеру, того же остеоартрита на ранних стадиях его развития, признаки которого могут быть не замечены человеком. Конечно, ИИ пока не может заменить диагностику, выполняемую медиками, но ему и не нужно, ведь он может стать их инструментом, повышающем эффективность и диагностики, и, как следствие, лечения.

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?