Волна нейросетевых инноваций дошла и до компьютерной томографии (КТ), что в целом неудивительно, учитывая количество задач анализа изображений в КТ и бурный рост области применения методов машинного обучения. Тут и задачи сегментации (например, выделение опухолей, визуализация), и анализ изображения (детекция COVID-19), и даже повышение точности реконструкции. При этом если первые два случая применения нейронных сетей являются консультирующим инструментом для врача и никак не изменяют изображение, то использование нейросетей для получения реконструкции из исходных данных может представлять реальную опасность. Так нейронная сеть может стереть или дорисовать важные для диагностики здоровья пациента детали на реконструированном изображении и ввести врача в заблуждение. В данной статье мы расскажем где и зачем применяются нейронные сети в томографии, об аппаратных атаках на них и постараемся количественно оценить безопасность применения инструментов машинного обучения в компьютерной томографии.
Поскольку о вреде рентгеновского излучения известно достаточно давно, то и задача снижения дозы при сохранении качества изображения возникла примерно одновременно с возникновением КТ и введением в эксплуатацию первых медицинских томографов в 1979 году. С тех пор непрерывно совершенствуются как конфигурации томографов, так и отдельные его узлы, разрабатываются новые протоколы сканирования, новые алгоритмы реконструкции и пост-обработки изображений. Для достижения цели используются самые современные средства, и, разумеется, приход искусственного интеллекта (ИИ) не заставил себя долго ждать.
Основной способ снижения дозовой нагрузки, без изменений конструкции томографа и протокола исследования, — уменьшение времени регистрации или экспозиции одного рентгеновского снимка (т.н. проекции). Из набора проекций, снятых под разными углами, с помощью алгоритма реконструкции (например, алгоритма свертки и обратной проекции или Filtered Back Projection (FBP)) восстанавливается изображение внутренней структуры исследуемого объекта. В случае если проекции сняты с уменьшенным временем экспозиции, то при применении классических алгоритмов реконструкции на восстановленном изображении появляются искажения типа “соль/перец” или мелкозернистый шум. Пример сечения восстановленного изображения по данным с нормальной и сокращенной экспозицией приведен на рис. 1. Стрелкой показана опухоль, которую необходимо обнаружить врачу для правильной постановки диагноза. На правом изображении из-за шума опухоль становится слабо различимой, соответственно, поставить правильный диагноз по такому изображению будет затруднительно.
Однако современные технологии не стоят на месте, применение нейронных сетей во всевозможных задачах тому пример. Нейронные сети хорошо справляются с проблемой шумоподавления и показывают state-of-the-art результаты в данной области. На рис. 2 показан пример работы нейронной сети (https://github.com/cszn/DnCNN), которая подавляет шум на фотографиях. По рис.1 (Б) и рис. 2 (А) наблюдается визуальное сходство шума на фотографиях и результатах КТ с уменьшенной экспозицией, а значит те же самые архитектуры нейронных сетей могут быть использованы и для шумоподавления в томографии, поэтому естественное развитие метода КТ — разработка систем ИИ для томографической реконструкции.
Системы ИИ для шумоподавления в томографии бывают трех типов. Первым тип — предпроцессинговый ИИ. Такие системы ИИ подавляют шум в пространстве рентгеновских снимков, после чего применяют алгоритм реконструкции. Их преимущество заключается в возможности учета физической модели шума. Второй тип — система ИИ с одновременной реконструкцией и подавлением шума. Основное преимущество таких систем ИИ — оптимальное сочетание качества и быстродействия. Еще одним вариантом использования нейронных сетей в томографии является обработка уже реконструированного изображения — пост-процессинговые системы ИИ, для которых возможно применять абсолютно любой алгоритм томографической реконструкции. Однако несмотря на все преимущества нейросетевых алгоритмов, у них есть существенный недостаток. А именно, они могут быть неустойчивы к атакам или малым искажениям входных данных, которые сильно меняют результат работы нейронной сети. В отдельных случаях это может приводить к необратимым последствиям в процессе использования уже обученных нейросетевых алгоритмов. Что такое атаки на искусственный интеллект, как они устроены и к каким последствиям могут приводить мы писали тут.
Атаки на алгоритмы реконструкции в томографии опасны тем, что они могут приводить к ошибке постановки диагноза, которая может быть совершена, к примеру, если алгоритм нарисует на реконструированном изображении несуществующую в реальности опухоль. Чтобы подобного не происходило, надо научиться определять насколько устойчивы томографические системы ИИ к малым искажениям входных данных. Этим мы и занялись в рамках нашей научной работы, а результат оформили в виде статьи в журнале MPDI Mathematics [1]. В работе мы исследовали устойчивость двух классических томографических алгоритмов реконструкции (FBP, SIRT - о них мы писали здесь) и наиболее популярных томографических систем ИИ для шумоподавления. Среди них нейронная сеть Unet1D [2] — предпроцессинговый ИИ; нейросетевые алгоритмы реконструкции Learned Primal-Dual Reconstruction (LPDR) [3] и TiraFL [4]; две постпроцессинговые системы ИИ - ResUNet [5] и FBPConvNet [6]. Проверка на устойчивость алгоритмов заключалась в оценке возможности по данным здорового пациента реконструировать изображение, которое привело бы к врачебной ошибке, т.е. с дефектом, похожим на болезнь. Мы выбрали 4 изображения с инфекционными заболеваниями легких из медицинского атласа КТ [7]. Они показаны на рис.4, красными прямоугольниками обозначены места, по которым врач определяет наличие у пациента той или иной инфекционной болезни. Если на реконструкции в обозначенном красным прямоугольником ничего не восстановилось, то и заболевания у пациента нет. Это референсные изображения, по которым будем судить насколько реконструирующий алгоритм научился галлюцинировать.
Далее для каждого алгоритма реконструкции будем искать минимальную добавку к исходным проекциям здорового пациента, которой достаточно для получения реконструкций с изображением заболевания. Для этого построим оптимизационную задачу, в которой будем минимизировать декартову норму между референсным изображением с болезнью и реконструкцией, полученной исследуемым алгоритмом. Ниже на рис. 9-12 показаны примеры пар изображений, которые получилось подобрать для исследуемых томографических систем ИИ. Насколько правдоподобная реконструкция получилась, т.е. насколько изображение похоже на реконструкцию больного пациента, помогала нам определять врач-рентгенолог Клинического центра Сеченовского Университета. Она отобрала для нас примеры, по которым мы вычисляли оценку устойчивости алгоритмов.
Для оценки устойчивости алгоритма реконструкции мы ввели функцию SM, которая вычисляется по следующей формуле:
где ∆P — аналитически рассчитанная добавка к исходным проекционным данным, которая необходима для получения реконструкции с заданным искажением. Добавка рассчитывается с помощью оператора прямого проецирования по изображению с искажением. ∆PM — минимальная добавка к исходным данным, которая необходима для получения исследуемым алгоритмом реконструкции искаженного изображения. Функция SM принимает значения в интервале от 0 до 1. Значение 1 соответствует идеально устойчивому алгоритму реконструкции, 0 — неустойчивому.
В таблице ниже приведены усредненные значения функции SM, рассчитанные для всех 4 типов поражения легких.
Название алгоритма |
Тип алгоритма |
Значение SM |
SIRT |
Классический |
0.96 |
FBP |
Классический |
0.87 |
ResUNet |
Пост-процессинговый ИИ |
0.64 |
TiraFL |
Реконструирующий ИИ |
0.60 |
UNet1D |
Предпроцессинговый ИИ |
0.52 |
LPDR |
Реконструирующий ИИ |
0.45 |
FBPConvNet |
Пост-процессинговый ИИ |
0.38 |
По таблице видно, что значения 1 не достигает ни один алгоритм, даже классический. Таким образом, потенциально обмануть врачей может не только система ИИ, но и классический алгоритм реконструкции. Среди всех томографических систем ИИ, которые мы исследовали, ResUNet, который является постпроцессинговым, оказался самым устойчивым по сравнению с другими нейросетевыми алгоритмами.
Заключение
Описанный в сегодняшний статье подход полностью укладывается в парадигму Ответственного искусственного интеллекта. И мы искренне призываем всех разработчиков систем (особенно, связанных с жизнью и здоровьем), использующих ИИ как инструмент, строго придерживаться этой парадигмы.
Список литературы
Smolin A. et al. Reprojection-Based Numerical Measure of Robustness for CT Reconstruction Neural Network Algorithms //Mathematics. – 2022. – Vol. 10. – No. 22. – P. 4210
Yamaev A. et al. Lightweight denoising filtering neural network for FBP algorithm //Thirteenth International Conference on Machine Vision. – SPIE, 2021. – Vol. 11605. – P. 158-167
Adler J., Öktem O. Learned primal-dual reconstruction //IEEE transactions on medical imaging. – 2018. – Vol. 37. – No. 6. – P. 1322-1332
Genzel M., Macdonald J., Marz M. Solving inverse problems with deep neural networks-robustness included //IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2022
Heinrich, M.P., Stille, M., Buzug, T.M. Residual U-Net convolutional neural network architecture for low-dose CT denoising. Curr. Dir. Biomed. Eng. - 2018. - No. 4. P. 297–300
Jin, K.H., McCann, M.T., Froustey, E., Unser, M. Deep convolutional neural network for inverse problems in imaging. IEEE Trans. Image Process. - 2017. - No. 26. - P. 4509–4522
Elicker, B., Webb, W. Fundamentals of High-resolution Lung CT: Common Findings, Common Patterns, Common Diseases, and Differential Diagnosis // Pneumologie. - 2013. - No. 67. - P. 400
Комментарии (24)
MedicusAmicus
17.01.2023 13:13+1А если кожаному мешку показывать пару снимков (до ИИ и после) - вероятность подобных ошибок несколько уменьшится.
vkni
17.01.2023 14:44+2Если там предпроцесс, то «до ИИ» нет.
С другой стороны, можно же сделать несколько разных обработок нейросетями, а потом сравнить. Почему, кстати, не проверено, насколько эти галлюцинации коррелируют между методами обработки? Может быть связка из двух ИИ даст устойчивость лучше, чем один классический алгоритм? А как там с классическими алгоритмами, если задать тот же вопрос.
imageman
18.01.2023 12:47Да, обычно совмещение нескольких подходов позволяет несколько снизить ошибку. Но ошибки по любому будут (и для существенного снижения нужно объединять довольно много методов, сделанных разными способами, обученными на разных данных).
SmartEngines Автор
18.01.2023 17:36Для нас ”до ИИ” - это измеренные проекции, в статье мы рассматривали тот случай, что до ИИ реконструируемого изображения еще не существует. Возьмем, к примеру, алгоритма LDPR - это алгоритм томографической реконструкции. Тенденция снизить лучевую нагрузку, говорит о том, что нейросетевые модели для реконструкции будут создаваться все больше, а значит надо заниматься их устойчивостью.
Галлюцинации между методами обработки - тема для отдельной статьи, мы ею в данной работе не занимались.
zurabob
17.01.2023 15:22+2Непонятно, сначала" Значение 1 соответствует идеально устойчивому алгоритму реконструкции, 0 — неустойчивому. ", потом таблица, где все алгоритмы с ИИ имеют значительно меньшее значение, потом вывод: " методы нейросетевой постобработки результатов реконструкции наиболее устойчивые к атакам. "
SmartEngines Автор
18.01.2023 17:38Спасибо за замечание. Здесь закралась “опечатка” в тексте “Среди всех томографических систем ИИ, которые мы исследовали, методы нейросетевой постобработки результатов реконструкции наиболее устойчивые к атакам.”. Должно было быть написано, что один ИИ алгоритм (ResUNet), который является постпроцессинговым, оказался самым устойчивым по сравнению с другими нейросетевыми алгоритмами. Мы исправили ошибку.
AlexVist
17.01.2023 19:05+3Давайте положим руку на сердце и честно скажем, что никакого ответственного ИИ нет и быть не должно в медицине. А вот ответственность разработчиков и тех, кто разрешает/заставляет применять такие технологии должна быть вполне реальной и уголовной. Всегда желаю таким разработчикам самим стать пациентами своих систем.
Chelidonium
17.01.2023 19:26+2тем более что это потенциально может приводить к гипердиагностике,
росту ошибочных диагнозов онкологии, и далее смертности здоровых
пациентов от химиотерапии, в результате таких 'выгодных' ошибок.
SmartEngines Автор
18.01.2023 17:37Ваш гражданский пафос полностью разделяем в части того, что люди должны подходить ответственно. Однако технологические революции прошлого нам говорят, что новые технологии в итоге внедряются в жизнь людей. И если кто-то запретит использование нейронных сетей в медицине, мы плакать не будем, но такое вряд ли произойдет. Это связано с тем, что КТ в медицине применяется все чаще и есть стремление снизить лучевую нагрузку. Поэтому мы работаем над улучшением нейросетевых технологий, чтобы трагических последствий было меньше.
AlexVist
20.01.2023 07:27+1Где вы увидели пафос? И уж, тем более, сопротивление научному прогрессу. И ещё, тем более, запрет на использование я не высказывал. Вы умудрились написать отсебятину на комментарий. Который был, вполне, справедливым. Что за ошибки нужно отвечать. И да законодательно урегулировать такую ответственность. Кстати, почему для ИИ(которого нет) столько преференций для вывода на рынок продуктов? Ранее существовали очень жёсткие правила для вывода новых технологий и препаратов в медицине. И уходили многие годы прежде чем можно было получить одобрение. А то из вашей же статьи следует, что люди стали подопытными участниками исследований и экспериментов чьего-то софта. А люди в курсе? Им объяснили риски? Для них оговорена компенсация? А кто будет отвечать за последствия? Понимаю, что медицина этот лакомый кусок для любого бизнеса. Особенно модная тема с КТ. Только медицина не об этом. Ваши технологические прорывы перестают работать стоит лишь выдернуть вилку из розетки. И вот тут то и начинается медицина. Как пример могу привести вам события сегодняшнего дня. Когда уже на новых территориях России есть условия, где нет света, где все разрушено. И ваши теории, рассуждения и технологии там не работают. А врач может работать и в таких условиях. Конечно, настоящий врач. Так что пафос не у меня. И вы его оставьте за скобками. Если можете ответьте на комментарий про ответственность.
Refridgerator
18.01.2023 06:07+10Математически удалить шумы из любых данных невозможно. Абсолютно все алгоритмы такого рода шумы не удаляют, а маскируют, причём ценой ещё большей потери данных, поскольку используют аппроксимацию. Разница между классическим и нейросетевым подходом в том, что в первом случае данные для аппроксимации берутся из того же самого изображения, а во втором — из множества других однотипных изображений. Неудивительно, что во втором случае результат получается более убедительным. Вот только по факту полученная таким образом рентгенограмма не будет уже относится к оригинальному пациенту — а будет дополнительно включать всю обучающую выборку в той или иной степени. Причём процентное влияние пациентов из обучающей выборки ни контролировать, ни даже просто фиксировать никак не возможно.
Ну и согласно теории вероятностей, вероятность случайного восстановления картинки близкой к исходной вполне существует. Потому можно выбрать именно такие и продемонстрировать их как норму, а не как случайность.Но чаще бывает так:
Alexufo
18.01.2023 13:45Почему невозможно, если данные уже оцифрованы? Нужно только выделить из этих данных полезный сигнал по какому-то закону, не обязательно известному, поэтому сетки и интересны
>полученная таким образом рентгенограмма не будет уже относится к оригинальному >пациенту — а будет дополнительно включать всю обучающую выборку в той или иной >степени.
Ну так это применимо и к фильтру байера, в той или иной степени цветное лицо усреднено неким алгоритмом и уже не относится прямо к снятому матрицей фотонами, отраженными от лица. Все в той или иной степени, речь то понятная, что нельзя путать визуальное качество и смысл обработки медицинских изображений.Refridgerator
18.01.2023 14:11Невозможно, потому что спектр шума равномерный, но его фаза для отдельных частот неизвестна. Это как минимум значит, что часть частот складывается в противофазе и в итоге получается ноль. Вернуть данные из нуля не получится.
Чтобы выделить полезный сигнал по какому-то закону — нужно знать заранее, что это за сигнал и как он выглядит. Тогда поможет корреляция, но результат будет выглядеть совсем не так, как изображено здесь на картинках. В любом случае, наличие/отсутствие рака у другого пациента с наличием/отсутствием рака у меня лично не коррелирует вообще никак.Alexufo
18.01.2023 14:30часть частот складывается в противофазе
Это можно решить увеличив разрешающую способность объекта исследования, когда ноль не будет закрывать минимально значимую информацию в снимке.Это как битые пиксели в матрице фиксятся прошивкой фотоаппарата.
Чтобы выделить полезный сигнал по какому-то закону — нужно знать заранее, что это за сигнал и как он выглядит.
Вот это я так понимаю и есть цель нейросетей, всегда ли они додумывают? Я не знаю. обучить же можно на идеальных болванках, не на реальных снимках.Refridgerator
18.01.2023 15:04На спектр белого шума разрешение не влияет. С розовым немного поможет, да. А с битыми пикселями ситуация совсем другая — они единичные и их положение точно известно.
imageman
18.01.2023 15:53И даже с битыми пикселями не совсем понятно что делать. Усреднять по соседям, делать бикубическую интерполяцию или что-то еще? Результат в каждом случае будет другим и в каждом случае результат не вернёт утерянную информацию. Так что восстановить что-то нейросеть не может. Но (с некоторой долей уверенности) может обнаружить аномалии и попытаться что-то предсказать. "Мусор на входе - мусор на выходе."
Refridgerator
18.01.2023 15:15Так если у вас идеальная болванка — нейросеть не нужна. Нейросеть не ИИ, она ничего не знает про медицину и не умеет критически осмысливать результаты вычислений. Вбейте в Stable Diffusion, которая как раз и восстанавливает изображения из шума, запрос «woman show your hands». Считайте пальцы, ставьте диагнозы, выписывайте направления к хирургу.
Refridgerator
18.01.2023 14:23Для примера, можете отфильтровать скользящим средним синусоиду, период которой в него нацело укладывается. Результат будет 0, гарантировано.
иллюстрация
SmartEngines Автор
18.01.2023 17:49+2Зрите в корень, но местами у вас лозунги вместо науки. Удалить шумы из абсолютно любых данных, не внося понятие модели данных, невозможно. Однако для определенных видов данных - это возможно с очень большой вероятностью (дискретные сигналы) или с очень большой точностью (линейные, к примеру). Нейросетевой подход к реконструкции можно рассматривать как способ построения модели измеряемого объекта, на основе которой можно делать предположения о его структуре. Чтобы продолжить дискуссию, надо перейти от шумов к количеству информации, необходимой для точной реконструкции.. Ее может не хватать. Как действовать в этом случае, ничего не придумывая, мы показали в работе. Yamaev A. V. et al. Neural network regularization in the problem of few-view computed tomography //Компьютерная оптика. – 2022. – Т. 46. – №. 3. – С. 422-428. По предъявленным вами изображениям можно сделать вывод, что сеть исказила входные данные. К примеру, исчез воротник у левого персонажа.
Хватает информации или не хватает для точной реконструкции - это важный вопрос. И это необходимо донести до врачей. Мы считаем, что дополнительно к результату реконструкции, врачу должна быть предоставлена карта уверенности в ответе.
Refridgerator
20.01.2023 08:50У вас вся статья — лозунг вместо науки, если уж на то пошло. Раз уж вы взялись за фильтрацию шума, то самое первое, с чего нужно начинать — это этот самый шум замерить, чтобы как минимум получить его спектр и посчитать доверительные интервалы. Где это? Человек 3D, томограмма 2D. Где анализ шума относительно плотности тканей? Второе — тут задача частная, не общая. Как минимум это значит, что не все точки на томограмме одинаковы полезны. Соответственно следующий вопрос — а где анализ на статическое распределение опухолей (или чего то ещё) относительно хотя бы просто центра томограммы, не говоря уже о скелете? А почему бы вместо фильтрации шума не фильтровать сам скелет? А почему бы не анализировать томограммы с учётом онкомаркеров? А почему бы вместо одной очищенной томограммы не получать несколько, скоррелированных по возрасту, полу, расе, группе крови и прочему?
Alexufo
@TimurAbdualimov как раз вам по теме, по скольку в одной из статей вы применяли нейронные сети для увеличения разрешения медицинских изображений. Здесь, правда томография, но опасность технологии во всей красе. Алгоритмы стали дофига умные, надо за ними теперь следить.
TimurAbdualimov
Мне приятно что статья отложилась у вас в памяти.
Просьба оставлять ссылку на нее, если упоминаете. Она тут на хабре.
Тема статьи - как повысить разрешение изображения при помощи ESRGAN. Моим любопытством было продиктовано как пример, показать на медицинских снимках.
Передайте коллеге из Сеченовского университета, что неплохо было бы писать код самой;)
В статье прямо пишут что ошибка бывает не только в ИИ, но и в классических алгоритмах реконструкции.
SmartEngines Автор
Тема Вашей статьи интересная. Замечательно, что Вы обратили свое внимание на такую постановку. В целом, задачи общие и у нас есть идея как оценивать и такие сети. Однако мы пока не пишем об этом, так как тема пока не проработана до публикационного варианта.