Исследователи Facebook AI и NYU Langone Health в рамках проекта fastMRI разработали новый способ использования метода глубокого обучения для решения проблемы артефактов изображения МРТ с AI-ускорением. Этот метод также значительно улучшает общее качество изображения.
Одной из проблем использования глубокого обучения для создания высокоточного сканирования МРТ является то, что на снимках появляются артефакты в виде полос, которые могут закрывать детали изображения.
Чтобы решить эту проблему, команда fastMRI использовала метод состязательного обучения для создания такой модели, которая берет необработанные данные ускоренного сканирования МРТ и создает точные изображения уже без этих артефактов. В состязательном обучении команда fastMRI использовала условного противника, целью которого было предсказать ориентацию шаблона полос и которого нужно было обмануть. Случайные полосы наносились на снимки до и после реконструкции. Модель и ее противник обучались одновременно.
Фото: ai.facebook.com
Метод оценили в исследовании с участием шести сертифицированных радиологов из NYU Langone Health. Результаты показали, что новая модель дает изображения с меньшим количеством артефактов и без уменьшения детализации.
Авторы проекта отметили, что устранение артефактов на изображениях МРТ с ускорением AI может приблизить этот проект к внедрению в клинических условиях. Кроме того, он может помочь убирать эти артефакты с томограмм, сделанных на МРТ-аппаратах с магнитами меньшей мощности (не 3, а 1,5 Тесла), которые все еще широко используются во всем мире.
Проект fastMRI запустили в 2018 году. Над ним работают Школа медицины при Нью-Йоркском университете и группа исследователей искусственного интеллекта из Facebook (FAIR). Проект имеет открытый исходный код и ставит своей целью использование ИИ для ускорения сканирования в 10 раз, что сделает МРТ доступным для большего числа людей, сократит время ожидания и уменьшит страдания тех, кому трудно или невозможно оставаться внутри сканеров в течение длительного времени.
Изначально медики предоставили для проекта датасет из 3 млн снимков мозга, коленей и печени 10 тысяч пациентов. Facebook же применяет свои наработки по машинному обучению для тренировки алгоритма.
См. также:
staticmain
Информация на изображении не возьмется из ниоткуда, если она закрыта артефактной полосой.
Такой алгоритм точно не удалит следы опухоли, если она там есть, посчитав их артефактом, или наоборот, не пририсует ли он опухоль там, где ее нет?
sergehog
MRT получает данные (как-бы) в Фурье домене, т.е. каждое измерение покрывает практически все пространство. Но проблема в том что измерений все-равно меньше чем нужно и, к тому же, они зашумлены. Восстановление «нормальной» картинки из таких данных как раз и является основной проблемой. Ученые уже применяют миллион разных условий (constraints) для восстановления, использование GAN в качестве очередного констрейнта — вполне очевидный шаг. Наверняка уже кто-то попробовал за 5 лет, GANы уже давно в почете.