Школа медицины при Нью-Йоркском университете планирует ускорить МРТ-сканирование как минимум в 10 раз. Поможет им в этом группа исследователей искусственного интеллекта из Facebook (FAIR) с помощью технологий машинного обучения.
Проект называется fastMRI. Медики предоставят для него датасет из 3 миллионов снимков мозга, коленей и печени, собранные с 10 тысяч пациентов, а Facebook — свои наработки по машинному обучению для тренировки алгоритма. Согласно задумке, аппарат МРТ будет собирать только часть информации, а пробелы заполнит обученная нейросеть.
Приемлемые для реального использования результаты исследователи планируют опубликовать в течении года под свободной лицензией.
Аппарат для МРТ воздействует на ткань электромагнитным излучением и фиксирует выделение энергии в виде цифровых данных, из которых потом формируют снимки — «двумерные срезы». Процесс может длиться от 15 минут до часа. Чем больше данных необходимо собрать, тем дольше требуется воздействие.
Человеку в это время надо лежать и не двигаться. Для некоторых пациентов — например, маленьких детей, людей, страдающих клаустрофобией или испытывающих боли в лежачем положении — это может быть проблемой.
Первые попытки ускорить получение снимка исследователи при Школе медицины предприняли в 2015 году. Ученые предположили, что время в аппарате можно сократить, собрав только часть данных, а оставшиеся пробелы заполнить с помощью обученного ИИ на нейросетевых алгоритмах.
Аппараты МРТ в целом довольно гибкие в плане количества данных, необходимых для получения результата. Но после первых попыток, исследователи пришли к выводу, что для воссоздания качественных снимков необходимо даже меньше данных, чем они предполагали.
Сложность в том, что когда при обработке фото и видео нейросетевые алгоритмы заполняют похожим образом пробелы, дорисовывая пиксели на основе полученных данных, допущения и отклонения не критичны, по крайней мере в вопросах жизни и смерти. Но в анализе снимков МРТ на диагноз может повлиять каждый миллиметр.
Слева на этом изображении полный набор исходных данных, собранных МРТ. А справа снимок колена, который из них получен.
А на этом — частичный набор данных и снимок колена, полученный с помощью нейросетевых алгоритмов на данном этапе.
Помимо вопросов с точностью воссоздания, проект поднимает некоторые этические проблемы.
Решением похожих задач с компьютерным зрением — только в других сферах — занимались инженеры Facebook. Они говорят, что участие в этом проекте — хороший способ для них применить технологии на практике. Но сбор персональных данных компаниями, которые зарабатывают на их монетизации — в последнее время особо чувствительный вопрос. Тем более, если речь идет о медицинских данных.
Исследователи заявляют, что в датасетах нет информации о личностях пациентов, имен и медицинских сведений — только сами снимки и исходные данные, из которых эти снимки получены. Представители Facebook также утверждают, что в проекте не использованы данные, которые собирает компания сама.
Как сообщил изданию VentureBeat представитель Facebook, результатов стоит ждать в течении года. Как только будет проделан необходимый прогресс, исследователи выложат в общий доступ все модели, метрики и датасеты, на которых обучали ИИ для того, чтобы их могли использовать другие клиники.
Комментарии (24)
Jeka178RUS
24.08.2018 15:43-1На левом нижнем экране первой картинки раскрывается тема сисек или мне кажется?
LorDCA
24.08.2018 19:20Я вот пытаюсь понять. Если врача устроит не полное сканирование, то накой ему вот эти дорисованные фантазии по мотивам 3 миллионов других сканирований? А если врачу понадобиться детальное сканирование, то опять же причем тут дорисовки?
Больше похоже что фасебук хочет попиарить что нибуть, что бы показать что они реально делают что то полезное и нужное.
hp6812er
24.08.2018 23:15С год назад, статьи одной уважаемой компании, с именем в три буквы, просто забрасывали нас такими фантазиями… Загрузил фоточку и доктор не нужен, нейросетки сами всё объяснят.
До реальной реализации, так и не дошло…
Удачи ФБ…
Lazytech
25.08.2018 08:00С год назад, статьи одной уважаемой компании, с именем в три буквы, просто забрасывали нас такими фантазиями… Загрузил фоточку и доктор не нужен, нейросетки сами всё объяснят.
Нейросети в ближайшем будущем навряд ли смогут заменить опытных врачей-диагностов, однако разработки диагностических нейросетей идут в ряде стран, включая Россию и Китай. Если интересно, поделюсь несколькими ссылками.LorDCA
25.08.2018 16:57По правде говоря. Нейросети никогда не смогут кого бы то не было заменить. Вся проблема в том, что нейросети не РАСПОЗНАЮТ чего то там, а грубо говоря делают поиск предустановленых (обучением) паттернов. И это есть очень большая разница.
Lazytech
25.08.2018 17:19Вспомнилась одна история про казусы автоматического распознавания образов. :) Ниже привожу свое сообщение с одного форума программистов.
В 1990-х годах в немецкой армии было решено внедрить систему распознавания образов, предназначенную для автоматического выявления танков на местности. Для обучения системы требовались фотографии, и к делу привлекли двух фотографов: один снимал местность с танками, а другой без них. Готовые фотографии разделили на два набора: данные для обучения и тестовые данные. Обученная система идеально распознала танки на тестовых фотографиях, однако провалила первое же полевое испытание, оказавшись абсолютно непригодной к практическому использованию. Когда начали разбираться, в чем дело, то выяснилось, что каждый фотограф делал снимки со своим значением диафрагмы. Эти значения немного отличались, и в процессе обучения система натренировалась не обнаруживать танки, а распознавать разные значения диафрагмы.
Вполне возможно, что это просто байка.
Источником этой истории является один из комментариев к этой статье:
Why AI can't solve everything
antialias_physorg
* 5 / 5 (1) May 25, 2018
...and 'bias' in a training set can be the oddest thing. Here's my personal favorite AI-fail story:In the 1990s the german army had an AI program that was supposed to identify tanks in front of scenery. So they sent out two photographers to take pictures of scenery: One took pictures with tanks the other without. Then the AI was trained. As usual the data was divided into two sets: training data and test data. After training on the training data the AI performed extremely well on the test data.They took this to the field and it didn't work. At all. Turns out the two photographers used slightly different f-stops. The AI had learned to identify what f-stop was used in an image -.not the content.That's the thing with AI...you can train it and it might work (even extremely well and be extremely useful), but you can't actually show *what* it has learned.LorDCA
25.08.2018 21:08Может и байка. Но суть верная. Распознавание это процесс обобщения, по сути создание каждый раз нового паттерна. Ибо все субьективно. В случае с нейросетями имеется фиксированный набор матриц, усредненых значений из обучающего датасета, наличие или отсутствие этих матриц в данных и проверяет нейросеть. То есть речь не идет ни о каких новых паттернах, создаюшихся в процессе работы. Даже «ближайшие соседи» могут вести оценку признаклв только на основании растряния до ближайших маркеров. Новый маркер/признак там никогда сам не образуется.
Ожидать чего то необычного от статистического анализа, я бы не мтал.
Wayfarer15
25.08.2018 02:11Потратить по несколько десятков тысяч баков только на один DICOM монитор (а их в клинике множество), чтобы потом смотреть картинки дорисованные ИИ!? Это сильно!
Почему у меня в голове возникают какие-то мыли про распил бабла и всё такое.
rPman
25.08.2018 15:51Не покидает ощущение что фейсбук на самом деле занимается совсем другим анализом, т.е. им нужны данные мрт от десятков тысяч пациентов и вычислительные мощности, для чего то не совсем приличного, а чтобы на них не наехала публика, с помпой объявляем что занимается совсем другим, и даже результаты выкладывает.
Почему я так думаю, потому что напрямую тематика компании не сильно совпадает с исследованиями.
solariserj
25.08.2018 19:03+1Фэйсбук занимается анализом здоровья. То что занялись мрт похвально (парноик оn) чтоб потом с легкостью сопоставлять это с действиями человека/ фотками в сети (это как сейчас если сейчас девушка с 18 до 40 начинает постить/репостить фотки/открытки с ангелочками/новорожденными то возможно она беременна ) и можно показывать таргетированнее рекламу.
Neuromantix
Читая эти новости про поиск частиц, про постановку диагнозов по частичным данным у меня возникает вопрос: а какие гарантии того, что результат будет соответствовать реальности, а не будет продуктом глюков и прочего вымысла со стороны компа? Я параноик?
d020784
Мне тоже кажется, что здесь что-то не так…
OnelaW
Нет вы не параноик, вы прагматичный человек. В том и ценность мрт диагностики, что предоставляет информацию об органе как она есть, а не как она была интерпретирована алгоритмами.
Jeka178RUS
Да Вы параноик, так как результаты всех таких исследований будут проверяться и подтверждаться живыми людьми. Все это нужно что бы помочь врачу, а не заменить врача.
ildarz
В данном случае дело обстоит совершенно иначе — речь не том, что ИИ ставит диагноз, который проверяет врач, а о том, что вместо полной картины, которую дает аппарат МРТ сейчас, врачу хотят показать «дорисованный» с помощью ИИ результат неполного обследования. Никакой врач проверить точность подобного дорисовывания, разумеется, не сможет.
Jeka178RUS
И все равно не вижу проблем, процесс может быть итеративным, сначала смотрим результат «быстрого» сканирования, если что-то привлекает внимание сканируем интересующий фрагмент как обычно. Позволяет быстро локализовать зоны интереса и сосредоточиться уже на них.
ildarz
А если на неполном сканировании ничего не привлекает внимания, то что делаем? Считаем, что ничего не нашли и успокаиваемся? :D А если на неполном что-то привлекло внимание, а на полном всё оказалось в норме, то мы добились прямо противоположного — вместо ускорения и облегчения процесса усложнили и замедлили. Очевидно, что проблем там масса, другое дело, пока рано говорить, решаемы они или нет.
BlackMokona
Проводим сотни полных и неполных сканирований, получаем процент успеха, принимаем решения выгодная теха или нет.
ildarz
Ну, почти. Только не сотни, а "Медики предоставят для него датасет из 3 миллионов снимков ", плюс слово "выгодно" к медицине не всегда применимо напрямую.
BlackMokona
Почти всегда ведь денег на всех больных и все болезни постоянно нехватает. Тем самым возможность делать более дешёвое МРТ сможет спасти множество жизней, пусть и погубит несколько
ildarz
Удешевление с целью сделать обследование более доступным с всё ещё приемлемым качеством — благая цель, несомненно. Главное, чтобы не лишали выбора, и хорошо бы, чтобы не взлетели цены на полноценное МРТ (начнут клепать дешевые аппараты, полноценных останется очень мало, и т.п.).
dasFlug
Приемлемый рабочий процесса обязательно нужен, без него то это будет очередное университетское исследование на тему AI в медицине, которых сейчас сотни. Я уже лет 10 как в этой области и не очень представляю как итерактивный метод обследования можно реализовать на практике в госпитале.
В экстренных случаях сразу будут делать на полное качество, это явно быстрее чем итерации. Значит обследование плановое. Техник который делает МРТ не имеет квалификации чтобы решить надо ли делать более качественные снимки или нет. Радиолог может посмотреть на результат планового обследования и через несколько дней. Пациент уже ушел и его надо заново ставить в расписание обследований если обследование нечитаемое. Просить радиолога «одним глазиком» взглянуть пока пациент еще в машине очень проблематично — у того конвеер, план и оплата по прочитанному. Отвлечься на чтото это фактически отложить текущуй кейс и потом читать его заново, теряя время и деньги. Тем более что МРТ одним взглядом не оценить, надо смотреть много картинок. Назначать дежурного по аппарату радиолога тоже не выход, слишком дорогое у них время чтобы ждать ничего не делая пока пациент в аппарате.
Вобщем там есть над чем подумать кроме обучения AI.
Jeka178RUS
Да Вы верно подметили оператор аппарата МРТ не имеет должной квалификации, что бы принимать решения.