Здравствуйте, мы студенческая команда APIzza. Мы хотим поделиться с вами нашим опытом по разметке трёхмерных моделей из набора данных MedShapeNet, который был опубликован в 2023 году.

Так как набор данных включает в себя огромное количество трёхмерных моделей внутренних органов, кровеносных сосудов и костей, то было принято решение остановиться на разметке сердца, а точнее, миокарда.

Работа включала в себя две задачи:

• Ручная разметка некоторого количества мэшей.

• Обучение нейронной сети, способной размечать остальные мэши самостоятельно.

Для ручной разметки трёхмерных объектов использовалась MeshLab – программная система для обработки трёхмерных сеток и наши честные руки. В результате было размечено около 500 мэшей.

Ссылка на гит: GitHub — TeaWithSalt/APIzza

Далее началась работа по обучению нейронной сети:

Началось все с предобработки набора данных. Этап предобработки включал в себя несколько ключевых шагов, направленных на создание оптимального набора данных для обучения:

• Преобразование в облако точек: каждый объект из набора данных был трансформирован в облако точек, предоставляя модели доступ к детализированной геометрии объектов.

• Маркировка точек: каждая точка в облаке была корректно маркирована в соответствии с её цветом, обеспечивая точную разметку для обучения нейросети.

• Нормализация объектов: все объекты были приведены к одному размеру, что способствовало более стабильному и эффективному обучению модели.

После предобработки данных был создан новый датасет с использованием библиотеки Keras (это высокоуровневая библиотека для машинного обучения, написанная на Python). Из-за особенностей работы модели PointNet к этому датасету нужно применить различные аугментации. Это сложные алгоритмы, которые требуют глубокого изучения принципов машинного обучения.

Ссылка на колаб: pointnet segmentation test.ipynb — Colaboratory (google.com)

В свете этих ограничений, мы приняли решение использовать альтернативную модель сегментации, разработанную в лаборатории суперкомпьютерных вычислений матмеха УрФУ и запущенную в 2023 году. Эта модель, работая на локальных признаках, успешней справляется с датасетом, минимизируя влияние потенциальных несовершенств в данных и обеспечивая более эффективное обучение.