Исследователи из Института Макса Планка и Facebook Reality Labs утверждают, что они разработали алгоритм машинного обучения — PhysCap — для 3D-захвата движения. Алгоритм работает с любой зеркальной камерой, скорость съемки которой составляет 25 кадров в секунду.

Как утверждают исследователи, PhysCap осуществляет качественный захват движения с учетом всех физических показателей. До этого попытки создать систему motion capture варьировались от костюма стоимостью $2500 до платформы, которая использует глубинный сенсор Kinect от Microsoft. Однако даже лучшие системы оценки позы человека не позволяют создать плавную анимацию.



PhysCap же захватывает физически и анатомически правильные позы. Алгоритм оценивает 3D-позы тела кинематическим способом с помощью сверточной нейронной сети. На втором этапе положение тела и состояние движения для каждого кадра видео предсказывает другая сверточная сеть. На заключительном этапе оценки поза воспроизводятся как можно точнее, чтобы учесть такие вещи, как гравитация, размещение ног и другие факторы.


В ходе эксперимента исследователи протестировали PhysCap на камере Sony DSC-RX0 и ПК с 32 ГБ оперативной памяти, видеокартой GeForce RTX 2070 и восьмиядерным процессором Ryzen7, который они использовали для захвата и обработки шести последовательностей движения в сценах, разыгрываемых двумя исполнителями. Команда обнаружила, что PhysCap хорошо работает на сценах с разным фоном, но иногда неправильно интерпретирует скорость движения ног.

Чтобы устранить эти барьеры в работе, команда планирует исследовать модели взаимодействия рук и ног человека в сидячей и полулежачей позах. Исследователи говорят, что PhysCap подходит для анимации виртуальных персонажей без какой-либо дальнейшей постобработки.

См. также: «Разница между фальшивыми и истинными смещениями в 3D-графике