Инженеры Северо-Западного университета разработали систему захвата движений всего тела MobilePoser, которая не требует специализированных помещений, дорогостоящего оборудования или множества датчиков. Вместо этого используется простое мобильное устройство, например, смартфон, умные часы или беспроводные наушники.

MobilePoser работает в режиме реального времени, используя данные встроенных датчиков, машинное обучение и физику, что позволяет точно отслеживать позу человека и его перемещения. Это открывает новые возможности для игр, фитнеса и навигации в помещениях, обходясь без сложного оборудования.

Каран Ахуджа, руководитель исследования, отмечает, что новая технология знаменует собой значительный шаг вперёд в области мобильного захвата движений, делая его доступным для широкой аудитории. Команда представит MobilePoser 15 октября на симпозиуме ACM 2024 в Питтсбурге.

В отличие от традиционных систем захвата движений, таких как CGI-технологии в кино или Microsoft Kinect, MobilePoser использует инерциальные измерительные устройства (акселерометры, гироскопы и магнитометры), встроенные в современные мобильные устройства. Однако точность этих датчиков изначально недостаточна, поэтому команда разработала многоступенчатый алгоритм искусственного интеллекта, который корректирует данные для достижения высокой точности. Система также включает физический оптимизатор, который гарантирует реалистичность движений.

Полученная система имеет погрешность отслеживания всего 8–10 см. Для сравнения, Microsoft Kinect имеет ошибку 4–5 см при условии, что пользователь находится в поле зрения камеры. MobilePoser же позволяет свободно перемещаться, сохраняя высокую точность.

Система может быть использована не только в играх, но и для медицинских целей: отслеживания осанки, подвижности пациентов и оценки их активности. Ахуджа надеется, что технология также найдёт применение в навигации в помещениях, улучшив точность позиционирования в зданиях.

Всё программное обеспечение MobilePoser доступно в открытом доступе, а команда планирует выпустить приложение для iPhone, AirPods и Apple Watch.

Источник: Northwestern University