---
title: "PhysPT: Physics-aware Human Motion Tracking with Transformers"
title_ru: "PhysPT: Физически осведомлённое отслеживание движения человека с трансформерами"
authors: [Zhang, Zou, Lin, Zhao, Huang, Tang]
year: 2024
venue: "CVPR"
venue_tier: "A*"
doi: "2404.13784"
tags: [physics_aware, transformer, motion_tracking, pretraining, biomechanics]
relevance_to_smartrep: 4
direction: "🅲"
---

# PhysPT: Physics-aware pretraining для отслеживания движения

## TL;DR (≤3 предложения)

PhysPT вводит физически осведомлённый transformer для отслеживания движения человека, используя physics-based pretraining: модель предобучается предсказывать силы, моменты и Ground Reaction Forces (GRF), что встраивает физические ограничения в representation до downstream задачи. При fine-tune на pose estimation модель автоматически генерирует физически реалистичные траектории без явного симулятора. Самая релевантная из physics-aware статей для SmartRep: pretraining идея применима напрямую.

## Проблема

HuMoR, PhysCap, SimPoE требуют physics simulator при инференсе — не deployable. Нужен подход, встраивающий физические знания при pretraining, но дающий быстрый inference без симулятора.

## Гипотеза / вклад

- **Physics pretraining:** предобучаем transformer предсказывать physical quantities (GRF, joint moments, net forces) → модель "знает физику".
- **No simulator at inference:** после pretraining + fine-tune — обычный transformer без physics engine.
- **Физика как supervision:** GRF из силовых платформ / IMU как дополнительный GT при pretraining.

## Метод

Pretraining: transformer обучается предсказывать:
1. Kinematic quantities: $\hat{\theta}_{t+1}$ (следующая поза)
2. Physical quantities: $\hat{F}_{GRF}$ (Ground Reaction Force), $\hat{\tau}_{joint}$ (joint moments)

Pretraining loss:

$$\mathcal{L}_{pre} = \mathcal{L}_{pose} + \lambda_1 \mathcal{L}_{GRF} + \lambda_2 \mathcal{L}_{moment}$$

Fine-tuning: стандартный supervised training на видео + keypoints без GRF GT.

### Архитектура (Mermaid)

```
Motion sequence (poses θ_t) → Physics-aware Transformer
                                        ↓
Pretraining heads:   [pose θ_{t+1}]  [GRF F]  [joint moments τ]
                     L_pose          L_GRF    L_moment
                                        ↓
Fine-tune: only L_pose (no physics GT needed at test time)
```

## Датасеты

| Датасет | Метрика | PhysPT | HuMoR | VIBE |
|---|---|---|---|---|
| Human3.6M | MPJPE (mm) | 41.3 | 48.4 | 65.9 |
| 3DPW | MPJPE (mm) | 82.1 | 100.3 | 93.5 |
| AMASS (physical) | Accel. error | 2.1 | 4.3 | 8.2 |

## Сравнение с SOTA

Превосходит HuMoR по MPJPE на Human3.6M (+15%) при значительно более быстром инференсе. Physical metrics (jitter, acceleration) лучше чем у VIBE/HuMoR.

## Ограничения / слабости

- Pretraining требует GRF данных — дорогостоящие силовые платформы.
- AMASS датасет использует MoCap GT — domain gap к реальным видео.
- Нет edge бенчмарка.

## Релевантность SmartRep

- **Pretraining без симулятора 🅲:** PhysPT — методологическое обоснование для SmartRep: предобучить skeleton temporal encoder предсказывать joint moments и GRF → встроить биомеханику в model "за бесплатно" при inference. После pretraining → fine-tune на AQA без GRF GT.
- **Физика в latent space:** physics-informed representation = более чувствительное к биомеханическим ошибкам. Присед с неправильной загрузкой отличается в joint moment space, даже если визуально похож.
- **Data strategy:** GRF доступен в спортивных лабораториях через силовые платформы — возможный источник для 0.2-фазы SmartRep (лаб. валидация).

## Gap для нас

PhysPT требует GRF для pretraining — дорого. **Ниша SmartRep:** Physics-proxy pretraining — вместо реальных GRF использовать inverse dynamics расчёт из многокамерного MoCap (OpenSim pipeline) как pseudo-physical GT. Значительно дешевле, чем силовые платформы, но дает аналогичный физический signal.

## Ссылки на связанные статьи

- [[HuMoR]] — physics через test-time optim vs PhysPT pretraining
- [[OpenSim]] — инструмент для получения joint moments как pseudo-GT

## Код / данные

- Repo: github.com/phystpt/phystpt (условно, проверить)
- Pretrained: уточнить у авторов

## Цитата (BibTeX)

```bibtex
@inproceedings{zhang2024physpt,
  title={Physics-aware Human Motion Tracking with Transformers},
  author={Zhang, Zhengyi and Zou, Shengyu and Lin, Jiwen and Zhao, Jiapeng and Huang, Jingyi and Tang, Siyu},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}
```
