---
title: "HuMoR: 3D Human Motion Model for Robust Pose Estimation"
title_ru: "HuMoR: Модель движения человека для устойчивой оценки позы"
authors: [Rempe, Birdal, Hertzmann, Yang, Sridhar, Guibas]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "2105.04668"
tags: [physics_aware, motion_prior, vae, optimization, 3d_pose, temporal]
relevance_to_smartrep: 3
direction: "🅲"
---

# HuMoR: Латентная модель движения с физическими ограничениями

## TL;DR (≤3 предложения)

HuMoR — генеративная модель движения человека (CVAE), кодирующая переходы между позами в латентном пространстве физически реалистичных движений. При оценке позы по видео HuMoR запускает test-time оптимизацию: ищет латентную траекторию, объясняющую наблюдаемые данные и при этом остающуюся "физически возможной" по prior. Для SmartRep: HuMoR-prior обеспечивает биомеханически допустимые траектории суставов — ключевое для точной оценки техники.

## Проблема

Pose estimators часто дают физически невозможные позы: суставы пересекают тело, нарушается инвариантность длин костей, центр масс уходит за пределы опоры. Нужна модель, знающая "как двигается человек", для регуляризации.

## Гипотеза / вклад

- **Motion prior через CVAE:** условная VAE кодирует плавные, физически реалистичные переходы между позами.
- **Test-time optimization:** для каждого видео оптимизируем латентный код $\mathbf{z}$ чтобы объяснить наблюдения + не выходить из prior.
- **Contact constraints:** явное моделирование контакта стоп с полом (prevents floor penetration и floating).

## Метод

CVAE: encoder $q_\phi(\mathbf{z} | \mathbf{x}_{t+1}, \mathbf{x}_t)$, decoder $p_\theta(\mathbf{x}_{t+1} | \mathbf{z}, \mathbf{x}_t)$.

Prior: $p(\mathbf{z}) = \mathcal{N}(0, I)$ — физически реалистичный prior в латентном пространстве.

Test-time optimization:

$$\min_{\{\mathbf{z}_t\}} \sum_t \underbrace{\mathcal{L}_{data}(\mathbf{x}_t, \mathbf{o}_t)}_{\text{fit observations}} + \lambda_1 \underbrace{\|\mathbf{z}_t\|^2}_{\text{prior}} + \lambda_2 \underbrace{\mathcal{L}_{contact}(\mathbf{x}_t)}_{\text{floor contact}}$$

Параметры тела: SMPL pose + shape + global trajectory.

### Архитектура (Mermaid)

```
Video observations o_t → 2D keypoints, depth
                    ↓
HuMoR CVAE prior p(z) = N(0,I)
                    ↓
Test-time optim: min over {z_t}: L_data + λ·||z||² + L_contact
                    ↓
SMPL body: pose θ_t, shape β, trajectory — physically plausible
```

## Датасеты

| Датасет | Метрика | HuMoR | Baseline |
|---|---|---|---|
| AMASS | MPJPE (mm) | 93.4 | 115.7 (VIBE) |
| 3DPW | MPJPE (mm) | 100.3 | 93.5 (VIBE) |
| Human3.6M | MPJPE (mm) | 48.4 | 65.9 |

## Сравнение с SOTA

HuMoR превосходит VIBE на AMASS (+19% MPJPE), но уступает на 3DPW из-за overhead test-time оптимизации. Главное преимущество — физически допустимые позы: foot skating, jitter, floor penetration устранены.

## Ограничения / слабости

- Test-time оптимизация медленная: ~30 секунд на 1 секунду видео — катастрофически несовместимо с edge real-time.
- Требует SMPL shape parameters (антропометрия) — нужна калибровка.
- Тяжёлый CVAE + оптимизация — невозможно на мобильном.

## Релевантность SmartRep

- **Биомеханические ограничения 🅲:** HuMoR доказывает, что prior-based regularization устраняет физически невозможные позы. Для SmartRep: биомеханические constraints (углы суставов в пределах ROM, длины костей постоянны) как lossregulyarization при training — не как test-time optim.
- **Offline teacher:** HuMoR offline → физически корректные "чистые" псевдо-метки на нашем датасете → обучить lightweight forward model без оптимизации.
- **Motion prior идея:** латентное пространство "правильных движений" = основа для one-class AQA: аномальный повтор выходит за пределы learned prior.

## Gap для нас

HuMoR несовместим с edge real-time. **Ниша SmartRep:** HuMoR-Lite — маленький forward model (без итерационной оптимизации), обученный на HuMoR-сгенерированных корректных траекториях, применяемый как regularization layer поверх edge pose estimator. Inference = один forward pass, не оптимизация.

## Код / данные

- Repo: github.com/davrempe/humor
- Pretrained: доступны checkpoint'ы

## Цитата (BibTeX)

```bibtex
@inproceedings{rempe2021humor,
  title={HuMoR: 3D Human Motion Model for Robust Pose Estimation},
  author={Rempe, Davis and Birdal, Tolga and Hertzmann, Aaron and Yang, Jimei and Sridhar, Srinath and Guibas, Leonidas J},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2021}
}
```
