---
title: "4D-Humans: Reconstructing and Tracking Humans with Transformers (HMR 2.0)"
title_ru: "4D-Humans: Реконструкция и отслеживание людей с трансформерами (HMR 2.0)"
authors: [Goel, Pavlakos, Rajasegaran, Kanazawa, Malik]
year: 2023
venue: "ICCV"
venue_tier: "A*"
doi: "2305.20091"
tags: [smpl, hmr, transformer, temporal, tracking, body_mesh]
relevance_to_smartrep: 3
direction: "🅲"
---

# 4D-Humans / HMR 2.0: Темпоральная реконструкция тела трансформером

## TL;DR (≤3 предложения)

HMR 2.0 (реализация в 4D-Humans) радикально улучшает SMPL estimation из видео: ViT-H backbone + трансформерный temporal head обеспечивают временну́ю согласованность без physics optimizer. Обучается на 1.5M+ разнообразных 2D-3D парах. Для SmartRep: HMR 2.0 — сильнейший SMPL estimator, пригодный как offline teacher для дистилляции в edge model.

## Проблема

HMR 1.0 и VIBE дают хорошие per-frame результаты, но видеопоследовательности джиттерят. Нужен метод с нативной темпоральной согласованностью без медленного optimization loop.

## Гипотеза / вклад

- **ViT backbone:** ViT-H (large) как backbone — значительно богаче ResNet-50 в HMR 1.0.
- **Temporal transformer head:** sliding window transformer по видеопоследовательности — согласованность без оптимизации.
- **Massive data:** обучение на 1.5M+ примерах из 28 датасетов.
- **Tracking:** 4D-Humans расширяет до multi-person video с BOTrack для ID consistency.

## Метод

Per-frame: ViT-H → visual tokens → SMPL regression head → $(\beta, \theta, t)$.

Temporal: скользящее окно $T$ кадров → transformer → refined temporal-consistent SMPL parameters.

Output: SMPL pose $\theta_t$, shape $\beta$, camera translation $t_t$ для каждого кадра.

4D tracking: SMPL per-frame + BOTrack Re-ID → consistent person IDs across time.

### Архитектура (Mermaid)

```
Video frames → ViT-H backbone → frame tokens
                     ↓
            Temporal transformer (sliding window T)
                     ↓
            SMPL regression → (β, θ_t, t_t) per frame
                     ↓
            4D: + person tracking (BOTrack)
```

## Датасеты

| Датасет | Метрика | HMR 2.0 | VIBE | HuMoR |
|---|---|---|---|---|
| 3DPW | MPJPE (mm) | 70.0 | 93.5 | 100.3 |
| 3DPW | PA-MPJPE (mm) | 44.5 | 56.5 | 59.1 |
| EMDB | W-MPJPE (mm) | 89.1 | — | — |

## Сравнение с SOTA

Лучший MPJPE на 3DPW среди non-optimization методов (+25% vs VIBE). Temporal consistency значительно лучше per-frame методов.

## Ограничения / слабости

- ViT-H: 307M параметров — очень тяжёлый для edge.
- Нет физических ограничений (только temporal smoothness).
- Не специализирован для fitness exercises.

## Релевантность SmartRep

- **Offline teacher 🅲:** HMR 2.0 — лучший кандидат для offline processing нашего датасета упражнений. Результат = высококачественные SMPL параметры → GT для обучения edge model.
- **Baseline сравнение:** HMR 2.0 как upper bound reference при сравнении "тяжёлый сервер" vs "наш лёгкий edge model".
- **Temporal head inspiration:** sliding window temporal transformer — архитектурный шаблон для нашего temporal encoder (адаптировать к скелетным координатам, а не SMPL).

## Gap для нас

HMR 2.0 не пригоден для edge и не специализирован на упражнениях. **Ниша SmartRep:** DistilHMR-Exercise — дистиллировать HMR 2.0 SMPL output в lightweight pose+shape estimator, настроенный на 5 целевых упражнений. HMR 2.0 как pseudo-GT генератор для обучения edge model.

## Код / данные

- Repo: github.com/shubham-goel/4D-Humans
- Pretrained: доступны ViT-H checkpoint'ы

## Цитата (BibTeX)

```bibtex
@inproceedings{goel2023humans,
  title={Humans in 4D: Reconstructing and Tracking Humans with Transformers},
  author={Goel, Shubham and Pavlakos, Georgios and Rajasegaran, Jathushan and Kanazawa, Angjoo and Malik, Jitendra},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2023}
}
```
