---
title: "LEMO: Learning Motion Priors for 4D Human Body Capture in 3D Scenes"
title_ru: "LEMO: Обучение motion prior для 4D захвата тела в 3D сценах"
authors: [Zhang, Zhang, Bogo, Pollefeys, Tang]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "2108.10399"
tags: [motion_prior, body_capture, temporal, smpl, scene_aware, optimization]
relevance_to_smartrep: 2
direction: "🅲"
---

# LEMO: Обучение motion prior для реконструкции тела

## TL;DR (≤3 предложения)

LEMO обучает pose motion prior через normalizing flow на AMASS датасете: prior захватывает статистику перехода между позами и используется как regularizer при test-time оптимизации SMPL параметров из видео. Дополнительно учитывает взаимодействие тела со сценой (contact, penetration с объектами). Для SmartRep: normalizing flow как learned prior "правильного движения" — измеримая вероятность нахождения в distribution нормальных повторов.

## Проблема

SMPL-fitting из видео (VIBE, HuMoR) требует temporal regularization, иначе получаем jitter и дрожание. Нужен данными-обученный prior, захватывающий статистику реальных человеческих движений.

## Гипотеза / вклад

- **Normalizing flow prior:** $p(\Delta\theta_t | \theta_{t-1})$ — вероятность перехода, обученная на AMASS. Позволяет точно вычислить log-likelihood любой траектории.
- **Scene-aware optimization:** штраф за пересечение тела с 3D-объектами сцены.
- **Temporal coherence:** prior обеспечивает плавность через вероятностную regularization.

## Метод

Normalizing flow $f$: $\mathbf{z} = f(\Delta\theta_t | \theta_{t-1})$, $p(\mathbf{z}) = \mathcal{N}(0, I)$.

Test-time optimization:

$$\min_{\{\theta_t, \beta\}} \sum_t \mathcal{L}_{2D}(\theta_t) + \lambda_1 \underbrace{-\log p(\Delta\theta_t | \theta_{t-1})}_{\text{motion prior}} + \lambda_2 \mathcal{L}_{contact} + \lambda_3 \mathcal{L}_{penetration}$$

### Архитектура (Mermaid)

```
AMASS training data → Normalizing flow f → motion prior p(Δθ|θ_{t-1})
                                                  ↓
Video → 2D keypoints (observations o_t)
              ↓
Test-time optim: min over {θ_t,β}: L_2D - log p(prior) + L_contact + L_scene
              ↓
Physically plausible SMPL parameters
```

## Датасеты

| Датасет | Метрика | LEMO | VIBE | HuMoR |
|---|---|---|---|---|
| 3DPW | MPJPE (mm) | 92.3 | 93.5 | 100.3 |
| PROX (indoors) | Contact качество | Лучше | — | — |

## Сравнение с SOTA

Улучшает scene-aware reconstruction vs baseline. Normalizing flow prior даёт точные log-probabilities в отличие от VAE (HuMoR).

## Ограничения / слабости

- Test-time optimization медленная (как HuMoR) — не real-time.
- Требует 3D сцены для scene-aware части — недоступно в смартфоне.
- AMASS prior — бытовые движения, не fitness упражнения.
- Fitness exercises не в AMASS → domain gap.

## Релевантность SmartRep

- **Normalizing flow как anomaly score 🅲:** log-probability из trained normalizing flow = прямая мера "насколько этот повтор в distribution нормальных повторов". Low $\log p$ = аномалия = ошибка техники. Это конкретный AQA механизм.
- **Fitness-specific prior:** переобучить LEMO flow на нашем корпусе правильных повторов → exercise-specific prior → anomaly score без разметки ошибок.
- **Методологически чистый one-class:** normalizing flow + log-likelihood threshold — statistically grounded one-class AQA.

## Gap для нас

LEMO обучен на бытовых движениях (AMASS), не на силовых упражнениях. **Ниша SmartRep:** Exercise-LEMO — normalizing flow prior, обученный исключительно на правильных повторах выбранных упражнений. Log-likelihood как интерпретируемый anomaly score без разметки ошибок. Это прямая реализация направления 🅰 для SmartRep.

## Код / данные

- Repo: sanweiliti.github.io/LEMO/LEMO.html
- Pretrained: частично доступны

## Цитата (BibTeX)

```bibtex
@inproceedings{zhang2021lemo,
  title={LEMO: Learning Motion Priors for 4D Human Body Capture in 3D Scenes},
  author={Zhang, Siwei and Zhang, Yan and Bogo, Federica and Pollefeys, Marc and Tang, Siyu},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2021}
}
```
