

Привет! Переходим к "тяжёлой артиллерии" в мире темпоральных моделей. **MotionBERT (2023)** — это одна из самых свежих и фундаментальных работ, которая переносит успех языковых моделей (BERT) на анализ движений человека (скелетную кинематику).

Для проекта **SmartRep** эта статья представляет колоссальный интерес. Несмотря на то, что это не легковесная edge-модель, её способность восстанавливать правильную физику движения даже из сильно "порванных" и ошибочных 2D-координат делает её идеальным кандидатом на роль **Teacher-модели (Учителя)** для генерации псевдоразметки или дистилляции знаний.

Ниже представлен глубокий структурный анализ.

---

### 1. МЕТАДАННЫЕ

- **Полное название:** MotionBERT: A Unified Perspective on Learning Human Motion Representations (MotionBERT: Единый взгляд на обучение представлений движений человека)
    
- **Авторы:** Wentao Zhu, Xiaoxuan Ma, Ziyu Liu, Liu Liu, Wayne Wu, Yizhou Wang
    
- **Аффилиации:** Peking University, Shanghai AI Laboratory, SenseTime Research
    
- **Год, venue:** 2023, ICCV
    
- **Рейтинг venue:** A* (топ-конференция)
    
- **DOI / arXiv ID:** arXiv:2210.06551
    
- **Ссылка на код:** [https://github.com/Walter0807/MotionBERT](https://github.com/Walter0807/MotionBERT)
    
- **Цитирований:** >200 (быстро растущее влияние)
    

---

### 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)

- **Какую проблему решает статья?** Ранее для разных задач (3D-лифтинг, распознавание действий, восстановление меша) обучались узкоспециализированные архитектуры с нуля на небольших специфических датасетах, что приводило к плохой генерализации и чувствительности к шуму 2D-детекторов.
    
- **Что предлагается?** Единая система (MotionBERT), которая сначала обучается на огромном корпусе скелетных движений через задачу **Masked Motion Modeling** (восстановление зашумленных и скрытых частей движения), а затем файнтюнится под конкретные задачи (в т.ч. 3D pose estimation).
    
- **Принципиальная новизна vs предшественников?** Это первая успешная попытка создать универсальный "базовый экстрактор кинематики" (foundation model) для скелетов. Использована новая архитектура **DSTformer** (Dual-stream Spatial-Temporal Transformer), которая моделирует пространственные и временные связи одновременно, а не последовательно.
    
- **Главная гипотеза?** Масштабное предварительное обучение на восстановление поврежденных 2D-траекторий позволяет сети выучить фундаментальные законы биомеханики человека (motion priors), что резко повышает робастность модели к окклюзиям и шуму в реальных задачах.
    

---

### 3. АРХИТЕКТУРА И МЕТОД

#### 3.1. Тип подхода

- **Размерность:** 3D (вывод), 2D (вход)
    
- **Стратегия:** Two-stage lifting
    
- **Регрессия:** Direct regression (координаты / SMPL параметры)
    
- **Темпоральность:** Transformer-based temporal (Sliding window)
    
- **Backbone:** DSTformer (Dual-stream Spatial-Temporal Transformer)
    

#### 3.2. Описание архитектуры

- **Вход (Pre-training):** Окно 2D-скелетов (например, $T=243$ кадра). Данные намеренно "портятся" (Corruptions): скрываются случайные суставы, добавляется гауссовский шум в координаты, перемешиваются кадры.
    
- **DSTformer:** Состоит из нескольких блоков. Внутри блока токены (кадры и суставы) проходят через параллельные ветви: одна вычисляет Spatial Self-Attention (связи между суставами в одном кадре), другая — Temporal Self-Attention (траектория одного сустава во времени). Выходы суммируются.
    
- **Выход (Pre-training):** Сеть реконструирует оригинальные, "чистые" 3D-координаты.
    
- **Fine-tuning:** Для 3D-лифтинга предобученный DSTformer берется как backbone, к нему добавляется простая MLP-голова для выдачи финальных 3D-точек центрального кадра окна.
    
- **Параметры:** ~28.6M параметров.
    

#### 3.3. Визуальные материалы из статьи

- **Figure 1 (Универсальная парадигма):** Показывает, как одна предобученная сеть разветвляется на три разные задачи: 3D Pose, Action Recognition, Mesh Recovery.
    
- **Figure 2 (Пайплайн претрейна):** Иллюстрирует механизм Masked Motion Modeling. Очень наглядно показано, как "рваная" 2D-траектория с шумом восстанавливается в идеальный 3D-скелет.
    
- **Figure 3 (DSTformer):** Детализирует параллельное вычисление spatial и temporal attention.
    

#### 3.4. Математическая формализация

- **Dual-stream Attention:**
    
    В отличие от последовательного внимания (как в PoseFormer), здесь применяется параллельное слияние:
    
    $$X_{out} = \text{Norm}(X_{in} + \text{SpatialAttention}(X_{in}) + \text{TemporalAttention}(X_{in}))$$
    
    _(Упрощенно: пространственный и временной контекст извлекаются одновременно, что снижает потерю информации)._
    
- **Loss при претрейне (Reconstruction):**
    
    $$\mathcal{L} = || \hat{X}^{3D} - X^{3D}_{GT} ||_2^2 + \lambda || \Delta \hat{X}^{3D} - \Delta X^{3D}_{GT} ||_2^2$$
    
    где $\Delta$ — производная по времени (скорость), чтобы гарантировать физическую плавность движения. **[МОЙ КОММЕНТАРИЙ]:** Добавление loss'а на скорость (velocity) — критически важная вещь для устранения jitter'а.
    

#### 3.5. Ключевые технические решения

- Универсальный формат входа: сеть принимает 2D-координаты независимо от того, как они получены (камера, проекция из MoCap). Это позволяет смешивать огромные датасеты (AMASS).
    

---

### 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

#### 4.1. Датасеты

|**Датасет**|**Размер**|**Тип**|**Разрешение**|**Домен**|**Public?**|
|---|---|---|---|---|---|
|AMASS|>40M кадров|3D MoCap|-|General (Pre-training)|Да|
|Human3.6M|3.6M|3D|Видео|General|Да|
|MPI-INF-3DHP|1.3M|3D|Видео|General|Да|

#### 4.2. Метрики

- **Координатные:** MPJPE (mm), P-MPJPE (mm), AUC.
    
- **Угловые:** **НЕ УКАЗАНО В СТАТЬЕ**.
    
- **Темпоральные:** MPJVE (Velocity Error) — отличные результаты, подтверждающие плавность.
    
- **Деплоймент:** Params (M). (Latency и FLOPs не акцентируются, так как цель — точность).
    
- **Робастность:** Исследовали падение точности при искусственном зашумлении 2D-входа (до 40% пропущенных точек). MotionBERT почти не теряет точности.
    

#### 4.3. Сравнительная таблица результатов (Human3.6M, T=243, 2D CPN)

|**Метод**|**Архитектура**|**Params**|**MPJPE (mm)**|**P-MPJPE (mm)**|
|---|---|---|---|---|
|VideoPose3D|1D CNN|16.9M|46.8|36.5|
|PoseFormer|Transformer|9.5M|44.3|34.6|
|MixSTE|Transformer|33.9M|42.7|34.3|
|**MotionBERT**|**DSTformer**|**28.6M**|**38.1**|**31.3**|

**[МОЙ КОММЕНТАРИЙ]:** Существенное улучшение (~10% снижение ошибки по сравнению с SOTA) благодаря мощному претрейну.

#### 4.4. Ablation Study

- Если отключить претрейн (Masked Motion Modeling) и учить DSTformer с нуля, MPJPE падает с 38.1 мм до 43.6 мм. Это доказывает, что **главная сила модели — в знаниях, полученных из миллионов MoCap-кадров**, а не только в архитектуре.
    

---

### 5. RESULTS & DISCUSSION

#### 5.1. Основные выводы

Единое предварительное обучение на базе восстановления поврежденных движений позволяет создать мощную репрезентацию биомеханики. MotionBERT является SOTA в лифтинге, устойчивым к жесточайшим ошибкам 2D-трекинга.

#### 5.2. Качественный анализ

Визуализации показывают, что если 2D-детектор "потерял" ногу на 5-10 кадров, MotionBERT достраивает её траекторию идеально плавно, опираясь на выученные законы кинематики (motion priors).

#### 5.3. Edge-готовность (специально для SmartRep)

|**Параметр**|**Значение в статье**|**Соответствие SmartRep (<10 мс, <30 МБ, ≥30 fps)**|
|---|---|---|
|Hardware|A100 GPU|Не измеряли для edge.|
|Latency|Не указано|**Провал.** Трансформер без DCT сжатия на окне в 243 кадра будет вычисляться >30-50 мс на мобильном CPU (из-за $O(T^2)$ внимания).|
|FPS|Около 200 на GPU|Для CPU будет <20 FPS.|
|Model size|28.6M (~114 MB в FP32)|**Не проходит.** Слишком большая память. Требует агрессивной квантизации (INT8), что может убить точность.|
|FLOPs|Не указано (но высоко)|**Не проходит.**|

---

### 6. ПРЕИМУЩЕСТВА ПОДХОДА

- **Феноменальная робастность к окклюзиям:** Лучшая модель для работы с перекрытыми суставами (например, присед или тяга со снарядом).
    
- Физическая плавность движений благодаря velocity loss и темпоральному вниманию.
    

---

### 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ

- **Не для Edge:** Огромные затраты памяти и вычислений для мобильного процессора.
    
- **Non-Causal (Оффлайн задержка):** Использует окно 243 кадра (симметрично). Это значит, что для предсказания текущего кадра нужно дождаться 121 кадра из будущего (~4 секунды задержки при 30 fps). **Абсолютно неприменимо для real-time feedback.**
    

---

### 8. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

Оцени по шкале 1–5 каждый аспект:

|**Аспект**|**Оценка (1–5)**|**Комментарий**|
|---|---|---|
|Edge-готовность|1|Слишком тяжелая и медленная модель для телефона.|
|Точность по угловым метрикам|3|Потенциал огромен благодаря физической плавности, но не тестировалось.|
|Устойчивость к самоокклюзии|5|**Блестяще.** Это главная сила MotionBERT.|
|Работа с нестандартными позами|5|Предобучение на 40M MoCap кадров (AMASS) покрывает почти всю биомеханику человека.|
|Темпоральная стабильность|5|Выдающиеся результаты.|
|Применимость к циклическим движениям|4|Хорошо улавливает паттерны.|
|Валидация на фитнес датасетах|1|Только общие.|
|Робастность к truncation|5|"Галлюцинирует" обрезанные части тела лучше других.|
|Возможность fine-tuning|5|Официально позиционируется как foundation model для файнтюна.|
|Доступность кода и весов|5|Отличный репозиторий.|

**Конкретные элементы для заимствования (Привязка к направлению 🅰 и 🅱):**

- **Как Teacher Model (Оффлайн обработка):** Мы не можем запустить MotionBERT на телефоне пользователя в реальном времени. Но мы можем взять фитнес-датасет (без 3D-разметки), прогнать его через MotionBERT на сервере, получить высококачественные (псевдо-MoCap) 3D-скелеты и **сдистиллировать** эти знания в сверхлегкую Causal-TCN модель (например, Causal VideoPose3D), которая будет работать на телефоне.
    
- **Как идеологический концепт (Masked Training):** Обучение легких темпоральных сетей (direction 🅱) с искусственным зашумлением входов — это must-have для SmartRep, чтобы сеть не ломалась от штанги.
    

---

### 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ

- Эволюция идей BERT (NLP) и MAE (ViT) в домен скелетной кинематики.
    
- Конкурирует с PoseFormerV2, побеждая по робастности (за счет претрейна на AMASS), но катастрофически проигрывая по FLOPs и скорости инференса.
    

---

### 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review)

|**Критерий**|**1–10**|**Комментарий**|
|---|---|---|
|Новизна|8|Адаптация BERT для 3D pose — логичный, но мощный шаг.|
|Техническая глубина|9|Отличная архитектура DSTformer.|
|Экспериментальная строгость|10|Исчерпывающие эксперименты на всех возможных датасетах.|
|Ясность изложения|9|Статья написана очень качественно.|
|Воспроизводимость|10|Выложены веса претрейна, код понятный.|
|Значимость для community|10|Стала новым стандартом качества в 2023 году.|
|Релевантность edge-deployment|1|Противоречит принципам реального времени и low-compute.|

**Общая оценка:** Accept (как базовый исследовательский инструмент и Teacher-модель).

---

### 11. КЛЮЧЕВЫЕ ВЫВОДЫ

1. Главный вклад статьи: Использование масштабного Masked Motion Modeling (зашумление 2D-входа) на корпусе из 40 млн кадров для создания универсальной робастной репрезентации движений (MotionBERT).
    
2. Самое сильное техническое решение: Предобучение на восстановление скрытых и зашумленных суставов заставляет сеть выучить "внутреннюю физику" человека, делая её нечувствительной к окклюзиям.
    
3. Главный недостаток: Огромная задержка из-за буферизации (non-causal окно 243 кадра = 4 секунды) и вычислительная тяжесть трансформера.
    
4. Самый полезный элемент для SmartRep: **Использование как Teacher-модели для оффлайн-генерации Ground Truth 3D-углов (направление 🅰)**, чтобы затем обучить крошечную edge-модель.
    
5. Что изучить дополнительно после этой статьи: Методы дистилляции знаний (Knowledge Distillation) из тяжелых трансформеров в легкие CNN.
    
6. Приоритет для нашего исследования: **ВЫСОКИЙ** (в качестве инфраструктурного инструмента, а не модели для продакшена).
    
7. Связанные статьи: ViTPose (похожий подход для 2D), VideoPose3D (целевая архитектура для edge).
    

---

## ИТОГОВАЯ КАРТОЧКА

Markdown

````
---
title: "MotionBERT: A Unified Perspective on Learning Human Motion Representations"
title_ru: "MotionBERT: Единый взгляд на обучение представлений движений человека"
authors: [Zhu, Ma, Liu, Liu, Wu, Wang]
year: 2023
venue: "ICCV"
venue_tier: "A*"
doi: "arXiv:2210.06551"
tags: [pose_estimation, ssl, occlusion, validation]
pose_dim: "3d"
strategy: "lifting"
backbone: "DSTformer"
params_M: 28.6
flops_G: "High"
latency_ms: "High"
hw_tested: "A100 GPU"
relevance_to_smartrep: 3
direction: "A"
priority: "HIGH"
---

# MotionBERT: Единый взгляд на обучение представлений движений человека

## TL;DR
Фундаментальная работа, предлагающая обучать универсальную модель (на базе архитектуры DSTformer) на огромном корпусе скелетных движений через задачу восстановления (как BERT). Достигает выдающейся робастности к перекрытиям и ошибкам детекции, но из-за задержки буферизации (future frames) и $O(T^2)$ трансформера неприменима для edge-деплоя в реалтайме.

## Проблема
Существующие 3D-лифтинг модели обучаются под конкретные узкие задачи с нуля, из-за чего плохо генерализуются и катастрофически ломаются, когда 2D-экстрактор ошибается или теряет суставы (окклюзия).

## Гипотеза / вклад
- Адаптация принципа Masked Language Modeling (BERT) для биомеханики: Masked Motion Modeling.
- Архитектура DSTformer (Dual-stream Spatial-Temporal), одновременно обрабатывающая пространственные и временные связи.
- Выучивание универсальных кинематических законов (motion priors) из 40+ млн кадров MoCap.

## Метод
Входная последовательность 2D-координат искусственно зашумляется (скрываются случайные суставы, добавляется шум). Сеть DSTformer обучается реконструировать чистый 3D-скелет. После претрейна модель можно легко fine-tune'ить под 3D-лифтинг, распознавание действий или предсказание меша, добавляя лишь легкий линейный слой в конец.

## Датасеты
| Датасет | Размер | Метрика | Результат |
|---|---|---|---|
| AMASS | 40M | - | Pre-training |
| Human3.6M | 3.6M | MPJPE | 38.1 мм |

## Сравнение с SOTA
MotionBERT устанавливает новый SOTA на Human3.6M и MPI-INF-3DHP, обходя PoseFormer и MixSTE. Особенно сильно превосходство заметно при искусственном сокрытии 20-40% суставов на входе (отличная робастность).

## Edge-метрики
| Параметр | Значение | hw |
|---|---|---|
| Latency | НЕ УКАЗАНО | Не подходит для CPU (задержка буферизации ~4 сек) |
| FPS | НЕ УКАЗАНО | GPU-only для real-time |
| Params | 28.6M | - |
| FLOPs | НЕ УКАЗАНО | Высокие |

## Ограничения / слабости
Модель крайне ресурсоемкая. Для работы требует полного окна (напр., 243 кадра симметрично), что создает оффлайн-задержку в несколько секунд. Абсолютно несовместима с требованиями мобильного real-time инференса (<10 мс).

## Релевантность SmartRep
Как edge-модель — **полный провал**. Как инструмент разработки — **незаменима**. Из-за выдающейся способности "додумывать" перекрытые штангой суставы, MotionBERT следует использовать на сервере как **Teacher-модель** (направление 🅰) для генерации идеальных Ground Truth углов на наших фитнес-видео. Затем мы сдистиллируем эти знания в Causal VideoPose3D. 

## Gap для нас
Работа сфокусирована на достижении SOTA-точности (MPJPE) в лабораторных условиях, при этом **не рассматривается** применение causal-архитектур для реального времени (задержка = 0 кадров), инференс на мобильных процессорах с жесткими лимитами памяти и вычислений, а также MAE-точность суставных углов.

## Ссылки на связанные статьи
[[PoseFormerV2]], [[VideoPose3D]], [[ViTPose]]

## Код / данные
- Repo: https://github.com/Walter0807/MotionBERT
- Pretrained: Да
- Датасет: AMASS, Human3.6M

## BibTeX
```bibtex
@inproceedings{zhu2023motionbert,
  title={MotionBERT: A Unified Perspective on Learning Human Motion Representations},
  author={Zhu, Wentao and Ma, Xiaoxuan and Liu, Ziyu and Liu, Liu and Wu, Wayne and Wang, Yizhou},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={15085--15099},
  year={2023}
}
````

```
---
Итак, мы разобрали "тяжелую артиллерию" 3D-лифтинга. У нас есть ясное понимание, как достичь SOTA-точности в оффлайне. 

Осталось найти "Святой Грааль" для телефона: ту самую 2D-модель, которая извлекает фичи за <10 мс. Хочешь, чтобы я следующим шагом разобрал **RTMPose** (текущий чемпион по скорости и качеству для смартфонов) или индустриальный стандарт **MoveNet** от Google?
```