


---

## dataset_name: "AMASS — Archive of Motion Capture as Surface Shapes" 
dataset_acronym: "AMASS" paper_title: "AMASS: Archive of Motion Capture as Surface Shapes" paper_title_ru: "AMASS: Архив захвата движения в виде поверхностных форм" authors: ["Mahmood N.", "Ghorbani N.", "Troje N.F.", "Pons-Moll G.", "Black M.J."] year: 2019 venue: "ICCV 2019, pp. 5442–5451" venue_tier: "A* (top-tier CV conference)" doi: "10.1109/ICCV.2019.00554" arxiv_id: "1904.03278" domain: ["motion_generic", "pose_3d", "synthesis_source"] subjects_count: 344 exercises_count: "11265 motions, 15 sub-datasets (нет фитнес-таксономии)" modalities: ["smpl_h_pose", "smpl_shape_beta", "dmpl_softtissue", "global_translation", "no_rgb", "no_depth"] multi_view: false expert_error_annotation: false license: "Max Planck non-commercial research-only (composite — наследуются лицензии 15+ суб-датасетов)" availability: "Click-through registration на amass.is.tue.mpg.de (gated)" url: "https://amass.is.tue.mpg.de/" relevance_to_smartrep: 4 direction: "B (motion/pose prior, biomechanics) + косвенно A через synthesis-deriviatives" role_in_pipeline: ["motion_prior", "synthesis_source", "pseudo_label_regularizer", "NOT_visual_pretrain"] transparency_score: "11/20" synthesis_potential: ["smpl_rerender", "mocap_retarget_amass_native", "background_swap", "pseudo_labeling_source", "BEDLAM_AGORA_MoYo_basis"] tags: ["#dataset", "#motion-capture", "#smpl-h", "#mosh-plus-plus", "#meta-dataset", "#motion-prior", "#pretrain-backbone", "#synthesis-foundation", "#no-rgb", "#no-strength-exercises", "#research-only"] priority: "ВЫСОКИЙ (как foundational source для синтетики и motion prior)"

# AMASS как foundation motion supercompendium — рецензия для SmartRep

**BLUF.** AMASS — это не «датасет» в обычном смысле, а **унификатор**: 15 разрозненных optical-mocap корпусов (CMU, KIT, BMLrub, HDM05, MPI Limits, TotalCapture, ACCAD, …), приведённых к единому SMPL+H представлению через метод MoSh++ — 344 субъекта, 11 265 motions, ~40 часов записи. Прямо для SmartRep AMASS бесполезен (нет RGB, нет силовых упражнений с инвентарём, нет разметки ошибок), но **косвенно — это самый ценный motion-актив в области**: он лежит в основе VPoser, мотив-дискриминатора VIBE, обучения декодеров WHAM, синтетических корпусов BEDLAM/AGORA/MoYo и текстовых датасетов BABEL/HumanML3D. Лицензия — non-commercial research-only с композитным наследием 15 суб-лицензий. Рекомендация: **Adopt** в роли (а) motion/pose prior для регуляризации, (б) основы для синтетического рендеринга в BEDLAM-стиле, (в) композиции с ближайшими fitness-релевантными суб-датасетами (TotalCapture, BMLrub/MoVi, HDM05, MPI Limits) и MoYo-extension для extreme-pose покрытия.

---

## 1. Метаданные датасета

|Поле|Значение|
|---|---|
|Полное название|Archive of Motion Capture as Surface Shapes|
|Акроним|AMASS|
|Статья|«AMASS: Archive of Motion Capture as Surface Shapes»|
|Авторы|Naureen Mahmood¹, Nima Ghorbani², Nikolaus F. Troje³, Gerard Pons-Moll⁴, Michael J. Black²|
|Аффилиации|¹ Meshcapade GmbH; ² MPI for Intelligent Systems (Tübingen); ³ York University (Toronto); ⁴ MPI for Informatics (Saarbrücken)|
|Год|2019 (arXiv 5 апр 2019, ICCV окт 2019, Сеул)|
|Venue|ICCV 2019 (Proceedings of the IEEE/CVF International Conference on Computer Vision), pp. 5442–5451|
|Venue tier|**A*** (top-tier CV конференция)|
|DOI|10.1109/ICCV.2019.00554|
|arXiv ID|1904.03278|
|Open-access PDF|openaccess.thecvf.com/content_ICCV_2019/papers/Mahmood_AMASS_…|
|Цитирования (апрель 2026, ориентир)|**>3000** на Google Scholar; 1 496 на Semantic Scholar (явно устарело — Semantic Scholar отстаёт). Вероятно одна из самых цитируемых mocap-работ десятилетия.|
|Версионирование|Изначально 15 суб-датасетов. После релиза добавлены: **BMLmovi** (Movement Variability), **DanceDB**, **GRAB** (object grasping), **HUMAN4D**, **SOMA** (auto-labeling), **MoYo** (yoga, 2023), **BMLhandball** и др. На момент 2024 — около **24 суб-датасета** доступны через amass.is.tue.mpg.de/dataset (точное число варьируется; см. список UniMoCap ниже).|
|Активная поддержка|✅ Активна; авторы предлагают MoSh-обработку чужих данных по запросу|

**[МОЙ КОММЕНТАРИЙ]** Заметим разночтение в самой статье: §5 говорит про 344 субъекта / 11 265 motions / 40 часов, тогда как одна из таблиц RG-версии цитирует 346/11 451/42 часа. Каноническая цифра — **344 / 11 265 / 40 ч**, как в первоначальном arXiv 1904.03278. Сегодняшние реальные размеры с расширениями значительно больше.

---

## 2. Позиционирование

AMASS закрывает **триаду проблем mocap-эпохи 2010-х**: (i) разнородные markersets (37–91 маркеров) и body-parameterizations не позволяют объединить датасеты в один обучающий корпус для DL; (ii) предыдущие попытки унификации (Holden 2016; KIT supersets; MocapClub) **нормализовали body proportions через IK-ретаргетинг**, теряя shape-information; (iii) отсутствие parameterised body model в выдаче mocap-данных делает невозможным re-rendering для computer vision. Решение AMASS — **MoSh++**: подгонка SMPL+H+DMPL к произвольному markerset через двухстадийную bundle-оптимизацию, валидированная на специально собранном датасете SSM (3 субъекта с одновременным mocap + 4D-сканированием). Это даёт **единое SMPL-представление** (16 dim shape + 8 dim DMPL + 159 dim pose с руками + global translation), сохраняя оригинальное shape/pose разнообразие. Гипотеза авторов: **«хороший motion-датасет должен быть параметризован так, чтобы любой researcher мог брать pose θ, shape β и rendering pipeline как unified input»** — гипотеза, оказавшаяся пророческой и сделавшая AMASS de facto motion-стандартом для последующего HPS/HMR-исследования.

---

## 3. Технические характеристики

### 3.1. Общая статистика

|Параметр|Значение|
|---|---|
|**Сабжектов**|344 (изначально)|
|Распределение по полу|Не опубликовано агрегированно (наследуется от каждого суб-датасета)|
|Распределение по возрасту|Не опубликовано|
|Антропометрия|Не опубликовано как сводная таблица; β SMPL дают per-subject оценку|
|Уровень подготовки|Не опубликовано (CMU и BMLrub в основном студенты/добровольцы; HDM05 включает спортсменов)|
|**Number of motions**|11 265 motions|
|**Общая длительность**|~40 часов (2 420.86 минут точно по Table 1 статьи)|
|Частота|Стандартизована в 60 Hz (некоторые суб-датасеты записаны на 100/120 Hz, downsampled)|
|Train / val / test|Официальный split AMASS GitHub: 12 sub-datasets train, HumanEva + Transitions test (см. amass GitHub README); HumanML3D и BABEL используют свои splits|
|RGB|**❌ ОТСУТСТВУЕТ** — AMASS только motion|

### 3.2. Модальности данных

|Модальность|Есть?|Подробности|
|---|---|---|
|RGB video|❌|**Нет ни в одном суб-датасете в составе AMASS** — это motion-only коллекция|
|Depth|❌|Нет|
|2D pose|❌|Нет; можно получить проекцией SMPL joints через виртуальную камеру|
|**3D pose joints**|✅|22 body joints + 30 hand joints из SMPL+H|
|**SMPL+H параметры**|✅|θ ∈ ℝ¹⁵⁹ (52 joints × 3 + 3 global trans), β ∈ ℝ¹⁶, gender label|
|**DMPL soft-tissue**|✅|8-dim coefficients φ для динамических деформаций мягких тканей|
|MANO hand pose|✅|24-dim PCA пространство, активно когда в исходном markerset есть hand markers (TCD Hands, MPI MoSh, ACCAD)|
|Markers (исходные)|Сохранены отдельно|Ассоциируются через `mocap_framerate`; ширина markerset 37–91|
|IMU данные|⚠️ Частично|Только в TotalCapture суб-датасете; не унифицированы в AMASS-формате|
|EMG / физиология|❌|Нет|
|Текстовые описания|❌ в самом AMASS, ✅ в derivatives|BABEL (43 ч с frame-level action labels), HumanML3D (28.59 ч с natural-language descriptions), KIT-ML — все построены поверх AMASS|
|4D scans|✅ только в SSM/DFaust|SSM (Synchronized Scans + Markers) — собственный sub-dataset для валидации MoSh++; DFaust имеет 4D meshes|
|Аудио|❌|Нет|

**Размеры представления (на кадр):** 16 (β) + 8 (φ) + 159 (θ) = 183 параметра + global rotation/translation. Компактно для DL-pipeline.

### 3.3. Съёмочная установка (агрегировано по суб-датасетам)

AMASS — **гетерогенный**: каждый суб-датасет имеет свою установку. Унификация — на уровне **выходных параметров**, не на уровне сбора.

|Суб-датасет|Mocap-система|Markerset|Особенности|
|---|---|---|---|
|**CMU**|Vicon (Carnegie Mellon Mocap DB)|41|96 субъектов, 1983 motions, 543 мин — крупнейший|
|**BMLrub**|Vicon (Troje, BMLrub)|41|111 субъектов, 3061 motions, 522 мин — большое разнообразие движений|
|**KIT**|Vicon (KIT Whole-Body)|50|55 субъектов, 4232 motions, 661 мин — много локомоции и manipulation|
|**MPI HDM05**|Vicon|41|Sports/dance, 4 субъекта, 215 motions|
|**MPI Limits**|Vicon (Akhter & Black 2015)|53|**Extreme range of motion** — критично для biomechanically-aware тренировки|
|**MPI MoSh**|Vicon|87|19 субъектов, 77 motions|
|**TotalCapture**|Vicon + 8 IMU|53|5 субъектов, 37 motions — единственный с реальным IMU|
|**ACCAD**|Vicon (OSU)|82|20 субъектов, 252 motions|
|**HumanEva**|Vicon|39|3 субъекта, 28 motions — стандартный benchmark|
|**EKUT**|Vicon|46|4 субъекта, 349 motions|
|**Eyes Japan**|Vicon|37|12 субъектов, 750 motions, 363 мин|
|**SFU**|Vicon (Simon Fraser)|53|7 субъектов, 44 motions|
|**TCD Hands**|Vicon|91|1 субъект, 62 motions с hand-mocap|
|**SSM**|OptiTrack (24× Prime 17W) + 4D scanner (3dMD)|67|Собственный — 3 субъекта, 30 motions; используется для валидации MoSh++|
|**Transitions**|Собственный|53|1 субъект, 110 motions с переходами между активностями|

**Калибровка камер:** **N/A** — AMASS не имеет camera extrinsics/intrinsics, потому что нет RGB. Это критическое ограничение для любого проекта, требующего совместного видео+pose тренинга на самих AMASS-данных.

**Точность MoSh++ fitting (валидация на SSM):**

- Shape estimation: 7,4 мм (vs. MoSh 12,1 мм; 46-markerset)
- Pose estimation: 8,1 мм (vs. MoSh 10,5 мм)
- Pose + DMPL soft-tissue: 7,3 мм (vs. MoSh 10,24 мм)
- Baseline (scan-to-mesh raw alignment): 0,5 мм

[МОЙ КОММЕНТАРИЙ] Точность 7–8 мм — это лучшее, что можно достичь для marker-derived SMPL fitting, но эта валидация выполнена на 3 субъектах SSM, и обобщение на весь AMASS (особенно на старые CMU-захваты с 41 маркером) — экстраполяция авторов.

### 3.4. Визуальные материалы из статьи

- **Fig. 1** (teaser): примеры SMPL-bodies из 7 разных суб-датасетов (CMU, HDM05, MPI Limits, KIT, BMLrub, TCD, ACCAD) — иллюстрирует разнообразие поз и форм тела.
- **Fig. 2**: визуальное сравнение MoSh++ vs. традиционного скелетного mocap — показывает преимущество surface-representation.
- **Fig. 3**: MoSh (BlendSCAPE, синий) vs. MoSh++ (SMPL, оранжевый) — почти идентичны визуально, но MoSh++ количественно точнее и совместим с graphics.
- **Fig. 4**: пример с тяжёлыми occlusions (отсутствуют маркеры на ноге); демонстрирует адаптивный pose-prior weight `q`.
- **Fig. 5**: SSM dataset — 3D scans (серые) с mocap markers (зелёные) и fitted bodies (оранжевые), avg distance 7,4 мм.
- **Fig. 6**: количественные результаты MoSh vs. MoSh++ (3 бар-чарта: shape / pose / pose+DMPL).
- **Fig. 7**: soft-tissue dynamics — demo, как DMPL улавливает chest/stomach motion лучше, чем static-shape подход MoSh.
- **Fig. 8**: hand articulation — fitting с/без MANO hand model.
- **Table 1**: канонический summary 15 суб-датасетов (markers/subjects/motions/minutes).

**Качество визуализаций:** функциональное, инженерное; типичный академический стиль MPI Tübingen. Нет демографических распределений (gender/age/BMI), нет t-SNE pose-space coverage, нет per-suite breakdown качества fitting — это слабость документации.

---

## 4. Методология сбора данных

**Главная особенность:** AMASS — это **не сбор**, а **унификация**. Авторы не записывали 15 суб-датасетов с нуля.

### 4.1. Рекрутинг субъектов

Каждый суб-датасет наследует свой recruiting protocol:

- CMU/CMU-MMAC: студенты Carnegie Mellon, добровольцы (no compensation info).
- BMLrub: добровольцы лаборатории Troje (York University); MoVi/BMLmovi — 90 субъектов с biomotion lab.
- KIT: волонтёры Karlsruhe Institute of Technology, manipulation-фокус (table-setting и т.п.).
- HumanEva: 3 субъекта (Sigal et al. 2010).
- TotalCapture: 5 актёров (Trumble 2017), профессиональные movers.
- HDM05: HDM-actors University of Bonn.
- Записанные авторами AMASS: SSM (2 профессиональные модели + 1 — подписали modeling-contracts), Transitions (1 субъект), BMLrub доли, Dancers (имя в acknowledgments).

**IRB / consent:** В статье **не упомянут**. Каждый суб-датасет должен иметь свой ethics approval, но AMASS как мета-датасет не публикует сводку.

**Selection bias:** очень явный.

- Преобладание академических лабораторий Запада (MPI, MIT/CMU, KIT, York, OSU, OptiTrack).
- Этническое разнообразие не задокументировано; визуально — преимущественно европеоиды.
- Возраст — преимущественно молодые взрослые (студенты).
- Антропометрия — нормальные BMI; **нет высокого BMI / тяжелоатлетических телосложений** (BEDLAM-paper честно признаёт: «there is little motion capture data of obese people, so we need to retarget AMASS motions to high-BMI subjects»).

### 4.2. Протокол записи

Гетерогенный: каждый суб-датасет имеет свой protocol. Общая природа:

- Свободное исполнение и/или сценарные мотивы.
- Локомоция (ходьба, бег) доминирует количественно.
- Спорт и танец представлены через HDM05 и BMLrub.
- Object manipulation — через KIT, GRAB.
- Range-of-motion extremes — через MPI Limits.

**Силовых упражнений с инвентарём (штанга, гантели, тренажёры) — НЕТ** в любом суб-датасете AMASS на момент 2019 (и до сих пор, насколько я могу подтвердить).

### 4.3. Качественный контроль

- MoSh++ выполнен с manual inspection: «Problems inherent with mocap, such as swapped or mislabeled markers, were fixed by manually inspecting the results and either correcting or holding out problems».
- **Процент отбракованных кадров не опубликован.**
- Адаптивная вес-балансировка `b = 46/n` для разных markersets и `q = 1 + (x/|M|)·2.5` для missing markers — устойчиво к pose-окклюзиям.

---

## 5. Протокол аннотации

### 5.1. Типы меток

Аннотация в AMASS = **выход MoSh++**:

- SMPL pose θ_B (22 body joints × 3 = 66 dim) + θ_H (30 hand joints, проекция в 24-dim MANO PCA) → итого 159 dim.
- SMPL shape β (16 dim).
- DMPL φ (8 dim soft-tissue).
- Global translation γ.
- Per-subject gender label.
- Mocap framerate (исходный, до downsampling).

**Текстовых меток в AMASS НЕТ** — они появляются в производных датасетах (BABEL, HumanML3D, KIT-ML).

### 5.2. Процедура разметки (MoSh++)

**Двухстадийная bundle-оптимизация** (детально в §3.2 статьи):

**Stage I — Shape + per-marker calibration:** на 12 случайных кадрах оптимизируется common shape β и латентные позиции маркеров m̃. Целевая функция Eq. (3): `λ_D · E_D + λ_β · E_β + λ_θB · E_θB + λ_θH · E_θH + λ_R · E_R + λ_I · E_I`. λ-веса определены line-search на SSM-train: `λ_D=600·b, λ_β=1.25, λ_θB=0.375, λ_θH=0.125, λ_I=37.5, λ_R=10⁴`. Используется **Threshold Acceptance annealing** (4 стадии).

**Stage II — Per-frame pose:** при фиксированных β и m̃ оптимизируется θ для каждого кадра + DMPL coefficient φ + temporal smoothness. Eq. (6): добавляются `E_u` (pose smoothness), `E_φ` (DMPL prior), `E_v` (DMPL smoothness). Финальные веса: `λ_D=400·b, λ_θB=1.6·q, λ_θH=1.0·q, λ_u=2.5, λ_φ=1.0, λ_v=6.0`.

**Адаптация к missing markers:** коэффициент `q = 1 + (x/|M|)·2.5` повышает вес pose-prior, когда маркеры окклюдированы — превентивно от implausible solutions.

**Solver:** Powell's dogleg (Chumpy autodiff). Runtime — не real-time (детали в Supp Mat).

### 5.3. Валидация

- **SSM-test:** 1 из 3 субъектов hold-out; line-search hyperparameters на остальных 2.
- **Метрика:** average scan-to-model distance (10 000 точек, выбранных uniformly с 4D-скана, до closest surface point на reconstructed mesh).
- **Результаты:** см. §3.3 этой рецензии.
- **Inter-annotator agreement:** N/A — нет ручных аннотаторов.
- **Cross-dataset validation на других AMASS-членах:** **не проводилась** в статье — это слабость.

---

## 6. Доступность и лицензирование

|Параметр|Значение|
|---|---|
|Лицензия|**MPI Software Copyright License for non-commercial scientific research**|
|Композитная природа|✅ — каждый суб-датасет имеет также свою исходную лицензию (CMU CC-BY, KIT custom, HumanEva research-only и т.д.); пользователь обязан соблюдать **обе**: AMASS-license + sub-dataset license|
|Коммерческое использование|**❌ Запрещено** — включая «training methods/algorithms/neural networks for commercial use of any kind»|
|MoU / DUA|Click-through agreement при регистрации; явный MoU не требуется|
|Способ получения|Регистрация на amass.is.tue.mpg.de (отдельная для AMASS, SMPL+H, DMPL, SMPL-X — нужно три аккаунта)|
|Размер|~3–10 GB для SMPL-only; полный pack с per-marker data больше|
|Хостинг|MPI Informatics (amass.is.tue.mpg.de); зеркала есть на Hugging Face (`fleaven/Retargeted_AMASS_*` для робототехнических retargets)|
|Цитирование|@inproceedings{AMASS:2019} обязательно + bib-файл со всеми 15 суб-датасетами на сайте|
|Dataloaders|**Отличная поддержка**: official `nghorbani/amass` Python tools, BlenderProc loader, MMHuman3D, HumanML3D, BABEL, UniMoCap, TMR — все имеют готовые dataloaders|
|Commercial license|По email: `ps-licensing@tue.mpg.de`|

[МОЙ КОММЕНТАРИЙ] **Реальное время setup для SmartRep:** 1–2 рабочих дня на (а) регистрацию на 3 сайтах MPI, (б) ожидание подтверждения, (в) загрузку, (г) настройку body_models pipeline. **Серьёзный риск:** для SmartRep как коммерческого продукта non-commercial запрет блокирует прямое использование AMASS-derived весов. Возможные обходы: (1) commercial license deal с MPI/Meshcapade, (2) использование только AMASS-derivatives с CC-лицензиями (HumanML3D — MIT для аннотаций, но motion остаётся под AMASS-license), (3) замена на Mocap-Club свободные данные или собственный mocap. Это **тот же блок, что для 3DPW**: вся MPI-экосистема pose-датасетов гомогенно non-commercial.

---

## 7. Перекосы (biases)

### 7.1. Демографические

- **Gender:** не агрегировано; ориентировочно сильный мужской bias (типично для academic mocap).
- **Ethnicity:** европеоиды доминируют; subject pool — преимущественно западноевропейские/североамериканские лаборатории + Eyes Japan и SFU (где есть азиатская компонента, но без дезагрегации).
- **Age:** молодые взрослые (студенты).
- **BMI:** нормальный диапазон; нет ожирения, нет тяжелоатлетов. **Подтверждено BEDLAM-paper: AMASS не содержит motions на high-BMI телах, что вынудило BEDLAM делать опцию TUCH-based interpenetration optimisation для retargeting.**
- **Подготовленность:** смешанная; HDM05 содержит athletes (sports/dance), MPI Limits — профессиональные contortionists для extreme range of motion, остальное — обычные субъекты.

### 7.2. Покрытие движений

|Категория|Покрытие в AMASS|Релевантность SmartRep|
|---|---|---|
|Локомоция (ходьба, бег)|⭐⭐⭐⭐⭐|⭐|
|Бытовые жесты, manipulation|⭐⭐⭐⭐ (KIT, GRAB)|⭐⭐|
|Танец/спорт общего вида|⭐⭐⭐ (HDM05, BMLrub, ACCAD)|⭐⭐|
|Object grasping|⭐⭐⭐ (GRAB, TCD Hands)|⭐|
|Extreme range of motion|⭐⭐⭐ (MPI Limits)|⭐⭐⭐⭐ — критично для глубокого приседа, моста|
|Yoga / extreme static poses|⭐⭐⭐⭐ (с MoYo extension)|⭐⭐⭐⭐ — ближайший аналог силовых поз-extremes|
|**Силовые упражнения с инвентарём**|**❌ ОТСУТСТВУЕТ**|**⭐⭐⭐⭐⭐ — главный gap для SmartRep**|

### 7.3. Аннотационные

- AMASS-аннотация — автоматическая (MoSh++), без межаннотаторской вариации.
- **Class imbalance:** не определено в AMASS (нет class labels); BABEL добавляет 252+ action categories с естественным long-tail распределением.
- **Quality bias:** все motions «правильные» в смысле SMPL-fit, нет деления на «хорошее»/«плохое» исполнение — это фундаментальный gap для AQA.

[МОЙ КОММЕНТАРИЙ] Для SmartRep критичны **три перекоса**: (1) отсутствие силовых упражнений и инвентаря — закрывается только собственным mocap; (2) узкий BMI-диапазон — частично закрывается через β-resampling в SMPL space (как делает BEDLAM); (3) отсутствие quality/error labels — закрывается только экспертной разметкой тренеров.

---

## 8. Использование в научном сообществе

AMASS — **самый цитируемый motion-датасет 2019–2026 в HPS-литературе**. Я выделяю **7 знаковых работ**, демонстрирующих его роль как foundation source.

|#|Работа|Год|Роль AMASS|Эффект|
|---|---|---|---|---|
|1|**VPoser** (часть SMPL-X / SMPLify-X, Pavlakos et al.)|2019 CVPR|Тренировка VAE pose prior на всём AMASS|Латентное представление 32-dim, используется как regulariser в почти всех HPS optimization-pipelines|
|2|**VIBE** (Kocabas et al.)|2020 CVPR|**Motion discriminator** обучен на AMASS-mocap + MPoser-prior|Adversarial training поднял PA-MPJPE на 3DPW; парадигма «AMASS as motion-realism judge»|
|3|**HuMoR** (Rempe et al.)|2021 ICCV|CVAE motion prior на AMASS для test-time motion infill|Глобальная согласованность motion в occlusion conditions|
|4|**HumanML3D / BABEL**|2022/2021 CVPR|Аннотация AMASS текстом / action labels|14 616 motions с 44 970 описаниями (HumanML3D); 43 ч с 252+ action labels (BABEL); foundation для motion-text generation (T2M, MDM, MotionGPT, MoMask)|
|5|**BEDLAM / AGORA**|2023 / 2021 CVPR|**Все motions sampled from AMASS**, рендерены через Unreal Engine|Доказали, что synthetic-only обучение (BEDLAM-CLIFF) приближается к SOTA на real benchmarks|
|6|**WHAM** (Shin et al.)|2024 CVPR|Pretrain motion encoder/decoder на synthetic 2D keypoints из AMASS, потом fine-tune на реальном видео|Per-frame video SOTA 2024 (PA-MPJPE 35,9 на 3DPW); явная двухстадийная парадигма AMASS-first|
|7|**MoYo** (Tripathi et al., IPMAN-context)|2023 CVPR|Расширение AMASS extreme yoga-pose subset с force plate / pressure GT|Ввело CoM/CoP supervision; «most extreme poses currently in AMASS»|

**Дополнительно:**

- **TRAM** (ECCV 2024) — критикует AMASS-prior подход WHAM за плохое обобщение на off-distribution motion (например, walking down stairs, skateboarding), и переходит на SLAM-based scene reconstruction вместо motion-prior. Это первый существенный отход от AMASS-paradigm в global trajectory recovery.
- **MotionGPT, MDM, MoMask** — text-to-motion generation, все обучаются на AMASS-derived HumanML3D/KIT-ML/BABEL.

### Метрики

В отличие от 3DPW (где MPJPE/PA-MPJPE/MPVPE — стандарт), AMASS не имеет **canonical evaluation metric** для самой себя, потому что у неё нет «test image» — только GT motions. Метрики появляются в derived tasks:

- Motion prediction: ADE / FDE (Average / Final Displacement Error на joints).
- Text-to-motion: FID, R-precision (motion-text retrieval).
- Motion infilling: per-frame joint error.
- HMR с motion-prior: ackerstuk MPJPE на 3DPW/EMDB после AMASS-pretrain.

### Failure modes в derived tasks

- **WHAM** проваливается на out-of-distribution motion (TRAM Fig. 6: walking down stairs, skateboard) — потому что AMASS underrepresents эти sub-domains.
- **VIBE motion discriminator** склонен к over-smoothing — типичная проблема adversarial с GRU.
- **HumanML3D** имеет text-quality bias из Mechanical Turk — описания усреднены и не fine-grained.

[МОЙ КОММЕНТАРИЙ] Ключевой архитектурный тренд: **AMASS как pretrain-источник** (WHAM, BEDLAM) последовательно обыгрывает **AMASS как online-prior** (VPoser, VIBE-discriminator). Для SmartRep это значит — лучшая стратегия использовать AMASS не как regulariser, а как **источник pretrain-весов через synthetic rendering pipeline**.

---

## 9. Сравнение с альтернативными датасетами

|Параметр|**AMASS**|KIT-Motion-Language|Human3.6M|BABEL|HumanML3D|MoYo|BEDLAM|Fit3D|
|---|---|---|---|---|---|---|---|---|
|Год|2019|2016|2014|2021|2022|2023|2023|2023|
|Тип|**Meta-mocap unifier**|Mocap+text|Single mocap|AMASS+action labels|AMASS+text|Yoga mocap (AMASS-comp)|Synthetic (AMASS-driven)|Fitness mocap|
|Motions / hours|11 265 / 40 ч|~3 900 / 11 ч|3,6 млн кадров / ~17 ч|~13 220 motions / 43 ч|14 616 motions / 28,6 ч|200 yoga sequences|~10 000 видео / 1 млн кадров|~3 млн кадров|
|Субъектов|344|~110 (KIT-pure)|11|344 (= AMASS)|344 (= AMASS)|~30|271 body shape|13|
|RGB|❌|❌|✅ (4 cam)|❌|❌|✅ (8 cam multi-view)|✅ (synthetic)|✅ (4 cam)|
|Body model|**SMPL+H+DMPL**|KIT (custom)|H36M skeleton + (pseudo SMPL)|SMPL+H|SMPL+H|SMPL-X|SMPL-X|SMPL-X|
|Multi-view|N/A|N/A|✅|N/A|N/A|✅ (8 sync)|✅ (virtual)|✅|
|Экспертная разметка ошибок|❌|❌|❌|Action labels (no errors)|NL descriptions|Pressure / CoM / contact|❌|Quality scores|
|Fitness-specific|❌|❌|❌|⚠️ Sports subset|⚠️ Sports actions tagged|⚠️ Yoga (extreme poses близки силовым)|⚠️ Через retargeting|**✅ Specifically fitness**|
|Лицензия|NC research-only|Custom academic|Academic|NC research|MIT (тексты) + AMASS (motion)|NC research|NC research|NC research|
|**Роль для SmartRep**|Motion prior, synthesis source|Reference (motion-text baseline)|Single-suite training/eval reference|Action-label source поверх AMASS|Text-supervised pretrain поверх AMASS|**Extreme-pose proxy для силовых поз-extremes**|**Synthetic visual pretrain через AMASS motions**|**Прямой fitness-релевантный сэмпл**|

**Где AMASS уникален:**

- Единственный источник унифицированного **motion-supercompendium с SMPL+H выходом** в больших масштабах.
- Foundation для всех motion-text, synthetic, motion-prior подсистем 2020–2026.
- Compatible с любым SMPL-based renderer/optimization pipeline.

**Где AMASS уступает:**

- Vs. Human3.6M: нет RGB и нет synchronised video.
- Vs. BEDLAM: нет реалистичного rendering (BEDLAM сам строится поверх AMASS).
- Vs. Fit3D: нет fitness-specific motions и инвентаря.
- Vs. MoYo: нет extreme static-pose detail (но MoYo уже добавлен в AMASS-extension).

---

## 10. Релевантность для SmartRep

|Критерий|Оценка|Обоснование|
|---|---|---|
|Силовые упражнения|**1**|Отсутствуют как класс; ближайшее — HDM05 sports + MPI Limits ROM|
|Multi-view|**N/A**|Нет RGB; вопрос неприменим|
|Антропометрическое разнообразие|**3**|344 субъекта, но узкий BMI-диапазон; нет high-BMI / тяжелоатлетов|
|Экспертная разметка ошибок|**0**|Полностью отсутствует, и MoSh++ не различает «хорошее»/«плохое» исполнение|
|MoCap GT качество|**5**|Gold-standard optical mocap, унифицирован MoSh++ с 7–8 мм точностью fitting|
|Разрешение / FPS|**N/A**|Motion-only; 60 Hz стандартизовано (достаточно для медленных силовых движений)|
|Доступность|**3**|Composite NC research-only, click-through; 2 дня на полный setup|
|Edge-совместимость|**N/A**|Не для деплоя; для тренировки моделей, потом деплой их|
|**Интегральная релевантность**|**4/5 как косвенный foundation source** (но 1/5 как прямой data source)||

### Направление и роль в пайплайне

**Направление:** **🅱 (Biomechanics-aware pose estimation)** — основной канал. AMASS даёт pose prior, который кодирует физически возможные конфигурации SMPL-тела. Косвенно — **🅰 (error detection)** через synthesis-derivatives: можно генерировать синтетические fitness-сцены на AMASS-motions через BEDLAM-style pipeline, добавлять собственные «error» motions через retargeting и обучать error-detection модели.

**Роль в пайплайне SmartRep:**

1. **Motion prior для regularisation** (VPoser-style) — при оптимизации pose θ во время inference добавлять `λ · log p_VPoser(θ)` для подавления implausible solutions. Особенно полезно при self-occlusion в нижней точке приседа или жима.
2. **Synthesis source** — sample motions из AMASS (в первую очередь HDM05, MPI Limits, BMLrub-MoVi sports subsets, MoYo для extreme poses), retarget на разные body shapes, рендерить через Unreal/Blender + cloth simulation в gym-environments. Это **репликация BEDLAM-pipeline для fitness-domain**.
3. **Pseudo-label regulariser** — при обучении pose-модели на собственном fitness-видео использовать AMASS-VAE-prior как regulariser, чтобы pseudo-labels не уходили в implausible regions.
4. **❌ НЕ для прямого visual pretrain** — нет RGB.
5. **Композиция** — стандартный additive в любом training-mix: SmartRep-train + AMASS (как motion prior через VPoser/VIBE-discriminator).

### Конкретные риски

- **Domain gap motion:** AMASS underrepresents силовые движения (медленная эксцентрическая фаза, изометрические холды, взрывные концентрические фазы). MPI Limits + HDM05 sports + MoYo частично закрывают, но не заменяют реальный силовой mocap.
- **Антропометрический gap:** нет тяжелоатлетов; β-resampling без mocap data на high-BMI телах создаёт геометрически правдоподобные, но **физически некорректные** motions (перенос локомоции на тело массой 130 кг даёт некорректные joint angles из-за разной biomechanical loading).
- **Юридические:** NC research-only для коммерциализации SmartRep — блок. Нужен commercial license deal с MPI или замена на собственный mocap + open-source datasets.
- **Технические:** требуется body_models pipeline (SMPL+H, DMPL); registration на 3 MPI-сайтах; downstream-deps (PyTorch3D или Pyrender для rendering, Chumpy если работать с MoSh++).

---

## 11. Потенциал для data augmentation / synthesis

**Это ГЛАВНАЯ роль AMASS для SmartRep.**

### 11.1. Параметрические модели тела

- **SMPL+H** (52 joints, 16-dim shape, 159-dim pose) — gendered (male/female/neutral) и совместим с **SMPL** и **SMPL-X** (через official conversion scripts).
- **DMPL** (8-dim soft-tissue) — reference implementation для динамических деформаций.
- **Re-rendering:** через любой SMPL renderer (PyTorch3D, Pyrender, Open3D, Blender SMPL plugin, Unreal через MetaHuman) с произвольным текстурированием (одежда, освещение).
- **Готовые meshes / vertices:** N=6890 vertices SMPL / 10475 vertices SMPL-X выводятся out-of-the-box из θ, β через SMPL-layer.

### 11.2. MoCap retargeting

- **AMASS-format:** SMPL θ/β npz-файлы по последовательностям (`poses`, `betas`, `trans`, `gender`, `mocap_framerate`).
- Retargeting на альтернативные скелеты — **тривиально**: все robotics-проекты делают это (см. `fleaven/Retargeted_AMASS_for_*` на HuggingFace для FFTAI, Booster, Unitree humanoids).
- Drive синтетических аватаров в **Unity / Unreal / Blender** — Unreal MetaHuman + AMASS pipeline официально поддерживается через Meshcapade.
- AMASS — **сам по себе AMASS-format**; все остальные motion-датасеты пытаются конвертироваться к нему.

### 11.3. Multi-view novel view synthesis

- AMASS не имеет реальных multi-view RGB → NeRF/Gaussian Splatting **per-subject не применим**.
- Но через synthetic rendering можно **виртуально** генерировать любое число ракурсов одного motion → это и есть BEDLAM-paradigm.

### 11.4. Композитные аугментации

- **Background swap:** только в synthesis pipeline (BEDLAM использует HDRI panoramas + Unreal scenes).
- **Domain randomization:** одежда (BEDLAM cloth simulation), освещение, фон, камера — все настраиваемо в Unreal/Blender pipeline.
- **Депт/нормали/масок:** synthesis-time, не в самой AMASS.

### 11.5. Pseudo-labeling

- **Прямо:** обучить мотив-кодер на AMASS-pretraining (как WHAM) и применить к собственному fitness-видео для генерации SMPL pseudo-GT. Готовые pretrained веса для этого:
    - 4D-Humans (HMR2.0): обучен на mix включая AMASS-aux.
    - WHAM: motion encoder pre-trained на AMASS.
    - VPoser: pose prior, pretrained на AMASS — для регуляризации pseudo-labels.

### 11.6. Композиция с другими датасетами

- AMASS — **стандартный additive** в любом тренинг-миксе для SMPL-based HPS:
    - SPIN, HMR, HMR2.0, TokenHMR — используют AMASS как mixed-loss aux source.
    - VIBE, TCMR, WHAM, GVHMR — motion discriminator/decoder.
    - BEDLAM, AGORA, MoYo — synthesis source.
    - HumanML3D, BABEL, KIT-ML — text annotation поверх AMASS.
    - UniMoCap (2023) — community унификация AMASS-derived text-motion datasets в один.

### 11.7. Риски синтеза

- **Real→synthetic gap:** даже в BEDLAM (с cloth physics и реалистичным rendering) gap ощутим на фактуре одежды, тенях, motion blur.
- **«Утечка» mocap-смещений:** если на AMASS обучать модель и retarget motions на high-BMI тела без реального high-BMI mocap, моtion окажется biomechanically некорректным (slow swing of thick legs vs. fast flick from skinny actor — кинематически идентичны, но physics-implausibly).
- **Потеря инвентаря:** SMPL/SMPL-X не моделирует штангу, гантели, тренажёры. Для SmartRep это **критическое** ограничение — нужен композитный pipeline (Unreal asset library + AMASS body driving + custom equipment placement).
- **Yoga/extreme поz рестриктор:** даже MoYo-extension покрывает yoga, но не штанговые приседы с компрессией позвоночника.

**Итоговая оценка синтетического потенциала: ВЫСОКИЙ.** AMASS — фундамент всей современной synthetic-pipeline эпохи; для SmartRep это означает прямой путь — реплицировать BEDLAM-style pipeline на fitness-MoCap subset (комбинация HDM05+MoYo+MPI Limits + собственный mocap силовых) с rendering в gym-окружениях через Unreal MetaHuman + предметная library.

---

## 12. GAP-анализ для нашего датасета SmartRep

Что AMASS **не покрывает**:

|Gap|Описание|Можно ли закрыть synthesis/retargeting?|
|---|---|---|
|**RGB**|Полностью отсутствует|✅ Через synthesis-pipeline (BEDLAM-style)|
|**Силовые упражнения**|Жим лёжа, присед, становая, подтягивания, тяга — нет|⚠️ Частично через retargeting MoYo + HDM05 sports + MPI Limits ROM, но **не заменяет реальный силовой mocap**|
|**Ошибки техники**|Полностью отсутствуют как concept; нет «правильно/неправильно»|❌ Нельзя — нужна экспертная разметка тренеров и/или собственный mocap с deliberate errors|
|**Антропометрия high-BMI / тяжелоатлеты**|Нет; узкий BMI-диапазон|⚠️ Только через β-resampling + intersection optimization (TUCH); biomechanically incorrect motion|
|**Экипировка (штанга, гантели, тренажёры)**|Нет — SMPL не моделирует объекты|❌ Только через extra Unreal asset library (трудоёмко); **GRAB** даёт object-grasping, но мелкие предметы, не штанги|
|**Gym-environments**|Нет (нет RGB вообще)|✅ Через synthesis в Unreal Marketplace gym-сценах|
|**Slow-motion физика силовых движений**|Большинство AMASS motions динамичны (locomotion, sports)|⚠️ Можно ресемплировать с разной частотой, но natural fast-motion bias влияет на выученные motion priors|
|**Тренерская экспертная разметка**|Нет|❌ Только сбор с участием certified strength coaches|
|**Multi-view с реальной камерой**|N/A — motion-only|✅ Через synthesis виртуальные multi-view, но не реальные|

**Post-augmentation gap для SmartRep:** даже с полным BEDLAM-style synthesis pipeline на AMASS+MoYo+собственный fitness-mocap, **три фундаментальных gap-а не закрываются**:

1. **Экспертная тренерская разметка ошибок** — требует human-in-the-loop с certified coaches.
2. **Реальный fitness-specific motion с инвентарём** (штанга деформирует тело при загрузке, biomechanical loading patterns отличаются от free-body motion).
3. **Реальный shooting-domain RGB** — gym lighting, equipment occlusions, motion blur от штанги, типичные углы из мобильника.

**Формулировка ниши SmartRep-dataset:** «AMASS даёт unified motion supercompendium и foundation для синтетического рендеринга, но не покрывает силовые упражнения с инвентарём, тренерскую экспертную разметку ошибок техники и реалистичную fitness-сценографию, что открывает нишу для SmartRep-dataset: **fitness-specific multi-view RGB+mocap корпус с экспертной разметкой ошибок техники силовых упражнений на разнообразной антропометрии в реальных gym-environments**».

---

## 13. Критическая оценка

### 13.1. Transparency Score

|#|Ось|Оценка (0/1/2)|Обоснование|
|---|---|---|---|
|1|Collection protocol|**1**|MoSh++ описан хорошо, но heritage 15+ суб-датасетов не унифицирован в документации (читателю надо ходить по 15 ссылкам)|
|2|Capture setup|**2**|Table 1 даёт чёткий summary 15 источников; SSM описан детально|
|3|Camera calibration|**N/A** (но засчитываем 0, так как нет даже этого)|AMASS не имеет camera calibration; для производных synthesis-pipelines это критично|
|4|Demographics breakdown|**0**|Полностью отсутствует gender/age/ethnicity breakdown|
|5|Annotation instructions (MoSh++)|**2**|Method очень детально описан, hyperparameters опубликованы|
|6|Inter-annotator / fitting accuracy|**2**|7,4 мм shape, 7,3 мм pose+DMPL на SSM — количественно отчитано|
|7|Rejection / cleaning|**1**|«Manually inspecting the results and either correcting or holding out problems» — без процентов|
|8|IRB / ethics|**0**|Не упомянуто (heritage от исходных датасетов, но AMASS-paper не публикует сводку)|
|9|Datasheet for Datasets|**0**|Не опубликован в формате Gebru et al. 2021|
|10|Known limitations|**1**|Future work секция упоминает realtime, faces, missing markers; нет явной «Limitations» секции|

**Итог: Σ = 11/20 — adequately documented.**

[МОЙ КОММЕНТАРИЙ] Для работы 2019 года это типичный уровень transparency, но с современной перспективы (Gebru 2021, NeurIPS Datasets Track 2022+) есть существенные пробелы. Для SmartRep критичны: **(а)** отсутствие demographics breakdown — нельзя оценить fairness derived motion priors; **(б)** отсутствие camera calibration — для synthesis-pipeline нужно строить с нуля; **(в)** отсутствие fitness-specific taxonomy — нужно делать руками поверх AMASS.

### 13.2. Peer-review оценка

|Критерий|Оценка|Комментарий|
|---|---|---|
|Новизна / уникальность|**10**|Первый и единственный успешный mocap-supercompendium с unified body model; MoSh++ — выдающийся метод|
|Размер и покрытие|**9**|344 субъекта, 11k motions, 40 ч — гигант для 2019; и продолжает расти|
|Качество разметки|**9**|7-8 мм MoSh++ accuracy — gold standard для marker-based SMPL fitting|
|Методологическая строгость|**9**|Bundle-optimisation корректно формализована; адаптивные веса; SSM-валидация на 4D scans|
|Документация|**5**|Согласовано с 11/20 transparency; нет Datasheet, нет демографии|
|Воспроизводимость|**8**|Open data + open MoSh++ code (через SOMA) + множество готовых dataloaders|
|Этика|**3**|Нет IRB-сводки; consent наследуется от 15 разных протоколов без документации|
|Перекосы (bias-aware)|**4**|Сильно western/lab-bias; узкий BMI; нет fairness-аудита|
|Полезность для сообщества|**10**|Один из 3 наиболее влиятельных HPS-датасетов всех времён (вместе с Human3.6M и SMPL-моделью); foundational для motion-text, synthesis, motion-prior подобластей|
|Синтетическая расширяемость|**10**|Максимальная — основа BEDLAM, AGORA, MoYo, BABEL, HumanML3D, UniMoCap|

**Средняя пир-ревью оценка: 7,7/10.**

### Общая рекомендация для SmartRep

**Adopt** в качестве (а) motion prior источника, (б) synthetic rendering foundation, (в) композиционного аддитива в training mix. **НЕ Adopt** как прямой visual training source (нет RGB) и НЕ как fitness-specific source (нет силовых упражнений).

---

## 14. Executive Summary (10 пунктов)

1. **Одной фразой.** AMASS — meta-mocap-датасет, унифицирующий 15+ optical mocap корпусов в единое SMPL+H представление через метод MoSh++ (344 субъекта, 11 265 motions, 40 ч).
2. **Самая сильная сторона.** Foundational role в HPS-экосистеме: основа для VPoser, VIBE-discriminator, WHAM-pretrain, BEDLAM/AGORA-rendering, BABEL/HumanML3D-text, MoYo-extreme — без AMASS большая часть motion-research 2020–2026 невозможна.
3. **Самая слабая сторона для SmartRep.** Полное отсутствие RGB, силовых упражнений с инвентарём и экспертной разметки ошибок техники.
4. **Transparency Score.** 11/20 — adequately documented; критичные пробелы в demographics, IRB, Datasheet.
5. **Синтетический потенциал.** **МАКСИМАЛЬНЫЙ** — фундамент для BEDLAM/AGORA/MoYo и любого SMPL-based synthesis pipeline; для SmartRep можно реплицировать BEDLAM-style рендеринг fitness-mocap subset в Unreal MetaHuman + gym-сцены.
6. **Роль в пайплайне SmartRep.** **(а) Motion prior** для regulariзации pose-моделей через VPoser; **(б) Synthesis source** для fitness-specific BEDLAM-derivatива; **(в) Pseudo-label regulariser**; **(г) Композиционный аддитив** в training mix. **НЕ visual pretrain** (нет RGB).
7. **Главный gap для нашего датасета.** Силовые упражнения с инвентарём (штанга, гантели, тренажёры), экспертная тренерская разметка ошибок техники и реалистичные gym-сцены — всё это требует собственного mocap+RGB+expert-annotation корпуса.
8. **Лицензионный статус.** Composite Max Planck non-commercial research-only — **блокирует прямую коммерциализацию** SmartRep; требует commercial license deal или замены на собственный mocap.
9. **Приоритет в roadmap SmartRep: ВЫСОКИЙ** — как foundational source для синтетики и motion prior, даже несмотря на маргинальную прямую релевантность.
10. **Следующие датасеты для изучения:**
    - **MoYo** (Tripathi et al., CVPR 2023) — extreme yoga poses в AMASS-format с force plate, CoM, pressure annotations; ближайший аналог силовых поз-extremes (deep squats, bridges, backbends).
    - **BEDLAM** (CVPR 2023, highlight) — synthetic SMPL-X corpus поверх AMASS motions; готовый рецепт для SmartRep-style fitness-synthesis.
    - **BABEL** (CVPR 2021) — action labels поверх AMASS; для понимания, какие fitness-релевантные actions уже размечены.
    - **HumanML3D** (CVPR 2022) — natural-language descriptions поверх AMASS; для извлечения sports/exercise sub-corpus через text query.
    - **Fit3D** (если ещё не разобран) — прямой fitness-MoCap с quality scores; ближе всего к domain SmartRep.