---

dataset_name: "3DPW (3D Poses in the Wild)" paper_title: "Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera" authors:

- "Timo von Marcard (Leibniz Universität Hannover)"
- "Roberto Henschel (Leibniz Universität Hannover)"
- "Michael J. Black (MPI for Intelligent Systems, Tübingen)"
- "Bodo Rosenhahn (Leibniz Universität Hannover)"
- "Gerard Pons-Moll (MPI for Informatics, Saarbrücken)" year: 2018 venue: "ECCV 2018" venue_tier: "A* (top-tier)" doi: "10.1007/978-3-030-01249-6_37" arxiv_id: "НЕ УКАЗАНО В СТАТЬЕ (нет arXiv-препринта)" domain: "3D human pose / mesh estimation, in-the-wild" subjects_count: 7 exercises_count: "~60 сцен / ~12 категорий активностей (ходьба, лестницы, бас, кофе, селфи, шопинг, спорт, гитара, объятия, дискуссии, отдых и др.)" modalities: ["RGB video (monocular, handheld)", "17 IMUs (Xsens)", "1 IMU on camera", "2D keypoints (OpenPose)", "SMPL θ/β/trans", "camera intrinsics/extrinsics", "per-subject 3D body scan"] multi_view: false expert_error_annotation: false license: "Max Planck non-commercial research-only license" availability: "Gated (click-through license), virtualhumans.mpi-inf.mpg.de/3DPW/" url: "https://virtualhumans.mpi-inf.mpg.de/3DPW/" relevance_to_smartrep: 2 direction: "B (biomechanics-aware pose estimation — источник весов базовой pose-модели)" role_in_pipeline: "pretrain / pseudo-labeling source / evaluation-only" transparency_score: "10/20" synthesis_potential: "СРЕДНИЙ" tags: ["#dataset", "#3d-pose", "#smpl", "#in-the-wild", "#imu", "#monocular", "#mpi", "#eccv2018", "#pretrain-source", "#pseudo-label-source", "#no-strength-exercises", "#no-error-labels"] priority: "СРЕДНИЙ"

---

# 3DPW как эталон in-the-wild 3D pose — рецензия для SmartRep

**BLUF.** 3DPW — это первый и до сих пор канонический in-the-wild бенчмарк с SMPL-разметкой, но для SmartRep он пригоден **не как финальный источник обучения, а как pretrain/pseudo-labeling корпус**: 7 актёров, 60 клипов, ~51k кадров, одна движущаяся handheld-камера и 17 IMU дают GT-точность ~26 мм (валидация на TotalCapture). Силовых упражнений, multi-view и разметки ошибок техники в датасете **нет**, а лицензия — non-commercial research-only, что блокирует прямое коммерческое использование весов, обученных на 3DPW. Несмотря на это, 3DPW остаётся де-факто «лингва франка» 3D HPS-оценки: восемь лет SOTA-методов (HMR → SPIN → VIBE → PARE → CLIFF → HMR2.0 → TokenHMR → WHAM → PromptHMR) отчитываются о PA-MPJPE именно на нём, и любая базовая SMPL-модель в пайплайне SmartRep будет так или иначе трогать 3DPW. Рекомендация: **Adopt with caveats** — использовать как evaluation + вспомогательный pretrain, но не как основной домен обучения; комбинировать с BEDLAM (синтетика) и EMDB (global-trajectory evaluation).

---

## 1. Метаданные датасета

|Поле|Значение|
|---|---|
|Полное название|3D Poses in the Wild (3DPW)|
|Акроним|3DPW|
|Статья|«Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera»|
|Авторы|Timo von Marcard¹, Roberto Henschel¹, Michael J. Black², Bodo Rosenhahn¹, Gerard Pons-Moll³|
|Аффилиации|¹ Leibniz Universität Hannover (TNT), ² MPI for Intelligent Systems (Tübingen), ³ MPI for Informatics (Saarbrücken)|
|Год|2018|
|Venue|ECCV 2018, Мюнхен (8–14 сентября 2018), LNCS Springer|
|Venue tier|A* (top-tier CV conference)|
|DOI|10.1007/978-3-030-01249-6_37|
|Страницы|601–617 в ECCV 2018 (Part X)|
|arXiv ID|НЕ УКАЗАНО В СТАТЬЕ (arXiv-препринт отсутствует)|
|Open-access PDF|openaccess.thecvf.com/content_ECCV_2018/papers/Timo_von_Marcard_Recovering_Accurate_3D_ECCV_2018_paper.pdf|
|Цитирования (ориентир 2025–26)|>1500 (Google Scholar напрямую недоступен; агрегатор SciSpace показывает 1234, что явно устарело)|
|Версионирование|Формальных v1/v2 нет. Важные даты: релиз в ноябре 2018; 14-11-2018 опубликован официальный split train/val/test внутри `sequenceFiles.zip`; 3DPW Challenge на ECCV 2020|

**[МОЙ КОММЕНТАРИЙ]** Расхождение между карточкой проекта (Rosenhahn во 2-й аффилиации) и печатной статьёй (Rosenhahn в 1-й) — мелочь, но канонической является печатная версия.

---

## 2. Позиционирование

3DPW закрывает конкретный пробел: **in-the-wild 3D pose GT** в эпоху, когда все предыдущие 3D-датасеты были лабораторными (Human3.6M — Vicon в студии Imar, MPI-INF-3DHP — markerless Captury studio, зелёный экран). Авторы заменяют оптическую захват-систему на сочетание **17 IMU Xsens + одной движущейся handheld-камеры**, что впервые позволяет собирать 3D-разметку SMPL в реальных сценах (улица, автобус, кафе). Принципиальная новизна — алгоритм **Video Inertial Poser (VIP)**: совместная bundle-оптимизация позы Θ, позы камеры Ψ и угла heading-drift Γ IMU-сенсоров с ассоциацией 2D-детекций OpenPose к конкретным носителям IMU через бинарную линейную программу (Gurobi). Гипотеза авторов: **фузия IMU и монокулярного видео даёт sub-30-mm точность без оптического mocap**, что подтверждается на TotalCapture (MPJPE 26 мм vs. 70 мм у baseline TotalCapture). Это открыло эру «мобильного 3D GT» и предопределило появление EMDB (EM-сенсоры) и коммерческих mocap-апп.

---

## 3. Технические характеристики

### 3.1. Общая статистика

|Параметр|Значение|Источник|
|---|---|---|
|Субъектов|**7 актёров**|§5.3|
|Клипов / последовательностей|**60**|Abstract, §5.3|
|Общее число кадров|**>51 000**|Abstract|
|Общая длительность|**~1700 с (≈28 мин)**|Website|
|FPS|30 Hz|§5.3|
|Видеоразрешение|НЕ УКАЗАНО ЯВНО В СТАТЬЕ (сообщество: 1920×1080)|—|
|Модель камеры|«hand-held smartphone camera» (iPhone 6 — часто цитируется, но в самой статье не назван)|§5.3|
|Вариантов одежды|18|§5.3|
|Макс. человек в кадре|2|§5.3|
|Train / Val / Test (sequences)|**24 / 12 / 24** (пер-кадровые цифры на сайте не опубликованы)|`sequenceFiles.zip`|
|Демография (пол/возраст/этнос)|**НЕ ОПУБЛИКОВАНО**|—|
|Антропометрия|Только per-subject SMPL shape β (из 3D-скана); нет агрегированной таблицы|§5.3|
|Уровень подготовки|**НЕ УКАЗАНО**|—|

### 3.2. Модальности данных

|Модальность|Есть?|Подробности|
|---|---|---|
|RGB video|✅|Моно, handheld, 30 fps, ~1080p (неофициально)|
|Depth|❌|Нет|
|IR|❌|Нет|
|2D pose|✅|Детекции CNN Cao et al. 2017 (OpenPose), 18 ключевых точек + confidence|
|3D pose (joints)|✅|Из SMPL 24-joint скелета|
|**SMPL θ, β, translation**|✅|**Ключевая фишка**: pose θ ∈ ℝ⁷⁵, shape β, per-frame trans, `campose_valid` flag|
|SMPL-X|❌|Только SMPL|
|Camera intrinsics/extrinsics|✅|Per-frame оценка VIP; `campose_valid` указывает валидные кадры|
|IMU raw|✅|17 Xsens IMUs на тело (9–10 при двух субъектах) + 1 IMU на смартфоне|
|3D body scan|✅|Один скан на субъекта, подогнанный к SMPL|
|EMG / audio / text / сегментация|❌|Нет|

### 3.3. Съёмочная установка

- **Камера:** одна handheld смартфон-камера (движущаяся), 30 fps. Отдельный IMU закреплён на телефоне.
- **Синхронизация IMU↔видео:** автоматическая по **clapping motion** в начале каждой последовательности (метод Pons-Moll et al. 2011).
- **Калибровка:** в начале сессии — T-pose / closed-arms для оценки bone-to-sensor offsets R_BS.
- **Фон:** реальные сцены — улицы европейских городов, автобусы, кафе, магазины, квартиры (смешанный outdoor/indoor, пропорция НЕ ОПУБЛИКОВАНА).
- **MoCap:** **IMU-based (Xsens MVN)** — не оптический mocap.
- **Точность GT:** косвенно оценена на TotalCapture — **MPJPE 26 мм, MPJAE 12,1°**; на самом 3DPW точность GT прямо не измерена (признано авторами как ограничение: «there exists no dataset with a comparable setting»). Assignment precision 99,3%, recall 92,2%.

### 3.4. Визуальные материалы из статьи

- **Fig. 1** — teaser: 3D SMPL-реконструкции, оверлей в реальных сценах.
- **Fig. 2** — три вызова метода: heading drift IMU, multi-person 2D-to-IMU association, ложные 2D-детекции.
- **Fig. 3** — пайплайн VIP: IMU → Θ̂ → assignment → joint optimization → Θ, Ψ, Γ.
- **Fig. 4** — граф-метка 2D-детекций (оранжевый/синий субъекты).
- **Fig. 5** — координатные рамки F_G, F_I, F_I', F_B, F_S с трансформациями.
- **Fig. 6** — VIP-результаты на TotalCapture (количественная валидация).
- **Fig. 7** — примеры кадров 3DPW с textured SMPL моделями.
- **Table 1** — MPJPE/MPJAE на TotalCapture (VIP 26 мм vs. [39] 70 мм, [16] 55–62 мм).

**[МОЙ КОММЕНТАРИЙ]** Отсутствие схемы расположения 17 IMUs на теле — мелкое методологическое упущение для воспроизводимости.

---

## 4. Методология сбора данных

### 4.1. Рекрутинг субъектов

В статье **не указано** ничего: нет ни критериев отбора, ни компенсаций, ни информированного согласия, ни IRB. 7 актёров — вероятно студенты/сотрудники лабораторий в Ганновере/Саарбрюккене/Тюбингене, но это догадка. **Selection bias** явно возможен — маленькая выборка, мужчины-европейцы, «спортивный» возраст (20–40 лет) — по визуальному контенту, но без официального подтверждения.

### 4.2. Протокол записи

Активности (явный список из §5.3 и abstract): **walking in the city, going up-stairs, having coffee, taking the bus, shopping, doing sports, hugging, discussing, capturing selfies, riding bus, playing guitar, relaxing**. Fig. 7 добавляет танцы и вариативные клипы. Записи выполнены **в свободном режиме**, не по жёсткому сценарию — это важно для натуральности, но делает clips imbalanced по длительности и сложности. Условия освещения/фона не контролировались (by design).

Критично для SmartRep: **силовых упражнений (приседания со штангой, жим лёжа, становая, подтягивания, тяга в наклоне) в датасете НЕТ**. «Doing sports» — общая категория, без силовых элементов.

### 4.3. Качественный контроль

- Кадры с <6 валидных 2D keypoints исключаются из оптимизации.
- Флаг `campose_valid` отмечает кадры, где камера плохо выровнена (их не рекомендуется использовать в evaluation).
- **Агрегированной статистики отбраковки НЕ ОПУБЛИКОВАНО** — нет процентов «плохих» кадров.
- Валидация IMU-фиттинга — только косвенная, через TotalCapture.

---

## 5. Протокол аннотации

### 5.1. Типы меток

SMPL θ/β/translation на каждый кадр для каждого субъекта; 24-joint 3D скелет; 2D keypoints (OpenPose, 18 точек); gender label (per subject); per-frame extrinsics/intrinsics камеры; `campose_valid` mask. Разметки активности, ошибок техники или эмоций **НЕТ**.

### 5.2. Процедура разметки

Полностью автоматическая — **Video Inertial Poser (VIP)**:

1. IMU-only инициализация позы Θ̂ (Xsens fusion).
2. Per-frame 2D-детекции через CNN Cao et al. 2017 (OpenPose, part affinity fields).
3. Графовая ассоциация 2D-детекций к IMU-носителям через бинарную LP (Gurobi), с intra-frame и inter-frame рёбрами.
4. Bundle-optimization (Levenberg–Marquardt) совместно по Θ, Ψ (камера), Γ (heading drift) — формулы (5)–(16) в статье.
5. Shape β подгоняется к per-subject 3D скану (не VIP).

### 5.3. Валидация разметки

Количественная валидация — **на TotalCapture** (Trumble et al. 2017), где есть parallel video + IMU + marker mocap GT. VIP: **26 мм MPJPE, 12,1° MPJAE** (1 камера + 13 IMU). Абляции: IMU-only 55 мм, VIP-IMU6 39,6 мм, VIP-Cam (GT-камера) 25,3 мм. Превосходит baseline TotalCapture (70 мм) и Malleson 2017 (55–62 мм). На **самом 3DPW валидация косвенная** — assignment precision 99,3% / recall 92,2% по 2D-ID разметке 5 последовательностей.

---

## 6. Доступность и лицензирование

|Аспект|Детали|
|---|---|
|Лицензия|**Max-Planck non-commercial research-only** (virtualhumans.mpi-inf.mpg.de/3DPW/license.html)|
|Коммерческое использование|**ЗАПРЕЩЕНО** («performing non-commercial scientific research»)|
|Получение|Click-through agreement; раздаются `imageFiles.zip` и `sequenceFiles.zip`|
|Размер|НЕ УКАЗАНО официально; сообщество: ~30–60 GB (в основном imageFiles)|
|Хостинг|virtualhumans.mpi-inf.mpg.de/3DPW/ (MPI Informatics)|
|Ссылка актуальна (апрель 2026)|✅ Живая|
|Цитирование|Обязательно @inproceedings{vonMarcard2018}|
|Dataloaders|mmpose, **MMHuman3D** (`pw3d_test.npz`, `3DPW_test_new.json` HybrIK-формат), **4D-Humans (HMR 2.0)**, SPIN, VIBE, PARE, TCMR, WHAM, Pose2Mesh, HybrIK — все первоклассная поддержка|
|Eval-код|github.com/miraymen/3dpw-eval|

**Для SmartRep критично:** non-commercial лицензия блокирует прямое использование 3DPW-весов в коммерческой edge-app. В случае коммерциализации придётся либо (а) заменить pretrain на commercially-licensed синтетику (BEDLAM2.0, in-house Unreal рендеринг), либо (б) запросить commercial-license у ps-licensing@tue.mpg.de.

---

## 7. Перекосы (biases)

### 7.1. Демографические

- **Gender/ethnicity/age breakdown НЕ ПУБЛИКОВАН.** 7 актёров — слишком маленькая выборка для устойчивого обучения.
- Одежда: 18 вариантов, но все «городские повседневные»; нет тренировочной одежды / спортивного gear.
- Антропометрия: только per-subject β (7 значений) — узкий диапазон BMI; массивных/мускулистых телосложений (типичных для гима) почти нет.

### 7.2. Съёмочные

- **Pose coverage:** ходьба, лестницы, бас, кафе, шопинг, объятия, селфи, игра на гитаре. Силовых упражнений (жим лёжа, присед, становая, подтягивания, тяга) **нет**. Приседы/наклоны встречаются только как бытовые, не со штангой.
- **Viewpoint bias:** single handheld camera → узкий диапазон ракурсов; нет синхронных multi-view → любой метод, который захочет 3D-triangulation GT, не получит его.
- **Environmental:** смесь outdoor/indoor, но без gym/weight-room сцен.
- **Occlusion:** в основном частичные самоокклюзии и окклюзии людьми, **нет окклюзий штангой / гантелями**.

### 7.3. Аннотационные

- **Class imbalance:** нет формального taxonomy активностей — невозможно посчитать.
- **Temporal imbalance:** длительности клипов сильно варьируются; статистики не опубликовано.
- **IMU-специфичный шум:** heading drift моделируется как константа на всю последовательность — приближение, которое может накапливать ошибку в длинных клипах.

---

## 8. Использование в научном сообществе

### Эволюция SOTA на 3DPW (2018–2026)

|#|Метод|Год/Venue|Архитектура|PA-MPJPE ↓|MPJPE ↓|MPVPE ↓|3DPW train?|Заметки|
|---|---|---|---|---|---|---|---|---|
|1|**HMR** (Kanazawa)|CVPR 2018|ResNet-50 + итеративный SMPL-регрессор + 3D adv. prior|76,7|~130|—|Нет|Первый end-to-end SMPL; weak-perspective камера|
|2|**SPIN** (Kolotouros)|ICCV 2019|ResNet-50 + SMPLify-in-the-loop|59,2|96,9|116,4|Нет|Self-improving pseudo-GT|
|3|**VIBE** (Kocabas)|CVPR 2020|ResNet-50 + bi-GRU + AMASS motion discr.|56,5 / **51,9**|93,5|113,4|Опц.|Первый сильный video-метод|
|4|**HybrIK** (Li)|CVPR 2021|3D heatmap + analytical twist-swing IK|48,8|80,0|94,5|Да|Bridge keypoint↔SMPL|
|5|**PARE** (Kocabas)|ICCV 2021|HRNet-W32 + part-attention|50,9 / **46,5**|82,0 / 74,5|97,9 / 88,6|Опц.|Occlusion-robust|
|6|**CLIFF** (Li)|ECCV 2022|HRNet-W48 + bbox-in-full-frame|**43,0**|69,0|81,2|Да|Восстанавливает глобальную ротацию|
|7|**HMR2.0 / 4D-Humans** (Goel)|ICCV 2023|ViT-H + transformer-decoder SMPL-tokens|54,3|81,3|~95|Да|Scale-up простой архитектуры|
|8|**TokenHMR** (Dwivedi)|CVPR 2024|ViT-H + VQ-VAE pose-token classifier + TALS|~49|~77|~89|Да|Фикс «bent-knees» bias|
|—|**BEDLAM-CLIFF** (Black)|CVPR 2023|CLIFF, обучен ТОЛЬКО на синтетике|46,6|72,0|85,0|Нет|Доказательство: синтетика ≈ реальные данные|
|—|**WHAM (ViT)** (Shin)|CVPR 2024|HMR2.0 + motion encoder + AMASS decoder|**35,9–38,9**|57,8|68,7|Да (FT)|Per-frame video SOTA 2024|
|—|**PromptHMR / CameraHMR**|CVPR 2025|DINOv2 ViT + prompt encoder + FoV-regressor|**~36–41**|~58–65|~77|Да|Image-SOTA 2025|

### Метрики (определения)

- **MPJPE** (mm): средняя евклидова ошибка 3D-суставов после выравнивания по тазу (root).
- **PA-MPJPE** (a.k.a. Reconstruction Error): MPJPE после **Procrustes-alignment** (оптимальный R, t, s).
- **MPVPE / PVE**: средняя ошибка по 6890 вершинам SMPL-меша после pelvis-alignment.
- **PCK**: процент суставов в пределах порога (например, 50 мм).

### Архитектурный тренд

За 8 лет индустрия прошла путь **ResNet-50 → HRNet → ViT-H**; от **continuous регрессии → analytical IK (HybrIK) → discrete pose-token classification (TokenHMR) → promptable transformer decoder (PromptHMR)**. Камера: weak-perspective → bbox-aware perspective (CLIFF) → regressed full-perspective с FoV-сетью (CameraHMR). Данные: 3D mocap + 2D → pseudo-GT (EFT, NeuralAnnot, CLIFF-GT) → **масштабная синтетика (BEDLAM, AGORA)**, которая в одиночку почти достигает SOTA.

### Прогрессия PA-MPJPE на 3DPW

76,7 (2018) → 59,2 (2019) → 51,9 (2020) → 46,5 (2021) → 43,0 (2022) → 54,3/44 (2023–24 image, ViT ceded PA-MPJPE за лучшую 3D/camera консистентность) → **~36–41** (2024–25, WHAM/PromptHMR). 3DPW **de facto насыщен**; новые работы мигрируют на EMDB, RICH, HI4D, BEDLAM-Z.

### Типичные failure modes

1. Тяжёлая частичная окклюзия (объекты, другие люди, self-occlusion).
2. Сильный foreshortening / неизвестный focal length — «bent-knees» патология TokenHMR.
3. Редкие позы (глубокие приседы, сидение на полу, йога) — **критично для SmartRep**, так как силовые позы близки к ним.
4. Loose/baggy одежда и нестандартная антропометрия (BMI>30).
5. Маленькие/далёкие субъекты, motion blur.
6. Multi-person близкая интеракция (top-down crop pipeline ломается).
7. Monocular depth ambiguity для глобальной trans (решается WHAM, TRAM, GVHMR).

Leaderboard: paperswithcode.com/sota/3d-human-pose-estimation-on-3dpw ; survey-tracker: github.com/liuyangme/SOTA-3DHPE-HMR.

---

## 9. Сравнение с альтернативными датасетами (in-the-wild 3D pose)

|Параметр|**3DPW**|**Human3.6M**|**MPI-INF-3DHP**|**AMASS**|**EMDB**|**BEDLAM**|
|---|---|---|---|---|---|---|
|Год|2018|2014|2017|2019|2023|2023|
|Субъекты|7|11 (5Ж/6М)|8 train + 6 test|344 (агрегат)|10|271 формы тела|
|Кадры|~51k|~3,6M|~1,3M|>40h мокап|~58 мин / 81 seq|~1M кадров, >10k видео|
|Активности|~12 бытовых|15–17 классов|8 классов|сотни мотивов|81 in-the-wild|тысячи (из AMASS)|
|Сцена|**in-the-wild**|лаборатория|лаборатория + зелёный экран|нет изображений|in-the-wild|synthetic (Unreal)|
|GT source|**IMU (Xsens) + VIP** ~26 мм|Vicon + ToF|markerless 14-cam Captury|MoSh++ optical|**EM-сенсоры** ~23 мм / 10,6°|synthetic exact|
|Camera|1 handheld moving|4 фикс + ToF|14 фикс|—|1 handheld|virtual multi|
|SMPL/SMPL-X|**SMPL**|pseudo-GT (NeuralAnnot)|pseudo-GT|SMPL-H (натив)|SMPL натив|**SMPL-X** натив|
|Multi-view|❌|✅|✅|—|❌|✅ (виртуально)|
|Commercial license|❌|❌|❌|❌|❌ (CC BY-NC-SA)|❌|
|Global trajectory|❌ (только root в кам.)|✅|локально|—|**✅ global body + global camera**|✅|
|Typical role|evaluation + aux train|основной train|train + eval|motion prior pretrain|modern evaluation|**pretrain**, possibly sole|

**Ключевой факт для SmartRep: 3DPW НЕ ВХОДИТ в AMASS.** AMASS — агрегатор **только optical-marker mocap** (CMU, KIT, BMLrub/movi, HDM05, ACCAD, MPI Limits, SFU, Eyes Japan, TotalCapture-mocap, DFaust, SSM, Transitions), так как использует MoSh++ для подгонки SMPL+H к marker trajectories. IMU-based 3DPW в эту парадигму не укладывается.

**Канонические training-миксы** (SPIN → HMR2.0 → TokenHMR): H36M + MPI-INF-3DHP + 3DPW-train + COCO + MPII + LSPET + AI-Challenger + InstaVariety (2D pseudo-GT) + AMASS (motion prior) + BEDLAM/AGORA (synthetic).

**EMDB vs 3DPW** — EMDB современнее и точнее (2,3 см/10,6°), добавляет **глобальные траектории тела и камеры**, критичные для world-grounded HPS (WHAM, TRAM). Но EMDB меньше по числу сцен, имеет более жёсткий доступ и короче историю бенчмарков — 3DPW всё ещё «лингва франка» сравнения.

**BEDLAM vs 3DPW** — BEDLAM заменяет 3DPW как **training корпус** (синтетика с SMPL-X, одеждой, clothing physics, разнообразным BMI, depth, масками). 3DPW остаётся evaluation-only в этой парадигме.

---

## 10. Релевантность для SmartRep (оценка 1–5)

|Критерий|Оценка|Обоснование|
|---|---|---|
|Силовые упражнения|**1**|Отсутствуют полностью; только «doing sports» как широкая категория|
|Multi-view|**1**|Single handheld camera|
|Антропометрия|**2**|7 субъектов, одежда городская, нет heavy BMI / спортивной формы|
|Экспертная разметка ошибок|**0**|Нет разметки ошибок техники вообще|
|MoCap/IMU GT качество|**5**|17 Xsens IMU + VIP; ~26 мм точность|
|Разрешение|**3**|~1080p (не подтверждено статьёй)|
|FPS|**3**|30 fps (достаточно для повседневных движений, маловато для быстрых фаз взрывных упражнений)|
|Доступность|**3**|Research-only, гейтинг, но стабильно|
|Edge-совместимость напрямую|**2**|Датасет сам не edge, но модели, обученные на нём, есть в mobile-ready форме (MobileHumanPose и др.)|
|**Интегральная релевантность**|**2/5**|Не прямой fit, но вспомогательный ценен|

### Направление и роль в пайплайне

**Направление 🅱 (Biomechanics-aware pose estimation)** — как **источник весов базовой SMPL pose-модели**. Вторично — 🅰 (для data augmentation через re-rendering SMPL-мешей, см. секцию 11).

**Роль:**

1. **Pretrain source** — все SOTA-бэкбоны (HMR2.0, TokenHMR, WHAM, PromptHMR) обучены на миксе, включающем 3DPW. Забирать эти веса целесообразно.
2. **Pseudo-labeling source** — обучить большую модель на миксе (BEDLAM + 3DPW + H36M), затем применить её как teacher на собственном fitness-видео для генерации SMPL pseudo-GT. **Это основной use case для SmartRep.**
3. **Evaluation reference** — для регрессии «сколько мы потеряли в точности при доменной адаптации на силовые упражнения» полезно замерять на 3DPW-test, чтобы не уехать в overfitting.

### Риски для SmartRep

- **Domain gap: fitness vs. everyday** — модель обученная на 3DPW будет систематически плохо работать на: (а) глубоких приседах (конфаундер «bent-knees»), (б) лежачих позах (жим лёжа), (в) подтягиваниях (вертикальный вис), (г) позах с инвентарём (штанга, ручки тренажёра, блины).
- **Отсутствие разметки ошибок** — 3DPW не даёт ничего для Fine-grained error detection (🅰). Эту разметку нужно собирать отдельно.
- **Лицензия** — non-commercial. Если SmartRep идёт в коммерческое развёртывание, нужен commercial-license deal или замена на commercially-licensed синтетику.
- **IMU-specific noise в GT** — heading drift и foreshortening артефакты могут передаваться в веса. Для силовых упражнений с фиксированной ориентацией тела (жим/присед) это менее критично, чем для локомоции.

---

## 11. Потенциал для data augmentation / synthesis

|Возможность|Статус|Заметки|
|---|---|---|
|SMPL θ/β/trans → re-rendering|✅|Можно рендерить новые ракурсы, фоны, одежду через SMPL-based рендереры (PyTorch3D, Pyrender). Используется в CLIFF pseudo-GT pipeline, EFT|
|Включён в AMASS|**❌ НЕТ**|AMASS — только optical mocap; 3DPW — IMU-based, исключён|
|Multi-view → NeRF/GS per subject|❌|Single camera → нет триангуляции; NeRF/Gaussian Splatting неприменимы|
|Segmentation masks|❌|Нет; можно синтезировать через SMPL-mesh projection|
|**Pseudo-labeling own data**|**✅**|**Основной use case для SmartRep**: teacher-модель, обученная на 3DPW-mix, размечает новые fitness-видео автоматически (HMR2.0 / TokenHMR API готовы)|
|Композиция с другими датасетами|✅|Стандартно используется в mixed training: H36M + MPI-INF-3DHP + 3DPW + COCO + MPII + InstaVariety (+ AMASS motion prior + BEDLAM synthetic)|
|Domain randomization через SMPL re-pose|✅ частично|Можно семплировать новые θ из AMASS-prior и retarget на 3DPW-camera trajectories, но это обходной путь|

### Риски синтеза

- Re-rendering не создаёт новых антропометрий сильнее, чем позволяет β в SMPL (узкое пространство).
- Синтез одежды/инвентаря (штанги) в SMPL не входит — нужны внешние asset-пайплайны (BEDLAM-style).
- Pseudo-label бесшумности нет — teacher-ошибки переносятся как GT на fitness-видео, особенно на редких позах (присед) и при окклюзии инвентарём.

**Итоговая оценка синтетического потенциала: СРЕДНИЙ.** SMPL-параметры открывают множество auxiliary возможностей (pseudo-label, re-render, motion retargeting), но отсутствие multi-view, инвентаря и разметки ошибок ограничивает прямую применимость. Для fitness-домена BEDLAM/AGORA существенно полезнее.

---

## 12. GAP-анализ для нашего датасета SmartRep

Что 3DPW **не покрывает** и должно быть собрано/сгенерировано нами:

|Gap|Описание|Можно ли закрыть re-rendering / синтезом?|
|---|---|---|
|Силовые упражнения|Присед, жим лёжа, становая, подтягивания, тяга — не представлены|⚠️ Частично: можно retarget AMASS/MoYo motion primitives через SMPL на 3DPW-like сцены, но не заменит реальных fitness-сессий|
|Ошибки техники|Нет классификации «butt wink», «knee valgus», «bar path deviation» и др.|❌ Нельзя — нужна экспертная разметка тренера|
|Антропометрия|Узкий диапазон (7 субъектов, normal BMI)|✅ Да — β-semplирование + BEDLAM (271 body shape)|
|Экипировка|Штанги, гантели, ручки тренажёра отсутствуют|❌ Нет — SMPL не моделирует предметы; нужны отдельные asset-pipelines|
|Экспертная тренерская разметка|Полностью отсутствует|❌ Нельзя синтезировать — требуется вовлечение тренеров|
|Multi-view|Single camera|⚠️ Имитация через SMPL re-rendering с виртуальных ракурсов, но не заменит реальный multi-view|
|Gym environments|Нет gym-сцен|⚠️ Через рендер фонов, но domain gap остаётся|
|Fast phases (explosive reps)|30 fps маловато|❌ Нельзя синтезировать высокую temporal точность|

**Post-augmentation gap:** даже с максимальным re-rendering через SMPL, **три фундаментальных пробела не закрываются**: (1) разметка ошибок техники (требует эксперта), (2) физическая модель инвентаря (требует engine типа Unreal + asset библиотек), (3) реальные fitness-специфичные паттерны движения (можно частично покрыть через MoYo/BMLrub, но это не жим лёжа). → SmartRep **обязан** собирать собственный fitness-датасет с тренерской разметкой; 3DPW служит только pretrain/pseudo-label slot.

---

## 13. Критическая оценка

### 13.1. Transparency score (0/1/2 per axis)

|#|Ось|Оценка|Обоснование|
|---|---|---|---|
|1|Collection protocol disclosed|**1**|§5.3 даёт базовое описание, но без демографии и IRB|
|2|Capture setup specs (камера, IMU, sync, точность)|**2**|IMU-модель (Xsens MVN), число сенсоров, sync через clap, точность 26 мм на TotalCapture — указаны|
|3|Intrinsic/extrinsic калибровка опубликована|**1**|Per-frame extrinsics есть в .pkl, но процесс калибровки камеры детально не описан (нет focal length, нет distortion model)|
|4|Demographics breakdown|**0**|Не опубликованы|
|5|Annotation instructions|**1**|Алгоритм VIP и 2D-detector описаны; manual 2D-ID labeling 5 последовательностей упомянут без инструкций|
|6|Inter-annotator / fitting accuracy|**1**|99,3% precision на 2D-ID association; GT-точность оценена только косвенно на TotalCapture|
|7|Rejection / cleaning статистика|**1**|Флаг `campose_valid` есть; агрегированных процентов нет|
|8|IRB / ethics approval|**0**|Не упомянуто|
|9|Datasheet for Datasets (Gebru 2021)|**0**|Не опубликован|
|10|Known limitations|**1**|Технические (heading drift, moving camera) обсуждены; нет секции «Limitations»|

**Итог: Σ = 8/20.**

**[МОЙ КОММЕНТАРИЙ]** Оценка для работы 2018 года — типичная (pre-2020 CV-статьи редко включали Datasheets и ethics-секции). По современным стандартам (MLDC, NeurIPS 2022+ checklist) 3DPW нуждается в дополнении. Низкая прозрачность демографии — главный red flag для fairness-аудита, что критично для SmartRep, если пользовательская база разнородна.

### 13.2. Peer-review оценка (1–10)

|Критерий|Оценка|Комментарий|
|---|---|---|
|Новизна|**10**|Первый in-the-wild 3D GT с SMPL; VIP как метод — существенная инженерная новизна|
|Размер|**5**|7 субъектов / 60 клипов / 51k кадров — маленький по современным меркам (BEDLAM ≈1M кадров)|
|Качество разметки|**7**|26 мм GT accuracy (косвенно); но heading drift артефакты и отсутствие прямой валидации на самом 3DPW снижают до 7|
|Методологическая строгость|**8**|VIP корректно формализован, bundle-оптимизация, графовая LP; мало абляций по размеру IMU-набора на 3DPW|
|Документация|**5**|Project page информативен, но нет Datasheet, нет полного API-описания, нет схемы IMU-размещения|
|Воспроизводимость|**7**|Eval-код открыт, формат .pkl ясен, все SOTA-репозитории интегрируют 3DPW без боли|
|Этика|**3**|Нет IRB, нет consent-декларации, лица субъектов видимы в RGB|
|Перекосы (bias-aware score)|**4**|Демография не раскрыта, узкий pose-spectrum, single-view, один регион записи|
|Полезность для сообщества|**10**|8 лет — де-факто benchmark; >1500 цитирований; все SOTA HPS-работы используют|
|Синтетическая расширяемость|**6**|SMPL-параметры позволяют re-render; но отсутствие multi-view и инвентаря ограничивает|

**Средняя пир-ревью оценка: 6,5/10.**

### Общая рекомендация для SmartRep

**Adopt with caveats.** 3DPW должен занять место в пайплайне SmartRep как:

- источник **pretrain-весов** базовой pose-модели (через готовые checkpoint'ы HMR2.0, TokenHMR, WHAM);
- **evaluation reference** для отслеживания доменного дрейфа при адаптации на fitness;
- **teacher-модель** для pseudo-labeling собственного fitness-видео.

Но он **не должен** быть:

- основным training-корпусом;
- источником разметки ошибок техники;
- основой для коммерческого развёртывания без commercial-license deal.

---

## 14. Executive Summary (10 пунктов)

1. **Одной фразой.** 3DPW — первый in-the-wild датасет 3D-поз с SMPL-разметкой, полученной через фузию 17 IMU и handheld-камеры (VIP, bundle-оптимизация).
2. **Самая сильная сторона.** Пионерский метод получения 3D GT вне лаборатории: 26-мм точность на TotalCapture, де-факто benchmark 3D mesh recovery на 8 лет.
3. **Самая слабая сторона для SmartRep.** Полное отсутствие силовых упражнений и инвентаря; single-view; узкая антропометрия (7 субъектов); нет разметки ошибок техники.
4. **Transparency Score.** 8/20 — низко-средний, типично для 2018 года; отсутствуют IRB, демография, Datasheet.
5. **Синтетический потенциал.** СРЕДНИЙ — SMPL-параметры позволяют re-render и pseudo-labeling, но multi-view и инвентарь не синтезируемы внутри SMPL-схемы.
6. **Роль в пайплайне SmartRep.** **Pretrain + pseudo-label source** (основной use case) + evaluation reference.
7. **Главный gap для нашего датасета.** Fitness-specific domain (силовые движения, инвентарь, gym environments) и тренерская экспертная разметка ошибок техники.
8. **Лицензионный статус.** Max Planck non-commercial research-only — **блокирует коммерческое развёртывание** напрямую; требует commercial-license deal или замены pretrain на commercially-licensed синтетику.
9. **Приоритет в roadmap SmartRep: СРЕДНИЙ.** Не прямой fitness-датасет, но эталон pretrain-весов и teacher-модели для pseudo-labeling собственного корпуса.
10. **Следующие датасеты для изучения.**
    - **AMASS** (motion prior, в SMPL-H, агрегатор 15 optical mocap датасетов) — для pose-prior регуляризации;
    - **EMDB** (in-the-wild + global trajectory, 2,3 см точность) — для современного evaluation и world-grounded HPS;
    - **BEDLAM** (синтетика с SMPL-X, 271 body shape, clothing physics) — для масштабного pretrain с разнообразной антропометрией;
    - **HuMMan** (1000 субъектов, 500 действий, multi-modal incl. mobile camera) — потенциально fitness-близкие действия и edge-device capture distribution;
    - **MoYo** (yoga subset в AMASS/BEDLAM) — ближайший open-source домен к силовым pose-extremes.