first commit
This commit is contained in:
Azidaan
@@ -0,0 +1,411 @@
|
||||
---
|
||||
|
||||
dataset_name: "3DPW (3D Poses in the Wild)" paper_title: "Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera" authors:
|
||||
|
||||
- "Timo von Marcard (Leibniz Universität Hannover)"
|
||||
- "Roberto Henschel (Leibniz Universität Hannover)"
|
||||
- "Michael J. Black (MPI for Intelligent Systems, Tübingen)"
|
||||
- "Bodo Rosenhahn (Leibniz Universität Hannover)"
|
||||
- "Gerard Pons-Moll (MPI for Informatics, Saarbrücken)" year: 2018 venue: "ECCV 2018" venue_tier: "A* (top-tier)" doi: "10.1007/978-3-030-01249-6_37" arxiv_id: "НЕ УКАЗАНО В СТАТЬЕ (нет arXiv-препринта)" domain: "3D human pose / mesh estimation, in-the-wild" subjects_count: 7 exercises_count: "~60 сцен / ~12 категорий активностей (ходьба, лестницы, бас, кофе, селфи, шопинг, спорт, гитара, объятия, дискуссии, отдых и др.)" modalities: ["RGB video (monocular, handheld)", "17 IMUs (Xsens)", "1 IMU on camera", "2D keypoints (OpenPose)", "SMPL θ/β/trans", "camera intrinsics/extrinsics", "per-subject 3D body scan"] multi_view: false expert_error_annotation: false license: "Max Planck non-commercial research-only license" availability: "Gated (click-through license), virtualhumans.mpi-inf.mpg.de/3DPW/" url: "https://virtualhumans.mpi-inf.mpg.de/3DPW/" relevance_to_smartrep: 2 direction: "B (biomechanics-aware pose estimation — источник весов базовой pose-модели)" role_in_pipeline: "pretrain / pseudo-labeling source / evaluation-only" transparency_score: "10/20" synthesis_potential: "СРЕДНИЙ" tags: ["#dataset", "#3d-pose", "#smpl", "#in-the-wild", "#imu", "#monocular", "#mpi", "#eccv2018", "#pretrain-source", "#pseudo-label-source", "#no-strength-exercises", "#no-error-labels"] priority: "СРЕДНИЙ"
|
||||
|
||||
---
|
||||
|
||||
# 3DPW как эталон in-the-wild 3D pose — рецензия для SmartRep
|
||||
|
||||
**BLUF.** 3DPW — это первый и до сих пор канонический in-the-wild бенчмарк с SMPL-разметкой, но для SmartRep он пригоден **не как финальный источник обучения, а как pretrain/pseudo-labeling корпус**: 7 актёров, 60 клипов, ~51k кадров, одна движущаяся handheld-камера и 17 IMU дают GT-точность ~26 мм (валидация на TotalCapture). Силовых упражнений, multi-view и разметки ошибок техники в датасете **нет**, а лицензия — non-commercial research-only, что блокирует прямое коммерческое использование весов, обученных на 3DPW. Несмотря на это, 3DPW остаётся де-факто «лингва франка» 3D HPS-оценки: восемь лет SOTA-методов (HMR → SPIN → VIBE → PARE → CLIFF → HMR2.0 → TokenHMR → WHAM → PromptHMR) отчитываются о PA-MPJPE именно на нём, и любая базовая SMPL-модель в пайплайне SmartRep будет так или иначе трогать 3DPW. Рекомендация: **Adopt with caveats** — использовать как evaluation + вспомогательный pretrain, но не как основной домен обучения; комбинировать с BEDLAM (синтетика) и EMDB (global-trajectory evaluation).
|
||||
|
||||
---
|
||||
|
||||
## 1. Метаданные датасета
|
||||
|
||||
|Поле|Значение|
|
||||
|---|---|
|
||||
|Полное название|3D Poses in the Wild (3DPW)|
|
||||
|Акроним|3DPW|
|
||||
|Статья|«Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera»|
|
||||
|Авторы|Timo von Marcard¹, Roberto Henschel¹, Michael J. Black², Bodo Rosenhahn¹, Gerard Pons-Moll³|
|
||||
|Аффилиации|¹ Leibniz Universität Hannover (TNT), ² MPI for Intelligent Systems (Tübingen), ³ MPI for Informatics (Saarbrücken)|
|
||||
|Год|2018|
|
||||
|Venue|ECCV 2018, Мюнхен (8–14 сентября 2018), LNCS Springer|
|
||||
|Venue tier|A* (top-tier CV conference)|
|
||||
|DOI|10.1007/978-3-030-01249-6_37|
|
||||
|Страницы|601–617 в ECCV 2018 (Part X)|
|
||||
|arXiv ID|НЕ УКАЗАНО В СТАТЬЕ (arXiv-препринт отсутствует)|
|
||||
|Open-access PDF|openaccess.thecvf.com/content_ECCV_2018/papers/Timo_von_Marcard_Recovering_Accurate_3D_ECCV_2018_paper.pdf|
|
||||
|Цитирования (ориентир 2025–26)|>1500 (Google Scholar напрямую недоступен; агрегатор SciSpace показывает 1234, что явно устарело)|
|
||||
|Версионирование|Формальных v1/v2 нет. Важные даты: релиз в ноябре 2018; 14-11-2018 опубликован официальный split train/val/test внутри `sequenceFiles.zip`; 3DPW Challenge на ECCV 2020|
|
||||
|
||||
**[МОЙ КОММЕНТАРИЙ]** Расхождение между карточкой проекта (Rosenhahn во 2-й аффилиации) и печатной статьёй (Rosenhahn в 1-й) — мелочь, но канонической является печатная версия.
|
||||
|
||||
---
|
||||
|
||||
## 2. Позиционирование
|
||||
|
||||
3DPW закрывает конкретный пробел: **in-the-wild 3D pose GT** в эпоху, когда все предыдущие 3D-датасеты были лабораторными (Human3.6M — Vicon в студии Imar, MPI-INF-3DHP — markerless Captury studio, зелёный экран). Авторы заменяют оптическую захват-систему на сочетание **17 IMU Xsens + одной движущейся handheld-камеры**, что впервые позволяет собирать 3D-разметку SMPL в реальных сценах (улица, автобус, кафе). Принципиальная новизна — алгоритм **Video Inertial Poser (VIP)**: совместная bundle-оптимизация позы Θ, позы камеры Ψ и угла heading-drift Γ IMU-сенсоров с ассоциацией 2D-детекций OpenPose к конкретным носителям IMU через бинарную линейную программу (Gurobi). Гипотеза авторов: **фузия IMU и монокулярного видео даёт sub-30-mm точность без оптического mocap**, что подтверждается на TotalCapture (MPJPE 26 мм vs. 70 мм у baseline TotalCapture). Это открыло эру «мобильного 3D GT» и предопределило появление EMDB (EM-сенсоры) и коммерческих mocap-апп.
|
||||
|
||||
---
|
||||
|
||||
## 3. Технические характеристики
|
||||
|
||||
### 3.1. Общая статистика
|
||||
|
||||
|Параметр|Значение|Источник|
|
||||
|---|---|---|
|
||||
|Субъектов|**7 актёров**|§5.3|
|
||||
|Клипов / последовательностей|**60**|Abstract, §5.3|
|
||||
|Общее число кадров|**>51 000**|Abstract|
|
||||
|Общая длительность|**~1700 с (≈28 мин)**|Website|
|
||||
|FPS|30 Hz|§5.3|
|
||||
|Видеоразрешение|НЕ УКАЗАНО ЯВНО В СТАТЬЕ (сообщество: 1920×1080)|—|
|
||||
|Модель камеры|«hand-held smartphone camera» (iPhone 6 — часто цитируется, но в самой статье не назван)|§5.3|
|
||||
|Вариантов одежды|18|§5.3|
|
||||
|Макс. человек в кадре|2|§5.3|
|
||||
|Train / Val / Test (sequences)|**24 / 12 / 24** (пер-кадровые цифры на сайте не опубликованы)|`sequenceFiles.zip`|
|
||||
|Демография (пол/возраст/этнос)|**НЕ ОПУБЛИКОВАНО**|—|
|
||||
|Антропометрия|Только per-subject SMPL shape β (из 3D-скана); нет агрегированной таблицы|§5.3|
|
||||
|Уровень подготовки|**НЕ УКАЗАНО**|—|
|
||||
|
||||
### 3.2. Модальности данных
|
||||
|
||||
|Модальность|Есть?|Подробности|
|
||||
|---|---|---|
|
||||
|RGB video|✅|Моно, handheld, 30 fps, ~1080p (неофициально)|
|
||||
|Depth|❌|Нет|
|
||||
|IR|❌|Нет|
|
||||
|2D pose|✅|Детекции CNN Cao et al. 2017 (OpenPose), 18 ключевых точек + confidence|
|
||||
|3D pose (joints)|✅|Из SMPL 24-joint скелета|
|
||||
|**SMPL θ, β, translation**|✅|**Ключевая фишка**: pose θ ∈ ℝ⁷⁵, shape β, per-frame trans, `campose_valid` flag|
|
||||
|SMPL-X|❌|Только SMPL|
|
||||
|Camera intrinsics/extrinsics|✅|Per-frame оценка VIP; `campose_valid` указывает валидные кадры|
|
||||
|IMU raw|✅|17 Xsens IMUs на тело (9–10 при двух субъектах) + 1 IMU на смартфоне|
|
||||
|3D body scan|✅|Один скан на субъекта, подогнанный к SMPL|
|
||||
|EMG / audio / text / сегментация|❌|Нет|
|
||||
|
||||
### 3.3. Съёмочная установка
|
||||
|
||||
- **Камера:** одна handheld смартфон-камера (движущаяся), 30 fps. Отдельный IMU закреплён на телефоне.
|
||||
- **Синхронизация IMU↔видео:** автоматическая по **clapping motion** в начале каждой последовательности (метод Pons-Moll et al. 2011).
|
||||
- **Калибровка:** в начале сессии — T-pose / closed-arms для оценки bone-to-sensor offsets R_BS.
|
||||
- **Фон:** реальные сцены — улицы европейских городов, автобусы, кафе, магазины, квартиры (смешанный outdoor/indoor, пропорция НЕ ОПУБЛИКОВАНА).
|
||||
- **MoCap:** **IMU-based (Xsens MVN)** — не оптический mocap.
|
||||
- **Точность GT:** косвенно оценена на TotalCapture — **MPJPE 26 мм, MPJAE 12,1°**; на самом 3DPW точность GT прямо не измерена (признано авторами как ограничение: «there exists no dataset with a comparable setting»). Assignment precision 99,3%, recall 92,2%.
|
||||
|
||||
### 3.4. Визуальные материалы из статьи
|
||||
|
||||
- **Fig. 1** — teaser: 3D SMPL-реконструкции, оверлей в реальных сценах.
|
||||
- **Fig. 2** — три вызова метода: heading drift IMU, multi-person 2D-to-IMU association, ложные 2D-детекции.
|
||||
- **Fig. 3** — пайплайн VIP: IMU → Θ̂ → assignment → joint optimization → Θ, Ψ, Γ.
|
||||
- **Fig. 4** — граф-метка 2D-детекций (оранжевый/синий субъекты).
|
||||
- **Fig. 5** — координатные рамки F_G, F_I, F_I', F_B, F_S с трансформациями.
|
||||
- **Fig. 6** — VIP-результаты на TotalCapture (количественная валидация).
|
||||
- **Fig. 7** — примеры кадров 3DPW с textured SMPL моделями.
|
||||
- **Table 1** — MPJPE/MPJAE на TotalCapture (VIP 26 мм vs. [39] 70 мм, [16] 55–62 мм).
|
||||
|
||||
**[МОЙ КОММЕНТАРИЙ]** Отсутствие схемы расположения 17 IMUs на теле — мелкое методологическое упущение для воспроизводимости.
|
||||
|
||||
---
|
||||
|
||||
## 4. Методология сбора данных
|
||||
|
||||
### 4.1. Рекрутинг субъектов
|
||||
|
||||
В статье **не указано** ничего: нет ни критериев отбора, ни компенсаций, ни информированного согласия, ни IRB. 7 актёров — вероятно студенты/сотрудники лабораторий в Ганновере/Саарбрюккене/Тюбингене, но это догадка. **Selection bias** явно возможен — маленькая выборка, мужчины-европейцы, «спортивный» возраст (20–40 лет) — по визуальному контенту, но без официального подтверждения.
|
||||
|
||||
### 4.2. Протокол записи
|
||||
|
||||
Активности (явный список из §5.3 и abstract): **walking in the city, going up-stairs, having coffee, taking the bus, shopping, doing sports, hugging, discussing, capturing selfies, riding bus, playing guitar, relaxing**. Fig. 7 добавляет танцы и вариативные клипы. Записи выполнены **в свободном режиме**, не по жёсткому сценарию — это важно для натуральности, но делает clips imbalanced по длительности и сложности. Условия освещения/фона не контролировались (by design).
|
||||
|
||||
Критично для SmartRep: **силовых упражнений (приседания со штангой, жим лёжа, становая, подтягивания, тяга в наклоне) в датасете НЕТ**. «Doing sports» — общая категория, без силовых элементов.
|
||||
|
||||
### 4.3. Качественный контроль
|
||||
|
||||
- Кадры с <6 валидных 2D keypoints исключаются из оптимизации.
|
||||
- Флаг `campose_valid` отмечает кадры, где камера плохо выровнена (их не рекомендуется использовать в evaluation).
|
||||
- **Агрегированной статистики отбраковки НЕ ОПУБЛИКОВАНО** — нет процентов «плохих» кадров.
|
||||
- Валидация IMU-фиттинга — только косвенная, через TotalCapture.
|
||||
|
||||
---
|
||||
|
||||
## 5. Протокол аннотации
|
||||
|
||||
### 5.1. Типы меток
|
||||
|
||||
SMPL θ/β/translation на каждый кадр для каждого субъекта; 24-joint 3D скелет; 2D keypoints (OpenPose, 18 точек); gender label (per subject); per-frame extrinsics/intrinsics камеры; `campose_valid` mask. Разметки активности, ошибок техники или эмоций **НЕТ**.
|
||||
|
||||
### 5.2. Процедура разметки
|
||||
|
||||
Полностью автоматическая — **Video Inertial Poser (VIP)**:
|
||||
|
||||
1. IMU-only инициализация позы Θ̂ (Xsens fusion).
|
||||
2. Per-frame 2D-детекции через CNN Cao et al. 2017 (OpenPose, part affinity fields).
|
||||
3. Графовая ассоциация 2D-детекций к IMU-носителям через бинарную LP (Gurobi), с intra-frame и inter-frame рёбрами.
|
||||
4. Bundle-optimization (Levenberg–Marquardt) совместно по Θ, Ψ (камера), Γ (heading drift) — формулы (5)–(16) в статье.
|
||||
5. Shape β подгоняется к per-subject 3D скану (не VIP).
|
||||
|
||||
### 5.3. Валидация разметки
|
||||
|
||||
Количественная валидация — **на TotalCapture** (Trumble et al. 2017), где есть parallel video + IMU + marker mocap GT. VIP: **26 мм MPJPE, 12,1° MPJAE** (1 камера + 13 IMU). Абляции: IMU-only 55 мм, VIP-IMU6 39,6 мм, VIP-Cam (GT-камера) 25,3 мм. Превосходит baseline TotalCapture (70 мм) и Malleson 2017 (55–62 мм). На **самом 3DPW валидация косвенная** — assignment precision 99,3% / recall 92,2% по 2D-ID разметке 5 последовательностей.
|
||||
|
||||
---
|
||||
|
||||
## 6. Доступность и лицензирование
|
||||
|
||||
|Аспект|Детали|
|
||||
|---|---|
|
||||
|Лицензия|**Max-Planck non-commercial research-only** (virtualhumans.mpi-inf.mpg.de/3DPW/license.html)|
|
||||
|Коммерческое использование|**ЗАПРЕЩЕНО** («performing non-commercial scientific research»)|
|
||||
|Получение|Click-through agreement; раздаются `imageFiles.zip` и `sequenceFiles.zip`|
|
||||
|Размер|НЕ УКАЗАНО официально; сообщество: ~30–60 GB (в основном imageFiles)|
|
||||
|Хостинг|virtualhumans.mpi-inf.mpg.de/3DPW/ (MPI Informatics)|
|
||||
|Ссылка актуальна (апрель 2026)|✅ Живая|
|
||||
|Цитирование|Обязательно @inproceedings{vonMarcard2018}|
|
||||
|Dataloaders|mmpose, **MMHuman3D** (`pw3d_test.npz`, `3DPW_test_new.json` HybrIK-формат), **4D-Humans (HMR 2.0)**, SPIN, VIBE, PARE, TCMR, WHAM, Pose2Mesh, HybrIK — все первоклассная поддержка|
|
||||
|Eval-код|github.com/miraymen/3dpw-eval|
|
||||
|
||||
**Для SmartRep критично:** non-commercial лицензия блокирует прямое использование 3DPW-весов в коммерческой edge-app. В случае коммерциализации придётся либо (а) заменить pretrain на commercially-licensed синтетику (BEDLAM2.0, in-house Unreal рендеринг), либо (б) запросить commercial-license у ps-licensing@tue.mpg.de.
|
||||
|
||||
---
|
||||
|
||||
## 7. Перекосы (biases)
|
||||
|
||||
### 7.1. Демографические
|
||||
|
||||
- **Gender/ethnicity/age breakdown НЕ ПУБЛИКОВАН.** 7 актёров — слишком маленькая выборка для устойчивого обучения.
|
||||
- Одежда: 18 вариантов, но все «городские повседневные»; нет тренировочной одежды / спортивного gear.
|
||||
- Антропометрия: только per-subject β (7 значений) — узкий диапазон BMI; массивных/мускулистых телосложений (типичных для гима) почти нет.
|
||||
|
||||
### 7.2. Съёмочные
|
||||
|
||||
- **Pose coverage:** ходьба, лестницы, бас, кафе, шопинг, объятия, селфи, игра на гитаре. Силовых упражнений (жим лёжа, присед, становая, подтягивания, тяга) **нет**. Приседы/наклоны встречаются только как бытовые, не со штангой.
|
||||
- **Viewpoint bias:** single handheld camera → узкий диапазон ракурсов; нет синхронных multi-view → любой метод, который захочет 3D-triangulation GT, не получит его.
|
||||
- **Environmental:** смесь outdoor/indoor, но без gym/weight-room сцен.
|
||||
- **Occlusion:** в основном частичные самоокклюзии и окклюзии людьми, **нет окклюзий штангой / гантелями**.
|
||||
|
||||
### 7.3. Аннотационные
|
||||
|
||||
- **Class imbalance:** нет формального taxonomy активностей — невозможно посчитать.
|
||||
- **Temporal imbalance:** длительности клипов сильно варьируются; статистики не опубликовано.
|
||||
- **IMU-специфичный шум:** heading drift моделируется как константа на всю последовательность — приближение, которое может накапливать ошибку в длинных клипах.
|
||||
|
||||
---
|
||||
|
||||
## 8. Использование в научном сообществе
|
||||
|
||||
### Эволюция SOTA на 3DPW (2018–2026)
|
||||
|
||||
|#|Метод|Год/Venue|Архитектура|PA-MPJPE ↓|MPJPE ↓|MPVPE ↓|3DPW train?|Заметки|
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
|1|**HMR** (Kanazawa)|CVPR 2018|ResNet-50 + итеративный SMPL-регрессор + 3D adv. prior|76,7|~130|—|Нет|Первый end-to-end SMPL; weak-perspective камера|
|
||||
|2|**SPIN** (Kolotouros)|ICCV 2019|ResNet-50 + SMPLify-in-the-loop|59,2|96,9|116,4|Нет|Self-improving pseudo-GT|
|
||||
|3|**VIBE** (Kocabas)|CVPR 2020|ResNet-50 + bi-GRU + AMASS motion discr.|56,5 / **51,9**|93,5|113,4|Опц.|Первый сильный video-метод|
|
||||
|4|**HybrIK** (Li)|CVPR 2021|3D heatmap + analytical twist-swing IK|48,8|80,0|94,5|Да|Bridge keypoint↔SMPL|
|
||||
|5|**PARE** (Kocabas)|ICCV 2021|HRNet-W32 + part-attention|50,9 / **46,5**|82,0 / 74,5|97,9 / 88,6|Опц.|Occlusion-robust|
|
||||
|6|**CLIFF** (Li)|ECCV 2022|HRNet-W48 + bbox-in-full-frame|**43,0**|69,0|81,2|Да|Восстанавливает глобальную ротацию|
|
||||
|7|**HMR2.0 / 4D-Humans** (Goel)|ICCV 2023|ViT-H + transformer-decoder SMPL-tokens|54,3|81,3|~95|Да|Scale-up простой архитектуры|
|
||||
|8|**TokenHMR** (Dwivedi)|CVPR 2024|ViT-H + VQ-VAE pose-token classifier + TALS|~49|~77|~89|Да|Фикс «bent-knees» bias|
|
||||
|—|**BEDLAM-CLIFF** (Black)|CVPR 2023|CLIFF, обучен ТОЛЬКО на синтетике|46,6|72,0|85,0|Нет|Доказательство: синтетика ≈ реальные данные|
|
||||
|—|**WHAM (ViT)** (Shin)|CVPR 2024|HMR2.0 + motion encoder + AMASS decoder|**35,9–38,9**|57,8|68,7|Да (FT)|Per-frame video SOTA 2024|
|
||||
|—|**PromptHMR / CameraHMR**|CVPR 2025|DINOv2 ViT + prompt encoder + FoV-regressor|**~36–41**|~58–65|~77|Да|Image-SOTA 2025|
|
||||
|
||||
### Метрики (определения)
|
||||
|
||||
- **MPJPE** (mm): средняя евклидова ошибка 3D-суставов после выравнивания по тазу (root).
|
||||
- **PA-MPJPE** (a.k.a. Reconstruction Error): MPJPE после **Procrustes-alignment** (оптимальный R, t, s).
|
||||
- **MPVPE / PVE**: средняя ошибка по 6890 вершинам SMPL-меша после pelvis-alignment.
|
||||
- **PCK**: процент суставов в пределах порога (например, 50 мм).
|
||||
|
||||
### Архитектурный тренд
|
||||
|
||||
За 8 лет индустрия прошла путь **ResNet-50 → HRNet → ViT-H**; от **continuous регрессии → analytical IK (HybrIK) → discrete pose-token classification (TokenHMR) → promptable transformer decoder (PromptHMR)**. Камера: weak-perspective → bbox-aware perspective (CLIFF) → regressed full-perspective с FoV-сетью (CameraHMR). Данные: 3D mocap + 2D → pseudo-GT (EFT, NeuralAnnot, CLIFF-GT) → **масштабная синтетика (BEDLAM, AGORA)**, которая в одиночку почти достигает SOTA.
|
||||
|
||||
### Прогрессия PA-MPJPE на 3DPW
|
||||
|
||||
76,7 (2018) → 59,2 (2019) → 51,9 (2020) → 46,5 (2021) → 43,0 (2022) → 54,3/44 (2023–24 image, ViT ceded PA-MPJPE за лучшую 3D/camera консистентность) → **~36–41** (2024–25, WHAM/PromptHMR). 3DPW **de facto насыщен**; новые работы мигрируют на EMDB, RICH, HI4D, BEDLAM-Z.
|
||||
|
||||
### Типичные failure modes
|
||||
|
||||
1. Тяжёлая частичная окклюзия (объекты, другие люди, self-occlusion).
|
||||
2. Сильный foreshortening / неизвестный focal length — «bent-knees» патология TokenHMR.
|
||||
3. Редкие позы (глубокие приседы, сидение на полу, йога) — **критично для SmartRep**, так как силовые позы близки к ним.
|
||||
4. Loose/baggy одежда и нестандартная антропометрия (BMI>30).
|
||||
5. Маленькие/далёкие субъекты, motion blur.
|
||||
6. Multi-person близкая интеракция (top-down crop pipeline ломается).
|
||||
7. Monocular depth ambiguity для глобальной trans (решается WHAM, TRAM, GVHMR).
|
||||
|
||||
Leaderboard: paperswithcode.com/sota/3d-human-pose-estimation-on-3dpw ; survey-tracker: github.com/liuyangme/SOTA-3DHPE-HMR.
|
||||
|
||||
---
|
||||
|
||||
## 9. Сравнение с альтернативными датасетами (in-the-wild 3D pose)
|
||||
|
||||
|Параметр|**3DPW**|**Human3.6M**|**MPI-INF-3DHP**|**AMASS**|**EMDB**|**BEDLAM**|
|
||||
|---|---|---|---|---|---|---|
|
||||
|Год|2018|2014|2017|2019|2023|2023|
|
||||
|Субъекты|7|11 (5Ж/6М)|8 train + 6 test|344 (агрегат)|10|271 формы тела|
|
||||
|Кадры|~51k|~3,6M|~1,3M|>40h мокап|~58 мин / 81 seq|~1M кадров, >10k видео|
|
||||
|Активности|~12 бытовых|15–17 классов|8 классов|сотни мотивов|81 in-the-wild|тысячи (из AMASS)|
|
||||
|Сцена|**in-the-wild**|лаборатория|лаборатория + зелёный экран|нет изображений|in-the-wild|synthetic (Unreal)|
|
||||
|GT source|**IMU (Xsens) + VIP** ~26 мм|Vicon + ToF|markerless 14-cam Captury|MoSh++ optical|**EM-сенсоры** ~23 мм / 10,6°|synthetic exact|
|
||||
|Camera|1 handheld moving|4 фикс + ToF|14 фикс|—|1 handheld|virtual multi|
|
||||
|SMPL/SMPL-X|**SMPL**|pseudo-GT (NeuralAnnot)|pseudo-GT|SMPL-H (натив)|SMPL натив|**SMPL-X** натив|
|
||||
|Multi-view|❌|✅|✅|—|❌|✅ (виртуально)|
|
||||
|Commercial license|❌|❌|❌|❌|❌ (CC BY-NC-SA)|❌|
|
||||
|Global trajectory|❌ (только root в кам.)|✅|локально|—|**✅ global body + global camera**|✅|
|
||||
|Typical role|evaluation + aux train|основной train|train + eval|motion prior pretrain|modern evaluation|**pretrain**, possibly sole|
|
||||
|
||||
**Ключевой факт для SmartRep: 3DPW НЕ ВХОДИТ в AMASS.** AMASS — агрегатор **только optical-marker mocap** (CMU, KIT, BMLrub/movi, HDM05, ACCAD, MPI Limits, SFU, Eyes Japan, TotalCapture-mocap, DFaust, SSM, Transitions), так как использует MoSh++ для подгонки SMPL+H к marker trajectories. IMU-based 3DPW в эту парадигму не укладывается.
|
||||
|
||||
**Канонические training-миксы** (SPIN → HMR2.0 → TokenHMR): H36M + MPI-INF-3DHP + 3DPW-train + COCO + MPII + LSPET + AI-Challenger + InstaVariety (2D pseudo-GT) + AMASS (motion prior) + BEDLAM/AGORA (synthetic).
|
||||
|
||||
**EMDB vs 3DPW** — EMDB современнее и точнее (2,3 см/10,6°), добавляет **глобальные траектории тела и камеры**, критичные для world-grounded HPS (WHAM, TRAM). Но EMDB меньше по числу сцен, имеет более жёсткий доступ и короче историю бенчмарков — 3DPW всё ещё «лингва франка» сравнения.
|
||||
|
||||
**BEDLAM vs 3DPW** — BEDLAM заменяет 3DPW как **training корпус** (синтетика с SMPL-X, одеждой, clothing physics, разнообразным BMI, depth, масками). 3DPW остаётся evaluation-only в этой парадигме.
|
||||
|
||||
---
|
||||
|
||||
## 10. Релевантность для SmartRep (оценка 1–5)
|
||||
|
||||
|Критерий|Оценка|Обоснование|
|
||||
|---|---|---|
|
||||
|Силовые упражнения|**1**|Отсутствуют полностью; только «doing sports» как широкая категория|
|
||||
|Multi-view|**1**|Single handheld camera|
|
||||
|Антропометрия|**2**|7 субъектов, одежда городская, нет heavy BMI / спортивной формы|
|
||||
|Экспертная разметка ошибок|**0**|Нет разметки ошибок техники вообще|
|
||||
|MoCap/IMU GT качество|**5**|17 Xsens IMU + VIP; ~26 мм точность|
|
||||
|Разрешение|**3**|~1080p (не подтверждено статьёй)|
|
||||
|FPS|**3**|30 fps (достаточно для повседневных движений, маловато для быстрых фаз взрывных упражнений)|
|
||||
|Доступность|**3**|Research-only, гейтинг, но стабильно|
|
||||
|Edge-совместимость напрямую|**2**|Датасет сам не edge, но модели, обученные на нём, есть в mobile-ready форме (MobileHumanPose и др.)|
|
||||
|**Интегральная релевантность**|**2/5**|Не прямой fit, но вспомогательный ценен|
|
||||
|
||||
### Направление и роль в пайплайне
|
||||
|
||||
**Направление 🅱 (Biomechanics-aware pose estimation)** — как **источник весов базовой SMPL pose-модели**. Вторично — 🅰 (для data augmentation через re-rendering SMPL-мешей, см. секцию 11).
|
||||
|
||||
**Роль:**
|
||||
|
||||
1. **Pretrain source** — все SOTA-бэкбоны (HMR2.0, TokenHMR, WHAM, PromptHMR) обучены на миксе, включающем 3DPW. Забирать эти веса целесообразно.
|
||||
2. **Pseudo-labeling source** — обучить большую модель на миксе (BEDLAM + 3DPW + H36M), затем применить её как teacher на собственном fitness-видео для генерации SMPL pseudo-GT. **Это основной use case для SmartRep.**
|
||||
3. **Evaluation reference** — для регрессии «сколько мы потеряли в точности при доменной адаптации на силовые упражнения» полезно замерять на 3DPW-test, чтобы не уехать в overfitting.
|
||||
|
||||
### Риски для SmartRep
|
||||
|
||||
- **Domain gap: fitness vs. everyday** — модель обученная на 3DPW будет систематически плохо работать на: (а) глубоких приседах (конфаундер «bent-knees»), (б) лежачих позах (жим лёжа), (в) подтягиваниях (вертикальный вис), (г) позах с инвентарём (штанга, ручки тренажёра, блины).
|
||||
- **Отсутствие разметки ошибок** — 3DPW не даёт ничего для Fine-grained error detection (🅰). Эту разметку нужно собирать отдельно.
|
||||
- **Лицензия** — non-commercial. Если SmartRep идёт в коммерческое развёртывание, нужен commercial-license deal или замена на commercially-licensed синтетику.
|
||||
- **IMU-specific noise в GT** — heading drift и foreshortening артефакты могут передаваться в веса. Для силовых упражнений с фиксированной ориентацией тела (жим/присед) это менее критично, чем для локомоции.
|
||||
|
||||
---
|
||||
|
||||
## 11. Потенциал для data augmentation / synthesis
|
||||
|
||||
|Возможность|Статус|Заметки|
|
||||
|---|---|---|
|
||||
|SMPL θ/β/trans → re-rendering|✅|Можно рендерить новые ракурсы, фоны, одежду через SMPL-based рендереры (PyTorch3D, Pyrender). Используется в CLIFF pseudo-GT pipeline, EFT|
|
||||
|Включён в AMASS|**❌ НЕТ**|AMASS — только optical mocap; 3DPW — IMU-based, исключён|
|
||||
|Multi-view → NeRF/GS per subject|❌|Single camera → нет триангуляции; NeRF/Gaussian Splatting неприменимы|
|
||||
|Segmentation masks|❌|Нет; можно синтезировать через SMPL-mesh projection|
|
||||
|**Pseudo-labeling own data**|**✅**|**Основной use case для SmartRep**: teacher-модель, обученная на 3DPW-mix, размечает новые fitness-видео автоматически (HMR2.0 / TokenHMR API готовы)|
|
||||
|Композиция с другими датасетами|✅|Стандартно используется в mixed training: H36M + MPI-INF-3DHP + 3DPW + COCO + MPII + InstaVariety (+ AMASS motion prior + BEDLAM synthetic)|
|
||||
|Domain randomization через SMPL re-pose|✅ частично|Можно семплировать новые θ из AMASS-prior и retarget на 3DPW-camera trajectories, но это обходной путь|
|
||||
|
||||
### Риски синтеза
|
||||
|
||||
- Re-rendering не создаёт новых антропометрий сильнее, чем позволяет β в SMPL (узкое пространство).
|
||||
- Синтез одежды/инвентаря (штанги) в SMPL не входит — нужны внешние asset-пайплайны (BEDLAM-style).
|
||||
- Pseudo-label бесшумности нет — teacher-ошибки переносятся как GT на fitness-видео, особенно на редких позах (присед) и при окклюзии инвентарём.
|
||||
|
||||
**Итоговая оценка синтетического потенциала: СРЕДНИЙ.** SMPL-параметры открывают множество auxiliary возможностей (pseudo-label, re-render, motion retargeting), но отсутствие multi-view, инвентаря и разметки ошибок ограничивает прямую применимость. Для fitness-домена BEDLAM/AGORA существенно полезнее.
|
||||
|
||||
---
|
||||
|
||||
## 12. GAP-анализ для нашего датасета SmartRep
|
||||
|
||||
Что 3DPW **не покрывает** и должно быть собрано/сгенерировано нами:
|
||||
|
||||
|Gap|Описание|Можно ли закрыть re-rendering / синтезом?|
|
||||
|---|---|---|
|
||||
|Силовые упражнения|Присед, жим лёжа, становая, подтягивания, тяга — не представлены|⚠️ Частично: можно retarget AMASS/MoYo motion primitives через SMPL на 3DPW-like сцены, но не заменит реальных fitness-сессий|
|
||||
|Ошибки техники|Нет классификации «butt wink», «knee valgus», «bar path deviation» и др.|❌ Нельзя — нужна экспертная разметка тренера|
|
||||
|Антропометрия|Узкий диапазон (7 субъектов, normal BMI)|✅ Да — β-semplирование + BEDLAM (271 body shape)|
|
||||
|Экипировка|Штанги, гантели, ручки тренажёра отсутствуют|❌ Нет — SMPL не моделирует предметы; нужны отдельные asset-pipelines|
|
||||
|Экспертная тренерская разметка|Полностью отсутствует|❌ Нельзя синтезировать — требуется вовлечение тренеров|
|
||||
|Multi-view|Single camera|⚠️ Имитация через SMPL re-rendering с виртуальных ракурсов, но не заменит реальный multi-view|
|
||||
|Gym environments|Нет gym-сцен|⚠️ Через рендер фонов, но domain gap остаётся|
|
||||
|Fast phases (explosive reps)|30 fps маловато|❌ Нельзя синтезировать высокую temporal точность|
|
||||
|
||||
**Post-augmentation gap:** даже с максимальным re-rendering через SMPL, **три фундаментальных пробела не закрываются**: (1) разметка ошибок техники (требует эксперта), (2) физическая модель инвентаря (требует engine типа Unreal + asset библиотек), (3) реальные fitness-специфичные паттерны движения (можно частично покрыть через MoYo/BMLrub, но это не жим лёжа). → SmartRep **обязан** собирать собственный fitness-датасет с тренерской разметкой; 3DPW служит только pretrain/pseudo-label slot.
|
||||
|
||||
---
|
||||
|
||||
## 13. Критическая оценка
|
||||
|
||||
### 13.1. Transparency score (0/1/2 per axis)
|
||||
|
||||
|#|Ось|Оценка|Обоснование|
|
||||
|---|---|---|---|
|
||||
|1|Collection protocol disclosed|**1**|§5.3 даёт базовое описание, но без демографии и IRB|
|
||||
|2|Capture setup specs (камера, IMU, sync, точность)|**2**|IMU-модель (Xsens MVN), число сенсоров, sync через clap, точность 26 мм на TotalCapture — указаны|
|
||||
|3|Intrinsic/extrinsic калибровка опубликована|**1**|Per-frame extrinsics есть в .pkl, но процесс калибровки камеры детально не описан (нет focal length, нет distortion model)|
|
||||
|4|Demographics breakdown|**0**|Не опубликованы|
|
||||
|5|Annotation instructions|**1**|Алгоритм VIP и 2D-detector описаны; manual 2D-ID labeling 5 последовательностей упомянут без инструкций|
|
||||
|6|Inter-annotator / fitting accuracy|**1**|99,3% precision на 2D-ID association; GT-точность оценена только косвенно на TotalCapture|
|
||||
|7|Rejection / cleaning статистика|**1**|Флаг `campose_valid` есть; агрегированных процентов нет|
|
||||
|8|IRB / ethics approval|**0**|Не упомянуто|
|
||||
|9|Datasheet for Datasets (Gebru 2021)|**0**|Не опубликован|
|
||||
|10|Known limitations|**1**|Технические (heading drift, moving camera) обсуждены; нет секции «Limitations»|
|
||||
|
||||
**Итог: Σ = 8/20.**
|
||||
|
||||
**[МОЙ КОММЕНТАРИЙ]** Оценка для работы 2018 года — типичная (pre-2020 CV-статьи редко включали Datasheets и ethics-секции). По современным стандартам (MLDC, NeurIPS 2022+ checklist) 3DPW нуждается в дополнении. Низкая прозрачность демографии — главный red flag для fairness-аудита, что критично для SmartRep, если пользовательская база разнородна.
|
||||
|
||||
### 13.2. Peer-review оценка (1–10)
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Новизна|**10**|Первый in-the-wild 3D GT с SMPL; VIP как метод — существенная инженерная новизна|
|
||||
|Размер|**5**|7 субъектов / 60 клипов / 51k кадров — маленький по современным меркам (BEDLAM ≈1M кадров)|
|
||||
|Качество разметки|**7**|26 мм GT accuracy (косвенно); но heading drift артефакты и отсутствие прямой валидации на самом 3DPW снижают до 7|
|
||||
|Методологическая строгость|**8**|VIP корректно формализован, bundle-оптимизация, графовая LP; мало абляций по размеру IMU-набора на 3DPW|
|
||||
|Документация|**5**|Project page информативен, но нет Datasheet, нет полного API-описания, нет схемы IMU-размещения|
|
||||
|Воспроизводимость|**7**|Eval-код открыт, формат .pkl ясен, все SOTA-репозитории интегрируют 3DPW без боли|
|
||||
|Этика|**3**|Нет IRB, нет consent-декларации, лица субъектов видимы в RGB|
|
||||
|Перекосы (bias-aware score)|**4**|Демография не раскрыта, узкий pose-spectrum, single-view, один регион записи|
|
||||
|Полезность для сообщества|**10**|8 лет — де-факто benchmark; >1500 цитирований; все SOTA HPS-работы используют|
|
||||
|Синтетическая расширяемость|**6**|SMPL-параметры позволяют re-render; но отсутствие multi-view и инвентаря ограничивает|
|
||||
|
||||
**Средняя пир-ревью оценка: 6,5/10.**
|
||||
|
||||
### Общая рекомендация для SmartRep
|
||||
|
||||
**Adopt with caveats.** 3DPW должен занять место в пайплайне SmartRep как:
|
||||
|
||||
- источник **pretrain-весов** базовой pose-модели (через готовые checkpoint'ы HMR2.0, TokenHMR, WHAM);
|
||||
- **evaluation reference** для отслеживания доменного дрейфа при адаптации на fitness;
|
||||
- **teacher-модель** для pseudo-labeling собственного fitness-видео.
|
||||
|
||||
Но он **не должен** быть:
|
||||
|
||||
- основным training-корпусом;
|
||||
- источником разметки ошибок техники;
|
||||
- основой для коммерческого развёртывания без commercial-license deal.
|
||||
|
||||
---
|
||||
|
||||
## 14. Executive Summary (10 пунктов)
|
||||
|
||||
1. **Одной фразой.** 3DPW — первый in-the-wild датасет 3D-поз с SMPL-разметкой, полученной через фузию 17 IMU и handheld-камеры (VIP, bundle-оптимизация).
|
||||
2. **Самая сильная сторона.** Пионерский метод получения 3D GT вне лаборатории: 26-мм точность на TotalCapture, де-факто benchmark 3D mesh recovery на 8 лет.
|
||||
3. **Самая слабая сторона для SmartRep.** Полное отсутствие силовых упражнений и инвентаря; single-view; узкая антропометрия (7 субъектов); нет разметки ошибок техники.
|
||||
4. **Transparency Score.** 8/20 — низко-средний, типично для 2018 года; отсутствуют IRB, демография, Datasheet.
|
||||
5. **Синтетический потенциал.** СРЕДНИЙ — SMPL-параметры позволяют re-render и pseudo-labeling, но multi-view и инвентарь не синтезируемы внутри SMPL-схемы.
|
||||
6. **Роль в пайплайне SmartRep.** **Pretrain + pseudo-label source** (основной use case) + evaluation reference.
|
||||
7. **Главный gap для нашего датасета.** Fitness-specific domain (силовые движения, инвентарь, gym environments) и тренерская экспертная разметка ошибок техники.
|
||||
8. **Лицензионный статус.** Max Planck non-commercial research-only — **блокирует коммерческое развёртывание** напрямую; требует commercial-license deal или замены pretrain на commercially-licensed синтетику.
|
||||
9. **Приоритет в roadmap SmartRep: СРЕДНИЙ.** Не прямой fitness-датасет, но эталон pretrain-весов и teacher-модели для pseudo-labeling собственного корпуса.
|
||||
10. **Следующие датасеты для изучения.**
|
||||
- **AMASS** (motion prior, в SMPL-H, агрегатор 15 optical mocap датасетов) — для pose-prior регуляризации;
|
||||
- **EMDB** (in-the-wild + global trajectory, 2,3 см точность) — для современного evaluation и world-grounded HPS;
|
||||
- **BEDLAM** (синтетика с SMPL-X, 271 body shape, clothing physics) — для масштабного pretrain с разнообразной антропометрией;
|
||||
- **HuMMan** (1000 субъектов, 500 действий, multi-modal incl. mobile camera) — потенциально fitness-близкие действия и edge-device capture distribution;
|
||||
- **MoYo** (yoga subset в AMASS/BEDLAM) — ближайший open-source домен к силовым pose-extremes.
|
||||
@@ -0,0 +1,113 @@
|
||||
|
||||
|
||||
|
||||
## Уточню метаданные.```markdown
|
||||
|
||||
## title: "A Short Note on the Kinetics-700 Human Action Dataset"
|
||||
title_ru: "Краткая заметка о датасете действий человека Kinetics-700" authors: [Carreira, Noland, Hillier, Zisserman] year: 2019 venue: "arXiv preprint (DeepMind technical note)" venue_tier: "preprint" doi: "arXiv:1907.06987" tags: [validation] relevance_to_smartrep: 2 direction: "—"
|
||||
|
||||
# Краткая заметка о датасете действий человека Kinetics-700
|
||||
|
||||
> ⚠️ **Дисклеймер.** Эта статья — короткий tech-note (≈4 страницы), не conference paper. PDF к промпту не приложен; анализ построен на arXiv:1907.06987 (v1 2019, v2 2022 с дисклеймером о переобучении), последующей заметке Smaira et al. (Kinetics-700-2020, arXiv:2010.10864) и страницах cvdfoundation/kinetics-dataset и DeepMind Kinetics. Где детали статьи нельзя верифицировать без полного PDF, помечено «не указано».
|
||||
|
||||
## TL;DR (≤3 предложения)
|
||||
|
||||
Kinetics-700 — третья итерация флагманского DeepMind action recognition бенчмарка, расширяющая предшественника Kinetics-600 со 600 до **700 классов человеческих действий**, по ≥600 YouTube-клипов на класс, каждый ~10 с, итого порядка **600+ тысяч клипов**. Сама статья — **«Short Note»** на 4 страницы: документирует процесс расширения, изменения класс-таксономии и базовые результаты I3D, без новых архитектур или методов. Главное практическое значение датасета — он стал **де-факто стандартным pretraining-источником** для всех современных video-backbone’ов (I3D, SlowFast, TimeSformer, MViT, VideoMAE, V-JEPA и др.).
|
||||
|
||||
## Проблема
|
||||
|
||||
Coarse-grained сценарий: распознавание действий «в дикой природе» по короткому видео с YouTube. К моменту 2019 г. уже существовали Kinetics-400 (2017) и Kinetics-600 (2018), и стало понятно, что (а) бóльшее число классов даёт больший запас разнообразия для transfer learning, (б) тщательная классовая инженерия (разделение похожих, удаление шумных) важна для качества бенчмарка. Авторы не решают новой алгоритмической проблемы — они расширяют ресурс.
|
||||
|
||||
## Гипотеза / вклад
|
||||
|
||||
- **+100 новых action-классов** (с 600 до 700), отобранных так, чтобы покрыть слабо представленные домены (новые виды спорта, профессиональные/бытовые действия, человек-объект и человек-человек взаимодействия).
|
||||
- Минимум **600 клипов на класс** (на момент v1; в Kinetics-700-2020 — минимум 700, среднее 926).
|
||||
- Опубликована **полная статистика** по классам (распределения, длины, ratio train/val/test).
|
||||
- Базовый baseline на **I3D** (Kinetics-стандартная архитектура от тех же авторов): фиксирует «нулевую отметку» производительности, относительно которой меряются все последующие архитектуры.
|
||||
- **Critical note (добавлен в v2 2022):** прямо предупреждение о небезопасности кросс-евалюации между версиями — например, validation set от K400 в значительной мере **попал в train set K700**, что приводит к утечке данных и неверным оценкам генерализации.
|
||||
|
||||
## Метод
|
||||
|
||||
Не применимо в традиционном смысле — это датасет-extension, не алгоритм. Pipeline сбора (наследует Kay et al. 2017 и Carreira et al. 2018):
|
||||
|
||||
1. Составление списка кандидат-классов из таксономий, словарей, спортивных и профессиональных глоссариев.
|
||||
2. Поиск по YouTube кандидат-видео под каждый класс.
|
||||
3. Crowdsourced верификация коротких клипов (~10 с) — каждому клипу присваивается **один** action-класс по правилу «человек на этом клипе делает X».
|
||||
4. De-duplication по URL и по перцептуальным хешам.
|
||||
5. Стандартное разделение train/val/test (примерно 545k / 35k / 70k для K700).
|
||||
|
||||
## Датасеты
|
||||
|
||||
|Датасет|Размер|Метрика|Результат (в самой статье)|
|
||||
|---|---|---|---|
|
||||
|**Kinetics-700 (v1, 2019)**|700 классов; ≥600 клипов на класс; ~545k train / 35k val / ~70k test (грубо); клипы ~10 c, YouTube|Top-1 / Top-5 accuracy|I3D-RGB: **~58 / ~80**% (порядок; точные числа в Tab. 2 — не указано без PDF)|
|
||||
|Kinetics-600 (предшественник)|600 классов|Top-1 / Top-5|I3D-RGB: ~71 / ~89% — **выше**, потому что классов меньше и они менее похожи|
|
||||
|Kinetics-400|400 классов|Top-1 / Top-5|I3D-RGB: ~72 / ~90%|
|
||||
|Kinetics-700-2020 (replenished)|700 классов; ≥700 клипов на класс|Top-1 / Top-5|Тот же датасет, дополненный новыми клипами для 123 редких классов|
|
||||
|
||||
## Сравнение с SOTA
|
||||
|
||||
В самом «Short Note» — сравнения с SOTA как такового нет, есть только I3D как самореференция. Однако **в широком сообществе** Kinetics-700 стал главным pretraining benchmark для video understanding. После 2020 г. на K700 получены: SlowFast (~79% top-1), TimeSformer (~80%), VideoMAE / V-JEPA (~80–84%), Internet-scale модели (~85%+). Главная методологическая ценность — в самом датасете как источнике весов, а не в баребоунах из этой статьи.
|
||||
|
||||
## Ограничения / слабости
|
||||
|
||||
- **Только тegи действий (one label per clip), без локализации, фаз, качества, ошибок** — это action recognition в самой простой формулировке.
|
||||
- **Известная утечка данных** между версиями K400 / K600 / K700 (validation одной версии часто попадает в train следующей) — в v2 2022 авторы явно об этом предупреждают.
|
||||
- **YouTube-link rot:** на момент 2020 г. порядка 5–15% клипов уже недоступны (удалены, приватизированы, заблокированы по гео); статья 2020-edition (Smaira et al.) специально посвящена этой проблеме.
|
||||
- **Нет видео-файлов в составе релиза** — только URL’ы и временны́е интервалы; пользователь сам скачивает с YouTube, что **юридически и операционно проблемно**.
|
||||
- **Сильный длинный хвост** (некоторые классы — 600 клипов, другие — 1000+), плюс заметная семантическая близость классов («yoga» vs «pilates», «squat» vs «lunge»).
|
||||
- **Нет демографической, скелетной, depth-, MoCap-разметки**. Чисто RGB.
|
||||
- **Нет видеостандартов:** разные клипы — разные разрешения, FPS, кодеки, аспект-ratio, степень pan/zoom, наложения логотипов соревнований.
|
||||
- **Coarse классы**: «bench pressing», «deadlifting», «snatch weight lifting», «clean and jerk», «squat», «lunge», «pull ups», «push up», «situp» в Kinetics есть, но **только как метки** — без указания подхода, фазы, корректности, отягощения.
|
||||
|
||||
## Релевантность SmartRep
|
||||
|
||||
- **Прямой контентной релевантности почти нет** — это generic action recognition, не AQA, не error detection.
|
||||
- **Главная роль для SmartRep — источник pretrained-весов** для video-backbone’а. Это **критично**: практически все современные video-модели для edge (MViT, MobileViViT, X3D, MoViNet) предобучаются на Kinetics-400/600/700, и эти веса — стандартный starting point.
|
||||
- **Tangentially полезны Kinetics-классы силового тренинга** (`bench pressing`, `deadlifting`, `snatch`, `clean and jerk`, `squat`, `lunge`, `push up`, `pull ups`, `situp`, `front raises`) как **источник weak labels** для:
|
||||
- **pseudo-labeling** in-the-wild фитнес-видео;
|
||||
- sub-domain pretraining (взять только эти классы, до-pretrain backbone на «strength-relevant» подвыборке Kinetics перед fine-tune на SmartRep-данных);
|
||||
- **negative mining** — кадры из «не-силовых» классов как «not exercise» negatives для классификатора активности.
|
||||
- **Чему стоит научиться у Kinetics:** прозрачность процесса сбора, документирование класс-таксономии, явное обсуждение data leakage между версиями (нам надо избегать утечек между фазами обучения SmartRep).
|
||||
- **С чем сравниваться:** не для нашей основной задачи (там бессмысленно), но при выборе backbone — Kinetics-pretrained веса должны быть baseline’ом, который мы пытаемся либо использовать как есть, либо превзойти узкоспециальным fitness-pretrain.
|
||||
|
||||
## Gap для нас
|
||||
|
||||
- **При этом не рассматривается** ни оценка качества выполнения, ни типизация ошибок, ни фазовая сегментация повторений — только «what action is happening in this 10-second clip».
|
||||
- **При этом не рассматривается** какая-либо modальность кроме RGB — нет skeleton, depth, IMU, MoCap, audio.
|
||||
- **При этом не рассматривается** фитнес-домен на нужном уровне детализации: «bench pressing» это **один лейбл**, а не разметка под каждое повторение, фазу или ошибку техники.
|
||||
- **При этом не рассматривается** edge-deployment: статья не даёт baseline’ов lightweight-моделей, не публикует latency / energy характеристик.
|
||||
- **При этом не рассматривается** биомеханика, физические ограничения, антропометрия — это чистый CV-бенчмарк.
|
||||
- **При этом не рассматривается** проблема демографических перекосов в YouTube-выборке (geo, gender, age, ethnicity баланс не анализировался автором).
|
||||
- **Ниша SmartRep-датасета:** Kinetics — это **broad pretrain pool**, поверх которого мы строим **specific evaluation domain** для силовых упражнений с per-rep error annotation, multi-view съёмкой и edge-метриками. Наш датасет НЕ конкурирует с Kinetics, а **встраивается в pipeline после него**.
|
||||
|
||||
## Ссылки на связанные статьи в литобзоре
|
||||
|
||||
- [[Kinetics-400]] (Kay et al., 2017) — оригинальный датасет, основа всей серии.
|
||||
- [[Kinetics-600]] (Carreira et al., 2018) — промежуточная версия.
|
||||
- [[Kinetics-700-2020]] (Smaira et al., 2020) — replenished-версия, рекомендуемая для pretrain.
|
||||
- [[I3D]] (Carreira & Zisserman, CVPR 2017) — родная архитектура серии Kinetics; бывший SOTA.
|
||||
- [[AVA-Kinetics]] (Li et al., 2020) — расширение Kinetics с локализованной spatio-temporal action detection.
|
||||
- [[Countix]] (Dwibedi et al., CVPR 2020) — repetition counting датасет, частично черпает из Kinetics; **прямо релевантен** счёту повторений в SmartRep.
|
||||
- [[FineGym]] — anti-thesis: маленькое количество классов, но fine-grained и иерархия. Контраст по дизайну.
|
||||
- [[NTU RGB+D 120]] — лабораторная альтернатива.
|
||||
- [[VideoMAE]], [[V-JEPA]], [[MViT]], [[X3D]], [[MoViNet]] — video-backbone’ы, которые pretrained на Kinetics; кандидаты на backbone в SmartRep.
|
||||
|
||||
## Код / данные
|
||||
|
||||
- Repo: https://github.com/cvdfoundation/kinetics-dataset (URLs + сплиты, поддерживается CVDF)
|
||||
- Датасет (URL’ы): https://www.deepmind.com/open-source/kinetics
|
||||
- Pretrained: множество (см. mmaction2, pyskl, PyTorchVideo, transformers — для I3D / SlowFast / X3D / TimeSformer / VideoMAE / MViT / MoViNet и др.)
|
||||
- Лицензия видео: каждое видео остаётся под YouTube-лицензией пользователя; аннотации DeepMind — **CC BY 4.0** (т.е. сами метки разрешены к коммерческому использованию, **но видео — нет** в общем случае). Для коммерческого продукта это означает, что **обучение на pretrained-весах с Kinetics — серая зона**: формального запрета у DeepMind нет, но source video — копирайтные.
|
||||
|
||||
## Цитата (BibTeX)
|
||||
|
||||
```bibtex
|
||||
@article{carreira2019kinetics700,
|
||||
author = {Carreira, Jo{\~a}o and Noland, Eric and Hillier, Chloe and Zisserman, Andrew},
|
||||
title = {A Short Note on the {Kinetics-700} Human Action Dataset},
|
||||
journal = {arXiv preprint arXiv:1907.06987},
|
||||
year = {2019},
|
||||
doi = {10.48550/arXiv.1907.06987}
|
||||
}
|
||||
```
|
||||
@@ -0,0 +1,358 @@
|
||||
|
||||
---
|
||||
|
||||
```yaml
|
||||
---
|
||||
dataset_name: "Fit3D"
|
||||
dataset_acronym: "Fit3D"
|
||||
paper_title: "AIFit: Automatic 3D Human-Interpretable Feedback Models for Fitness Training"
|
||||
paper_title_ru: "AIFit: Автоматические 3D-модели человеко-интерпретируемой обратной связи для фитнес-тренировок"
|
||||
authors: [Fieraru, Zanfir, Pirlea, Olaru, Sminchisescu]
|
||||
year: 2021
|
||||
venue: "CVPR"
|
||||
venue_tier: "A*"
|
||||
doi: "10.1109/CVPR46437.2021.00979"
|
||||
domain: [fitness_specific, pose_3d, aqa_benchmarks]
|
||||
subjects_count: 13 # в статье; на сайте fit3d.imar.ro заявлено расширение
|
||||
exercises_count: 37 # 37 в статье, 47 в последующих ссылках — см. комментарий в §1
|
||||
modalities: [rgb, mocap, smpl_x, ghum, 3d_scan]
|
||||
multi_view: true
|
||||
expert_error_annotation: false # есть reference-instructor, но нет таксономии ошибок
|
||||
license: "research-only (IMAR custom)"
|
||||
availability: "request"
|
||||
url: "https://fit3d.imar.ro/"
|
||||
relevance_to_smartrep: 4
|
||||
direction: "ABC" # ценен для всех трёх направлений, но неравномерно
|
||||
role_in_pipeline: [pretrain, eval, synthesis_source, baseline]
|
||||
transparency_score: "5/20"
|
||||
synthesis_potential: [smpl_rerender, mocap_retarget_amass, pseudo_labeling_source]
|
||||
tags: [fitness, strength_training, pose_estimation, aqa, mocap, multi_view, smpl, priv_license, research_only]
|
||||
priority: "HIGH"
|
||||
---
|
||||
```
|
||||
|
||||
### 1. МЕТАДАННЫЕ ДАТАСЕТА
|
||||
|
||||
Полное название — **Fit3D**, сопровождающая статья — «AIFit: Automatic 3D Human-Interpretable Feedback Models for Fitness Training». Авторы: Mihai Fieraru, Mihai Zanfir, Silviu-Cristian Pirlea, Vlad Olaru, Cristian Sminchisescu. Аффилиации: Institute of Mathematics of the Romanian Academy (IMAR); Cristian Sminchisescu также аффилирован с Lund University.
|
||||
|
||||
Публикация: CVPR 2021, страницы 9919–9928. Venue tier — A* (CORE). Количество цитирований по состоянию на апрель 2026 — порядка нескольких сотен по Semantic Scholar (точную цифру статья в открытом доступе не фиксирует). DOI/arXiv: CVPR 2021 proceedings, IEEE Xplore 10.1109/CVPR46437.2021.00979.
|
||||
|
||||
Отдельное замечание о версиях: в статье заявлено 13 субъектов и 37 упражнений с ~3 миллионами изображений, тогда как на официальном сайте fit3d.imar.ro значатся 1032 multi-view sequences и 1,246,487 3D-скелетов с GHUM & SMPL-X параметрами — это означает, что датасет был дополнен после 2021 года, и для актуальных экспериментов нужно опираться на сайт, а не на статью. Статус поддержки — активно развивается, но не через академические релизы с DOI. [МОЙ КОММЕНТАРИЙ: это первая тревожная примета для транспарентности — расширение датасета без отдельной версии публикации означает, что воспроизводимость экспериментов 2021 года сегодня нетривиальна.]
|
||||
|
||||
### 2. ПОЗИЦИОНИРОВАНИЕ ДАТАСЕТА
|
||||
|
||||
Fit3D закрывает специфический пробел в литературе: до него не существовало крупномасштабного датасета, сочетающего фитнес-домен с точным MoCap ground truth и multi-view RGB. Авторы явно противопоставляют его предыдущим работам, которые либо опирались на IMU/Kinect данные и ограничивались базовыми движениями (walking, step exercises), либо работали на 2D-позе без временного анализа. Принципиальная новизна — сочетание трёх свойств одновременно: фитнес-домен (а не общий pose), MoCap-точность (а не оценочные 3D-позы) и multi-view покрытие (а не одна камера). Гипотеза авторов о «правильном» датасете: для автоматической обратной связи по технике нужны и богатые 3D-данные (для извлечения angular features), и reference-демонстрации от сертифицированного инструктора — последнее принципиально, потому что статистический коуч сравнивает исполнение trainee именно с этим reference.
|
||||
|
||||
### 3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
|
||||
|
||||
#### 3.1. Общая статистика (по данным статьи 2021 г.)
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Общее число субъектов|13 (в том числе 1 лицензированный инструктор, 1 advanced, остальные — trainees различного уровня)|
|
||||
|Распределение по полу|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Распределение по возрасту|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Антропометрия (рост/вес)|рост 1.55–1.9 м, вес 60–110 кг|
|
||||
|Уровень подготовки|смешанный (fit / less trained), явной шкалы нет|
|
||||
|Число классов упражнений|37 (simple + compound: push-up, squat, burpees, clean-and-press, dumbbell biceps curls, lateral raise и др.)|
|
||||
|Общее число изображений|2,964,236 (2,278,572 train/val + 685,664 test)|
|
||||
|Общее число 3D-скелетов|2,964,236 (по одному на RGB-кадр), ≥1.2M после обновления|
|
||||
|Средняя длина клипа|НЕ УКАЗАНО В СТАТЬЕ (указано лишь «минимум 5 повторений на упражнение»)|
|
||||
|Train / val / test split|10 субъектов vs 3 субъекта (subject-level split); все упражнения присутствуют в обоих подмножествах|
|
||||
|Таймстемпы повторений|2964 аннотированных ручной разметкой|
|
||||
|
||||
#### 3.2. Модальности данных
|
||||
|
||||
|Модальность|Наличие|Разрешение / частота|Формат|Количество|
|
||||
|---|---|---|---|---|
|
||||
|RGB video|✓|НЕ УКАЗАНО В СТАТЬЕ (4 камеры)|видеофреймы|~3M кадров|
|
||||
|Depth|✗|—|—|—|
|
||||
|3D pose (MoCap)|✓|VICON, 12 motion cameras|skeleton + маркеры|2.96M скелетов|
|
||||
|SMPL-X / GHUM параметры|✓ (GHUM-fit по маркерам)|—|параметры body model|по одному на кадр|
|
||||
|3D-сканы субъектов|✓|—|mesh|по одному на субъекта|
|
||||
|IMU / EMG|✗|—|—|—|
|
||||
|Текстовые аннотации|✗ в самих данных, но грамматика фидбэка задана|—|—|—|
|
||||
|Аудио|✗|—|—|—|
|
||||
|
||||
#### 3.3. Съёмочная установка
|
||||
|
||||
12 motion-камер VICON, синхронизированных с 4 RGB-камерами; субъекты носят отражающие маркеры, закреплённые на коже или плотно прилегающей одежде. Используется спортивный инвентарь — 2 гантели, штанга, резиновая лента, низкая безногая скамья для облегчения упражнений со штангой. Калибровка в методе упоминается косвенно — авторы пишут, что при multi-view реконструкции применяют преобразование «assuming known camera parameters», то есть intrinsic и extrinsic известны, но их публикация в рамках датасета в статье явно не декларируется. Фон — контролируемая VICON-лаборатория (но не green screen, это важно для синтеза). Освещение постоянное, условия студийные. Заявленная точность VICON системой в статье не указывается (это общее знание: суб-миллиметровая точность маркеров при хорошей калибровке, типично 0.5–2 мм для body-скелета).
|
||||
|
||||
#### 3.4. Визуальные материалы из статьи
|
||||
|
||||
Статья содержит 7 рисунков. Для нашего анализа ключевые:
|
||||
|
||||
**Figure 1** — «AIFit overview» — blok-схема всей системы: видео → (a) 3D pose reconstruction → (b) repetition segmentation → (c) exercise modelling (active/passive features) → (d) statistical coach → (e) natural language feedback. Иллюстрирует не сам датасет, а pipeline, но показывает, как Fit3D включён в замкнутый loop оценки техники.
|
||||
|
||||
**Figure 2** — иллюстрация алгоритма сегментации повторений с примерами аффинных матриц. К датасету отношения почти не имеет.
|
||||
|
||||
**Figure 3** — «Exercise Modelling» — показывает разделение на active и passive feature sets через max-margin binary cut по energy. Интересно тем, что демонстрирует, как авторы извлекают smt-похожее на экспертную разметку автоматически, не привлекая тренеров.
|
||||
|
||||
**Figure 4** — пример измеренных различий между trainee и инструктором: угол наклона спины при squat и синхронизация рук при lateral raise. Это единственная визуализация, показывающая реальные данные Fit3D и их диагностическую ценность.
|
||||
|
||||
**Figure 6** — natural language feedback на реальных видео со смартфона, снятых вне лаборатории. Демонстрирует перенос out-of-distribution, но это уже про AIFit-систему, а не про Fit3D.
|
||||
|
||||
**Figure 7** — accuracy feedback при разных δ critic threshold.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Ключевого рисунка **capture setup diagram** — расположение 12 VICON-камер + 4 RGB-камер относительно субъекта, геометрия зоны съёмки, углы камер — в статье **нет**. Это серьёзный недостаток для практического воспроизведения и особенно критичный для SmartRep, где нам нужно понимать, какие ракурсы в датасете доминируют. Также отсутствуют: распределения по классам упражнений (гистограмма длительностей), демографические распределения, pose space coverage (например, t-SNE 3D-поз).
|
||||
|
||||
Вот как схематически можно было бы представить capture setup (реконструкция из текста):
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
subgraph Lab["VICON Lab"]
|
||||
direction TB
|
||||
S["Subject<br/>(markers + gym attire)"]
|
||||
Equip["Equipment:<br/>2 dumbbells, barbell,<br/>rubber band, low table"]
|
||||
S -.uses.-> Equip
|
||||
end
|
||||
MC1["VICON MoCap<br/>12 cameras"] --> S
|
||||
MC2["..."] --> S
|
||||
R1["RGB cam 1"] --> S
|
||||
R2["RGB cam 2"] --> S
|
||||
R3["RGB cam 3"] --> S
|
||||
R4["RGB cam 4"] --> S
|
||||
MC1 -.hw sync.-> R1
|
||||
S --> GT1["Raw markers"]
|
||||
GT1 --> GT2["3D skeleton<br/>(2.96M poses)"]
|
||||
GT1 --> GT3["GHUM/SMPL-X<br/>params (fit)"]
|
||||
```
|
||||
|
||||
### 4. МЕТОДОЛОГИЯ СБОРА ДАННЫХ
|
||||
|
||||
#### 4.1. Рекрутинг субъектов
|
||||
|
||||
Как рекрутировали 13 субъектов — в статье явно не указано. Критерии отбора / исключения не описаны. Компенсация — не указано. IRB / ethics board approval — не упомянуто, но это может быть следствием practice того времени: CVPR 2021 не требовал ethics statement обязательно. Явное смещение: один лицензированный фитнес-инструктор (играет роль reference) и один «advanced» — это означает, что эталон в датасете задан узким образом (конкретный человек, конкретная школа техники), а остальные 11 — trainees разного уровня. Для SmartRep это создаёт риск: вся «правильная техника» в датасете определяется одним человеком.
|
||||
|
||||
#### 4.2. Протокол записи
|
||||
|
||||
Инструктаж субъектов: в статье говорится лишь, что «каждого субъекта просили выполнить каждое упражнение минимум 5 раз». Была ли демонстрация со стороны инструктора перед trainees, рандомизация порядка упражнений, контроль за нагрузкой (какой вес на штанге, сколько повторений на отказ) — ничего не указано. Штанга, гантели, резиновая лента упомянуты как инвентарь, но конкретные веса не документированы. Для силовых упражнений это критический пробел: техника жима 40 кг и 120 кг биомеханически различна.
|
||||
|
||||
#### 4.3. Качественный контроль
|
||||
|
||||
Отбраковка записей с артефактами — не указано. Верификация MoCap (ручная коррекция vs auto-cleaning) — не указано. Процент забракованных/исправленных данных — не указано.
|
||||
|
||||
### 5. ПРОТОКОЛ АННОТАЦИИ
|
||||
|
||||
#### 5.1. Типы меток
|
||||
|
||||
В Fit3D присутствуют следующие уровни разметки: класс упражнения (категориальный), 2964 таймстемпа границ повторений (временная), 3D-скелеты (автоматически из MoCap), GHUM/SMPL-X параметры (автоматически через фиттинг body model). **Квалитативные метки ошибок техники отсутствуют** — вместо них авторы использовали статистический коуч, который выводит ошибки автоматически, сравнивая signature trainee с signature инструктора через active/passive features. То есть вместо экспертной разметки ошибок у нас есть **имплицитная** «разметка» через reference-инструктора плюс автоматический алгоритм.
|
||||
|
||||
#### 5.2. Процедура разметки
|
||||
|
||||
3D-позы — автоматически из VICON через фиттинг GHUM. Таймстемпы повторений — ручная разметка (2964 штуки), но сколько аннотаторов, кто они, как разрешались разногласия — не указано. Межаннотаторское согласие не отчитано. Инструкции аннотаторам не опубликованы. Инструменты разметки не упомянуты. Время на разметку — не указано.
|
||||
|
||||
#### 5.3. Валидация разметки
|
||||
|
||||
Golden set, перекрёстная проверка экспертом, статистика ошибок разметки — всё это в статье отсутствует.
|
||||
|
||||
### 6. ДОСТУПНОСТЬ И ЛИЦЕНЗИРОВАНИЕ
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Лицензия|custom research-only (IMAR terms)|
|
||||
|Коммерческое использование|запрещено|
|
||||
|Необходимость запроса|требуется запрос доступа через официальный сайт каждого датасета IMAR|
|
||||
|Способ получения|форма на fit3d.imar.ro + письмо авторам|
|
||||
|Размер загрузки|НЕ УКАЗАНО В СТАТЬЕ (оценочно десятки-сотни ГБ из-за ~3M RGB-кадров)|
|
||||
|Хостинг|институциональный сервер IMAR|
|
||||
|Задокументирован ли процесс загрузки|частично — через GitHub `sminchisescu-research/imar_vision_datasets_tools`|
|
||||
|API / dataloader|официальный репозиторий imar_vision_datasets_tools с Jupyter-нотбуками для визуализации и валидации формата, но полноценного PyTorch Dataset-wrapper в readme не заявлено|
|
||||
|Актуальность ссылок|активна (апрель 2026): fit3d.imar.ro работает|
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Практическая применимость: realistic lead time на получение доступа — от нескольких дней до нескольких недель, поскольку это запрос через форму к живому researcher. Лицензия исключает коммерческое использование — это блокирует прямое использование весов, обученных на Fit3D, в продуктовом SmartRep, хотя не блокирует использование датасета для сравнения в академической публикации.
|
||||
|
||||
### 7. ДЕМОГРАФИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ ПЕРЕКОСЫ
|
||||
|
||||
#### 7.1. Демографические перекосы
|
||||
|
||||
Выборка 13 человек заведомо мала для статистической репрезентативности. Распределение по полу, возрасту, этносу в статье не приведено. Антропометрический диапазон рост 1.55–1.9 м / вес 60–110 кг покрывает широкий спектр, но внутри 13 субъектов распределение почти наверняка неравномерное. Физическая подготовленность смещена к людям, готовым делать 37 фитнес-упражнений — это исключает пожилых, людей с травмами, сильно нетренированных.
|
||||
|
||||
#### 7.2. Съёмочные перекосы
|
||||
|
||||
Pose coverage — 37 упражнений, включая yoga, push-ups, barbells, dumbbells — покрывает типичные гимнастические и силовые позы, но не включает тяжёлые компаундные движения типа становой тяги со значительным весом или низкий присед пауэрлифтерского типа. Viewpoint coverage — 4 камеры, конкретная геометрия не раскрыта, поэтому неясно, покрыты ли все 360° или камеры стоят в одной плоскости. Environmental — только VICON-лаборатория; «реальные» видео на Figure 6 показаны только для демонстрации inference, но не входят в Fit3D. Temporal — как организованы сессии (один день / несколько дней, fatigue effects), не указано.
|
||||
|
||||
#### 7.3. Аннотационные перекосы
|
||||
|
||||
Class imbalance между simple и compound exercises, между барбелл-тренировками и yoga — не отчитан. Длины клипов по классам — не отчитаны. Перекос «хорошее/плохое» исполнение: один инструктор-reference против 11 trainees, при этом все 11 считаются «потенциально содержащими ошибки». Это означает, что объём «правильного» эталона в датасете **в разы меньше** объёма «ошибочных» исполнений.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Для SmartRep критичны два перекоса: отсутствие становой тяги / тяжёлых компаундных со штангой и отсутствие информации о viewpoint-геометрии камер. Первое означает, что Fit3D покрывает «фитнес», но не «силовой тренинг» в строгом понимании. Второе означает, что нельзя надёжно использовать Fit3D для обучения моделей, устойчивых к произвольному ракурсу съёмки смартфоном.
|
||||
|
||||
### 8. ИСПОЛЬЗОВАНИЕ В НАУЧНОМ СООБЩЕСТВЕ
|
||||
|
||||
#### 8.1. Модели, обученные на датасете
|
||||
|
||||
В самой статье авторы обучают MubyNet (fine-tune с Human3.6M) и сравнивают со SPIN:
|
||||
|
||||
|Метод|Год|Тип|MPJPE SV (мм) ↓|MPJPE MV (мм) ↓|Примечание|
|
||||
|---|---|---|---|---|---|
|
||||
|SPIN|2019|regression + optim|89.5|67.6|без fine-tune|
|
||||
|MubyNet|2018|multi-task DNN|90.4|71.9|без fine-tune|
|
||||
|**MubyNet-FT**|2021|same, FT on Fit3D|**52.4**|**45.4**|fine-tuned 5 эпох|
|
||||
|
||||
Post-hoc, в 2022–2025 гг. Fit3D использовали как evaluation benchmark для обобщения pose-моделей: Fit3D используется в эвалюации методов 3D pose estimation (AugLift и подобные) как датасет с «значительными self-occlusions»; также упоминается в работах по canonicalization 2D-3D pose mappings как complementary domain к Human3.6M и MPI-INF-3DHP.
|
||||
|
||||
Официального leaderboard со строгим ранжированием методов на Fit3D нет. Большинство работ используют его как secondary benchmark. Организаторы выпустили evaluation server для Fitness Exercises Reconstruction challenge, но широкого adoption он не получил.
|
||||
|
||||
#### 8.2. Метрики оценки
|
||||
|
||||
Стандартные метрики в статье: MPJPE (с/без Procrustes), IoU для repetition segmentation, OBO и MAE для repetition counting, accuracy при разных critic thresholds для feedback correctness. MPJPE адекватна для pose, IoU для сегментации адекватна. Что **отсутствует** и следовало бы: per-exercise breakdown MPJPE (чтобы увидеть, на каких упражнениях модели проваливаются), per-subject breakdown (для анализа generalization gap), метрика устойчивости к occlusions (Fit3D явно позиционируется как датасет с self-occlusions, но специальный hard subset не выделен).
|
||||
|
||||
#### 8.3. Типичные ошибки SOTA на этом датасете
|
||||
|
||||
Авторы сами показывают: fine-tuned MubyNet достигает 52.4 мм MPJPE single-view без Procrustes, что существенно хуже аналогичной метрики на Human3.6M. Это означает, что фитнес-позы действительно находятся вне распределения обычных pose-датасетов. Failure mode analysis не опубликован — какие именно позы (squat-bottom, push-up-lockout, overhead press) проваливаются больше, из статьи не видно.
|
||||
|
||||
### 9. СРАВНЕНИЕ С АЛЬТЕРНАТИВНЫМИ ДАТАСЕТАМИ
|
||||
|
||||
|Параметр|Fit3D|Human3.6M|FLAG3D|Fitness-AQA|AHA-3D|
|
||||
|---|---|---|---|---|---|
|
||||
|Fitness-specific|✓|✗|✓|✓|частично (сеньоры)|
|
||||
|Число субъектов|13|11|НЕ УКАЗАНО|—|—|
|
||||
|Число упражнений|37|17 сценариев|60 activities|фитнес-квалити|базовые движения|
|
||||
|MoCap GT|✓ (VICON)|✓|✓ (частично)|✗|Kinect|
|
||||
|Multi-view|✓ (4 RGB + 12 MoCap)|✓ (4 cam)|частично|✗|✗|
|
||||
|Язык/текст аннотаций|✗|✗|✓ (language-annotated)|quality scores|labels|
|
||||
|Технические ошибки размечены|✗ (автоматически через signature)|✗|✗|quality only|✗|
|
||||
|SMPL-X параметры|✓ (+GHUM)|✓ (через MoSh)|✓|✗|✗|
|
||||
|Лицензия|research-only|research-only|research-only|research-only|—|
|
||||
|
||||
### 10. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
|
||||
|
||||
|Аспект|Оценка (1–5)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Силовые упражнения представлены|3|есть push-up, squat, burpees, dumbbell работа; но нет тяжёлой штанги, становой, пауэрлифтерской работы|
|
||||
|Multi-view покрытие|3|4 RGB-камеры, но геометрия не публикована; синхронизация подтверждена|
|
||||
|Антропометрическое разнообразие|2|13 человек, пол/возраст/этнос не отчитаны; диапазон рост/вес приличный|
|
||||
|Экспертная разметка ошибок техники|1|её нет; есть только reference-инструктор + автоматический signature|
|
||||
|MoCap / IMU ground truth|5|VICON-точность, ~3M синхронизированных кадров|
|
||||
|Разрешение / FPS|—|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Доступность / лицензия|3|research-only + запрос; пригодно для академии, не для продукта|
|
||||
|Совместимость с edge-pipeline|3|размер большой, dataloaders частичные, но форматы стандартные|
|
||||
|
||||
Для направления **🅱 (biomechanics-aware pose estimation)** Fit3D наиболее ценен — это один из немногих публичных датасетов с точным 3D GT на фитнес-позах, и его можно использовать для fine-tune SOFIA/MambaVision-подобных backbone. Для **🅰 (fine-grained error detection)** ценность средняя — есть reference, но нет таксономии ошибок. Для **🅲 (few-shot adaptation)** ценность косвенная — subject-level split позволяет тестировать leave-one-subject-out, но 13 субъектов — малая выборка.
|
||||
|
||||
Роль в пайплайне SmartRep:
|
||||
|
||||
- **Pretrain/finetune** 3D pose-head: да, как second-stage fine-tuning после COCO/Human3.6M
|
||||
- **Evaluation**: да, как fitness-specific бенчмарк наряду с FLAG3D
|
||||
- **Baseline training**: да, воспроизвести AIFit-like signature метод как baseline для нашего error-detection pipeline
|
||||
- **Pseudo-labeling**: умеренно — можно обучить pose-teacher на Fit3D и использовать его для разметки in-the-wild видео
|
||||
- **Synthesis-source**: высокая ценность (см. §11)
|
||||
|
||||
Риски при использовании: (а) domain gap с силовым тренингом под нагрузкой; (б) research-only лицензия блокирует прямое использование обученных весов в продукте; (в) отсутствие информации о геометрии камер ограничивает использование multi-view supervision.
|
||||
|
||||
### 11. ПОТЕНЦИАЛ ДЛЯ DATA AUGMENTATION / SYNTHESIS
|
||||
|
||||
#### 11.1. Параметрические модели тела
|
||||
|
||||
Fit3D содержит **GHUM и SMPL-X параметры**, полученные фиттингом body model к MoCap-маркерам. Это даёт полный набор (β shape + θ pose) для ~3M кадров. Значит, возможно полноценное re-rendering через SMPL/GHUM renderer с произвольным текстурированием (одежда), освещением и фоном. Meshes получаются детерминированно из параметров.
|
||||
|
||||
#### 11.2. MoCap как источник ре-таргетинга
|
||||
|
||||
Формат MoCap — проприетарный JSON/NPZ через `imar_vision_datasets_tools`; прямой совместимости с AMASS-форматом (SMPL-H) статья не декларирует, но SMPL-X параметры позволяют ре-таргетинг на любые SMPL-family скелеты с потерями на уровне топологии рук/лица. Это означает, что MoCap Fit3D можно использовать для drive-ания синтетических аватаров в Blender / Unity / Unreal с целью генерации синтетического видео фитнес-упражнений под разными антропометриями (β shape variation), что частично решает проблему bias к конкретным 13 субъектам.
|
||||
|
||||
#### 11.3. Multi-view novel view synthesis
|
||||
|
||||
4 камеры — это минимальное покрытие для NeRF/Gaussian Splatting на уровне subject-level. Если камеры расположены по периметру (что вероятно для VICON-лаборатории), можно получить umsatz 360°, но плотность обучающих рёбер будет низкой, и NeRF-реконструкция будет страдать от артефактов в промежуточных ракурсах. Более практичный путь — использовать 4 реальных ракурса как supervision для multi-view consistency loss при обучении pose-модели, без попытки NeRF-синтеза.
|
||||
|
||||
#### 11.4. Композитные аугментации
|
||||
|
||||
Background replacement **проблематичен**: VICON-лаборатория — не green screen, и нет готовых segmentation masks или alpha mattes (в статье не упомянуто). Однако SMPL-X + camera params позволяют рендерить силуэт субъекта и делать mask-free compositing через per-pixel classification (тело vs фон) — это стандартная практика. Relighting через нормали SMPL-X возможен. Экипировка (штанга, гантели) **не моделируется** параметрически — это означает, что при synthesis-подходе придётся либо накладывать 3D-модели спортинвентаря отдельно, либо терять этот аспект полностью.
|
||||
|
||||
#### 11.5. Pseudo-labeling для внешних данных
|
||||
|
||||
Авторы **сами доказали** высокий pseudo-labeling потенциал: MubyNet-FT на Fit3D достигает 52.4 мм single-view MPJPE, что делает его приемлемым teacher для разметки unlabeled fitness-видео. Figure 6 в статье демонстрирует перенос на in-the-wild smartphone-видео без fine-tune. Это означает, что Fit3D — хороший источник pose-teacher для последующего SSL на YouTube-фитнес-видео.
|
||||
|
||||
#### 11.6. Композиция с другими датасетами
|
||||
|
||||
SMPL-X параметры формально совместимы с AMASS, но потребуется конверсия и проверка скелетной топологии. Совместимость с FLAG3D — в обоих есть фитнес-домен и частично MoCap, но форматы разные (IMAR tools vs FLAG3D tools). Объединённое обучение возможно, но потребует engineering-работы на уровне dataloaders.
|
||||
|
||||
#### 11.7. Риски синтеза
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Domain gap real→synthetic значителен: реальное видео в зале имеет motion blur, компрессионные артефакты, переменное освещение — всего этого в SMPL-X rerender нет. Риск утечки смещений: если 13 субъектов в Fit3D — преимущественно европейского происхождения, атлетичные, то ре-таргетинг MoCap на β-варианты других типажей создаст аватары, но не изменит **pattern движения** — это остаётся тем же «как делают эти 13 человек». Главная потеря — отсутствие штанги в SMPL-X: для SmartRep, где штанга биомеханически меняет технику, synthesis без экипировки даёт принципиально обеднённый сигнал.
|
||||
|
||||
**Итоговая оценка синтетического потенциала: СРЕДНИЙ-ВЫСОКИЙ.** Обоснование: SMPL-X + 4 камеры + доказанная pseudo-labeling способность делают Fit3D хорошим source-датасетом для расширения, но отсутствие экипировки и VICON-лабораторный фон ограничивают реалистичность результата для силового домена.
|
||||
|
||||
### 12. GAP-АНАЛИЗ ДЛЯ НАШЕГО ДАТАСЕТА
|
||||
|
||||
Fit3D покрывает фитнес-упражнения с точным MoCap, но **не покрывает силовой тренинг под значительной нагрузкой со штангой** — нет жима лёжа, становой тяги, пауэрлифтерского приседа. Это открывает нишу для SmartRep-dataset: **силовой тренинг со штангой и гантелями тяжёлого веса, с размеченными тренерами типами ошибок техники**.
|
||||
|
||||
Gap по осям:
|
||||
|
||||
1. **Упражнения**: Fit3D имеет push-up, squat (bodyweight), dumbbell curls — при этом **не рассматривается** жим лёжа, становая тяга, пауэрлифтерский присед, тяга в наклоне, армейский жим под нагрузкой. Наш вклад: силовая «большая пятёрка».
|
||||
2. **Ошибки техники**: Fit3D автоматически извлекает signature-отклонения, но **не рассматривает** таксономию named errors (колени внутрь, спина округляется, потеря баланса, butt wink в приседе). Наш вклад: экспертная таксономия.
|
||||
3. **Антропометрия**: 13 субъектов без публикации демографии — **не рассматривается** систематическое покрытие пол/возраст/этнос/подготовка. Наш вклад: стратифицированная выборка.
|
||||
4. **Условия съёмки**: только VICON-лаборатория, нет реальных залов. Наш вклад: in-the-gym видео с естественным освещением, шумом, другими людьми в кадре.
|
||||
5. **Экипировка**: штанга и гантели есть как инвентарь, но без систематизации по весам. Наш вклад: документированная прогрессия нагрузок.
|
||||
6. **Экспертная разметка**: только 1 инструктор-reference, нет мульти-экспертного согласия. Наш вклад: 3+ сертифицированных тренера с Cohen's κ.
|
||||
|
||||
**Пост-аугментационный gap**: даже применяя к Fit3D SMPL-X rerender и ре-таргетинг, мы **не можем** закрыть отсутствие таксономии named errors (synthesis не производит labels, которых нет в source), отсутствие штанги (SMPL-X не имеет equipment-канала), отсутствие inter-annotator agreement (один инструктор не становится пятью через rerender). Эти пробелы принципиально неустранимы без нового сбора — что и формирует уникальность SmartRep-dataset.
|
||||
|
||||
### 13. КРИТИЧЕСКАЯ ОЦЕНКА
|
||||
|
||||
#### 13.1. Transparency score
|
||||
|
||||
|#|Ось транспарентности|Оценка|Обоснование|
|
||||
|---|---|:-:|---|
|
||||
|1|Collection protocol disclosed|1|упомянуты VICON, 12 камер, 4 RGB, инвентарь, «минимум 5 повторений»; рекрутинг и инструктаж не описаны|
|
||||
|2|Capture setup specifications|1|система VICON и число камер указаны, но модели камер, FPS, resolution, точность MoCap — не указаны|
|
||||
|3|Intrinsic/extrinsic калибровка опубликована|1|косвенно упомянута («known camera parameters»), но явной публикации параметров в статье нет|
|
||||
|4|Demographics breakdown|1|рост 1.55–1.9 м, вес 60–110 кг указаны; пол/возраст/этнос — нет|
|
||||
|5|Annotation instructions опубликованы|0|инструкции к разметке 2964 таймстемпов не опубликованы|
|
||||
|6|Inter-annotator agreement|0|не отчитан; неизвестно даже число аннотаторов|
|
||||
|7|Rejection / cleaning статистика|0|ничего о проценте отбракованных данных|
|
||||
|8|IRB / ethics approval явно упомянут|0|в статье не упоминается|
|
||||
|9|Datasheet for Datasets (Gebru 2021) или эквивалент|0|отсутствует|
|
||||
|10|Known limitations изложены|1|ограниченно упомянуты («distribution gap with Human3.6M»), но отдельной секции limitations нет|
|
||||
|
||||
**Итоговый Transparency Score: 5/20 (opaque)**
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Интерпретация: Fit3D формально opaque по Gebru-фреймворку. Это нормально для датасетов 2021 года — их строили до того, как datasheet практики стали стандартом. Но для нас как пользователей это означает: все важные детали (геометрия камер, протокол рекрутинга, IRB, inter-annotator agreement по таймстемпам) придётся уточнять прямой перепиской с авторами. Особенно критично отсутствие публикации calibration parameters — это ограничивает multi-view экспериментирование. И отсутствие IRB в 2026 году — серьёзный юридический риск при цитировании датасета в публикации, идущей на review в journals с строгими ethics требованиями (Nature, IEEE TPAMI); для CVPR/ICCV пока допустимо.
|
||||
|
||||
#### 13.2. Peer-review оценка
|
||||
|
||||
|Критерий|Оценка (1–10)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Новизна / уникальность|8|первый крупномасштабный fitness + MoCap|
|
||||
|Размер и покрытие|7|~3M кадров, но только 13 субъектов|
|
||||
|Качество разметки|7|VICON-точность для 3D; таймстемпы — weak|
|
||||
|Методологическая строгость сбора|5|множество деталей не раскрыто|
|
||||
|Документация (синхронизировано с 13.1)|3|transparency 5/20 означает низкую документированность|
|
||||
|Воспроизводимость|6|код и datasets tools есть, но exp. настройки неполны|
|
||||
|Этическая строгость|3|IRB не упомянут, consent не документирован|
|
||||
|Отсутствие перекосов|4|13 субъектов, reference — один инструктор|
|
||||
|Полезность для сообщества|9|активно используется как secondary benchmark|
|
||||
|Синтетическая расширяемость|8|SMPL-X + multi-view + proven pseudo-label|
|
||||
|
||||
**Общая рекомендация: Adopt with caveats.** Fit3D — необходимая точка сравнения для любой работы по fitness pose, но использовать его как единственный benchmark недостаточно из-за ограничений репрезентативности и транспарентности.
|
||||
|
||||
### 14. EXECUTIVE SUMMARY
|
||||
|
||||
1. Fit3D — первый крупномасштабный fitness-датасет с точным VICON MoCap и multi-view RGB, поддерживающий 37 упражнений от 13 субъектов для задач 3D pose reconstruction, repetition segmentation и формирования обратной связи по технике.
|
||||
2. **Самая сильная сторона** — сочетание ~3M синхронизированных RGB-MoCap кадров с GHUM/SMPL-X параметрами и reference-исполнением от лицензированного инструктора, что делает Fit3D самым богатым публичным источником точной 3D разметки для фитнес-домена.
|
||||
3. **Самая слабая сторона** — отсутствие экспертной таксономии ошибок техники и смещение выборки к одному инструктору как единственному эталону «правильного» исполнения.
|
||||
4. **Transparency Score 5/20** (opaque): большинство протокольных деталей (рекрутинг, IRB, inter-annotator agreement, калибровка камер) придётся уточнять через прямой контакт с авторами.
|
||||
5. **Синтетический потенциал — средне-высокий**: SMPL-X параметры позволяют полноценный rerender и ре-таргетинг, но отсутствие экипировки (штанга, гантели как 3D-модели) ограничивает реалистичность синтеза для силового домена.
|
||||
6. **Роль в пайплайне SmartRep**: pretrain + evaluation + synthesis-source + baseline. В качестве primary fine-tune датасета непригоден из-за лицензии (research-only).
|
||||
7. **Главный gap для нашего датасета** — силовой тренинг со штангой под значительной нагрузкой с экспертной мульти-аннотаторской разметкой named errors (butt wink, knee cave, bar path deviation) и документированной демографией. Этот gap принципиально неустраним через synthesis на базе Fit3D.
|
||||
8. **Лицензионный статус**: research-only + запрос через форму, коммерческое использование запрещено.
|
||||
9. **Приоритет для SmartRep: ВЫСОКИЙ** — как reference-бенчмарк и secondary source для обучения. Но не primary.
|
||||
10. **Связанные датасеты для изучения следом**: FLAG3D (CVPR 2023, language-annotated 60 activities), Fitness-AQA (Parmar 2022, quality focus без pose), SportsPose (Ingwersen 2023, используется вместе с Fit3D в pose generalization работах).
|
||||
|
||||
---
|
||||
|
||||
## Мета-комментарий: как промпт показал себя на реальном материале
|
||||
|
||||
Теперь о том, что выяснилось при прогоне, и что стоит подправить в промпте.
|
||||
|
||||
**Transparency score работает хорошо и даёт неочевидный результат.** Fit3D, который все считают эталонным fitness-датасетом, набрал 5/20 — и это не bug метрики, а честный сигнал о состоянии области. Большинство датасетов дочекьюбовой эпохи (до 2021–2022) будут набирать 4–8/20 по этому фреймворку, потому что datasheet-практики появились в широком обиходе только после Gebru 2021. Для твоего литобзора это хорошая новость: ты сможешь построить сводку «Transparency Scores в области fitness-датасетов: медиана 6/20, что ниже стандартов general ML community» и использовать её как аргумент в пользу собственного датасета с полным datasheet-ом. Я бы ничего не менял в этой секции — она делает ровно то, что должна.
|
||||
|
||||
**Synthesis potential тоже сработал, но с нюансом.** Секция 11.3 про NeRF/Gaussian Splatting у Fit3D дала туманный ответ (4 камеры — минимум, неясно, хватит), а у датасетов с 1 камерой она будет пуста. Это означает, что подсекция 11.3 полезна только для сильно multi-view датасетов (Human3.6M, Fit3D, CMU Panoptic); для большинства датасетов она будет постоянно «не применимо». Это не ломает промпт, но стоит понимать, что подсекции 11.1 (SMPL) и 11.5 (pseudo-labeling) — универсальные и ценные, а 11.3 — нишевая. Можно оставить как есть: даже «не применимо» — полезная информация, она сигнализирует, что датасет не multi-view.
|
||||
|
||||
**Где промпт провис на этой конкретной статье.** Fit3D — не чистый датасет-пейпер: статья называется «AIFit», и ~50% текста посвящено системе (pipeline, repetition segmentation algorithm, natural language feedback grammar), а не самому датасету. Секции 4–5 промпта, требующие детальной методологии сбора и аннотации, получили много «НЕ УКАЗАНО В СТАТЬЕ» — потому что авторы просто не уделили этому места, им было интереснее описывать AIFit. Это не дефект промпта, но практический урок: для гибридных «dataset+method» пейперов имеет смысл добавить **в самое начало промпта** дисклеймер: «Если статья гибридная (описывает и метод, и датасет), сфокусируйся только на дата-части, но отметь этот факт в §2». Иначе reader карточки может подумать, что Fit3D хуже документирован, чем есть на самом деле — возможно, методология сбора подробно описана в сопроводительных материалах сайта, а не в CVPR-версии.
|
||||
|
||||
**Секция 9 (сравнение с альтернативными датасетами) требует доступа к знанию о других датасетах.** Я сравнил Fit3D с Human3.6M, FLAG3D, Fitness-AQA, AHA-3D — но только потому, что они были в твоём must-read списке. Если анализируемая статья описывает датасет, о котором я ничего не знаю, и сопоставимых датасетов из must-read нет, эта секция станет проблемой. Возможное улучшение: добавить в промпт инструкцию «если прямые конкуренты неочевидны, проведи web search для поиска 2–3 ближайших датасетов». Но это усложнит рабочий процесс, и, возможно, лучше оставить как есть — ты сам лучше поймёшь, когда стоит дать промпту подсказку.
|
||||
|
||||
**Executive Summary разросся до 10 пунктов и стал немного избыточным.** Пункты 4 (Transparency) и 5 (Synthesis) — ценные, но 2 и 3 (сильная/слабая стороны) и 7 (gap) частично повторяют их в более общей формулировке. Можно оставить как есть для полноты карточки, но если захочешь сделать совсем лаконичную версию — 7 пунктов из исходного варианта достаточно.
|
||||
|
||||
**Общий вердикт.** Промпт отрабатывает. Новые секции (11 и 13.1) интегрировались без швов и дали именно тот тип информации, который они должны были дать. Единственная проблема, которая проявилась — гибридный характер самой статьи, а не промпта. Я бы попробовал его теперь на чисто-датасетной статье (например, FLAG3D CVPR 2023, где структура пейпера явно data-centric) — там секции 4–5 должны наполниться полноценнее, и мы увидим, как промпт ведёт себя на «своей территории». Если хочешь, могу прогнать.
|
||||
@@ -0,0 +1,509 @@
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
## dataset_name: "AMASS — Archive of Motion Capture as Surface Shapes"
|
||||
dataset_acronym: "AMASS" paper_title: "AMASS: Archive of Motion Capture as Surface Shapes" paper_title_ru: "AMASS: Архив захвата движения в виде поверхностных форм" authors: ["Mahmood N.", "Ghorbani N.", "Troje N.F.", "Pons-Moll G.", "Black M.J."] year: 2019 venue: "ICCV 2019, pp. 5442–5451" venue_tier: "A* (top-tier CV conference)" doi: "10.1109/ICCV.2019.00554" arxiv_id: "1904.03278" domain: ["motion_generic", "pose_3d", "synthesis_source"] subjects_count: 344 exercises_count: "11265 motions, 15 sub-datasets (нет фитнес-таксономии)" modalities: ["smpl_h_pose", "smpl_shape_beta", "dmpl_softtissue", "global_translation", "no_rgb", "no_depth"] multi_view: false expert_error_annotation: false license: "Max Planck non-commercial research-only (composite — наследуются лицензии 15+ суб-датасетов)" availability: "Click-through registration на amass.is.tue.mpg.de (gated)" url: "https://amass.is.tue.mpg.de/" relevance_to_smartrep: 4 direction: "B (motion/pose prior, biomechanics) + косвенно A через synthesis-deriviatives" role_in_pipeline: ["motion_prior", "synthesis_source", "pseudo_label_regularizer", "NOT_visual_pretrain"] transparency_score: "11/20" synthesis_potential: ["smpl_rerender", "mocap_retarget_amass_native", "background_swap", "pseudo_labeling_source", "BEDLAM_AGORA_MoYo_basis"] tags: ["#dataset", "#motion-capture", "#smpl-h", "#mosh-plus-plus", "#meta-dataset", "#motion-prior", "#pretrain-backbone", "#synthesis-foundation", "#no-rgb", "#no-strength-exercises", "#research-only"] priority: "ВЫСОКИЙ (как foundational source для синтетики и motion prior)"
|
||||
|
||||
# AMASS как foundation motion supercompendium — рецензия для SmartRep
|
||||
|
||||
**BLUF.** AMASS — это не «датасет» в обычном смысле, а **унификатор**: 15 разрозненных optical-mocap корпусов (CMU, KIT, BMLrub, HDM05, MPI Limits, TotalCapture, ACCAD, …), приведённых к единому SMPL+H представлению через метод MoSh++ — 344 субъекта, 11 265 motions, ~40 часов записи. Прямо для SmartRep AMASS бесполезен (нет RGB, нет силовых упражнений с инвентарём, нет разметки ошибок), но **косвенно — это самый ценный motion-актив в области**: он лежит в основе VPoser, мотив-дискриминатора VIBE, обучения декодеров WHAM, синтетических корпусов BEDLAM/AGORA/MoYo и текстовых датасетов BABEL/HumanML3D. Лицензия — non-commercial research-only с композитным наследием 15 суб-лицензий. Рекомендация: **Adopt** в роли (а) motion/pose prior для регуляризации, (б) основы для синтетического рендеринга в BEDLAM-стиле, (в) композиции с ближайшими fitness-релевантными суб-датасетами (TotalCapture, BMLrub/MoVi, HDM05, MPI Limits) и MoYo-extension для extreme-pose покрытия.
|
||||
|
||||
---
|
||||
|
||||
## 1. Метаданные датасета
|
||||
|
||||
|Поле|Значение|
|
||||
|---|---|
|
||||
|Полное название|Archive of Motion Capture as Surface Shapes|
|
||||
|Акроним|AMASS|
|
||||
|Статья|«AMASS: Archive of Motion Capture as Surface Shapes»|
|
||||
|Авторы|Naureen Mahmood¹, Nima Ghorbani², Nikolaus F. Troje³, Gerard Pons-Moll⁴, Michael J. Black²|
|
||||
|Аффилиации|¹ Meshcapade GmbH; ² MPI for Intelligent Systems (Tübingen); ³ York University (Toronto); ⁴ MPI for Informatics (Saarbrücken)|
|
||||
|Год|2019 (arXiv 5 апр 2019, ICCV окт 2019, Сеул)|
|
||||
|Venue|ICCV 2019 (Proceedings of the IEEE/CVF International Conference on Computer Vision), pp. 5442–5451|
|
||||
|Venue tier|**A*** (top-tier CV конференция)|
|
||||
|DOI|10.1109/ICCV.2019.00554|
|
||||
|arXiv ID|1904.03278|
|
||||
|Open-access PDF|openaccess.thecvf.com/content_ICCV_2019/papers/Mahmood_AMASS_…|
|
||||
|Цитирования (апрель 2026, ориентир)|**>3000** на Google Scholar; 1 496 на Semantic Scholar (явно устарело — Semantic Scholar отстаёт). Вероятно одна из самых цитируемых mocap-работ десятилетия.|
|
||||
|Версионирование|Изначально 15 суб-датасетов. После релиза добавлены: **BMLmovi** (Movement Variability), **DanceDB**, **GRAB** (object grasping), **HUMAN4D**, **SOMA** (auto-labeling), **MoYo** (yoga, 2023), **BMLhandball** и др. На момент 2024 — около **24 суб-датасета** доступны через amass.is.tue.mpg.de/dataset (точное число варьируется; см. список UniMoCap ниже).|
|
||||
|Активная поддержка|✅ Активна; авторы предлагают MoSh-обработку чужих данных по запросу|
|
||||
|
||||
**[МОЙ КОММЕНТАРИЙ]** Заметим разночтение в самой статье: §5 говорит про 344 субъекта / 11 265 motions / 40 часов, тогда как одна из таблиц RG-версии цитирует 346/11 451/42 часа. Каноническая цифра — **344 / 11 265 / 40 ч**, как в первоначальном arXiv 1904.03278. Сегодняшние реальные размеры с расширениями значительно больше.
|
||||
|
||||
---
|
||||
|
||||
## 2. Позиционирование
|
||||
|
||||
AMASS закрывает **триаду проблем mocap-эпохи 2010-х**: (i) разнородные markersets (37–91 маркеров) и body-parameterizations не позволяют объединить датасеты в один обучающий корпус для DL; (ii) предыдущие попытки унификации (Holden 2016; KIT supersets; MocapClub) **нормализовали body proportions через IK-ретаргетинг**, теряя shape-information; (iii) отсутствие parameterised body model в выдаче mocap-данных делает невозможным re-rendering для computer vision. Решение AMASS — **MoSh++**: подгонка SMPL+H+DMPL к произвольному markerset через двухстадийную bundle-оптимизацию, валидированная на специально собранном датасете SSM (3 субъекта с одновременным mocap + 4D-сканированием). Это даёт **единое SMPL-представление** (16 dim shape + 8 dim DMPL + 159 dim pose с руками + global translation), сохраняя оригинальное shape/pose разнообразие. Гипотеза авторов: **«хороший motion-датасет должен быть параметризован так, чтобы любой researcher мог брать pose θ, shape β и rendering pipeline как unified input»** — гипотеза, оказавшаяся пророческой и сделавшая AMASS de facto motion-стандартом для последующего HPS/HMR-исследования.
|
||||
|
||||
---
|
||||
|
||||
## 3. Технические характеристики
|
||||
|
||||
### 3.1. Общая статистика
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|**Сабжектов**|344 (изначально)|
|
||||
|Распределение по полу|Не опубликовано агрегированно (наследуется от каждого суб-датасета)|
|
||||
|Распределение по возрасту|Не опубликовано|
|
||||
|Антропометрия|Не опубликовано как сводная таблица; β SMPL дают per-subject оценку|
|
||||
|Уровень подготовки|Не опубликовано (CMU и BMLrub в основном студенты/добровольцы; HDM05 включает спортсменов)|
|
||||
|**Number of motions**|11 265 motions|
|
||||
|**Общая длительность**|~40 часов (2 420.86 минут точно по Table 1 статьи)|
|
||||
|Частота|Стандартизована в 60 Hz (некоторые суб-датасеты записаны на 100/120 Hz, downsampled)|
|
||||
|Train / val / test|Официальный split AMASS GitHub: 12 sub-datasets train, HumanEva + Transitions test (см. amass GitHub README); HumanML3D и BABEL используют свои splits|
|
||||
|RGB|**❌ ОТСУТСТВУЕТ** — AMASS только motion|
|
||||
|
||||
### 3.2. Модальности данных
|
||||
|
||||
|Модальность|Есть?|Подробности|
|
||||
|---|---|---|
|
||||
|RGB video|❌|**Нет ни в одном суб-датасете в составе AMASS** — это motion-only коллекция|
|
||||
|Depth|❌|Нет|
|
||||
|2D pose|❌|Нет; можно получить проекцией SMPL joints через виртуальную камеру|
|
||||
|**3D pose joints**|✅|22 body joints + 30 hand joints из SMPL+H|
|
||||
|**SMPL+H параметры**|✅|θ ∈ ℝ¹⁵⁹ (52 joints × 3 + 3 global trans), β ∈ ℝ¹⁶, gender label|
|
||||
|**DMPL soft-tissue**|✅|8-dim coefficients φ для динамических деформаций мягких тканей|
|
||||
|MANO hand pose|✅|24-dim PCA пространство, активно когда в исходном markerset есть hand markers (TCD Hands, MPI MoSh, ACCAD)|
|
||||
|Markers (исходные)|Сохранены отдельно|Ассоциируются через `mocap_framerate`; ширина markerset 37–91|
|
||||
|IMU данные|⚠️ Частично|Только в TotalCapture суб-датасете; не унифицированы в AMASS-формате|
|
||||
|EMG / физиология|❌|Нет|
|
||||
|Текстовые описания|❌ в самом AMASS, ✅ в derivatives|BABEL (43 ч с frame-level action labels), HumanML3D (28.59 ч с natural-language descriptions), KIT-ML — все построены поверх AMASS|
|
||||
|4D scans|✅ только в SSM/DFaust|SSM (Synchronized Scans + Markers) — собственный sub-dataset для валидации MoSh++; DFaust имеет 4D meshes|
|
||||
|Аудио|❌|Нет|
|
||||
|
||||
**Размеры представления (на кадр):** 16 (β) + 8 (φ) + 159 (θ) = 183 параметра + global rotation/translation. Компактно для DL-pipeline.
|
||||
|
||||
### 3.3. Съёмочная установка (агрегировано по суб-датасетам)
|
||||
|
||||
AMASS — **гетерогенный**: каждый суб-датасет имеет свою установку. Унификация — на уровне **выходных параметров**, не на уровне сбора.
|
||||
|
||||
|Суб-датасет|Mocap-система|Markerset|Особенности|
|
||||
|---|---|---|---|
|
||||
|**CMU**|Vicon (Carnegie Mellon Mocap DB)|41|96 субъектов, 1983 motions, 543 мин — крупнейший|
|
||||
|**BMLrub**|Vicon (Troje, BMLrub)|41|111 субъектов, 3061 motions, 522 мин — большое разнообразие движений|
|
||||
|**KIT**|Vicon (KIT Whole-Body)|50|55 субъектов, 4232 motions, 661 мин — много локомоции и manipulation|
|
||||
|**MPI HDM05**|Vicon|41|Sports/dance, 4 субъекта, 215 motions|
|
||||
|**MPI Limits**|Vicon (Akhter & Black 2015)|53|**Extreme range of motion** — критично для biomechanically-aware тренировки|
|
||||
|**MPI MoSh**|Vicon|87|19 субъектов, 77 motions|
|
||||
|**TotalCapture**|Vicon + 8 IMU|53|5 субъектов, 37 motions — единственный с реальным IMU|
|
||||
|**ACCAD**|Vicon (OSU)|82|20 субъектов, 252 motions|
|
||||
|**HumanEva**|Vicon|39|3 субъекта, 28 motions — стандартный benchmark|
|
||||
|**EKUT**|Vicon|46|4 субъекта, 349 motions|
|
||||
|**Eyes Japan**|Vicon|37|12 субъектов, 750 motions, 363 мин|
|
||||
|**SFU**|Vicon (Simon Fraser)|53|7 субъектов, 44 motions|
|
||||
|**TCD Hands**|Vicon|91|1 субъект, 62 motions с hand-mocap|
|
||||
|**SSM**|OptiTrack (24× Prime 17W) + 4D scanner (3dMD)|67|Собственный — 3 субъекта, 30 motions; используется для валидации MoSh++|
|
||||
|**Transitions**|Собственный|53|1 субъект, 110 motions с переходами между активностями|
|
||||
|
||||
**Калибровка камер:** **N/A** — AMASS не имеет camera extrinsics/intrinsics, потому что нет RGB. Это критическое ограничение для любого проекта, требующего совместного видео+pose тренинга на самих AMASS-данных.
|
||||
|
||||
**Точность MoSh++ fitting (валидация на SSM):**
|
||||
|
||||
- Shape estimation: 7,4 мм (vs. MoSh 12,1 мм; 46-markerset)
|
||||
- Pose estimation: 8,1 мм (vs. MoSh 10,5 мм)
|
||||
- Pose + DMPL soft-tissue: 7,3 мм (vs. MoSh 10,24 мм)
|
||||
- Baseline (scan-to-mesh raw alignment): 0,5 мм
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Точность 7–8 мм — это лучшее, что можно достичь для marker-derived SMPL fitting, но эта валидация выполнена на 3 субъектах SSM, и обобщение на весь AMASS (особенно на старые CMU-захваты с 41 маркером) — экстраполяция авторов.
|
||||
|
||||
### 3.4. Визуальные материалы из статьи
|
||||
|
||||
- **Fig. 1** (teaser): примеры SMPL-bodies из 7 разных суб-датасетов (CMU, HDM05, MPI Limits, KIT, BMLrub, TCD, ACCAD) — иллюстрирует разнообразие поз и форм тела.
|
||||
- **Fig. 2**: визуальное сравнение MoSh++ vs. традиционного скелетного mocap — показывает преимущество surface-representation.
|
||||
- **Fig. 3**: MoSh (BlendSCAPE, синий) vs. MoSh++ (SMPL, оранжевый) — почти идентичны визуально, но MoSh++ количественно точнее и совместим с graphics.
|
||||
- **Fig. 4**: пример с тяжёлыми occlusions (отсутствуют маркеры на ноге); демонстрирует адаптивный pose-prior weight `q`.
|
||||
- **Fig. 5**: SSM dataset — 3D scans (серые) с mocap markers (зелёные) и fitted bodies (оранжевые), avg distance 7,4 мм.
|
||||
- **Fig. 6**: количественные результаты MoSh vs. MoSh++ (3 бар-чарта: shape / pose / pose+DMPL).
|
||||
- **Fig. 7**: soft-tissue dynamics — demo, как DMPL улавливает chest/stomach motion лучше, чем static-shape подход MoSh.
|
||||
- **Fig. 8**: hand articulation — fitting с/без MANO hand model.
|
||||
- **Table 1**: канонический summary 15 суб-датасетов (markers/subjects/motions/minutes).
|
||||
|
||||
**Качество визуализаций:** функциональное, инженерное; типичный академический стиль MPI Tübingen. Нет демографических распределений (gender/age/BMI), нет t-SNE pose-space coverage, нет per-suite breakdown качества fitting — это слабость документации.
|
||||
|
||||
---
|
||||
|
||||
## 4. Методология сбора данных
|
||||
|
||||
**Главная особенность:** AMASS — это **не сбор**, а **унификация**. Авторы не записывали 15 суб-датасетов с нуля.
|
||||
|
||||
### 4.1. Рекрутинг субъектов
|
||||
|
||||
Каждый суб-датасет наследует свой recruiting protocol:
|
||||
|
||||
- CMU/CMU-MMAC: студенты Carnegie Mellon, добровольцы (no compensation info).
|
||||
- BMLrub: добровольцы лаборатории Troje (York University); MoVi/BMLmovi — 90 субъектов с biomotion lab.
|
||||
- KIT: волонтёры Karlsruhe Institute of Technology, manipulation-фокус (table-setting и т.п.).
|
||||
- HumanEva: 3 субъекта (Sigal et al. 2010).
|
||||
- TotalCapture: 5 актёров (Trumble 2017), профессиональные movers.
|
||||
- HDM05: HDM-actors University of Bonn.
|
||||
- Записанные авторами AMASS: SSM (2 профессиональные модели + 1 — подписали modeling-contracts), Transitions (1 субъект), BMLrub доли, Dancers (имя в acknowledgments).
|
||||
|
||||
**IRB / consent:** В статье **не упомянут**. Каждый суб-датасет должен иметь свой ethics approval, но AMASS как мета-датасет не публикует сводку.
|
||||
|
||||
**Selection bias:** очень явный.
|
||||
|
||||
- Преобладание академических лабораторий Запада (MPI, MIT/CMU, KIT, York, OSU, OptiTrack).
|
||||
- Этническое разнообразие не задокументировано; визуально — преимущественно европеоиды.
|
||||
- Возраст — преимущественно молодые взрослые (студенты).
|
||||
- Антропометрия — нормальные BMI; **нет высокого BMI / тяжелоатлетических телосложений** (BEDLAM-paper честно признаёт: «there is little motion capture data of obese people, so we need to retarget AMASS motions to high-BMI subjects»).
|
||||
|
||||
### 4.2. Протокол записи
|
||||
|
||||
Гетерогенный: каждый суб-датасет имеет свой protocol. Общая природа:
|
||||
|
||||
- Свободное исполнение и/или сценарные мотивы.
|
||||
- Локомоция (ходьба, бег) доминирует количественно.
|
||||
- Спорт и танец представлены через HDM05 и BMLrub.
|
||||
- Object manipulation — через KIT, GRAB.
|
||||
- Range-of-motion extremes — через MPI Limits.
|
||||
|
||||
**Силовых упражнений с инвентарём (штанга, гантели, тренажёры) — НЕТ** в любом суб-датасете AMASS на момент 2019 (и до сих пор, насколько я могу подтвердить).
|
||||
|
||||
### 4.3. Качественный контроль
|
||||
|
||||
- MoSh++ выполнен с manual inspection: «Problems inherent with mocap, such as swapped or mislabeled markers, were fixed by manually inspecting the results and either correcting or holding out problems».
|
||||
- **Процент отбракованных кадров не опубликован.**
|
||||
- Адаптивная вес-балансировка `b = 46/n` для разных markersets и `q = 1 + (x/|M|)·2.5` для missing markers — устойчиво к pose-окклюзиям.
|
||||
|
||||
---
|
||||
|
||||
## 5. Протокол аннотации
|
||||
|
||||
### 5.1. Типы меток
|
||||
|
||||
Аннотация в AMASS = **выход MoSh++**:
|
||||
|
||||
- SMPL pose θ_B (22 body joints × 3 = 66 dim) + θ_H (30 hand joints, проекция в 24-dim MANO PCA) → итого 159 dim.
|
||||
- SMPL shape β (16 dim).
|
||||
- DMPL φ (8 dim soft-tissue).
|
||||
- Global translation γ.
|
||||
- Per-subject gender label.
|
||||
- Mocap framerate (исходный, до downsampling).
|
||||
|
||||
**Текстовых меток в AMASS НЕТ** — они появляются в производных датасетах (BABEL, HumanML3D, KIT-ML).
|
||||
|
||||
### 5.2. Процедура разметки (MoSh++)
|
||||
|
||||
**Двухстадийная bundle-оптимизация** (детально в §3.2 статьи):
|
||||
|
||||
**Stage I — Shape + per-marker calibration:** на 12 случайных кадрах оптимизируется common shape β и латентные позиции маркеров m̃. Целевая функция Eq. (3): `λ_D · E_D + λ_β · E_β + λ_θB · E_θB + λ_θH · E_θH + λ_R · E_R + λ_I · E_I`. λ-веса определены line-search на SSM-train: `λ_D=600·b, λ_β=1.25, λ_θB=0.375, λ_θH=0.125, λ_I=37.5, λ_R=10⁴`. Используется **Threshold Acceptance annealing** (4 стадии).
|
||||
|
||||
**Stage II — Per-frame pose:** при фиксированных β и m̃ оптимизируется θ для каждого кадра + DMPL coefficient φ + temporal smoothness. Eq. (6): добавляются `E_u` (pose smoothness), `E_φ` (DMPL prior), `E_v` (DMPL smoothness). Финальные веса: `λ_D=400·b, λ_θB=1.6·q, λ_θH=1.0·q, λ_u=2.5, λ_φ=1.0, λ_v=6.0`.
|
||||
|
||||
**Адаптация к missing markers:** коэффициент `q = 1 + (x/|M|)·2.5` повышает вес pose-prior, когда маркеры окклюдированы — превентивно от implausible solutions.
|
||||
|
||||
**Solver:** Powell's dogleg (Chumpy autodiff). Runtime — не real-time (детали в Supp Mat).
|
||||
|
||||
### 5.3. Валидация
|
||||
|
||||
- **SSM-test:** 1 из 3 субъектов hold-out; line-search hyperparameters на остальных 2.
|
||||
- **Метрика:** average scan-to-model distance (10 000 точек, выбранных uniformly с 4D-скана, до closest surface point на reconstructed mesh).
|
||||
- **Результаты:** см. §3.3 этой рецензии.
|
||||
- **Inter-annotator agreement:** N/A — нет ручных аннотаторов.
|
||||
- **Cross-dataset validation на других AMASS-членах:** **не проводилась** в статье — это слабость.
|
||||
|
||||
---
|
||||
|
||||
## 6. Доступность и лицензирование
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Лицензия|**MPI Software Copyright License for non-commercial scientific research**|
|
||||
|Композитная природа|✅ — каждый суб-датасет имеет также свою исходную лицензию (CMU CC-BY, KIT custom, HumanEva research-only и т.д.); пользователь обязан соблюдать **обе**: AMASS-license + sub-dataset license|
|
||||
|Коммерческое использование|**❌ Запрещено** — включая «training methods/algorithms/neural networks for commercial use of any kind»|
|
||||
|MoU / DUA|Click-through agreement при регистрации; явный MoU не требуется|
|
||||
|Способ получения|Регистрация на amass.is.tue.mpg.de (отдельная для AMASS, SMPL+H, DMPL, SMPL-X — нужно три аккаунта)|
|
||||
|Размер|~3–10 GB для SMPL-only; полный pack с per-marker data больше|
|
||||
|Хостинг|MPI Informatics (amass.is.tue.mpg.de); зеркала есть на Hugging Face (`fleaven/Retargeted_AMASS_*` для робототехнических retargets)|
|
||||
|Цитирование|@inproceedings{AMASS:2019} обязательно + bib-файл со всеми 15 суб-датасетами на сайте|
|
||||
|Dataloaders|**Отличная поддержка**: official `nghorbani/amass` Python tools, BlenderProc loader, MMHuman3D, HumanML3D, BABEL, UniMoCap, TMR — все имеют готовые dataloaders|
|
||||
|Commercial license|По email: `ps-licensing@tue.mpg.de`|
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] **Реальное время setup для SmartRep:** 1–2 рабочих дня на (а) регистрацию на 3 сайтах MPI, (б) ожидание подтверждения, (в) загрузку, (г) настройку body_models pipeline. **Серьёзный риск:** для SmartRep как коммерческого продукта non-commercial запрет блокирует прямое использование AMASS-derived весов. Возможные обходы: (1) commercial license deal с MPI/Meshcapade, (2) использование только AMASS-derivatives с CC-лицензиями (HumanML3D — MIT для аннотаций, но motion остаётся под AMASS-license), (3) замена на Mocap-Club свободные данные или собственный mocap. Это **тот же блок, что для 3DPW**: вся MPI-экосистема pose-датасетов гомогенно non-commercial.
|
||||
|
||||
---
|
||||
|
||||
## 7. Перекосы (biases)
|
||||
|
||||
### 7.1. Демографические
|
||||
|
||||
- **Gender:** не агрегировано; ориентировочно сильный мужской bias (типично для academic mocap).
|
||||
- **Ethnicity:** европеоиды доминируют; subject pool — преимущественно западноевропейские/североамериканские лаборатории + Eyes Japan и SFU (где есть азиатская компонента, но без дезагрегации).
|
||||
- **Age:** молодые взрослые (студенты).
|
||||
- **BMI:** нормальный диапазон; нет ожирения, нет тяжелоатлетов. **Подтверждено BEDLAM-paper: AMASS не содержит motions на high-BMI телах, что вынудило BEDLAM делать опцию TUCH-based interpenetration optimisation для retargeting.**
|
||||
- **Подготовленность:** смешанная; HDM05 содержит athletes (sports/dance), MPI Limits — профессиональные contortionists для extreme range of motion, остальное — обычные субъекты.
|
||||
|
||||
### 7.2. Покрытие движений
|
||||
|
||||
|Категория|Покрытие в AMASS|Релевантность SmartRep|
|
||||
|---|---|---|
|
||||
|Локомоция (ходьба, бег)|⭐⭐⭐⭐⭐|⭐|
|
||||
|Бытовые жесты, manipulation|⭐⭐⭐⭐ (KIT, GRAB)|⭐⭐|
|
||||
|Танец/спорт общего вида|⭐⭐⭐ (HDM05, BMLrub, ACCAD)|⭐⭐|
|
||||
|Object grasping|⭐⭐⭐ (GRAB, TCD Hands)|⭐|
|
||||
|Extreme range of motion|⭐⭐⭐ (MPI Limits)|⭐⭐⭐⭐ — критично для глубокого приседа, моста|
|
||||
|Yoga / extreme static poses|⭐⭐⭐⭐ (с MoYo extension)|⭐⭐⭐⭐ — ближайший аналог силовых поз-extremes|
|
||||
|**Силовые упражнения с инвентарём**|**❌ ОТСУТСТВУЕТ**|**⭐⭐⭐⭐⭐ — главный gap для SmartRep**|
|
||||
|
||||
### 7.3. Аннотационные
|
||||
|
||||
- AMASS-аннотация — автоматическая (MoSh++), без межаннотаторской вариации.
|
||||
- **Class imbalance:** не определено в AMASS (нет class labels); BABEL добавляет 252+ action categories с естественным long-tail распределением.
|
||||
- **Quality bias:** все motions «правильные» в смысле SMPL-fit, нет деления на «хорошее»/«плохое» исполнение — это фундаментальный gap для AQA.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Для SmartRep критичны **три перекоса**: (1) отсутствие силовых упражнений и инвентаря — закрывается только собственным mocap; (2) узкий BMI-диапазон — частично закрывается через β-resampling в SMPL space (как делает BEDLAM); (3) отсутствие quality/error labels — закрывается только экспертной разметкой тренеров.
|
||||
|
||||
---
|
||||
|
||||
## 8. Использование в научном сообществе
|
||||
|
||||
AMASS — **самый цитируемый motion-датасет 2019–2026 в HPS-литературе**. Я выделяю **7 знаковых работ**, демонстрирующих его роль как foundation source.
|
||||
|
||||
|#|Работа|Год|Роль AMASS|Эффект|
|
||||
|---|---|---|---|---|
|
||||
|1|**VPoser** (часть SMPL-X / SMPLify-X, Pavlakos et al.)|2019 CVPR|Тренировка VAE pose prior на всём AMASS|Латентное представление 32-dim, используется как regulariser в почти всех HPS optimization-pipelines|
|
||||
|2|**VIBE** (Kocabas et al.)|2020 CVPR|**Motion discriminator** обучен на AMASS-mocap + MPoser-prior|Adversarial training поднял PA-MPJPE на 3DPW; парадигма «AMASS as motion-realism judge»|
|
||||
|3|**HuMoR** (Rempe et al.)|2021 ICCV|CVAE motion prior на AMASS для test-time motion infill|Глобальная согласованность motion в occlusion conditions|
|
||||
|4|**HumanML3D / BABEL**|2022/2021 CVPR|Аннотация AMASS текстом / action labels|14 616 motions с 44 970 описаниями (HumanML3D); 43 ч с 252+ action labels (BABEL); foundation для motion-text generation (T2M, MDM, MotionGPT, MoMask)|
|
||||
|5|**BEDLAM / AGORA**|2023 / 2021 CVPR|**Все motions sampled from AMASS**, рендерены через Unreal Engine|Доказали, что synthetic-only обучение (BEDLAM-CLIFF) приближается к SOTA на real benchmarks|
|
||||
|6|**WHAM** (Shin et al.)|2024 CVPR|Pretrain motion encoder/decoder на synthetic 2D keypoints из AMASS, потом fine-tune на реальном видео|Per-frame video SOTA 2024 (PA-MPJPE 35,9 на 3DPW); явная двухстадийная парадигма AMASS-first|
|
||||
|7|**MoYo** (Tripathi et al., IPMAN-context)|2023 CVPR|Расширение AMASS extreme yoga-pose subset с force plate / pressure GT|Ввело CoM/CoP supervision; «most extreme poses currently in AMASS»|
|
||||
|
||||
**Дополнительно:**
|
||||
|
||||
- **TRAM** (ECCV 2024) — критикует AMASS-prior подход WHAM за плохое обобщение на off-distribution motion (например, walking down stairs, skateboarding), и переходит на SLAM-based scene reconstruction вместо motion-prior. Это первый существенный отход от AMASS-paradigm в global trajectory recovery.
|
||||
- **MotionGPT, MDM, MoMask** — text-to-motion generation, все обучаются на AMASS-derived HumanML3D/KIT-ML/BABEL.
|
||||
|
||||
### Метрики
|
||||
|
||||
В отличие от 3DPW (где MPJPE/PA-MPJPE/MPVPE — стандарт), AMASS не имеет **canonical evaluation metric** для самой себя, потому что у неё нет «test image» — только GT motions. Метрики появляются в derived tasks:
|
||||
|
||||
- Motion prediction: ADE / FDE (Average / Final Displacement Error на joints).
|
||||
- Text-to-motion: FID, R-precision (motion-text retrieval).
|
||||
- Motion infilling: per-frame joint error.
|
||||
- HMR с motion-prior: ackerstuk MPJPE на 3DPW/EMDB после AMASS-pretrain.
|
||||
|
||||
### Failure modes в derived tasks
|
||||
|
||||
- **WHAM** проваливается на out-of-distribution motion (TRAM Fig. 6: walking down stairs, skateboard) — потому что AMASS underrepresents эти sub-domains.
|
||||
- **VIBE motion discriminator** склонен к over-smoothing — типичная проблема adversarial с GRU.
|
||||
- **HumanML3D** имеет text-quality bias из Mechanical Turk — описания усреднены и не fine-grained.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Ключевой архитектурный тренд: **AMASS как pretrain-источник** (WHAM, BEDLAM) последовательно обыгрывает **AMASS как online-prior** (VPoser, VIBE-discriminator). Для SmartRep это значит — лучшая стратегия использовать AMASS не как regulariser, а как **источник pretrain-весов через synthetic rendering pipeline**.
|
||||
|
||||
---
|
||||
|
||||
## 9. Сравнение с альтернативными датасетами
|
||||
|
||||
|Параметр|**AMASS**|KIT-Motion-Language|Human3.6M|BABEL|HumanML3D|MoYo|BEDLAM|Fit3D|
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
|Год|2019|2016|2014|2021|2022|2023|2023|2023|
|
||||
|Тип|**Meta-mocap unifier**|Mocap+text|Single mocap|AMASS+action labels|AMASS+text|Yoga mocap (AMASS-comp)|Synthetic (AMASS-driven)|Fitness mocap|
|
||||
|Motions / hours|11 265 / 40 ч|~3 900 / 11 ч|3,6 млн кадров / ~17 ч|~13 220 motions / 43 ч|14 616 motions / 28,6 ч|200 yoga sequences|~10 000 видео / 1 млн кадров|~3 млн кадров|
|
||||
|Субъектов|344|~110 (KIT-pure)|11|344 (= AMASS)|344 (= AMASS)|~30|271 body shape|13|
|
||||
|RGB|❌|❌|✅ (4 cam)|❌|❌|✅ (8 cam multi-view)|✅ (synthetic)|✅ (4 cam)|
|
||||
|Body model|**SMPL+H+DMPL**|KIT (custom)|H36M skeleton + (pseudo SMPL)|SMPL+H|SMPL+H|SMPL-X|SMPL-X|SMPL-X|
|
||||
|Multi-view|N/A|N/A|✅|N/A|N/A|✅ (8 sync)|✅ (virtual)|✅|
|
||||
|Экспертная разметка ошибок|❌|❌|❌|Action labels (no errors)|NL descriptions|Pressure / CoM / contact|❌|Quality scores|
|
||||
|Fitness-specific|❌|❌|❌|⚠️ Sports subset|⚠️ Sports actions tagged|⚠️ Yoga (extreme poses близки силовым)|⚠️ Через retargeting|**✅ Specifically fitness**|
|
||||
|Лицензия|NC research-only|Custom academic|Academic|NC research|MIT (тексты) + AMASS (motion)|NC research|NC research|NC research|
|
||||
|**Роль для SmartRep**|Motion prior, synthesis source|Reference (motion-text baseline)|Single-suite training/eval reference|Action-label source поверх AMASS|Text-supervised pretrain поверх AMASS|**Extreme-pose proxy для силовых поз-extremes**|**Synthetic visual pretrain через AMASS motions**|**Прямой fitness-релевантный сэмпл**|
|
||||
|
||||
**Где AMASS уникален:**
|
||||
|
||||
- Единственный источник унифицированного **motion-supercompendium с SMPL+H выходом** в больших масштабах.
|
||||
- Foundation для всех motion-text, synthetic, motion-prior подсистем 2020–2026.
|
||||
- Compatible с любым SMPL-based renderer/optimization pipeline.
|
||||
|
||||
**Где AMASS уступает:**
|
||||
|
||||
- Vs. Human3.6M: нет RGB и нет synchronised video.
|
||||
- Vs. BEDLAM: нет реалистичного rendering (BEDLAM сам строится поверх AMASS).
|
||||
- Vs. Fit3D: нет fitness-specific motions и инвентаря.
|
||||
- Vs. MoYo: нет extreme static-pose detail (но MoYo уже добавлен в AMASS-extension).
|
||||
|
||||
---
|
||||
|
||||
## 10. Релевантность для SmartRep
|
||||
|
||||
|Критерий|Оценка|Обоснование|
|
||||
|---|---|---|
|
||||
|Силовые упражнения|**1**|Отсутствуют как класс; ближайшее — HDM05 sports + MPI Limits ROM|
|
||||
|Multi-view|**N/A**|Нет RGB; вопрос неприменим|
|
||||
|Антропометрическое разнообразие|**3**|344 субъекта, но узкий BMI-диапазон; нет high-BMI / тяжелоатлетов|
|
||||
|Экспертная разметка ошибок|**0**|Полностью отсутствует, и MoSh++ не различает «хорошее»/«плохое» исполнение|
|
||||
|MoCap GT качество|**5**|Gold-standard optical mocap, унифицирован MoSh++ с 7–8 мм точностью fitting|
|
||||
|Разрешение / FPS|**N/A**|Motion-only; 60 Hz стандартизовано (достаточно для медленных силовых движений)|
|
||||
|Доступность|**3**|Composite NC research-only, click-through; 2 дня на полный setup|
|
||||
|Edge-совместимость|**N/A**|Не для деплоя; для тренировки моделей, потом деплой их|
|
||||
|**Интегральная релевантность**|**4/5 как косвенный foundation source** (но 1/5 как прямой data source)||
|
||||
|
||||
### Направление и роль в пайплайне
|
||||
|
||||
**Направление:** **🅱 (Biomechanics-aware pose estimation)** — основной канал. AMASS даёт pose prior, который кодирует физически возможные конфигурации SMPL-тела. Косвенно — **🅰 (error detection)** через synthesis-derivatives: можно генерировать синтетические fitness-сцены на AMASS-motions через BEDLAM-style pipeline, добавлять собственные «error» motions через retargeting и обучать error-detection модели.
|
||||
|
||||
**Роль в пайплайне SmartRep:**
|
||||
|
||||
1. **Motion prior для regularisation** (VPoser-style) — при оптимизации pose θ во время inference добавлять `λ · log p_VPoser(θ)` для подавления implausible solutions. Особенно полезно при self-occlusion в нижней точке приседа или жима.
|
||||
2. **Synthesis source** — sample motions из AMASS (в первую очередь HDM05, MPI Limits, BMLrub-MoVi sports subsets, MoYo для extreme poses), retarget на разные body shapes, рендерить через Unreal/Blender + cloth simulation в gym-environments. Это **репликация BEDLAM-pipeline для fitness-domain**.
|
||||
3. **Pseudo-label regulariser** — при обучении pose-модели на собственном fitness-видео использовать AMASS-VAE-prior как regulariser, чтобы pseudo-labels не уходили в implausible regions.
|
||||
4. **❌ НЕ для прямого visual pretrain** — нет RGB.
|
||||
5. **Композиция** — стандартный additive в любом training-mix: SmartRep-train + AMASS (как motion prior через VPoser/VIBE-discriminator).
|
||||
|
||||
### Конкретные риски
|
||||
|
||||
- **Domain gap motion:** AMASS underrepresents силовые движения (медленная эксцентрическая фаза, изометрические холды, взрывные концентрические фазы). MPI Limits + HDM05 sports + MoYo частично закрывают, но не заменяют реальный силовой mocap.
|
||||
- **Антропометрический gap:** нет тяжелоатлетов; β-resampling без mocap data на high-BMI телах создаёт геометрически правдоподобные, но **физически некорректные** motions (перенос локомоции на тело массой 130 кг даёт некорректные joint angles из-за разной biomechanical loading).
|
||||
- **Юридические:** NC research-only для коммерциализации SmartRep — блок. Нужен commercial license deal с MPI или замена на собственный mocap + open-source datasets.
|
||||
- **Технические:** требуется body_models pipeline (SMPL+H, DMPL); registration на 3 MPI-сайтах; downstream-deps (PyTorch3D или Pyrender для rendering, Chumpy если работать с MoSh++).
|
||||
|
||||
---
|
||||
|
||||
## 11. Потенциал для data augmentation / synthesis
|
||||
|
||||
**Это ГЛАВНАЯ роль AMASS для SmartRep.**
|
||||
|
||||
### 11.1. Параметрические модели тела
|
||||
|
||||
- **SMPL+H** (52 joints, 16-dim shape, 159-dim pose) — gendered (male/female/neutral) и совместим с **SMPL** и **SMPL-X** (через official conversion scripts).
|
||||
- **DMPL** (8-dim soft-tissue) — reference implementation для динамических деформаций.
|
||||
- **Re-rendering:** через любой SMPL renderer (PyTorch3D, Pyrender, Open3D, Blender SMPL plugin, Unreal через MetaHuman) с произвольным текстурированием (одежда, освещение).
|
||||
- **Готовые meshes / vertices:** N=6890 vertices SMPL / 10475 vertices SMPL-X выводятся out-of-the-box из θ, β через SMPL-layer.
|
||||
|
||||
### 11.2. MoCap retargeting
|
||||
|
||||
- **AMASS-format:** SMPL θ/β npz-файлы по последовательностям (`poses`, `betas`, `trans`, `gender`, `mocap_framerate`).
|
||||
- Retargeting на альтернативные скелеты — **тривиально**: все robotics-проекты делают это (см. `fleaven/Retargeted_AMASS_for_*` на HuggingFace для FFTAI, Booster, Unitree humanoids).
|
||||
- Drive синтетических аватаров в **Unity / Unreal / Blender** — Unreal MetaHuman + AMASS pipeline официально поддерживается через Meshcapade.
|
||||
- AMASS — **сам по себе AMASS-format**; все остальные motion-датасеты пытаются конвертироваться к нему.
|
||||
|
||||
### 11.3. Multi-view novel view synthesis
|
||||
|
||||
- AMASS не имеет реальных multi-view RGB → NeRF/Gaussian Splatting **per-subject не применим**.
|
||||
- Но через synthetic rendering можно **виртуально** генерировать любое число ракурсов одного motion → это и есть BEDLAM-paradigm.
|
||||
|
||||
### 11.4. Композитные аугментации
|
||||
|
||||
- **Background swap:** только в synthesis pipeline (BEDLAM использует HDRI panoramas + Unreal scenes).
|
||||
- **Domain randomization:** одежда (BEDLAM cloth simulation), освещение, фон, камера — все настраиваемо в Unreal/Blender pipeline.
|
||||
- **Депт/нормали/масок:** synthesis-time, не в самой AMASS.
|
||||
|
||||
### 11.5. Pseudo-labeling
|
||||
|
||||
- **Прямо:** обучить мотив-кодер на AMASS-pretraining (как WHAM) и применить к собственному fitness-видео для генерации SMPL pseudo-GT. Готовые pretrained веса для этого:
|
||||
- 4D-Humans (HMR2.0): обучен на mix включая AMASS-aux.
|
||||
- WHAM: motion encoder pre-trained на AMASS.
|
||||
- VPoser: pose prior, pretrained на AMASS — для регуляризации pseudo-labels.
|
||||
|
||||
### 11.6. Композиция с другими датасетами
|
||||
|
||||
- AMASS — **стандартный additive** в любом тренинг-миксе для SMPL-based HPS:
|
||||
- SPIN, HMR, HMR2.0, TokenHMR — используют AMASS как mixed-loss aux source.
|
||||
- VIBE, TCMR, WHAM, GVHMR — motion discriminator/decoder.
|
||||
- BEDLAM, AGORA, MoYo — synthesis source.
|
||||
- HumanML3D, BABEL, KIT-ML — text annotation поверх AMASS.
|
||||
- UniMoCap (2023) — community унификация AMASS-derived text-motion datasets в один.
|
||||
|
||||
### 11.7. Риски синтеза
|
||||
|
||||
- **Real→synthetic gap:** даже в BEDLAM (с cloth physics и реалистичным rendering) gap ощутим на фактуре одежды, тенях, motion blur.
|
||||
- **«Утечка» mocap-смещений:** если на AMASS обучать модель и retarget motions на high-BMI тела без реального high-BMI mocap, моtion окажется biomechanically некорректным (slow swing of thick legs vs. fast flick from skinny actor — кинематически идентичны, но physics-implausibly).
|
||||
- **Потеря инвентаря:** SMPL/SMPL-X не моделирует штангу, гантели, тренажёры. Для SmartRep это **критическое** ограничение — нужен композитный pipeline (Unreal asset library + AMASS body driving + custom equipment placement).
|
||||
- **Yoga/extreme поz рестриктор:** даже MoYo-extension покрывает yoga, но не штанговые приседы с компрессией позвоночника.
|
||||
|
||||
**Итоговая оценка синтетического потенциала: ВЫСОКИЙ.** AMASS — фундамент всей современной synthetic-pipeline эпохи; для SmartRep это означает прямой путь — реплицировать BEDLAM-style pipeline на fitness-MoCap subset (комбинация HDM05+MoYo+MPI Limits + собственный mocap силовых) с rendering в gym-окружениях через Unreal MetaHuman + предметная library.
|
||||
|
||||
---
|
||||
|
||||
## 12. GAP-анализ для нашего датасета SmartRep
|
||||
|
||||
Что AMASS **не покрывает**:
|
||||
|
||||
|Gap|Описание|Можно ли закрыть synthesis/retargeting?|
|
||||
|---|---|---|
|
||||
|**RGB**|Полностью отсутствует|✅ Через synthesis-pipeline (BEDLAM-style)|
|
||||
|**Силовые упражнения**|Жим лёжа, присед, становая, подтягивания, тяга — нет|⚠️ Частично через retargeting MoYo + HDM05 sports + MPI Limits ROM, но **не заменяет реальный силовой mocap**|
|
||||
|**Ошибки техники**|Полностью отсутствуют как concept; нет «правильно/неправильно»|❌ Нельзя — нужна экспертная разметка тренеров и/или собственный mocap с deliberate errors|
|
||||
|**Антропометрия high-BMI / тяжелоатлеты**|Нет; узкий BMI-диапазон|⚠️ Только через β-resampling + intersection optimization (TUCH); biomechanically incorrect motion|
|
||||
|**Экипировка (штанга, гантели, тренажёры)**|Нет — SMPL не моделирует объекты|❌ Только через extra Unreal asset library (трудоёмко); **GRAB** даёт object-grasping, но мелкие предметы, не штанги|
|
||||
|**Gym-environments**|Нет (нет RGB вообще)|✅ Через synthesis в Unreal Marketplace gym-сценах|
|
||||
|**Slow-motion физика силовых движений**|Большинство AMASS motions динамичны (locomotion, sports)|⚠️ Можно ресемплировать с разной частотой, но natural fast-motion bias влияет на выученные motion priors|
|
||||
|**Тренерская экспертная разметка**|Нет|❌ Только сбор с участием certified strength coaches|
|
||||
|**Multi-view с реальной камерой**|N/A — motion-only|✅ Через synthesis виртуальные multi-view, но не реальные|
|
||||
|
||||
**Post-augmentation gap для SmartRep:** даже с полным BEDLAM-style synthesis pipeline на AMASS+MoYo+собственный fitness-mocap, **три фундаментальных gap-а не закрываются**:
|
||||
|
||||
1. **Экспертная тренерская разметка ошибок** — требует human-in-the-loop с certified coaches.
|
||||
2. **Реальный fitness-specific motion с инвентарём** (штанга деформирует тело при загрузке, biomechanical loading patterns отличаются от free-body motion).
|
||||
3. **Реальный shooting-domain RGB** — gym lighting, equipment occlusions, motion blur от штанги, типичные углы из мобильника.
|
||||
|
||||
**Формулировка ниши SmartRep-dataset:** «AMASS даёт unified motion supercompendium и foundation для синтетического рендеринга, но не покрывает силовые упражнения с инвентарём, тренерскую экспертную разметку ошибок техники и реалистичную fitness-сценографию, что открывает нишу для SmartRep-dataset: **fitness-specific multi-view RGB+mocap корпус с экспертной разметкой ошибок техники силовых упражнений на разнообразной антропометрии в реальных gym-environments**».
|
||||
|
||||
---
|
||||
|
||||
## 13. Критическая оценка
|
||||
|
||||
### 13.1. Transparency Score
|
||||
|
||||
|#|Ось|Оценка (0/1/2)|Обоснование|
|
||||
|---|---|---|---|
|
||||
|1|Collection protocol|**1**|MoSh++ описан хорошо, но heritage 15+ суб-датасетов не унифицирован в документации (читателю надо ходить по 15 ссылкам)|
|
||||
|2|Capture setup|**2**|Table 1 даёт чёткий summary 15 источников; SSM описан детально|
|
||||
|3|Camera calibration|**N/A** (но засчитываем 0, так как нет даже этого)|AMASS не имеет camera calibration; для производных synthesis-pipelines это критично|
|
||||
|4|Demographics breakdown|**0**|Полностью отсутствует gender/age/ethnicity breakdown|
|
||||
|5|Annotation instructions (MoSh++)|**2**|Method очень детально описан, hyperparameters опубликованы|
|
||||
|6|Inter-annotator / fitting accuracy|**2**|7,4 мм shape, 7,3 мм pose+DMPL на SSM — количественно отчитано|
|
||||
|7|Rejection / cleaning|**1**|«Manually inspecting the results and either correcting or holding out problems» — без процентов|
|
||||
|8|IRB / ethics|**0**|Не упомянуто (heritage от исходных датасетов, но AMASS-paper не публикует сводку)|
|
||||
|9|Datasheet for Datasets|**0**|Не опубликован в формате Gebru et al. 2021|
|
||||
|10|Known limitations|**1**|Future work секция упоминает realtime, faces, missing markers; нет явной «Limitations» секции|
|
||||
|
||||
**Итог: Σ = 11/20 — adequately documented.**
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Для работы 2019 года это типичный уровень transparency, но с современной перспективы (Gebru 2021, NeurIPS Datasets Track 2022+) есть существенные пробелы. Для SmartRep критичны: **(а)** отсутствие demographics breakdown — нельзя оценить fairness derived motion priors; **(б)** отсутствие camera calibration — для synthesis-pipeline нужно строить с нуля; **(в)** отсутствие fitness-specific taxonomy — нужно делать руками поверх AMASS.
|
||||
|
||||
### 13.2. Peer-review оценка
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Новизна / уникальность|**10**|Первый и единственный успешный mocap-supercompendium с unified body model; MoSh++ — выдающийся метод|
|
||||
|Размер и покрытие|**9**|344 субъекта, 11k motions, 40 ч — гигант для 2019; и продолжает расти|
|
||||
|Качество разметки|**9**|7-8 мм MoSh++ accuracy — gold standard для marker-based SMPL fitting|
|
||||
|Методологическая строгость|**9**|Bundle-optimisation корректно формализована; адаптивные веса; SSM-валидация на 4D scans|
|
||||
|Документация|**5**|Согласовано с 11/20 transparency; нет Datasheet, нет демографии|
|
||||
|Воспроизводимость|**8**|Open data + open MoSh++ code (через SOMA) + множество готовых dataloaders|
|
||||
|Этика|**3**|Нет IRB-сводки; consent наследуется от 15 разных протоколов без документации|
|
||||
|Перекосы (bias-aware)|**4**|Сильно western/lab-bias; узкий BMI; нет fairness-аудита|
|
||||
|Полезность для сообщества|**10**|Один из 3 наиболее влиятельных HPS-датасетов всех времён (вместе с Human3.6M и SMPL-моделью); foundational для motion-text, synthesis, motion-prior подобластей|
|
||||
|Синтетическая расширяемость|**10**|Максимальная — основа BEDLAM, AGORA, MoYo, BABEL, HumanML3D, UniMoCap|
|
||||
|
||||
**Средняя пир-ревью оценка: 7,7/10.**
|
||||
|
||||
### Общая рекомендация для SmartRep
|
||||
|
||||
**Adopt** в качестве (а) motion prior источника, (б) synthetic rendering foundation, (в) композиционного аддитива в training mix. **НЕ Adopt** как прямой visual training source (нет RGB) и НЕ как fitness-specific source (нет силовых упражнений).
|
||||
|
||||
---
|
||||
|
||||
## 14. Executive Summary (10 пунктов)
|
||||
|
||||
1. **Одной фразой.** AMASS — meta-mocap-датасет, унифицирующий 15+ optical mocap корпусов в единое SMPL+H представление через метод MoSh++ (344 субъекта, 11 265 motions, 40 ч).
|
||||
2. **Самая сильная сторона.** Foundational role в HPS-экосистеме: основа для VPoser, VIBE-discriminator, WHAM-pretrain, BEDLAM/AGORA-rendering, BABEL/HumanML3D-text, MoYo-extreme — без AMASS большая часть motion-research 2020–2026 невозможна.
|
||||
3. **Самая слабая сторона для SmartRep.** Полное отсутствие RGB, силовых упражнений с инвентарём и экспертной разметки ошибок техники.
|
||||
4. **Transparency Score.** 11/20 — adequately documented; критичные пробелы в demographics, IRB, Datasheet.
|
||||
5. **Синтетический потенциал.** **МАКСИМАЛЬНЫЙ** — фундамент для BEDLAM/AGORA/MoYo и любого SMPL-based synthesis pipeline; для SmartRep можно реплицировать BEDLAM-style рендеринг fitness-mocap subset в Unreal MetaHuman + gym-сцены.
|
||||
6. **Роль в пайплайне SmartRep.** **(а) Motion prior** для regulariзации pose-моделей через VPoser; **(б) Synthesis source** для fitness-specific BEDLAM-derivatива; **(в) Pseudo-label regulariser**; **(г) Композиционный аддитив** в training mix. **НЕ visual pretrain** (нет RGB).
|
||||
7. **Главный gap для нашего датасета.** Силовые упражнения с инвентарём (штанга, гантели, тренажёры), экспертная тренерская разметка ошибок техники и реалистичные gym-сцены — всё это требует собственного mocap+RGB+expert-annotation корпуса.
|
||||
8. **Лицензионный статус.** Composite Max Planck non-commercial research-only — **блокирует прямую коммерциализацию** SmartRep; требует commercial license deal или замены на собственный mocap.
|
||||
9. **Приоритет в roadmap SmartRep: ВЫСОКИЙ** — как foundational source для синтетики и motion prior, даже несмотря на маргинальную прямую релевантность.
|
||||
10. **Следующие датасеты для изучения:**
|
||||
- **MoYo** (Tripathi et al., CVPR 2023) — extreme yoga poses в AMASS-format с force plate, CoM, pressure annotations; ближайший аналог силовых поз-extremes (deep squats, bridges, backbends).
|
||||
- **BEDLAM** (CVPR 2023, highlight) — synthetic SMPL-X corpus поверх AMASS motions; готовый рецепт для SmartRep-style fitness-synthesis.
|
||||
- **BABEL** (CVPR 2021) — action labels поверх AMASS; для понимания, какие fitness-релевантные actions уже размечены.
|
||||
- **HumanML3D** (CVPR 2022) — natural-language descriptions поверх AMASS; для извлечения sports/exercise sub-corpus через text query.
|
||||
- **Fit3D** (если ещё не разобран) — прямой fitness-MoCap с quality scores; ближе всего к domain SmartRep.
|
||||
@@ -0,0 +1,300 @@
|
||||
|
||||
---
|
||||
|
||||
```yaml
|
||||
---
|
||||
dataset_name: "Fitness-AQA"
|
||||
dataset_acronym: "Fitness-AQA"
|
||||
paper_title: "Domain Knowledge-Informed Self-Supervised Representations for Workout Form Assessment"
|
||||
paper_title_ru: "Доменно-информированные self-supervised представления для оценки техники силовых упражнений"
|
||||
authors: [Parmar, Gharat, Rhodin]
|
||||
year: 2022
|
||||
venue: "ECCV"
|
||||
venue_tier: "A*"
|
||||
doi: "10.48550/arXiv.2202.14019"
|
||||
arxiv: "2202.14019"
|
||||
zenodo_doi: "10.5281/zenodo.7310289"
|
||||
domain: [fitness_specific, aqa_benchmarks, ssl_source]
|
||||
subjects_count: "numerous (не указано точно; ≥сотни, scraping)"
|
||||
exercises_count: 3 # BackSquat, BarbellRow, OverheadPress
|
||||
sample_count: 21284
|
||||
modalities: [rgb_video, rgb_image, binary_error_labels]
|
||||
multi_view: false # каждое видео — один ракурс, но pool содержит много ракурсов
|
||||
expert_error_annotation: true # уникальная черта! 2 профессиональных тренера
|
||||
license: "non-commercial, research-only (CC-BY-SA 4.0 на статью; custom на данные)"
|
||||
availability: "request (Google Form)"
|
||||
url: "https://github.com/ParitoshParmar/Fitness-AQA"
|
||||
zenodo_url: "https://zenodo.org/records/7310289"
|
||||
relevance_to_smartrep: 5
|
||||
direction: "A" # 🅰 fine-grained error detection — прямо в центре ниши
|
||||
role_in_pipeline: [ssl_pretrain, finetune, eval, baseline, error_taxonomy_reference]
|
||||
transparency_score: "3/20"
|
||||
synthesis_potential: [pseudo_labeling_source, ssl_pretrain_source]
|
||||
tags: [fitness, strength_training, in_the_wild, error_detection, aqa, ssl, barbell, expert_annotation, youtube_scraped, privacy_concerns, non_commercial]
|
||||
priority: "CRITICAL" # новый тариф выше HIGH — максимальное совпадение с SmartRep
|
||||
---
|
||||
```
|
||||
|
||||
### 1. МЕТАДАННЫЕ ДАТАСЕТА
|
||||
|
||||
Датасет называется **Fitness-AQA** — сокращение от «Fitness Action Quality Assessment». Сопровождающая статья — «Domain Knowledge-Informed Self-Supervised Representations for Workout Form Assessment», авторы Paritosh Parmar (University of British Columbia + FlexAI Inc.), Amol Gharat (FlexAI Inc.), Helge Rhodin (UBC). Публикация: ECCV 2022, arXiv 2202.14019, версия v2 от 21 октября 2022 после camera-ready правок. Zenodo-релиз данных: версия v1 опубликована 23 октября 2022 года с указанием non-commercial only, DOI Zenodo 10.5281/zenodo.7310289. По данным survey «A Decade of Action Quality Assessment», Fitness-AQA на 2025 год остаётся датасетом с наибольшим числом samples в AQA-нише и первым fitness-AQA датасетом. Цитируемость на апрель 2026 года — порядка сотен ссылок, активно используется как эталонный бенчмарк в работах по fitness AQA, включая недавние расширения вроде FLEX (2025). Статус поддержки — активно поддерживается через GitHub и Zenodo, с периодическими обновлениями documentation.
|
||||
|
||||
Любопытная деталь об авторах: Paritosh Parmar — один из ключевых ресёрчеров AQA-ниши в целом, автор MTL-AQA и AQA-7. Fitness-AQA — часть его программной серии работ по расширению AQA за пределы Olympic sports. Аффилиация с FlexAI Inc. говорит о том, что работа имеет commercial backing и вероятно тестировалась в продуктовом приложении.
|
||||
|
||||
### 2. ПОЗИЦИОНИРОВАНИЕ ДАТАСЕТА
|
||||
|
||||
Fitness-AQA закрывает совершенно специфический пробел, не покрываемый ни Fit3D, ни FLAG3D. Авторы явно заявляют, что до их работы оценка техники силовых упражнений изучалась только в контролируемых условиях — единственным предшественником был Waseda Backsquat dataset от Ogata et al., где актёр намеренно имитирует ошибки без реальной штанги в домашне-офисной обстановке. Fitness-AQA предлагает принципиально другое: **реальные видео из реальных залов с реальными людьми, делающими реальные ошибки под реальной нагрузкой**. Принципиальная новизна здесь не в MoCap-точности и не в мультидоменной структуре, а в in-the-wild-характере и в наличии экспертной разметки ошибок техники от сертифицированных тренеров.
|
||||
|
||||
Гипотеза авторов о «правильном» датасете для workout-form assessment: обычные pose-estimators провальны в реальных условиях зала из-за комбинации необычных ракурсов, окклюзий от оборудования, вариабельности одежды и освещения, поэтому любой датасет, собранный в контролируемой лаборатории, автоматически даёт overly-optimistic результаты. Единственный способ получить честную оценку — собрать данные именно в условиях, в которых модель будет работать. Это методологически жёсткая позиция, и она имеет прямое следствие для SmartRep: лабораторные датасеты типа Fit3D и FLAG3D неизбежно завышают реальную точность моделей.
|
||||
|
||||
### 3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
|
||||
|
||||
#### 3.1. Общая статистика
|
||||
|
||||
Датасет структурирован не по принципу «единый pool» как Fit3D/FLAG3D, а как набор подсетов по экзерсисам и типам ошибок, причём для каждого экзерсайза есть unlabeled часть (для SSL) и labeled часть (для supervised finetuning). Ключевые параметры:
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Общее число samples|~21,284|
|
||||
|Число экзерсизов|3 (BackSquat, BarbellRow, OverheadPress)|
|
||||
|Средняя длительность клипа|4.1 секунды|
|
||||
|Число аннотированных типов ошибок|8+ (KIE, KFE, SS, CVRB, CCRB по squat; Lumbar, TorsoAngle по row; Elbow, Knees по press)|
|
||||
|Train/val/test split|70 / 15 / 15 % (для большинства подсетов)|
|
||||
|Количество субъектов|«numerous unique individuals» без точного числа|
|
||||
|Демография|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Антропометрия|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Аннотаторы|2 «professional gym trainers»|
|
||||
|
||||
Разбивка по экзерсайзам (из Figure 2 статьи), включая соотношение non-erroneous к erroneous samples, важна сама по себе и говорит об имбалансе классов. Для BackSquat на ошибках KIE и KFE в labeled-части 1623 видео с соотношением 1387 правильных к 236 с ошибкой (перекос почти 6:1 в сторону правильного выполнения). Для ошибки Shallow Squat — 3611 видео с соотношением 515:1108, что наоборот перекошено в сторону ошибок. Для image-based Squat-ошибок (CVRB, CCRB) — 6490 изображений с соотношением 5408:1082. Для BarbellRow на Lumbar и TorsoAngle — 3300 видео с соотношениями 5900:590 и 1686:574. Для OverheadPress Elbow и Knees ошибок — 2260 видео с соотношениями 1486:774.
|
||||
|
||||
Это **сильно имбалансированный датасет**, что авторы сами признают и компенсируют class weights в cross-entropy. Для SmartRep это важная deталь: прямое обучение без учёта имбаланса даст модель, уверенно предсказывающую «правильно» во всех случаях.
|
||||
|
||||
#### 3.2. Модальности данных
|
||||
|
||||
Fitness-AQA радикально скромнее по модальностям, чем лабораторные fitness-датасеты. Есть только RGB-видео и RGB-изображения плюс binary error labels. Нет MoCap, нет 3D keypoints, нет SMPL-параметров, нет 2D keypoints (это намеренный дизайн — авторы аргументируют, что OTS pose estimators здесь ломаются), нет IMU, нет depth, нет текстовых описаний. Суммарная модальная «бедность» — это не недостаток, а **сознательная философская позиция** авторов: научить модель работать без pose-prior, только с сырым RGB.
|
||||
|
||||
#### 3.3. Съёмочная установка
|
||||
|
||||
Съёмочной установки как таковой нет — это scraped dataset. Видео собраны с Instagram и YouTube, что означает гетерогенный pool смартфон-камер разных моделей, разных лет производства, разных разрешений. Авторы не проводят нормализации по resolution или FPS, оставляя эту вариабельность как часть in-the-wild характера. Фон — реальные коммерческие залы, с другими тренирующимися людьми на заднем плане, с типичным освещением gym-помещений, с реальной gym-экипировкой (штанги, гантели, стойки, скамьи). Ракурсы съёмки — то, что сам атлет или его товарищ по тренировке выбрал, обычно в диапазоне front view, side view, 3/4, с разными inclination angles и distances, без стандартизации. Это максимально реалистичная дистрибуция ракурсов для SmartRep-целевого сценария.
|
||||
|
||||
Важная техническая деталь методологии статьи: авторы используют **кастомный YOLOv3 детектор штанги/гантели** для построения amplitude-normalized trajectory штанги, по которой потом квази-синхронизируют видео разных атлетов в одинаковых фазах движения. Это элегантный трюк, компенсирующий отсутствие hardware-sync в in-the-wild данных. Для SmartRep это готовая pipeline-идея: detector штанги как universal trajectory anchor.
|
||||
|
||||
#### 3.4. Визуальные материалы
|
||||
|
||||
Статья содержит 6 основных рисунков. Figure 1 — концептуальная иллюстрация, сопоставляющая «good form» и «bad form» примеры рядом с OTS pose estimation failures на тех же кадрах; она наглядно демонстрирует центральный тезис (ошибки техники мелкие, а ошибки pose estimator большие, и масштаб второго заглушает первое). Figure 2 — иерархия датасета с количеством samples и ratio на каждой ветке, crucial для понимания structure. Figure 3 — barbell trajectory, объясняющая quasi-synchronization algorithm. Figure 4 — CVCSPC pose contrastive схема с anchor/positive/negative триплетами. Figure 5 — motion disentangling схема с глобальным и локальным движением в двух half-cycles. Figure 6 — pose retrieval experiment, показывающий, что их embeddings кодируют pose информацию. В дополнение упоминается supplementary material с illustrations of exercise errors — он критически важен для воспроизводимости (какая именно «knee cave» считается ошибкой), но в main paper отсутствует.
|
||||
|
||||
Чего принципиально нет: пообласное распределение, geographic/demographic visualization субъектов, примеры «good form» vs «bad form» на representative случаях для каждой из 8+ ошибок, distribution analyses длительностей клипов, распределение ракурсов съёмки. [МОЙ КОММЕНТАРИЙ] Это существенный пробел для датасет-контрибьюшена — визуализации ориентированы на алгоритмический метод статьи, а не на структуру самого датасета.
|
||||
|
||||
### 4. МЕТОДОЛОГИЯ СБОРА ДАННЫХ
|
||||
|
||||
Методология сбора в Fitness-AQA — это web scraping, что делает секции 4.1–4.3 промпта отчасти неприменимыми в привычной форме, но порождает другие вопросы, которых не задавалось в Fit3D и FLAG3D.
|
||||
|
||||
Авторы пишут, что собирали видео с Instagram и YouTube, но не раскрывают search queries, платформенные фильтры, методы отбора (по хештегам, по аккаунтам, по каналам?), критерии исключения видео. Не упоминается соблюдение Terms of Service этих платформ, что критично для коммерческого использования. Не уточняется, получалось ли согласие от оригинальных авторов видео на использование в датасете. Это существенный этический и юридический пробел, который для SmartRep-применения означает следующее: использовать Fitness-AQA для академической публикации — OK, использовать веса модели, обученной на Fitness-AQA, в коммерческом приложении — юридически рискованно (неясный статус derived works от scraped user-generated content).
|
||||
|
||||
Протокол записи как такового нет — видео уже существовали до факта сборки датасета. Но авторы описывают post-processing: samples были автоматически обработаны, чтобы содержать одно повторение, что означает temporal cropping по barbell trajectory. Это стандартизирует длины клипов (среднее 4.1 секунды), но не стандартизирует всё остальное (ракурсы, освещение, окклюзии) — что, впрочем, соответствует философии in-the-wild.
|
||||
|
||||
Качественный контроль описан лишь фрагментарно: автоматический процессинг trimming, отсутствие информации о проценте забракованных видео, отсутствие информации о критериях отбора при review. Это означает, что некоторая часть «шума» (неполные повторения, видео с несколькими людьми, спорные случаи) могла попасть в финальный датасет.
|
||||
|
||||
### 5. ПРОТОКОЛ АННОТАЦИИ
|
||||
|
||||
Протокол аннотации — **главная сила** Fitness-AQA по сравнению с Fit3D и FLAG3D. Binary-grade labels проставлены двумя профессиональными gym trainers, что даёт экспертную валидацию каждого sample. Типы меток — binary error labels per body part per exercise: по BackSquat есть пять отдельных меток (KIE knee-inward, KFE knee-forward, SS shallow squat, CVRB convex rounded back, CCRB concave rounded back), по BarbellRow две (Lumbar error, TorsoAngle error), по OverheadPress две (Elbow error, Knees error). Это **первая в области fitness таксономия named errors с экспертной разметкой**, что для SmartRep — критический reference.
|
||||
|
||||
Однако в протоколе есть серьёзные пробелы. Во-первых, задействованы только два аннотатора, и inter-annotator agreement (Cohen's κ или аналогичный) не отчитан. Это значит, что мы не знаем, насколько воспроизводима разметка — возможно, κ высокий (ошибки техники легко различимы), возможно низкий (есть спорные случаи). Для SmartRep это ограничение воспроизводимости: если мы обучимся на Fitness-AQA и тестируем на собственном датасете, расхождения могут быть как реальными (наш датасет разнороднее), так и артефактами разной «школы» разметки. Во-вторых, квалификация тренеров указана общо («professional gym trainers») без деталей о сертификации (NSCA, NASM, ISSA?), стаже работы, специализации (powerlifting vs bodybuilding школы имеют разные стандарты техники). В-третьих, инструкции аннотаторам не опубликованы. В-четвёртых, процедура разрешения разногласий между двумя тренерами не описана. В-пятых, неизвестно, аннотировали ли оба тренера все samples или распределили нагрузку.
|
||||
|
||||
Валидация разметки через golden set или перекрёстная проверка третьим экспертом — не упомянута. Это формирует вторую принципиальную слабость датасета после юридического статуса scraped content.
|
||||
|
||||
### 6. ДОСТУПНОСТЬ И ЛИЦЕНЗИРОВАНИЕ
|
||||
|
||||
Доступность Fitness-AQA организована через два канала: Zenodo (DOI 10.5281/zenodo.7310289) с метаданными и GitHub-репозиторий с кодом и инструкциями. Получение самих данных требует заполнения Google Form, после чего автор высылает ссылки. Лицензия — «Only available for non-commercial purposes». Статья при этом опубликована под CC-BY-SA 4.0 через arXiv, но это лицензия только на статью, не на данные.
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Лицензия на данные|non-commercial, research-only|
|
||||
|Лицензия на статью|CC-BY-SA 4.0 (arXiv)|
|
||||
|Коммерческое использование|запрещено|
|
||||
|Необходимость MoU|нет; только acceptance of terms через Google Form|
|
||||
|Способ получения|Google Form: forms.gle/PbPTX1eVxGpa3QG88|
|
||||
|Lead time|от нескольких часов до нескольких дней (зависит от автора)|
|
||||
|Размер загрузки|НЕ УКАЗАНО В СТАТЬЕ (оценочно порядка 10-50 GB)|
|
||||
|Код обработки|публично на GitHub|
|
||||
|Dataloader|Python scripts в репозитории|
|
||||
|
||||
Для SmartRep эта лицензия значит следующее: для академической публикации всё в порядке, но если SmartRep планирует коммерческое развёртывание, обученные на Fitness-AQA веса нельзя будет использовать напрямую. Решение — использовать Fitness-AQA как reference для дизайна собственной error taxonomy, но обучать финальную модель на собственном датасете с разрешающей лицензией.
|
||||
|
||||
### 7. ДЕМОГРАФИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ ПЕРЕКОСЫ
|
||||
|
||||
Демографические перекосы в Fitness-AQA непредсказуемы в плохом смысле — авторы не отчитывают демографию вовсе, а scraped nature датасета означает, что перекосы унаследованы от Instagram/YouTube фитнес-контента. Это создаёт специфические риски: (1) bias в сторону опубликованных в соцсетях людей, что обычно означает моложе, фотогеничнее, белой этничности, физически подготовленных чем population mean; (2) gender bias — соцсети фитнес-контента имеют сложную гендерную структуру разной по типам упражнений (OverheadPress склонен к мужчинам в pool, Squat может быть более сбалансирован); (3) geographic bias в сторону англоязычных stable-internet-access стран; (4) возрастной перекос к 20-35 годам как core audience fitness-соцсетей.
|
||||
|
||||
Съёмочные перекосы тоже уникальны. Viewpoint coverage, вопреки интуиции, может быть достаточно богатым — разные атлеты снимают с разных точек залов, что даёт естественную выборку ракурсов. Но этот охват не стратифицирован и неизвестно, какие ракурсы доминируют. Environmental bias — в пользу коммерческих залов хорошего класса (где есть место для камеры и свет достаточен для публикации), что отсекает домашние гаражные залы, полу-профессиональные сетапы, залы в странах третьего мира. Temporal — в один день или в несколько сессий, неизвестно.
|
||||
|
||||
Аннотационные перекосы, как мы уже обсуждали, — сильный class imbalance в пользу «правильного выполнения», что характерно для соцсетевого фитнес-контента (люди публикуют свои успешные повторения чаще, чем заваленные).
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Для SmartRep это означает, что Fitness-AQA имеет специфический bias-профиль, сильно отличающийся от типичных лабораторных датасетов: у него хорошее in-the-wild viewpoint coverage, но плохое demographic coverage, при этом — в отличие от Fit3D и FLAG3D — оба дефицита принципиально непоправимы через augmentation, потому что мы не знаем исходную демографию. Если SmartRep-пользовательская база принципиально шире социально-активной фитнес-аудитории Instagram, обученные на Fitness-AQA модели будут демонстрировать демографический generalization gap.
|
||||
|
||||
### 8. ИСПОЛЬЗОВАНИЕ В НАУЧНОМ СООБЩЕСТВЕ
|
||||
|
||||
Авторы сами проводят два основных эксперимента. Case Study 1 — Waseda Squat (контролируемые условия, предыдущий датасет Ogata et al.), где их CVCSPC достигает 89.92% средней точности, незначительно превосходя HMR-TDM с 89.08%. В простых условиях их подход не даёт большого выигрыша, что ожидаемо. Case Study 2 — собственно Fitness-AQA (in-the-wild), где наблюдается драматический выигрыш.
|
||||
|
||||
На BackSquat KIE (knee-inward error) их CVCSPC даёт F-score 0.5195 против 0.4143 у OpenPose-TDM, 0.2878 у SPIN-TDM и 0.2270 у SimSiam — разрыв 8-24 пункта. На KFE выигрыш меньше (0.8286 vs 0.8123), потому что ошибка проще детектируется. На shallow squat — 0.8694 vs 0.8340. На OverheadPress Elbow-error — 0.4522, на Knees-error — 0.8452 для motion disentangling vs 0.7131 у OpenPose. На Lumbar-error BarbellRow через cross-exercise transfer от SQ+OHP — 0.6338 против 0.5422 у OpenPose. Ensemble CVCSPC+MD на KIE даёт 0.5263 — лучший результат в статье.
|
||||
|
||||
Ключевой результат — **OTS pose estimators систематически проигрывают domain-informed SSL** в in-the-wild условиях, что является central finding работы.
|
||||
|
||||
Post-hoc использование Fitness-AQA: есть последующие работы, применяющие more advanced approaches на этом датасете. Работа ACM UMAP 2025 использовала Fitness-AQA как benchmark для Large Multimodal Models fine-tuning, добавив temporal action localization через mAP к существующей F1-score per body part. GYMetricPose от Parmar et al. также использует Fitness-AQA, но с 3D pose features. FLEX (2025) расширяет Fitness-AQA-направление многомодальными сигналами включая sEMG и multi-view cinema cameras.
|
||||
|
||||
Стандартные метрики в Fitness-AQA — F1-score (из-за class imbalance) и accuracy (в простых случаях). Это адекватные метрики, но отсутствует calibration analysis (на сколько модель overconfident в false predictions), что для SmartRep важно при intent to provide user feedback — overconfident ложная коррекция опаснее, чем неуверенная.
|
||||
|
||||
Типичные ошибки SOTA: на субтильных errors с маленьким effect size на пиксельном уровне (KIE «knees going slightly inward») даже лучшие модели дают F1 ≈ 0.5, что означает плохую практическую применимость в текущем поколении. Это важная честность от авторов — они не прячут, что задача далека от решения.
|
||||
|
||||
### 9. СРАВНЕНИЕ С АЛЬТЕРНАТИВНЫМИ ДАТАСЕТАМИ
|
||||
|
||||
|Параметр|Fitness-AQA|Fit3D|FLAG3D|Waseda Squat|EgoExo-Fitness|
|
||||
|---|:-:|:-:|:-:|:-:|:-:|
|
||||
|In-the-wild collection|✓|✗|✗ (частично в real-world)|✗|✗|
|
||||
|Heavy barbell силовые|✓|✗|✗|✗|частично|
|
||||
|Named error taxonomy|✓ (8+ типов)|✗|✗|✓ (5 squat-ошибок)|✓|
|
||||
|Expert annotation|✓ (2 тренера)|✗|✓ (coaches для инструкций)|limited|✓|
|
||||
|Inter-annotator agreement|✗|✗|✗|✗|проверить|
|
||||
|3D pose / MoCap|✗|✓|✓|✗|✓ (частично)|
|
||||
|Multi-view synced|✗|✓|✓ (rendered)|✗|✓ (ego+exo)|
|
||||
|Samples|21,284|>3M frames|180K seq|<1K|—|
|
||||
|Лицензия|non-commercial|research-only|research-only|academic|—|
|
||||
|
||||
Fitness-AQA в этой таблице занимает уникальную позицию — единственный датасет, сочетающий одновременно in-the-wild collection, heavy barbell exercises, named error taxonomy и expert annotation. Ближайший конкурент по охвату нами интересующих свойств — EgoExo-Fitness (ECCV 2024), который стоит отдельно изучить позже, но он использует контролируемую мультикамерную съёмку, а не scraped content.
|
||||
|
||||
### 10. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
|
||||
|
||||
|Аспект|Оценка (1–5)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Силовые упражнения представлены|5|три основных компаунда — ровно то, что нужно|
|
||||
|Multi-view покрытие|2|один ракурс на видео, но pool разнообразный|
|
||||
|Антропометрическое разнообразие|3|unknown demographics, но scraped nature даёт разнообразие|
|
||||
|Экспертная разметка ошибок техники|5|уникальная характеристика в fitness-домене|
|
||||
|MoCap / IMU ground truth|1|отсутствует by design|
|
||||
|Разрешение / FPS|3|гетерогенное, обычно 720p+|
|
||||
|In-the-wild реализм|5|максимальный среди fitness-датасетов|
|
||||
|Доступность / лицензия|3|получаемо через форму, но non-commercial|
|
||||
|Совместимость с edge-pipeline|4|простой RGB формат, лёгкие labels|
|
||||
|
||||
Для направления **🅰 (fine-grained error detection)** Fitness-AQA — **самый релевантный** из доступных датасетов, без преувеличения. Его три экзерсайза (BackSquat, BarbellRow, OverheadPress) идеально совпадают с «большой тройкой» SmartRep-релевантных движений, а named error taxonomy (KIE, KFE, SS, Lumbar, TorsoAngle и др.) дают готовый vocabulary для разработки нашей собственной таксономии. Для направления **🅱 (biomechanics-aware pose estimation)** ценность обратная — авторы намеренно обходят pose estimation, так что прямого вклада нет, но отрицательный результат «OTS pose estimators fail in the wild» — ценное эмпирическое подтверждение необходимости fine-tune на fitness-домене. Для направления **🅲 (few-shot adaptation)** Fitness-AQA предлагает интересный pattern: большой unlabeled pool + маленький labeled expert-annotated subset — ровно та структура, которая подходит SSL-подходам.
|
||||
|
||||
Роль в пайплайне SmartRep многогранна. Как **SSL-pretrain source** — идеален, unlabeled часть предназначена именно для этого и проверена авторами. Как **fine-tune source** для error detection head — идеален, labeled часть покрывает релевантные упражнения. Как **evaluation benchmark** — обязателен, это de-facto стандарт сравнения для fitness-AQA работ. Как **baseline source** — CVCSPC и motion disentangling подходы авторов следует воспроизвести как первую линию baselines. Как **error taxonomy reference** — критически важен: при проектировании SmartRep-dataset мы **должны** сохранить совместимость с Fitness-AQA-таксономией, чтобы наши результаты были сопоставимы с их SOTA.
|
||||
|
||||
Ключевой риск — non-commercial лицензия и этический vacuum вокруг scraped content. Если SmartRep планирует продуктовое применение, прямое использование весов, обученных на Fitness-AQA, создаёт юридическую и репутационную зону риска.
|
||||
|
||||
### 11. ПОТЕНЦИАЛ ДЛЯ DATA AUGMENTATION / SYNTHESIS
|
||||
|
||||
Синтетический потенциал Fitness-AQA принципиально отличается от Fit3D и FLAG3D, и это заслуживает отдельного обсуждения.
|
||||
|
||||
Параметрических моделей тела в датасете нет — ни SMPL, ни SMPL-X, ни GHUM. Это значит, что SMPL rerender невозможен напрямую: нам пришлось бы сначала обучить SMPL-recovery модель и прогнать её на всех samples, чтобы получить параметры для ре-рендеринга, с неизбежной потерей точности (SMPL recovery в real-world условиях — трудная задача сама по себе, как показывают авторы). Поэтому SMPL-based synthesis — это двухэтапный процесс с неопределённым качеством.
|
||||
|
||||
MoCap-retargeting неприменим — нет источника MoCap. Novel view synthesis через NeRF/Gaussian Splatting также неприменим, потому что каждое видео — один ракурс одного повторения, и нет multi-view пар для одного субъекта в одной сессии.
|
||||
|
||||
Композитные аугментации на уровне backgrounds сложны — нет segmentation masks, нет green screen, нет depth. Стандартные image/video аугментации (color jitter, blur, crop, flip) полностью работают, но это не synthesis, а обычная аугментация.
|
||||
|
||||
Pseudo-labeling потенциал значительный и в другом направлении, чем у лабораторных датасетов. Fit3D и FLAG3D порождают pose-teachers для размётки пользовательских видео. Fitness-AQA порождает **error-detection teachers** для размётки unlabeled gym-видео на предмет «правильно/неправильно» — это принципиально другой тип pseudo-labeling, прямо релевантный error-detection задаче SmartRep. Если SmartRep соберёт собственный unlabeled pool видео силовых упражнений из открытых источников, модель, обученная на Fitness-AQA, сможет её предварительно разметить, и экспертам останется только arbitrate disagreements — сокращая annotation effort в разы.
|
||||
|
||||
SSL-pretrain potential — доказан авторами. CVCSPC и motion disentangling подходы напрямую переносятся в SmartRep-пайплайн как feature extractors, которые потом fine-tune на нашем датасете.
|
||||
|
||||
Композиция с другими датасетами реализуема на семантическом уровне (общие экзерсайзы BackSquat/OverheadPress с Fit3D и FLAG3D), но формат labels несовместим. Можно использовать Fitness-AQA labels + Fit3D pose features как multi-label supervision.
|
||||
|
||||
Риски синтеза специфичны. Двухэтапный SMPL recovery → re-render добавит шумы, которые могут усугубить уже сложный in-the-wild домен. Pseudo-labeling unreliable classes (где авторский F-score ~0.5) даст noisy pseudo-labels, которые обучат новую модель учиться на шуме.
|
||||
|
||||
**Итоговая оценка синтетического потенциала: НИЗКИЙ-СРЕДНИЙ.** Обоснование: традиционные synthesis-подходы (SMPL-rerender, novel views) неприменимы или сильно ограничены, но pseudo-labeling для error detection на новых данных — очень сильный путь использования. Именно поэтому в YAML я указал `[pseudo_labeling_source, ssl_pretrain_source]`, а не более широкий набор из Fit3D/FLAG3D.
|
||||
|
||||
### 12. GAP-АНАЛИЗ ДЛЯ НАШЕГО ДАТАСЕТА
|
||||
|
||||
Fitness-AQA покрывает три силовых экзерсайза с expert-аннотированной binary error taxonomy в in-the-wild условиях, **при этом не рассматривает** inter-annotator agreement, non-binary severity grading, 3D pose ground truth, multi-view registration, многие другие силовые упражнения (становая тяга, жим лёжа, тяга горизонтального блока, вертикальная тяга), полную демографическую документацию и пересечение с лицензионно чистым коммерческим использованием. Каждая из этих пяти осей открывает уникальную нишу для SmartRep-dataset.
|
||||
|
||||
Первое — inter-annotator agreement. Fitness-AQA задействует 2 тренеров без κ. SmartRep-dataset с 3-5 сертифицированными тренерами (желательно разных школ — powerlifting, weightlifting, bodybuilding) с опубликованным κ и arbitrated resolution протоколом становится методологически более строгим reference.
|
||||
|
||||
Второе — severity grading. Fitness-AQA — binary («есть ошибка / нет ошибки»). SmartRep-dataset с 3-4 уровневой градацией (нет ошибки / лёгкая / средняя / критическая) даёт более информативный signal для пользовательского feedback.
|
||||
|
||||
Третье — 3D pose + error co-annotation. Fitness-AQA by design не имеет pose. SmartRep-dataset с синхронизированной multi-view камерной съёмкой и производимым через VIBE/ROMP SMPL-recovery в сочетании с named error labels даст уникальный resource для pose-aware error-detection моделей.
|
||||
|
||||
Четвёртое — расширенный список экзерсайзов. Fitness-AQA имеет 3 упражнения. SmartRep-dataset с 6-8 экзерсизами (добавив становую тягу, жим лёжа, вертикальную тягу, румынскую становую) закрывает полный core set pauerlifting + базового bodybuilding.
|
||||
|
||||
Пятое — коммерческая лицензия. Fitness-AQA scraped с non-commercial restrictions. SmartRep-dataset с собственной in-gym съёмкой под документированным consent с CC-BY-NC или даже CC-BY лицензией даёт первую возможность обучать коммерчески применимые модели в нише.
|
||||
|
||||
Пост-аугментационный gap: synthesis через Fitness-AQA **не закрывает** ни одну из этих пяти осей — ни inter-annotator agreement, ни severity grading, ни 3D pose, ни новые упражнения, ни лицензионную чистоту. Всё это требует нового сбора, что подтверждает уникальность предложения SmartRep-dataset.
|
||||
|
||||
### 13. КРИТИЧЕСКАЯ ОЦЕНКА
|
||||
|
||||
#### 13.1. Transparency score
|
||||
|
||||
|#|Ось транспарентности|Оценка|Обоснование|
|
||||
|---|---|:-:|---|
|
||||
|1|Collection protocol|1|scraping упомянут, но без search queries, platform filters, inclusion criteria|
|
||||
|2|Capture setup|1|неприменимо в классическом смысле — in-the-wild; авторы признают variability|
|
||||
|3|Calibration|0|неприменимо, но пробел не отмечен|
|
||||
|4|Demographics breakdown|0|«numerous unique individuals» без количеств|
|
||||
|5|Annotation instructions|0|не опубликованы; supplementary может содержать, но не в main paper|
|
||||
|6|Inter-annotator agreement|0|два тренера без κ|
|
||||
|7|Rejection / cleaning|0|автоматический trimming упомянут без статистики|
|
||||
|8|IRB / ethics / consent|0|scraping без mention ToS compliance, privacy, consent|
|
||||
|9|Datasheet (Gebru)|0|отсутствует|
|
||||
|10|Known limitations|1|class imbalance признан, F-score ~0.5 на субтильных ошибках честно отчитан|
|
||||
|
||||
**Итоговый Transparency Score: 3/20 (opaque).**
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Это самый низкий transparency score из трёх проверенных датасетов: Fit3D 5/20, FLAG3D 7/20, Fitness-AQA 3/20. Тенденция интересная: чем более «академично-институционально» собирается датасет, тем выше transparency; in-the-wild scraped datasets систематически проваливаются по этой метрике. Это не означает, что Fitness-AQA хуже как научный ресурс — его научная ценность высочайшая, — но что для формальной прозрачности даже первоклассные ECCV-работы 2022 года не обеспечивают базовых norms Gebru-фреймворка. Для SmartRep это означает: если SmartRep-dataset достигнет 12+/20 по Transparency Score, он будет **значительно прозрачнее, чем любой существующий fitness-датасет** — что само по себе будет аргументом в Data paper.
|
||||
|
||||
Отдельно стоит отметить этический пробел. Ось 8 провалена полностью, и это серьёзнее, чем просто отсутствие IRB: scraping YouTube/Instagram контента без упоминания consent, ToS compliance и privacy считается сомнительной практикой по современным стандартам ML-сообщества (см. обсуждения вокруг Laion, ImageNet, и других scraped датасетов). SmartRep-dataset с документированным informed consent каждого субъекта займёт принципиально иную позицию.
|
||||
|
||||
#### 13.2. Peer-review оценка
|
||||
|
||||
|Критерий|Оценка (1–10)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Новизна / уникальность|9|первый in-the-wild fitness-AQA с expert taxonomy|
|
||||
|Размер и покрытие|6|21K samples — достаточно для SSL+fine-tune, мало для серьёзной статистики per-class|
|
||||
|Качество разметки|6|эксперты, но 2 аннотатора без agreement|
|
||||
|Методологическая строгость сбора|4|scraping без формализации процедуры|
|
||||
|Документация (синхронно с 13.1)|2|transparency 3/20 — opaque|
|
||||
|Воспроизводимость|7|код публичный, данные по форме|
|
||||
|Этическая строгость|2|critical gaps вокруг scraped content|
|
||||
|Отсутствие перекосов|4|демография непонятна; class imbalance признан|
|
||||
|Полезность для сообществу|9|de-facto стандарт в fitness-AQA нише|
|
||||
|Синтетическая расширяемость|4|ограничена pseudo-labeling и SSL|
|
||||
|
||||
**Общая рекомендация: Adopt with strong caveats.** Fitness-AQA нельзя игнорировать для работы в SmartRep-направлении, но использовать его надо с пониманием четырёх серьёзных ограничений: non-commercial лицензии, отсутствия inter-annotator agreement, этического vacuum вокруг scraped content и систематически низкой F-score на субтильных ошибках.
|
||||
|
||||
### 14. EXECUTIVE SUMMARY
|
||||
|
||||
**Первое.** Fitness-AQA — первый в мире in-the-wild fitness action quality assessment датасет с экспертно размеченной таксономией ошибок техники для трёх компаундных силовых упражнений (BackSquat, BarbellRow, OverheadPress), собранный scraping-ом YouTube и Instagram, на 21,284 samples с binary error labels от двух профессиональных тренеров.
|
||||
|
||||
**Второе.** Самая сильная сторона — уникальная комбинация realistic gym conditions, heavy barbell упражнений и expert-аннотированной named error taxonomy, которой нет ни в одном другом публичном fitness-датасете; это делает Fitness-AQA обязательным reference для любой работы в SmartRep-направлении.
|
||||
|
||||
**Третье.** Самая слабая сторона — этический vacuum вокруг scraped user-generated content без упомянутого consent или ToS compliance в сочетании с отсутствием inter-annotator agreement между двумя тренерами, что создаёт одновременно юридический риск для коммерческого применения и методологический риск для воспроизводимости.
|
||||
|
||||
**Четвёртое.** Transparency Score 3/20 (opaque) — самый низкий из трёх проверенных fitness-датасетов; это не отражает научную ценность работы, но фиксирует систематический пробел в документировании scraped in-the-wild датасетов.
|
||||
|
||||
**Пятое.** Синтетический потенциал НИЗКИЙ-СРЕДНИЙ и ортогонален традиционным synthesis-путям: SMPL-rerender и novel views неприменимы, но pseudo-labeling для error detection на новых unlabeled gym-видео — сильный и уникальный путь использования.
|
||||
|
||||
**Шестое.** Роль в пайплайне SmartRep: обязательна как SSL-pretrain source, fine-tune source, evaluation benchmark, baseline source и error taxonomy reference — пять ролей одновременно, больше, чем у любого другого fitness-датасета.
|
||||
|
||||
**Седьмое.** Главный gap для нашего датасета — inter-annotator agreement, severity grading вместо binary labels, pose ground truth, расширенный список экзерсайзов (становая тяга, жим лёжа, вертикальная тяга) и лицензионная чистота для коммерческого применения; ни одна из этих осей не закрывается через synthesis на Fitness-AQA.
|
||||
|
||||
**Восьмое.** Лицензионный статус — non-commercial с получением через Google Form; применимо для академической публикации, блокирует прямое продуктовое использование весов.
|
||||
|
||||
**Девятое.** Приоритет для SmartRep — **CRITICAL** (выше HIGH): это единственный публичный датасет, прямо покрывающий core-задачу SmartRep, и отказ от его использования не имеет научного оправдания.
|
||||
|
||||
**Десятое.** Связанные датасеты для изучения следом — EgoExo-Fitness (Li et al., ECCV 2024, контролируемая ego+exo съёмка fitness-упражнений как альтернативная методологическая точка отсчёта), FLEX (Yin et al., 2025, multimodal с sEMG как next-generation AQA датасет), Waseda Backsquat (Ogata et al., 2019, предшественник Fitness-AQA как reference baseline dataset).
|
||||
|
||||
---
|
||||
|
||||
## Мета-комментарий: что прогон на Fitness-AQA высветил дополнительно к прошлым двум
|
||||
|
||||
Три прогона дают интересную триангуляцию, потому что три датасета представляют три принципиально разных подхода к сборке: Fit3D — лаборатория с системой AIFit, FLAG3D — лаборатория с добавленным synthesis, Fitness-AQA — scraping без лабораторного компонента. Каждый прогон выявил что-то, чего предыдущие не показали.
|
||||
|
||||
Главное наблюдение о промпте после третьего прогона — Transparency Score оказалась даже чувствительнее, чем я ожидал после второго прогона. Три датасета дали 5/20, 7/20 и 3/20, и эта упорядоченность интуитивно совпадает с «институциональностью» сбора. Это подсказывает важную практическую вещь: при построении сводной таблицы десяти-пятнадцати fitness-датасетов, Transparency Score, скорее всего, даст diagonal gradient от scraped (низкие оценки) через lab (средние) к industrial multi-institutional (высокие). Это позволит тебе сделать нетривиальный observation в литобзоре про систематические различия в документировании.
|
||||
|
||||
Секция 11 про synthesis-потенциал на Fitness-AQA повела себя нестандартно — я обнаружил, что подсекции 11.1–11.4 (SMPL, MoCap, novel views, композитные аугментации) для scraped in-the-wild датасета дают в основном «не применимо», а вся ценность концентрируется в 11.5 (pseudo-labeling). Но pseudo-labeling здесь **другого типа**, чем в Fit3D/FLAG3D — не pose pseudo-labels, а error pseudo-labels. Это наблюдение стоит зафиксировать: промпт в текущей формулировке не делает различий между типами pseudo-labels, а они принципиально различны по научной ценности и применимости. Возможное улучшение — добавить в 11.5 явный вопрос «какие именно labels порождаются через pseudo-labeling: pose, class, error, quality?» Это уточнение поможет на датасетах типа Fitness-AQA и FLEX, где pseudo-labeling — центральная ценность.
|
||||
|
||||
Секции 4 (методология сбора) и 5 (протокол аннотации) на Fitness-AQA частично не сработали как задумано, но сломались не по-плохому, а информативно. Секция 4.1 (рекрутинг субъектов) и 4.2 (протокол записи) для scraped датасета буквально неприменимы — нет ни рекрутинга, ни протокола записи в традиционном смысле, и я вынужден был отметить это явно. Это подсказывает, что для scraped датасетов имело бы смысл **альтернативную подсекцию 4** — о scraping methodology: search queries, platform filters, legal compliance, consent status, data freshness. В текущем промпте эта специфика поглощается общими формулировками, что работает, но недостаточно точно. Улучшение: добавить в 4.1 условный switch: «если датасет собран scraping-ом, опиши search queries, filters, legal basis для сбора». Это займёт три строки в промпте, но даст более точный анализ для растущей ниши scraped fitness-данных (FLEX, LucidAction и будущие работы уходят в другом направлении, но scraping как методология никуда не денется).
|
||||
|
||||
Секция 13.2 — peer-review оценка — на Fitness-AQA дала неожиданно низкие баллы по ethical strigency (2/10) и documentation (2/10) при высоких баллах по novelty (9/10) и community usefulness (9/10). Эта биполярность правильная и интересная — она показывает, что научная влиятельность и методологическая аккуратность не коррелируют в этой области. Для твоих карточек это означает, что радарная диаграмма peer-review (если строить) будет яркой и неравномерной, а не плоско-средней. Не вижу, что нужно менять в промпте в этом отношении.
|
||||
|
||||
Единственное мини-улучшение, которое уверенно подтвердилось по трём прогонам — добавить в начало промпта явный переключатель типа датасета («institutional lab / scraped in-the-wild / synthetic / hybrid»), который настраивал бы ожидания по секциям 4–5 и 11. Сейчас промпт работает универсально, но немного размыто в местах, где специфика сбора важна.
|
||||
|
||||
**Общий вердикт после трёх прогонов.** Промпт валиден и стабилен. Новые секции (Transparency Score и Synthesis Potential) показали себя как информативные на всех трёх датасетах, при этом давая принципиально разные результаты — что подтверждает их discriminative power. Я бы оставил промпт в текущем виде для первых 5-7 карточек из твоего must-read списка, и только после этого — если накопятся устойчивые проблемы — думать о микроулучшениях вроде switch'а типа датасета или уточнения типа pseudo-labels в 11.5. Раньше менять промпт — overfitting на три прогона.
|
||||
|
||||
Если хочешь следующим прогоном для полноты триангуляции взять что-то из чисто sports-AQA ниши (FineDiving или MTL-AQA), это подсветит ещё одну грань — промпт уводится от fitness в смежный спортивный домен, и ты увидишь, насколько релевантен вообще для SmartRep (вероятно, там оценки релевантности будут 2-3 по большинству осей). Это полезно как контрольный точка: не все датасеты из must-read одинаково ценны для тебя, и промпт должен уметь это отражать.
|
||||
@@ -0,0 +1,700 @@
|
||||
|
||||
|
||||
---
|
||||
|
||||
```yaml
|
||||
---
|
||||
dataset_name: "FLAG3D"
|
||||
dataset_acronym: "FLAG3D"
|
||||
paper_title: "FLAG3D: A 3D Fitness Activity Dataset with Language Instruction"
|
||||
paper_title_ru: "FLAG3D: 3D-датасет фитнес-активности с языковыми инструкциями"
|
||||
authors: [Tang, Liu_J, Liu_A, Yang, Dai, Rao, Lu, Zhou, Li]
|
||||
year: 2023
|
||||
venue: "CVPR"
|
||||
venue_tier: "A*"
|
||||
doi: "10.1109/CVPR52729.2023.02117"
|
||||
arxiv: "2212.04638"
|
||||
domain: [fitness_specific, pose_3d, motion_generic, action_recognition]
|
||||
subjects_count: 24 # 10 MoCap + 10 real-world (разные люди!) + 4 synthetic avatars
|
||||
exercises_count: 60
|
||||
modalities: [rgb, mocap, smpl, synthetic_rgb, text_instruction, 2d_keypoints]
|
||||
multi_view: true # 6 camera positions для synthetic, front+side для real-world
|
||||
expert_error_annotation: false # инструкции — «как правильно», не «что неправильно»
|
||||
license: "research-only (academic use)"
|
||||
availability: "open (GitHub project page)"
|
||||
url: "https://andytang15.github.io/FLAG3D"
|
||||
relevance_to_smartrep: 5
|
||||
direction: "ABC"
|
||||
role_in_pipeline: [pretrain, finetune, eval, synthesis_source, cross_domain_benchmark]
|
||||
transparency_score: "7/20"
|
||||
synthesis_potential: [smpl_rerender_builtin, mocap_retarget_amass, pseudo_labeling_source, cross_domain_benchmark]
|
||||
tags: [fitness, pose_estimation, action_recognition, mocap, multi_view, language, smpl, cross_domain, synthetic, mesh_recovery]
|
||||
priority: "HIGH"
|
||||
---
|
||||
```
|
||||
|
||||
### 1. МЕТАДАННЫЕ ДАТАСЕТА
|
||||
|
||||
Датасет называется **FLAG3D** — аббревиатура от «3D **F**itness activity with **LA**n**G**uage instruction». Сопровождающая статья носит то же название и опубликована на CVPR 2023 (страницы 22106–22117), DOI 10.1109/CVPR52729.2023.02117, arXiv 2212.04638. Авторский коллектив полностью из Tsinghua University: Yansong Tang (project lead, Shenzhen International Graduate School), Jinpeng Liu, Aoyang Liu (все трое — equal contribution), Bin Yang, Wenxun Dai, Yongming Rao, Jiwen Lu, Jie Zhou, Xiu Li. Два corresponding authors — Jiwen Lu и Xiu Li. Venue tier — A* (CORE). Количество цитирований на апрель 2026 года — несколько сотен по Semantic Scholar, датасет активно используется в работах по motion generation и cross-domain action recognition. Код и данные размещены на GitHub project page `andytang15.github.io/FLAG3D`, версия статьи v2 от апреля 2023 с уменьшенным объёмом PDF (вероятно, из-за сжатия медиа в supplementary).
|
||||
|
||||
### 2. ПОЗИЦИОНИРОВАНИЕ ДАТАСЕТА
|
||||
|
||||
Авторы позиционируют FLAG3D как расширение существующего ландшафта fitness-датасетов по трём осям одновременно, каждая из которых ранее решалась по отдельности. Первая ось — это сочетание точного MoCap-ground-truth с фитнес-доменом (что уже было у Fit3D, но на меньшем масштабе). Вторая ось — добавление детальных языковых инструкций, где для каждой из 60 активностей прописано 2–4 предложения с суммарно ~57 словами, описывающих правильное выполнение. Третья ось — **мультидоменная организация данных**: одни и те же действия представлены в трёх вариантах — MoCap-лаборатория, синтетический рендер и реальные смартфон-видео. Это превращает FLAG3D в готовый бенчмарк для cross-domain generalization, что отличает его от предшественников.
|
||||
|
||||
Статья явно противопоставляет FLAG3D существующим работам: Human3.6M, NTU RGB+D и другие ограничены единым доменом натуральных сцен и простыми действиями; Fit3D меньше по охвату категорий; Yoga-82 и EC3D не имеют одновременно MoCap и текста. Основная гипотеза авторов о «правильном» датасете для fitness-анализа: ему необходимы (а) точная 3D-реконструкция для сложных поз с тяжёлой самоокклюзией (lying, crouching, kneeling), (б) семантическая обвязка языковыми инструкциями для будущих мультимодальных задач, и (в) встроенный cross-domain split, поскольку разрыв между лабораторным MoCap и in-the-wild съёмкой — главное слабое место текущих pose-моделей.
|
||||
|
||||
### 3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
|
||||
|
||||
#### 3.1. Общая статистика
|
||||
|
||||
Ключевые количественные параметры удобнее представить таблично, поскольку их много и они гетерогенны по источникам данных:
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Общее число субъектов|24 (10 MoCap + 10 real-world + 4 synthetic avatars)|
|
||||
|Пол (MoCap часть)|8 мужчин, 2 женщины|
|
||||
|Пол (real-world часть)|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Возраст|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Антропометрия|НЕ УКАЗАНО В СТАТЬЕ|
|
||||
|Уровень подготовки|НЕ УКАЗАНО В СТАТЬЕ (упомянуто только, что записи предваряло инструктажное видео)|
|
||||
|Число классов упражнений|60|
|
||||
|Общее число последовательностей|~180K (MoCap: 7200 + Rendered: 172,800 + Real-world: 7200)|
|
||||
|Общее число кадров|~20M|
|
||||
|Train/test split (action recognition)|7 vs 3 субъекта (in-domain); render vs real-world (out-of-domain)|
|
||||
|
||||
Важная деталь, которую нужно подчеркнуть прозой: суммарное число «субъектов» 24 — это **не 24 уникальных человека**, а 10 MoCap-актёров плюс 10 **других** актёров для real-world съёмки плюс 4 чисто синтетических аватара. Это означает отсутствие прямого парного соответствия real↔MoCap для одного и того же человека — что сильно ограничивает использование FLAG3D для задач типа sim-to-real pose calibration. SmartRep-команде это важно иметь в виду с самого начала.
|
||||
|
||||
#### 3.2. Модальности данных
|
||||
|
||||
|Модальность|Наличие|Разрешение / частота|Количество|
|
||||
|---|---|---|---|
|
||||
|RGB MoCap-видео|✓|до 4096×4096, 120 fps|7200 sequences|
|
||||
|RGB Rendered (Unity3D)|✓|854×480, 30 fps|172,800 videos|
|
||||
|RGB Real-world (smartphone)|✓|1080p, front + side views|7200 videos|
|
||||
|3D skeleton (MoCap)|✓|77 markers, VICON-точность|~20M кадров|
|
||||
|SMPL параметры|✓|θ∈R^{N×72}, β∈R^{N×10}, t∈R^{N×3}|для всех MoCap-sequences|
|
||||
|2D keypoints|✓ (извлечены top-down методом)|—|для rendered + real-world|
|
||||
|Language instructions|✓|~3 предложения, ~57 слов на активность|60 шт.|
|
||||
|Аудио / IMU / Depth|✗|—|—|
|
||||
|
||||
Две существенные детали о модальностях. Во-первых, SMPL-параметры получены **оптимизацией в два этапа** — сначала β (shape), затем θ (pose) и t (translation) — через L-BFGS со strong Wolfe conditions. Это важно: SMPL не был напрямую измерен, а восстановлен из 77-маркерной MoCap-цепочки, и качество фиттинга зависит от гиперпараметров λ₁–λ₄. Во-вторых, **SMPL, а не SMPL-X** — значит детали рук и лица ограничены body model без expressive-расширения, что критично, если планируется анализировать хват штанги.
|
||||
|
||||
#### 3.3. Съёмочная установка
|
||||
|
||||
Лаборатория — 20 × 8 × 7 метров, что даёт большое пространство для компаундных движений (burpees, прыжки, стретчинг в полный рост). Использованы 24 камеры VICON с максимальным разрешением 4096 × 4096 и частотой 120 fps при этом разрешении — это существенно выше типичного MoCap-сетапа и покрывает диапазон fitness-скоростей. 77 markers на MoCap-одежде — плотная схема маркеризации, обеспечивающая точность restoration даже при самоокклюзии. IR-камеры передают изображения через fiber optic в data switch, затем в специализированную обработку. Авторы также упоминают «professional technicians» для data restoration и motion retargeting — что намекает на existence manual post-processing, но без количественных деталей. Rendered-подсет использует шесть camera positions на каждую из четырёх virtual scenes, с варьируемым focal length для диверсификации camera intrinsics. Real-world подсет снимается смартфонами одновременно с front и side view.
|
||||
|
||||
Что **не указано**: точность MoCap в миллиметрах (только «advanced», «high-precision»), модели смартфонов и их параметры, calibration между MoCap-камерами и RGB-камерами (если такая синхронизация вообще была — статья не уточняет, были ли RGB MoCap-камеры привязаны к той же клок-линии, что и инфракрасные).
|
||||
|
||||
#### 3.4. Визуальные материалы
|
||||
|
||||
Статья содержит шесть основных рисунков. Figure 1 — teaser — демонстрирует три ветви данных (MoCap, rendered, real-world) с языковой инструкцией внизу и показывает единого субъекта в трёх доменах, что визуально аргументирует центральный тезис о cross-domain устройстве. Figure 2 показывает трёхуровневую таксономию (body part → fitness activity → language instruction) на примере «Squat With Alternate Knee Lift» с мышечной группой «Leg» и полным текстом инструкции. Figure 3 — pipeline получения rendered-видео: MoCap → virtual scenes → rendered RGB → SMPL recovery → combined display. Figure 4 иллюстрирует **failure cases** действий recognition (confusing pairs типа «Bent-over Dumbbell Tricep Extension» vs «Right-side Bent-over Tricep Extension With Resistance Band») — это редкая и ценная визуализация, прямо отвечающая на вопрос «где SOTA ломается». Figure 5 демонстрирует SMPL prediction results на сложных позах (prostrating, kneeling) до и после fine-tuning на FLAG3D. Figure 6 — human action generation качественные результаты с разбором, как модель не справляется с временной семантикой («alternately»).
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] В отличие от AIFit-статьи, у FLAG3D есть качественные visualization of failure modes (Figure 4, 5, 6), что сильно повышает её ценность как бенчмарка — мы сразу видим, где именно SOTA ломается. Чего явно не хватает: диаграммы сomplete capture setup (геометрия 24 VICON-камер, расположение 6 rendered camera positions, расположение front/side для смартфонов); гистограммы распределения активностей по длительности и по body-part; t-SNE или pose-space coverage visualization для сравнения с Fit3D или Human3.6M. Иными словами, визуализация ориентирована на tasks, но не на структуру данных.
|
||||
|
||||
### 4. МЕТОДОЛОГИЯ СБОРА ДАННЫХ
|
||||
|
||||
#### 4.1. Рекрутинг субъектов
|
||||
|
||||
Статья крайне скупа в описании рекрутинга. Указано лишь, что 10 volunteers выполняли MoCap-часть, ещё 10 extra people — real-world часть, плюс 4 renderpeople avatars были приобретены у коммерческого поставщика 3D-моделей. Критерии отбора, исключения, компенсация, процедура информированного согласия не описаны. Этическая формулировка сведена к одной фразе: «We agree with the volunteers and ensure that researchers can use these data» — это не эквивалент IRB-одобрения и не заменяет формального consent-процесса. Про возможное смещение: выборка из 10 MoCap-актёров 8M/2F сильно гендерно-несбалансирована, и это перекос перешёл в 28,800 rendered-видео (MoCap-data × 6 camera × 4 scenes × 4 avatar) через retargeting — но avatar-level diversity частично компенсирует pose-level диспропорцию, поскольку avatars отрисовывают одну и ту же позу на разных телах.
|
||||
|
||||
#### 4.2. Протокол записи
|
||||
|
||||
Протокол задокументирован лучше, чем у AIFit, но всё ещё с пробелами. Каждый MoCap-актёр выполнял каждое из 60 упражнений 3 раза по ≥8 повторений, что даёт 7200 MoCap-sequences после 4-кратного motion retargeting. Перед выполнением субъекты смотрели instructional video и читали language instructions — это стандартизированный инструктаж, повышающий воспроизводимость. Real-world съёмка ведётся в двух разных сценариях (indoor/outdoor), каждый субъект выполняет активность 3 раза с двух views одновременно — что даёт 7200 real-world видео. Что **не указано**: рандомизация порядка упражнений, контроль отдыха между повторениями, какой инвентарь использовался (резинки, гантели, утяжелители — не описаны), и были ли повторные сессии для одного актёра или всё в один день (fatigue effects).
|
||||
|
||||
#### 4.3. Качественный контроль
|
||||
|
||||
Упомянуто использование профессиональных технических специалистов для data restoration и motion retargeting, но количественная статистика отбраковки отсутствует. Процент sequences, в которых были пропуски маркеров или retargeting errors — не указан. Процедура верификации SMPL-фиттинга (сравнение с MoCap-ground-truth joint positions) — не описана как отдельный шаг QA.
|
||||
|
||||
### 5. ПРОТОКОЛ АННОТАЦИИ
|
||||
|
||||
Уровни разметки в FLAG3D таковы. Категориальная разметка — 60 классов активностей, привязанных к 10 body-part группам через таксономию. Временная разметка — sequences разделены на repetitions при записи (каждая sequence содержит ≥8 повторений одного упражнения), но individual repetition boundaries внутри sequences в статье не упоминаются как отдельный аннотационный слой. 3D keypoints получены автоматически из MoCap, SMPL-параметры — из оптимизации. 2D keypoints на rendered и real-world видео извлечены top-down pose estimator'ом (не указано, каким именно в основном тексте; вероятно HRNet, поскольку он использовался для ROMP fine-tuning). Текстовые language instructions составлены **training coaches** — это единственное человеческое аннотирование в датасете, и оно сделано экспертами. Однако ни число coaches, ни процедура их рекрутинга, ни inter-coach agreement по формулировкам инструкций не описаны. Инструменты разметки не упомянуты.
|
||||
|
||||
Это означает, что FLAG3D с точки зрения ручной разметки — датасет с **одноуровневым экспертным слоем** (текстовые инструкции от coaches) и автоматической разметкой всего остального. Для задач error detection это даёт только reference-описание правильной техники, но не таксономию ошибок и не per-subject quality scores.
|
||||
|
||||
### 6. ДОСТУПНОСТЬ И ЛИЦЕНЗИРОВАНИЕ
|
||||
|
||||
|Параметр|Значение|
|
||||
|---|---|
|
||||
|Лицензия|research-only (academic use, конкретные условия — на GitHub page)|
|
||||
|Коммерческое использование|ограничено (требует проверки условий)|
|
||||
|Необходимость MoU|не требуется для academic use|
|
||||
|Способ получения|открытая ссылка через `andytang15.github.io/FLAG3D`|
|
||||
|Размер загрузки|НЕ УКАЗАНО В СТАТЬЕ (20M кадров + 172,800 rendered-видео — оценочно сотни ГБ)|
|
||||
|Хостинг|GitHub project page с ссылками на внешнее хранилище|
|
||||
|Dataloader / API|source code публично доступен на GitHub|
|
||||
|Актуальность ссылок|активна на апрель 2026|
|
||||
|
||||
В отличие от Fit3D с его research-only IMAR-лицензией и процедурой запроса через форму, FLAG3D имеет **значительно более простой процесс получения** — project page открыт, код публичный, подход типичный для академического open-source. Для SmartRep это снижает lead time с недель до дней.
|
||||
|
||||
### 7. ДЕМОГРАФИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ ПЕРЕКОСЫ
|
||||
|
||||
#### 7.1. Демографические перекосы
|
||||
|
||||
Гендерный перекос 8M/2F в MoCap-части выраженный; real-world демография не описана вовсе, что делает анализ невозможным. Возраст, этническая принадлежность, BMI, уровень подготовки — ничего не указано. Renderpeople avatars представляют этническое разнообразие (поставщик известен разнообразием моделей), но это **синтетическое** разнообразие, которое не отражает реального population mix SmartRep-пользователей. Перекос к физически активным субъектам почти наверняка присутствует — 60 fitness-активностей в лабораторной среде — нетипичная активность для нетренированных людей.
|
||||
|
||||
#### 7.2. Съёмочные перекосы
|
||||
|
||||
Pose coverage — 60 активностей по 10 body parts, что даёт широкий охват fitness-движений, включая lying, kneeling, stretching; SOTA методы pose estimation «easily fail on some poses, such as kneeling and lying, owing to the self-occlusion», что подчёркивает ценность именно этих сложных поз для out-of-distribution обучения. Viewpoint coverage в rendered-части очень хороший (6 camera positions × 4 scenes), в real-world — ограничен front и side, что совпадает с типичными ракурсами смартфона, но не покрывает top-down и 3/4. Environmental coverage — три домена, что уникально. Temporal — не описано, одна или несколько сессий на субъекта.
|
||||
|
||||
#### 7.3. Аннотационные перекосы
|
||||
|
||||
Class balance — 60 классов по 120 MoCap-sequences каждый (10 × 3 × 4 retargeting), что даёт идеальный класс-баланс для action recognition (редкое свойство!). Для rendered-видео класс-баланс также сохранён (120 × 6 × 4 × 4 = 11,520 на класс, но распределено равномерно). Real-world — 120 на класс, баланс сохранён. Temporal imbalance — разные fitness-активности имеют разную естественную длительность, но в статье нет гистограммы длительностей. Quality distribution **не применима** — FLAG3D не содержит quality labels вовсе, только «правильная демонстрация» через coach-verified выполнение.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Для SmartRep самое критичное свойство — это отсутствие демографических данных о real-world субъектах и гендерный перекос в MoCap-части. Если наш целевой пользователь — смешанная по полу аудитория силовых тренажёрных залов, FLAG3D может привнести female-underrepresentation bias в обученные веса.
|
||||
|
||||
### 8. ИСПОЛЬЗОВАНИЕ В НАУЧНОМ СООБЩЕСТВЕ
|
||||
|
||||
Авторы сами проводят три benchmark-эксперимента: skeleton-based action recognition, human mesh recovery, human action generation.
|
||||
|
||||
Для **action recognition** в in-domain режиме SOTA (2s-AGCN) достигает 98.6% Top-1, что свидетельствует о том, что задача «решена» на clean MoCap данных. Однако в cross-domain режиме (обучение на rendered → тест на real-world) точность резко падает: ST-GCN дает 69.9%, PoseC3D — 79.9%. Это главный научный вклад FLAG3D как бенчмарка — **квантификация domain gap между синтетикой и реальными видео**. Pretraining на FLAG3D затем используют для улучшения FineGym и NTU60 с приростом до +1.3 pp.
|
||||
|
||||
Для **human mesh recovery** базовые методы без fine-tuning показывают очень высокие MPJPE (≥376 мм) — это свидетельствует о значительном out-of-distribution характере fitness-поз. После fine-tuning ROMP на FLAG3D MPJPE падает до 114.7 мм — улучшение в 3.3×. Это прямой аргумент за использование FLAG3D как pretraining-источника для SmartRep.
|
||||
|
||||
Для **action generation** результаты смешанные: современные методы показывают visually plausible начало, но не могут следовать text description faithfully по мере роста времени. Это показывает, что language-motion mapping на FLAG3D ещё open problem.
|
||||
|
||||
Сравнительная таблица SOTA из статьи (Table 2):
|
||||
|
||||
|Метод|In-domain Top-1|Out-domain Top-1|
|
||||
|---|:-:|:-:|
|
||||
|ST-GCN|97.8|69.9|
|
||||
|2s-AGCN|**98.6**|**81.6**|
|
||||
|MS-G3D|97.7|73.6|
|
||||
|CTR-GCN|97.5|77.2|
|
||||
|PoseC3D|—|79.9|
|
||||
|
||||
Метрики стандартные и адекватные: Top-1 accuracy для recognition, MPJPE/PA-MPJPE для mesh recovery, FID/Diversity/R-Precision для generation. Чего не хватает: per-category accuracy breakdown (на Figure 4 качественно показано, какие пары категорий confused, но без количественного отчёта); per-subject leave-one-out для анализа generalization gap; метрики устойчивости к viewpoint changes.
|
||||
|
||||
### 9. СРАВНЕНИЕ С АЛЬТЕРНАТИВНЫМИ ДАТАСЕТАМИ
|
||||
|
||||
Авторы сами предоставляют исчерпывающую сравнительную таблицу (Table 1 в статье), что облегчает наш анализ:
|
||||
|
||||
|Параметр|FLAG3D|Fit3D|Human3.6M|NTU RGB+D 120|Yoga-82|HuMMan|
|
||||
|---|:-:|:-:|:-:|:-:|:-:|:-:|
|
||||
|Fitness-specific|✓|✓|✗|✗|✓ (yoga only)|✗|
|
||||
|Число субъектов|24 (10+10+4)|13|11|106|—|1000|
|
||||
|Число категорий|60|37|17|120|82|500|
|
||||
|Число sequences|180K|—|839|114K|—|400K|
|
||||
|3D keypoints|✓|✓|✓|✓|✗|✓|
|
||||
|SMPL params|✓|✓ (+GHUM)|частично|✗|✗|✓|
|
||||
|Language annotation|✓|✗|✗|✗|✗|✗|
|
||||
|Multi-domain (Lab+Syn+Nat)|✓|Lab only|Lab only|Lab only|Nat only|Lab only|
|
||||
|
||||
FLAG3D существенно превосходит Fit3D по числу категорий (60 vs 37), по масштабу (180K vs ~3M кадров — тут преимущество по разнообразию даже при меньшем числе кадров), и по наличию language-аннотаций. HuMMan масштабнее по субъектам (1000), но не fitness-ориентирован. В нише fitness + MoCap + multi-domain FLAG3D — SOTA по состоянию на 2023-2026.
|
||||
|
||||
### 10. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
|
||||
|
||||
|Аспект|Оценка (1–5)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Силовые упражнения представлены|3|60 fitness-активностей включают squats, lunges, dumbbell работу, но без heavy barbell; список 60 — в appendix, требует верификации|
|
||||
|Multi-view покрытие|5|rendered: 6 camera positions × 4 scenes; real-world: front+side; уникальная сила датасета|
|
||||
|Антропометрическое разнообразие|2|10 реальных + 4 avatar = ограниченный pool; демография не отчитана|
|
||||
|Экспертная разметка ошибок техники|1|только reference-инструкции, без ошибок|
|
||||
|MoCap ground truth|5|24 VICON cameras, 77 markers, 120fps @ 4K — topnotch|
|
||||
|Достаточное разрешение / FPS|4|1080p real-world, 4K MoCap; rendered только 854×480 — слабое место|
|
||||
|Доступность / лицензия|5|открытая, GitHub, research-only|
|
||||
|Совместимость с edge-pipeline|4|SMPL стандартный, 2D/3D формат стандартный|
|
||||
|
||||
Для направления **🅱 (biomechanics-aware pose estimation)** FLAG3D — сильнейший из доступных публичных ресурсов: ROMP fine-tuning на FLAG3D показал 3.3× улучшение MPJPE на challenging poses, что авторы прямо демонстрируют. Это доказательство, что FLAG3D можно и нужно использовать как pretraining-основу для SmartRep pose-head. Для направления **🅰 (fine-grained error detection)** ценность средняя — есть текстовые инструкции «как правильно», но нет размеченных ошибок; однако инструкции можно использовать как prior для обучения CLIP-style text encoder, который потом будет сравнивать trainee-позу с «идеальной» позой, описанной текстом. Для направления **🅲 (few-shot adaptation)** ценность косвенная — малое число реальных субъектов не позволяет глубокий leave-one-subject-out анализ.
|
||||
|
||||
**Роль в пайплайне SmartRep.** Это редкий датасет, где я вижу применение сразу в нескольких ролях. Pretraining — обязательно, это документированно улучшает downstream задачи. Fine-tuning — да, особенно для pose-модели на challenging fitness-позах. Evaluation — да, как primary cross-domain бенчмарк (обучение на rendered → тест на real-world). Synthesis-source — да, и здесь важный момент: **FLAG3D уже содержит synthesis в качестве встроенной модальности**, мы получаем 172,800 готовых rendered-видео без необходимости строить собственный rendering pipeline. Cross-domain benchmark — уникальное свойство, позволяющее замерять sim-to-real gap нашей модели.
|
||||
|
||||
Риски при использовании очевидны. Первое — отсутствие heavy barbell упражнений (жим лёжа, становая тяга в пауэрлифтерской форме) означает, что для core-задачи SmartRep это pretraining-датасет, а не primary-обучающий. Второе — SMPL (не SMPL-X) ограничивает анализ рук и хвата. Третье — домен gap между rendered Unity3D и реальным gym-видео всё равно больше, чем gap между FLAG3D rendered и FLAG3D real-world, так что улучшения на FLAG3D cross-domain не переносятся автоматически.
|
||||
|
||||
### 11. ПОТЕНЦИАЛ ДЛЯ DATA AUGMENTATION / SYNTHESIS
|
||||
|
||||
FLAG3D — неординарный случай: **synthesis уже сделан авторами и включён в датасет**. Это меняет логику данной секции: вместо «можно ли синтезировать на базе этого датасета» мы спрашиваем «можем ли мы расширить уже существующий синтез».
|
||||
|
||||
Параметрические модели тела представлены SMPL (не SMPL-X). Shape, pose и translation параметры восстановлены оптимизацией, что даёт полный набор для re-rendering с произвольной одеждой/освещением/фоном. Meshes получаются детерминированно.
|
||||
|
||||
MoCap как источник ре-таргетинга — ключевая фича датасета: 7200 MoCap sequences уже были ре-таргетированы на 4 разных avatars, что составляет core механизм генерации 172,800 rendered-видео. Это **подтверждает работоспособность retargeting-пайплайна** и снимает риск «получится ли это в принципе». Для SmartRep можно применить тот же подход: ре-таргетить FLAG3D MoCap на любой SMPL-совместимый avatar нашей антропометрии. Формат SMPL совместим с AMASS через стандартную конверсию.
|
||||
|
||||
Multi-view novel view synthesis — в rendered-части датасет уже предоставляет 6 camera positions per scene, что даёт стартовое покрытие. Калибровка камер rendered-части известна (они параметризованы в Unity3D). Это позволяет либо напрямую использовать rendered-видео для multi-view supervision, либо обучать NeRF/Gaussian Splatting на rendered-части для получения дополнительных ракурсов.
|
||||
|
||||
Композитные аугментации: background replacement уже встроен (4 virtual scenes в rendered-части). Relighting через SMPL-normals возможен. Экипировка **не моделируется** (как и в Fit3D) — ни штанги, ни гантели не являются частью SMPL параметризации, и для SmartRep это остаётся главной потерей.
|
||||
|
||||
Pseudo-labeling — авторы **сами демонстрируют** этот потенциал в эксперименте с ROMP-ft: модель, обученная на FLAG3D, существенно улучшает mesh recovery на challenging poses. Это проверенный путь.
|
||||
|
||||
Композиция с другими датасетами: FLAG3D SMPL-формат совместим с AMASS, HumanML3D, KIT Motion-Language. Pretraining на FLAG3D улучшает FineGym и NTU60 (показано в Table 3), что доказывает transferability.
|
||||
|
||||
Риски синтеза. Первый — rendered-часть датасета в разрешении **854×480** заметно ниже, чем современные SmartRep-целевые 720p/1080p, что вносит резкость/текстурный gap при использовании rendered-видео как training source. Второй — 4 avatars из Renderpeople могут быть этнически смещены (требует визуальной проверки). Третий — Unity3D рендеринг не фотореалистичен, в отличие от современных Gaussian Splatting / diffusion-based синтетических генераторов; это определяет нижнюю границу reality gap.
|
||||
|
||||
**Итоговая оценка синтетического потенциала: ВЫСОКИЙ.** Обоснование: SMPL + готовый multi-avatar retargeting + 172,800 rendered-видео + открытая лицензия делают FLAG3D уникальным synthesis-source в fitness-нише, где большая часть работы уже проделана авторами. Главный недочёт — низкое разрешение rendered-части и отсутствие экипировки, но это устранимо через дополнительный rendering pass.
|
||||
|
||||
### 12. GAP-АНАЛИЗ ДЛЯ НАШЕГО ДАТАСЕТА
|
||||
|
||||
FLAG3D покрывает 60 fitness-активностей с мультидоменной структурой и language-инструкциями, **при этом не рассматривается** heavy barbell силовой тренинг, named error taxonomy, и inter-expert annotation agreement по правильности техники. Это открывает нишу для SmartRep-dataset в следующих измерениях.
|
||||
|
||||
Первое измерение — экипировка и нагрузка. В FLAG3D упражнения bodyweight или с минимальной нагрузкой (resistance bands); жим лёжа 100 кг биомеханически отличается от bench press без штанги, и этот домен остаётся непокрытым. SmartRep-dataset с документированной прогрессией нагрузок на штанге заполняет уникальную нишу.
|
||||
|
||||
Второе измерение — таксономия ошибок. Language instructions в FLAG3D описывают **как правильно** («keep your knees in the same direction as your toes when squatting»), но не **какие бывают ошибки** и как их отличать. SmartRep-dataset с размеченными named errors («knee cave», «butt wink», «bar path deviation») даёт то, чего у FLAG3D принципиально нет.
|
||||
|
||||
Третье измерение — inter-expert agreement. Language instructions в FLAG3D написаны «training coaches» без указания числа и без межэкспертной валидации. SmartRep-dataset с 3+ сертифицированными тренерами и Cohen's κ по разметке ошибок формирует более надёжную expert-ground-truth.
|
||||
|
||||
Четвёртое измерение — демография. Гендерный перекос 8M/2F в MoCap-части FLAG3D плюс отсутствие данных по real-world demographics делает невозможным fairness-анализ. Стратифицированная выборка SmartRep-dataset по полу, возрасту, уровню подготовки закрывает этот пробел.
|
||||
|
||||
Пятое измерение — реальный зал. Real-world часть FLAG3D снимается в «natural environments», но не специфически в коммерческих залах с другими тренирующимися в кадре, с реальным освещением штангового помоста, с характерными шумами — эту реалистичность SmartRep-dataset может добавить.
|
||||
|
||||
**Пост-аугментационный gap.** Даже применяя к FLAG3D synthesis-пайплайн, мы **не можем** восполнить отсутствие экипировки (SMPL без штанги), отсутствие error labels (synthesis не порождает labels, которых нет в source), и отсутствие multi-expert agreement (один coach через synthesis не становится пятью). Эти три пробела принципиально неустранимы и формируют уникальное предложение SmartRep-dataset.
|
||||
|
||||
### 13. КРИТИЧЕСКАЯ ОЦЕНКА
|
||||
|
||||
#### 13.1. Transparency score
|
||||
|
||||
|#|Ось транспарентности|Оценка|Обоснование|
|
||||
|---|---|:-:|---|
|
||||
|1|Collection protocol disclosed|2|MoCap/rendering/real-world пайплайны описаны полно с количественными деталями|
|
||||
|2|Capture setup specifications|2|24 VICON камеры, 4K @ 120fps, 77 markers, lab 20×8×7m, 6 rendered camera positions|
|
||||
|3|Intrinsic/extrinsic calibration published|1|для rendered известны (Unity3D config), для MoCap-RGB sync не уточнено|
|
||||
|4|Demographics breakdown|1|8M/2F для MoCap; real-world demographics полностью отсутствует|
|
||||
|5|Annotation instructions published|0|процесс работы coaches над language instructions не описан|
|
||||
|6|Inter-annotator agreement|0|не отчитан; число coaches не указано|
|
||||
|7|Rejection / cleaning statistics|0|упомянуты «professional technicians», но % rejected не указан|
|
||||
|8|IRB / ethics approval|0|только неформальное «we agree with volunteers»|
|
||||
|9|Datasheet for Datasets|0|отсутствует|
|
||||
|10|Known limitations изложены|1|Section 5 «Future Works» частично покрывает, но не явно помечен как limitations|
|
||||
|
||||
**Итоговый Transparency Score: 7/20 (partially documented).**
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] FLAG3D набрал на 2 балла больше Fit3D (7 vs 5), что отражает более подробную техническую документацию MoCap-пайплайна и rendering-процесса. Оба датасета провалены на осях 5–9, что характерно для fitness-датасетов «классической академической школы» — ни один из них не подаёт formal datasheet, IRB, или multi-annotator agreement. Для SmartRep это означает, что если мы сделаем полноценный datasheet по Gebru 2021 и отчитаем IRB, наш датасет будет **формально более прозрачным**, чем все наличные fitness-бенчмарки — это само по себе весомый аргумент в Data paper публикации.
|
||||
|
||||
#### 13.2. Peer-review оценка
|
||||
|
||||
|Критерий|Оценка (1–10)|Комментарий|
|
||||
|---|:-:|---|
|
||||
|Новизна / уникальность|9|первый мультидоменный fitness + language датасет|
|
||||
|Размер и покрытие|9|180K sequences, 60 категорий, 3 домена|
|
||||
|Качество разметки|7|MoCap отличный, language — экспертные, но без multi-annotator|
|
||||
|Методологическая строгость сбора|7|подробная MoCap-часть, слабее real-world|
|
||||
|Документация (синхронно с 13.1)|4|transparency 7/20 = партиально|
|
||||
|Воспроизводимость|8|открытый код и данные, стандартные форматы|
|
||||
|Этическая строгость|3|IRB не упомянут|
|
||||
|Отсутствие перекосов|5|гендерный 8M/2F, demographics пробел|
|
||||
|Полезность для сообщества|8|активно используется в motion generation, pose и cross-domain работах|
|
||||
|Синтетическая расширяемость|9|synthesis уже встроен авторами|
|
||||
|
||||
**Общая рекомендация: Adopt.** В отличие от Fit3D («Adopt with caveats»), FLAG3D проходит bar не только как reference-сравнение, но и как primary pretraining source.
|
||||
|
||||
### 14. EXECUTIVE SUMMARY
|
||||
|
||||
**Первое.** FLAG3D — первый крупномасштабный мультидоменный fitness-датасет на 180K последовательностей из 60 активностей, объединяющий MoCap-лабораторию, Unity3D-синтетический рендер и реальные смартфон-видео с языковыми инструкциями, что уникально на момент публикации.
|
||||
|
||||
**Второе.** Самая сильная сторона — встроенная cross-domain структура (lab + synthetic + real), которая превращает FLAG3D в готовый бенчмарк для sim-to-real generalization, без которой построение edge-pipelines типа SmartRep требует отдельных datasets для замера gap.
|
||||
|
||||
**Третье.** Самая слабая сторона — отсутствие heavy barbell силового тренинга и отсутствие named error taxonomy: язык описывает «как правильно», но не «что бывает не так».
|
||||
|
||||
**Четвёртое.** Transparency Score 7/20 (partially documented): MoCap-часть описана строго, но IRB, inter-annotator agreement и demographics для real-world части отсутствуют.
|
||||
|
||||
**Пятое.** Синтетический потенциал ВЫСОКИЙ и частично уже реализован авторами: 172,800 rendered-видео и готовый SMPL-retargeting pipeline на 4 avatars — наследуемая инфраструктура для SmartRep-synthesis экспериментов.
|
||||
|
||||
**Шестое.** Роль в пайплайне SmartRep: одновременно pretrain (для pose-head и backbone), fine-tune (для fitness-специфичных поз), evaluation (primary cross-domain benchmark), synthesis-source (готовая Unity3D-инфраструктура). Это даёт более широкую функциональную применимость, чем Fit3D.
|
||||
|
||||
**Седьмое.** Главный gap для нашего датасета: heavy barbell силовой тренинг с экспертной мультианнотаторской разметкой named errors, документированной демографией и записями в реальных коммерческих залах — три из этих осей не могут быть закрыты через synthesis на FLAG3D.
|
||||
|
||||
**Восьмое.** Лицензионный статус: research-only с открытой доступностью через GitHub project page — lead time на получение порядка дней, коммерческое использование требует уточнения условий.
|
||||
|
||||
**Девятое.** Приоритет для SmartRep: ВЫСОКИЙ — первая очередь изучения, primary benchmark для сравнения.
|
||||
|
||||
**Десятое.** Связанные датасеты для изучения следом: HuMMan (2022, 1000 субъектов, MoCap + mesh recovery, более масштабный но не fitness-ориентированный), HumanML3D (2022, language-motion для motion generation как дополняющий language benchmark), EC3D (2022, 3D pose-based feedback для physical exercises как более близкий к SmartRep по целевой задаче error detection).
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
dataset_name: "FLAG3D: A 3D Fitness Activity Dataset with Language Instruction" acronym: FLAG3D paper_title: "FLAG3D: A 3D Fitness Activity Dataset with Language Instruction" paper_title_ru: "FLAG3D: 3D-датасет фитнес-активностей с языковыми инструкциями" authors: "Yansong Tang, Jinpeng Liu, Aoyang Liu, Bin Yang, Wenxun Dai, Yongming Rao, Jiwen Lu, Jie Zhou, Xiu Li (Tsinghua University — Shenzhen International Graduate School + Department of Automation)" year: 2023 venue: "CVPR 2023 (pages 22106–22117)" venue_tier: "A* (CORE), CCF-A, h5-index 440 (Google Scholar, #2 среди всех научных изданий мира в 2024)" doi: "arXiv:2212.04638; CVPR Open Access" domain: "Fitness / human action understanding / 3D human motion / language-grounded motion generation" subjects_count: "24 (10 MoCap [8M/2F] + 10 real-world smartphone + 4 RenderPeople аватаров)" exercises_count: 60 modalities: "MoCap 3D keypoints (VICON, 77 markers, 120 Hz), SMPL (β, θ, t) параметры, RGB rendered video (854×480@30 fps, Unity3D), RGB real-world smartphone (1080p), IR grayscale (промежуточные MoCap), language instructions (~57 слов/класс); НЕТ depth, IMU, EMG, audio" multi_view: "24 VICON (MoCap IR) + 6 виртуальных камер Unity (rendered) + 2 smartphone вида (front + side); НЕТ синхронизированного multi-view real RGB" expert_error_annotation: "❌ ОТСУТСТВУЕТ — только language instructions от тренеров как каноническая правильная инструкция; per-repetition error labels НЕ размечены" license: "Custom research-only License Agreement (подпись institutional representative + email на liujp22@mails.tsinghua.edu.cn)" availability: "Gated public — SMPL/Skeleton/Language/Nature-Video + subset 1,800 из 172,800 rendered видео; полные rendered по запросу; Raw MoCap доступен" url: "https://andytang15.github.io/FLAG3D/ ; https://github.com/AndyTang15/FLAG3D ; https://arxiv.org/abs/2212.04638" relevance_to_smartrep: "СРЕДНЯЯ — ценен как source of structural 3D/SMPL supervision и taxonomy reference, но НЕ содержит штанговых силовых упражнений и НЕ имеет экспертной разметки ошибок" direction: "🅱 Biomechanics-aware pose estimation (основное применение); вторично 🅲 SSL/few-shot (через pretraining); минимально 🅰 error detection" role_in_pipeline: "Pretrain source для 3D pose / SMPL backbone + synthesis-source (SMPL→AMASS-style augmentation); НЕ baseline и НЕ eval для error detection" transparency_score: "11/20 — умеренная (многие ethical и agreement-метрики отсутствуют)" synthesis_potential: "СРЕДНИЙ — SMPL+MoCap→re-targeting возможен и проверен (совместим с AMASS), но Unity-рендеры без оборудования и низкое разрешение ограничивают ценность" tags: ["fitness", "3D-human", "mocap", "SMPL", "language-grounded", "action-recognition", "mesh-recovery", "motion-generation", "CVPR2023", "Tsinghua", "synthetic-render"] priority: "СРЕДНИЙ (Adopt with caveats — использовать как secondary pretraining source, НЕ как primary training data для error detection)"
|
||||
|
||||
# FLAG3D для SmartRep: большой корпус, но без ошибок техники и штанги
|
||||
|
||||
FLAG3D — крупнейший на 2023 год публичный 3D-датасет фитнес-активностей (**180K последовательностей, 60 категорий, 20M кадров, 24 субъекта**), собранный в лаборатории Цинхуа с помощью VICON-MoCap и расширенный Unity3D-рендерами и смартфон-видео. **Его принципиальный вклад — тройная модальность (MoCap + RGB + текст) и fine-grained taxonomy fitness-движений, привязанная к language instructions от тренеров.** Для проекта **SmartRep** (оценка техники силовых упражнений на edge-устройствах) датасет ценен как **источник структурной 3D/SMPL-супервизии и pretraining-корпус**, но обладает двумя критическими ограничениями: (i) **отсутствует экспертная разметка ошибок техники на уровне повторений** — есть только каноническая правильная инструкция, (ii) **в таксономии нет классических силовых упражнений со штангой** (bench press, deadlift, barbell back squat, pull-up, barbell row) — доминируют bodyweight и лёгкий инвентарь. Это однозначно позиционирует FLAG3D как **secondary reference**, а не как training set для SmartRep.
|
||||
|
||||
---
|
||||
|
||||
## 1. Метаданные датасета
|
||||
|
||||
|Поле|Значение|
|
||||
|---|---|
|
||||
|Полное название|FLAG3D: A 3D Fitness Activity Dataset with Language Instruction|
|
||||
|Акроним|**FLAG3D** (Fitness Language And 3D)|
|
||||
|Авторы|Yansong Tang¹, Jinpeng Liu¹, Aoyang Liu¹, Bin Yang¹, Wenxun Dai¹, Yongming Rao², Jiwen Lu²*, Jie Zhou², Xiu Li¹* (*corresponding)|
|
||||
|Аффилиации|¹Tsinghua University — Shenzhen International Graduate School; ²Tsinghua University — Department of Automation|
|
||||
|Год / Venue|2023 / **CVPR 2023**, pp. 22106–22117|
|
||||
|Venue tier|**CORE A*** (2023, 2026), **CCF-A**, Google Scholar h5=440 (#2 среди всех научных изданий мира, #1 Engineering & CS, 2024)|
|
||||
|arXiv|2212.04638 (December 2022)|
|
||||
|DOI|CVPR Open Access (openaccess.thecvf.com/content/CVPR2023/html/Tang_FLAG3D_...)|
|
||||
|Semantic Scholar ID|Corpus ID 254535889|
|
||||
|Цитирования (апр. 2026)|**Semantic Scholar: 28** (1 Highly Influential, 8 Background, 4 Methods); Google Scholar не удалось получить напрямую, оценочно **~60–100**|
|
||||
|Версии / changelog|Публичного versioning нет; **FLAG3D++** (Tang et al., IEEE 2025, DOI 11082527) — расширение авторов с задачами L-RAC и L-AQA, моделью HL-GCN|
|
||||
|PapersWithCode|Страница существует (paperswithcode.com/dataset/flag3d), но **"No benchmarks yet"** — официального leaderboard нет|
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Цитируемость скромная для CVPR-датасета трёхлетней давности — отражает нишевость fitness-домена. Основной канал влияния — не обширное усыновление, а расширение самими авторами (FLAG3D++) и использование в motion generation (FlexMotion, MDM pretraining).
|
||||
|
||||
---
|
||||
|
||||
## 2. Позиционирование датасета
|
||||
|
||||
FLAG3D закрывает одновременно **четыре gap**'а существовавших датасетов: (1) отсутствие **fitness-specialized** 3D-корпуса (Human3.6M/HuMMan — общие движения; FineGym — гимнастика-broadcast, не fitness); (2) отсутствие **language-grounded** fitness motion data (AMASS, AIST++ — без текста); (3) отсутствие **multi-modal triplet** "MoCap + synthetic render + real video" в одной таксономии; (4) недостаточная fine-grained диференциация подобных движений (ближайший Fit3D имеет только 37 активностей на 13 субъектов). Принципиальная новизна — **three-level taxonomy body-part → activity → language instruction** + масштаб (180K seq), что позволяет одновременно benchmarking action recognition, human mesh recovery и language-guided motion generation на одних данных. Защищаемая гипотеза статьи: _pretraining на FLAG3D улучшает generalization на смежные датасеты (FineGym, NTU60, KIT)_ — подтверждена: +0.3–1.3% top-1 accuracy и +0.011 R-precision на MDM/KIT.
|
||||
|
||||
---
|
||||
|
||||
## 3. Технические характеристики
|
||||
|
||||
### 3.1. Общая статистика
|
||||
|
||||
|Характеристика|Значение|Комментарий|
|
||||
|---|---|---|
|
||||
|Субъекты|24 = 10 MoCap + 10 real-world + 4 RenderPeople|Разные люди в разных модальностях!|
|
||||
|Пол MoCap|8 M / 2 F|Сильный gender bias; real-world — НЕ УКАЗАНО|
|
||||
|Возраст / BMI / рост / вес|**НЕ УКАЗАНО В СТАТЬЕ**|Серьёзный пробел transparency|
|
||||
|Уровень подготовки|Не стратифицировано; инструктаж через coach videos||
|
||||
|Категории|**60** fitness activities|10 body parts|
|
||||
|MoCap последовательности|**7,200** = 10×3×60×4 (retargeting)|3 повторения серии × 8+ reps внутри|
|
||||
|Rendered videos (Unity)|**172,800** = 1800×6(cam)×4(avatar)×4(scene)|Публично доступна subset 1,800|
|
||||
|Real-world smartphone|**7,200** = 10×3×60×2(view)×2(scene)|2 сцены, 2 вида|
|
||||
|Всего кадров|~**20 M**||
|
||||
|Всего последовательностей|~**180K**||
|
||||
|Train/Test (action rec, in-domain)|5,040 / 2,160 (7 subj / 3 subj)|Val split не выделен|
|
||||
|Train/Test (action rec, cross-domain)|rendered (21,600) / real-world (7,200)|Протокол transfer-learning|
|
||||
|Train/Test (HMR)|300K кадров подвыборка; test = первые 20% видео каждой сцены||
|
||||
|Train/Test (action gen)|category: 5/5 субъектов; language: 90/10%||
|
||||
|
||||
### 3.2. Модальности
|
||||
|
||||
|Модальность|Присутствует|Разрешение / частота / формат|
|
||||
|---|---|---|
|
||||
|RGB rendered|✅|854×480 @ 30 fps, Unity3D|
|
||||
|RGB real-world (smartphone)|✅|1080p, fps НЕ УКАЗАНО (предположительно 30)|
|
||||
|3D pose / skeleton (MoCap)|✅|120 Hz, через 77 маркеров|
|
||||
|2D pose|✅ (extracted)|HRNet top-down; не GT, а post-hoc|
|
||||
|SMPL параметры (β, θ, t)|✅|β∈ℝ^(N×10), θ∈ℝ^(N×72), t∈ℝ^(N×3); L-BFGS fitting; регистрация MPJPE=56.09 мм / PA-MPJPE=27.02 мм|
|
||||
|Depth|❌||
|
||||
|IR grayscale|⚠️|Только промежуточные MoCap данные, не финальный output|
|
||||
|IMU|❌||
|
||||
|EMG|❌||
|
||||
|Текст (language instructions)|✅|~3 предложения, ~57 слов/класс; от fitness coaches|
|
||||
|Audio|❌||
|
||||
|Point cloud (marker trajectories)|✅ (supp.)|Доступно через Raw Data компонент|
|
||||
|
||||
### 3.3. Съёмочная установка
|
||||
|
||||
**MoCap-лаборатория:** 20 м × 8 м × 7 м. **24 VICON V16 камеры** (Vantage+), максимальное разрешение 4096×4096 (16 MP), 120 fps при максимальном разрешении (до 2000 Hz в низком). IR Global Shutter, latency 8.3 мс, PoE+ Cat5e/RJ45, on-board marker processing, bump detection. Оптика: standard 18 mm / wide 12.5 mm. Костюм с **77 маркерами** (head 5, waist 6, arms 8, legs 8, fingers 20, thorax/back 12, wrists/palms 8, ankles/feet 10). Синхронизация через fiber optic на data switch. **Абсолютная точность VICON в мм НЕ УКАЗАНА** — приведена только MPJPE регистрации SMPL, что смешивает ошибку fitting и трекинга.
|
||||
|
||||
**Rendered (Unity3D):** 4 сцены из Unity Asset Store (indoor + outdoor) × 4 RenderPeople аватаров × 6 виртуальных камер по окружности аватара (Figure 2a supp.) с варьируемыми focal length. Освещение задаётся сценой, **динамической варьировки освещения НЕ УПОМИНАЕТСЯ**. **Тренажёры, штанги, гантели и resistance bands в Unity НЕ РЕНДЕРЯТСЯ** — хотя названия A020 Dumbbell Curls, A022 Kettlebell Row содержат инвентарь.
|
||||
|
||||
**Real-world smartphone:** 2 сцены (indoor/outdoor), 2 одновременных вида (front + один side), 1080p. **Калибровка камер smartphone НЕ ПРЕДОСТАВЛЕНА.** **Синхронизация MoCap ↔ RGB отсутствует** (это разные сессии и разные субъекты!).
|
||||
|
||||
### 3.4. Визуальные материалы из статьи
|
||||
|
||||
**Figure 1 (Overview).** _Факт:_ тройная панель — (a) MoCap последовательности, (b) rendered видео с SMPL overlay, (c) смартфон-видео + language instructions. _Интерпретация:_ демонстрирует триаду модальностей, формирующую identity датасета; качественно: понятно, ценно как teaser. [МОЙ КОММЕНТАРИЙ] Не показывает масштаб (субъекты, классы) — это недостаток.
|
||||
|
||||
**Figure 2 (Taxonomy).** _Факт:_ три уровня — body part → fitness activity → language instruction; пример A052 "Squat With Alternate Knee Lift" с полным текстом инструкции. _Интерпретация:_ ключевая иллюстрация semantic hierarchy — **это главная концептуальная новизна датасета**. Высокое информационное качество.
|
||||
|
||||
**Figure 3 (Rendering pipeline).** _Факт:_ pipeline "MoCap data → dynamic human poses в Unity → RGB videos с camera parameters ∥ joint info → SMPL mesh recovery → combined display". _Интерпретация:_ даёт понимание как генерируется 172,800 rendered видео; показывает разделение rendering и SMPL-fitting путей. [МОЙ КОММЕНТАРИЙ] Не показаны детали аватаров и отсутствующее оборудование.
|
||||
|
||||
**Figure 4 (Case study, action recognition).** _Факт:_ confusion для 2s-AGCN между "Bent-over Dumbbell Tricep Extension" (A025), "Right-side Bent-over Tricep Extension with Resistance Band" (A024), "Bent-over W-shape Stretch" (A007), "Bent-over Y-shape Stretch" (A008). _Интерпретация:_ honest документирование fine-grained failure mode; критически важно для понимания limitations.
|
||||
|
||||
**Figure 5 (SMPL prediction).** _Факт:_ сравнение ROMP vs ROMP-ft на позах kneeling/lying; ROMP ошибается (интерпретирует kneeling как lying), ROMP-ft корректно. _Интерпретация:_ мотивирует необходимость fitness-specific датасета; подтверждает ценность FLAG3D для pretraining.
|
||||
|
||||
**Figure 6 (Action generation).** _Факт:_ (a) ACTOR category-based "Squat With Arm Lift" — правдоподобная генерация; (b) TEMOS language-based "Small Dumbbell Floor Flies" — не следует тексту со временем; (c) Guo et al. "Chest Fly" — fails на слове "alternately". _Интерпретация:_ честно показывает ограничения SOTA на fine-grained language-motion alignment — это motivates FLAG3D как challenge benchmark.
|
||||
|
||||
---
|
||||
|
||||
## 4. Методология сбора данных
|
||||
|
||||
### 4.1. Рекрутинг субъектов
|
||||
|
||||
Из статьи: "10 MoCap волонтёров (8 мужчин, 2 женщины)", "10 real-world волонтёров", "4 RenderPeople аватара". **Критерии отбора НЕ УКАЗАНЫ** — ни уровень фитнес-подготовки, ни антропометрия (рост/вес/BMI), ни возрастной диапазон. **IRB approval НЕ УПОМЯНУТ.** Ethics statement ограничен фразой "We agree with the volunteers and ensure that researchers can use these data" — это **не IRB-совместимое описание согласия**. [МОЙ КОММЕНТАРИЙ] Для peer-review датасета в 2023 году такой уровень документирования согласия и ethics — ниже современного стандарта (ср. HuMMan, AIST++, которые явно описывают IRB/consent).
|
||||
|
||||
### 4.2. Протокол записи
|
||||
|
||||
Субъекты обучались через видео-демонстрации + language instructions от тренеров. Протокол: **3 повторения серии × 8+ reps каждая × 60 activities** для каждого MoCap-волонтёра → 10×3×60 = 1,800 MoCap sequences базового набора, далее × 4 motion retargeting = 7,200. Для rendered получаются 1,800 × 6 камер × 4 аватара × 4 сцены = 172,800. Real-world: 10×3×60×2 views ×2 сцен = 7,200.
|
||||
|
||||
### 4.3. Качественный контроль
|
||||
|
||||
Упомянуты _data restoration_ и _motion retargeting_ процедуры в MoCap pipeline (supp Fig. 1): point cloud → rigid body constraints → skeleton data → skin data. **Количественные метрики качества MoCap-трекинга (marker occlusion rates, gap filling) НЕ ОТЧИТАНЫ.** Language instructions написаны "professional fitness training coaches" — **число коучей НЕ УКАЗАНО**.
|
||||
|
||||
---
|
||||
|
||||
## 5. Протокол аннотации
|
||||
|
||||
### 5.1. Типы меток
|
||||
|
||||
- **Activity class** (60 категорий, иерархия 10 body parts).
|
||||
- **77 MoCap markers → 3D skeleton** (joint positions).
|
||||
- **SMPL (β, θ, t)** через двухстадийную L-BFGS оптимизацию: Stage 1 — оптимизация shape β с limb-length loss + L2 regularization (λ₁=1, λ₂=5×10⁻³); Stage 2 — оптимизация pose θ и translation t с joint position loss + L2 regularization (λ₃=1, λ₄=1×10⁻³). Strong Wolfe conditions для step-length.
|
||||
- **Language instructions** (~57 слов × 60 классов ≈ 3,420 слов всего) от fitness coaches.
|
||||
- **2D pose** post-hoc через HRNet top-down (не GT).
|
||||
|
||||
### 5.2. Процедура разметки
|
||||
|
||||
Activity labels — автоматически (каждая запись привязана к одной из 60 категорий по плану записи). SMPL — автоматически через L-BFGS. Language instructions — вручную fitness coaches (число НЕ УКАЗАНО). 2D pose — автоматически HRNet.
|
||||
|
||||
### 5.3. Валидация
|
||||
|
||||
Качество SMPL-регистрации валидировано через MPJPE=56.09 мм / PA-MPJPE=27.02 мм (supp. Sec 5.2). **Inter-annotator agreement для language instructions НЕ ИЗМЕРЕН** — была создана одна каноническая инструкция на класс, без перекрёстной разметки несколькими коучами. **Rejection stats (сколько записей отбраковано) НЕ ОТЧИТАНЫ.** Это существенные пробелы peer-review transparency.
|
||||
|
||||
---
|
||||
|
||||
## 6. Доступность и лицензирование
|
||||
|
||||
|Аспект|Значение|
|
||||
|---|---|
|
||||
|Статус страницы проекта|Live (https://andytang15.github.io/FLAG3D/), не обновляется регулярно|
|
||||
|Лицензия|**Custom research-only License Agreement** (PDF: License_FLAG3D.pdf)|
|
||||
|Процедура получения|(1) скачать License_FLAG3D.pdf → (2) подпись institutional representative → (3) email скана на **liujp22@mails.tsinghua.edu.cn**|
|
||||
|Коммерческое использование|❌ Research-only|
|
||||
|Полные rendered videos (172,800)|Публично только subset 1,800; полные — по отдельному email-запросу|
|
||||
|Компоненты для скачивания|SMPL / Skeleton / Language / Video from Nature Scene / Rendering Video (subset) / Raw Data|
|
||||
|Размер датасета (GB/TB)|**НЕ УКАЗАНО**|
|
||||
|PyTorch/TF dataloader|**Нет готового dataloader'а**; в GitHub только Mindspore baseline (gcn-c3d-mindspore)|
|
||||
|Pre-trained веса|❌ Не опубликованы|
|
||||
|GitHub активность|17 ⭐, 2 forks, 17 коммитов, 0 releases, 2 open issues; последняя активность связана с публикацией|
|
||||
|Leaderboard|❌ Нет публичного; PapersWithCode: "No benchmarks yet"|
|
||||
|
||||
**Оценка реального времени получения:** [МОЙ КОММЕНТАРИЙ] Подпись license → отправка email → ожидание ответа → скачивание. Реалистично **2–7 рабочих дней** при условии ответа автора. Для полных rendered videos — дополнительная итерация email-переписки, потенциально +1–2 недели.
|
||||
|
||||
---
|
||||
|
||||
## 7. Демографические и методологические перекосы
|
||||
|
||||
### 7.1. Gender bias
|
||||
|
||||
**8 M / 2 F в MoCap = 80/20%** — критичный перекос, особенно для shape β в SMPL. Для real-world и render pools — **пол НЕ УКАЗАН**. Возраст/рост/вес/BMI — **полностью НЕ УКАЗАНО**. Для fitness-приложений это особенно значимо: женская антропометрия (меньшая масса, отличные соотношения сегментов) плохо представлена, что ограничивает обобщение shape-dependent биомеханических моделей.
|
||||
|
||||
### 7.2. Съёмочные условия
|
||||
|
||||
**In-lab MoCap + synthetic Unity render** доминируют над **in-the-wild smartphone**. Real-world часть — только 7,200 видео (4% от 180K), в 2 сценах (indoor/outdoor), без синхронизации с MoCap GT. Это означает, что FLAG3D — **предимущественно лабораторный + синтетический** датасет, что создаёт значительный domain gap к реальным gym-видео (подтверждено самими авторами: in-domain 98.6% → out-domain 81.6% для 2s-AGCN).
|
||||
|
||||
### 7.3. Аннотационные перекосы (распределение по body parts)
|
||||
|
||||
Chest 6, Back 6, Shoulder 7, Arm 6, Neck 4, Abdomen 6, Waist 7, Hip 7, Leg 5, Whole body 6 = 60. **Более-менее сбалансировано** (4–7 классов на часть тела). Однако **концептуальный перекос**: многие классы — стретчинг/warm-up (W-shape/Y-shape bent-over stretches, nods, shrugs), а не силовые упражнения.
|
||||
|
||||
---
|
||||
|
||||
## 8. Использование в научном сообществе
|
||||
|
||||
### 8.1. Leaderboard и SOTA модели
|
||||
|
||||
**Action Recognition (Top-1, из оригинальной статьи):**
|
||||
|
||||
|Метод|In-domain|Out-domain|
|
||||
|---|---|---|
|
||||
|ST-GCN|97.8|69.9|
|
||||
|**2s-AGCN**|**98.6**|**81.6** ← лидер in-dom + out-dom|
|
||||
|MS-G3D|97.7|73.6|
|
||||
|CTR-GCN|97.5|77.2|
|
||||
|PoseC3D|—|79.9|
|
||||
|
||||
**Human Mesh Recovery (мм, ↓):**
|
||||
|
||||
|Метод|MPJPE|PA-MPJPE|
|
||||
|---|---|---|
|
||||
|VIBE|376.67|106.27|
|
||||
|BEV|382.77|117.62|
|
||||
|ROMP|379.44|100.48|
|
||||
|**ROMP-ft** (finetuned на FLAG3D)|**114.73**|**62.29**|
|
||||
|
||||
**Action Generation:**
|
||||
|
||||
- ACTOR (category): FID 14.77, Acc 94.50, MultiMod 6.53.
|
||||
- TEMOS (language): APE_root 0.61, AVE_root 0.66.
|
||||
- Guo et al. (language): FID 15.12, R-precision 0.10, MultiMod 1.20.
|
||||
- **FlexMotion (arXiv 2501.16778, 2025) — новый SOTA на FLAG3D:** R-Precision 0.795, FID 0.191 (с 20% frames), lowest foot skating.
|
||||
|
||||
**Последующие работы (2024–2026):**
|
||||
|
||||
- **FLAG3D++** (Tang et al., IEEE 2025) — расширение авторами: fine-grained temporal intervals, action quality annotations, новые задачи L-RAC (Language-guided Repetition Action Counting) и L-AQA (Language-guided AQA), модель HL-GCN.
|
||||
- **EgoExo-Fitness** (ECCV 2024, arXiv:2406.08877) — использует FLAG3D-подобный language approach.
|
||||
- **FLEX** (arXiv 2506.03198, 2025) — 38 subjects, 20 weight-loaded actions, 5 views, sEMG, expert knowledge-graph error annotations — ближе к SmartRep нише.
|
||||
- **FlexMotion** (2025) — physics-aware motion generation benchmark.
|
||||
- **MuJo** (2024) — multimodal HAR.
|
||||
- **A Decade of AQA Survey** (IJCV 2025) — включает FLAG3D в обзор.
|
||||
|
||||
### 8.2. Метрики оценки
|
||||
|
||||
**Action recognition:** Top-1 accuracy (in-domain, out-domain). **Human mesh recovery:** MPJPE, PA-MPJPE (+ Protocol 1/2 для challenging). **Action generation (category):** FID, Accuracy, MultiModality. **Action generation (language):** FID, R-precision, MultiModality, APE (Average Position Error), AVE (Average Variance Error).
|
||||
|
||||
### 8.3. Известные failure modes
|
||||
|
||||
Явно документированы авторами и подтверждены в последующих работах:
|
||||
|
||||
- **Kneeling, lying, rolling up** — self-occlusion, ROMP интерпретирует kneeling как lying.
|
||||
- **Jumping, crouching** — self-occlusion.
|
||||
- **Fine-grained discrimination** — confusion между "Bent-over Dumbbell/Resistance Tricep Extension" и "Bent-over W/Y-shape Stretch".
|
||||
- **Lying Shoulder Joint Downward vs. Upward Round** — требует strong temporal modeling.
|
||||
- **Language-motion alignment** — TEMOS/Guo дрейфуют со временем, не могут соблюдать adverb "alternately".
|
||||
|
||||
---
|
||||
|
||||
## 9. Сравнение с альтернативными датасетами
|
||||
|
||||
|Датасет|Год/Venue|Subjects|Exercises/Classes|MoCap GT|Multi-view|**Expert error labels**|License|URL|
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
|**FLAG3D**|CVPR 2023|10+10+4|**60 fitness** (no barbell)|VICON 24 cam|24 IR + 6 Unity + 2 phone|❌ language instruction only|Custom research|andytang15.github.io/FLAG3D|
|
||||
|**Fit3D** (AIFit paper)|CVPR 2021|13 (1 instr + 12)|37 fitness|VICON 12 cam + 4 RGB|4 RGB + 12 MoCap|⚠️ derived statistically, not expert|Research EULA (IMAR)|fit3d.imar.ro|
|
||||
|**HuMMan**|ECCV 2022|**1,000**|500 general actions|Kinect (depth)|10 Kinect + 1 iPhone|❌|S-Lab License 1.0 (NC)|caizhongang.github.io/projects/HuMMan|
|
||||
|**EC3D**|ACCV 2022|4 (3 train + 1 test)|**3** (squat, lunge, plank)|3D pose multi-cam|multi-cam|⚠️ **scripted** mistake labels|Open GitHub|github.com/Jacoo-Zhao/3D-Pose-Based-Feedback|
|
||||
|**Fitness-AQA** ★|ECCV 2022|web (Instagram/YouTube)|**3** strength (BackSquat, OHP, Row) + fine-grained sub-errors|❌ RGB only|1|✅ **два профессиональных тренера**|NC request form|github.com/ParitoshParmar/Fitness-AQA|
|
||||
|**Yoga-82**|CVPRW 2020|web scrape|82 yoga poses|❌ images only|1|❌|NC, URL list|sites.google.com/view/yoga-82|
|
||||
|**AIFit**|CVPR 2021|= Fit3D|= Fit3D|= Fit3D|= Fit3D|⚠️ same as Fit3D|= Fit3D|same as Fit3D|
|
||||
|**FineGym**|CVPR 2020|gymnasts (broadcast)|4/15/530 hierarchy|❌|1 (broadcast)|❌ class labels only|Research|sdolivia.github.io/FineGym|
|
||||
|**LOGO**|CVPR 2023|elite swimmers|actions + formations|❌|1|⚠️ AQA score + procedures|Research|github.com/shiyi-zh0408/LOGO|
|
||||
|**Human3.6M**|TPAMI 2014|11 (5F/6M)|15 daily (no fitness)|VICON 10 cam|4 RGB + 10 MoCap + ToF|❌|Academic EULA (unstable)|vision.imar.ro/human3.6m|
|
||||
|**FLEX**|arXiv 2025|38|20 weight-loaded|❌ RGB + sEMG|5|✅ **expert knowledge-graph**|НЕ УКАЗАНО|arXiv 2506.03198|
|
||||
|
||||
**Ключевой вывод сравнения:** **никакой существующий датасет не объединяет одновременно (a) strength-training exercises со снарядами, (b) MoCap/multi-view 3D, (c) per-repetition expert-coach error labels.** FLAG3D имеет (a частично — без штанги) + (b), но не (c). Fitness-AQA имеет (a) + (c), но не (b). EC3D имеет (b) + (c), но только 4 субъекта и 3 упражнения со _сценарно_ выполняемыми ошибками. FLEX (2025) — концурент, приближающийся к полному покрытию, но без MoCap ground truth.
|
||||
|
||||
---
|
||||
|
||||
## 10. Релевантность для SmartRep
|
||||
|
||||
### 10.1. Оценки по 9 аспектам (1–5)
|
||||
|
||||
|Аспект|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|1. Покрытие силовых упражнений (bench/squat/DL/pull-up/row)|**1/5**|В 60 классах НЕТ классических силовых со штангой; ~8 классов с dumbbell/kettlebell/band; остальное bodyweight и стретчинг|
|
||||
|2. Качество 3D pose GT|**5/5**|VICON 24-cam, 120 Hz, 77 маркеров — золотой стандарт|
|
||||
|3. SMPL supervision (биомеханика)|**4/5**|β/θ/t доступны, регистрация PA-MPJPE 27 мм; но SMPL не биомеханическая (нет лопатки/детального позвоночника)|
|
||||
|4. Multi-view для NeRF/3DGS|**1/5**|Multi-view только в Unity-рендере; real-world — без калибровки|
|
||||
|5. In-the-wild generalization|**2/5**|Только 7,200 real-world видео (4%), 2 сцены; большой domain gap|
|
||||
|6. Expert error annotation|**0/5**|ОТСУТСТВУЕТ — только canonical language instruction|
|
||||
|7. Antropometric diversity|**2/5**|8M/2F MoCap, нет возраст/BMI, только 4 RenderPeople avatar'а|
|
||||
|8. Language/semantic layer|**4/5**|60 × ~57 слов инструкций coach-level качества|
|
||||
|9. Synthesis potential (AMASS-style augmentation)|**3/5**|SMPL совместим с AMASS/Fit3D; но Unity-рендеры без оборудования, формат файлов не документирован|
|
||||
|
||||
**Роль в пайплайне SmartRep:** **pretrain-source + synthesis-source** (pretrain backbone для 3D pose/SMPL на широком fitness corpus; использовать SMPL β/θ для augmentation скелетного канала). **НЕ baseline, НЕ eval, НЕ primary training** для error detection — ошибки не размечены. **НЕ для finetuning** на целевой задаче SmartRep — класс mismatch.
|
||||
|
||||
**Для какого направления наиболее ценен:**
|
||||
|
||||
- 🅰 **Fine-grained error detection — НИЗКАЯ ценность** (нет error labels).
|
||||
- 🅱 **Biomechanics-aware pose estimation — ВЫСОКАЯ ценность** (SMPL GT + MoCap skeleton + 60 разнообразных поз с kneeling/lying).
|
||||
- 🅲 **Few-shot/SSL adaptation — СРЕДНЯЯ ценность** (pretrain на FLAG3D → быстрее адаптация на 10–20 реальных примерах SmartRep).
|
||||
|
||||
### 10.2. Конкретные риски
|
||||
|
||||
- **Domain gap Unity→real gym:** 15–20% drop по action recognition, у SmartRep может быть ещё больше из-за отсутствия штанги на аватарах.
|
||||
- **Class mismatch:** только ~13% классов FLAG3D пересекаются с target SmartRep упражнениями (и то условно — Svend Press ≠ barbell bench press).
|
||||
- **Gender bias MoCap 80/20:** risk для shape-dependent биомеханики.
|
||||
- **Нет оборудования в Unity:** при pseudo-labeling аватаров в gym-контексте появятся артефакты на зоне контакта кисти со штангой.
|
||||
- **Gated access:** 2–7 рабочих дней задержки на получение.
|
||||
|
||||
---
|
||||
|
||||
## 11. Потенциал для data augmentation / synthesis
|
||||
|
||||
### 11.1. SMPL параметры
|
||||
|
||||
Доступны как отдельный компонент "SMPL" в списке Download; формат файлов (.npz/.pkl) **НЕ УКАЗАН в статье** — нужно проверить после получения доступа. Параметры β (10), θ (72), t (3) стандартные SMPL — совместимы со smplx/pytorch3d/PyMAF.
|
||||
|
||||
### 11.2. MoCap re-targeting
|
||||
|
||||
Формат raw MoCap **НЕ УКАЗАН** (предположительно VICON native .c3d/.vsk или .fbx для Unity). BVH/AMASS-совместимый .npz требует отдельной конверсии. На сайте: _"Raw data from MoCap software. You can work with it in rendering software like Unity."_ Совместимость с AMASS **возможна** после (a) axis convention conversion (Z-up → Y-up), (b) downsample 120→60 Hz, (c) hand param zero-padding для SMPL-H топологии. Прецедент: Sandbrink et al. (eLife 2024) объединяют FLAG3D с PCR-датасетом.
|
||||
|
||||
### 11.3. Novel view synthesis (NeRF/3DGS)
|
||||
|
||||
**Не подходит** для real-human NeRF: в MoCap-лаборатории только IR grayscale (не цветные multi-view RGB); real-world только 2 вида без калибровки. Для synthetic NeRF избыточно — Unity-рендеры уже дают 6 камер, но SMPL уже содержит 3D GT, так что NeRF не нужен.
|
||||
|
||||
### 11.4. Композитные аугментации
|
||||
|
||||
Unity3D pipeline позволяет **менять сцены, освещение, аватаров** — но авторы не выкладывают Unity-проект публично, только рендеренные видео. Полноценная композитная аугментация требует реимплементации pipeline. [МОЙ КОММЕНТАРИЙ] Для SmartRep полезнее взять SMPL последовательности FLAG3D и отрендерить их в **собственном** Unity/Blender pipeline с добавлением штанг/гантелей.
|
||||
|
||||
### 11.5. Pseudo-labeling
|
||||
|
||||
Высокий потенциал: **FLAG3D SMPL GT → обучить ROMP/PARE/SMPLer-X backbone → применить к unlabeled SmartRep gym видео → получить pseudo SMPL labels**. ROMP-ft показывает MPJPE drop с 380→115 мм на challenging fitness cases — что подтверждает ценность.
|
||||
|
||||
### 11.6. Композиция с AMASS, Fit3D
|
||||
|
||||
Возможна и полезна. FLAG3D добавляет 60 fitness классов к общему motion corpus AMASS (~40 часов motion). Fit3D добавляет ещё 37 exercises на 13 субъектов (включая инструктора). Унифицированный SMPL-корпус **FLAG3D + Fit3D + AMASS** = мощная pretraining основа для биомеханического pose estimation.
|
||||
|
||||
### 11.7. Риски
|
||||
|
||||
- Domain gap real→synthetic (подтверждено авторами: 15–20% accuracy drop).
|
||||
- Отсутствие экипировки (штанги/гантели) в SMPL-репрезентации (SMPL моделирует только тело, не внешние объекты).
|
||||
- Формат файлов MoCap не документирован, требует email-запроса.
|
||||
- Только 4 аватара RenderPeople в synthesized — низкая shape diversity.
|
||||
- Нет синхронизированных real-RGB + MoCap пар — нельзя использовать для real-world domain supervision.
|
||||
|
||||
**Итоговая оценка synthesis potential: СРЕДНИЙ.** Обоснование: (+) готовые SMPL, 60 fitness-активностей, AMASS-compatible после конверсии, pretrain-effect доказан; (−) нет оборудования в рендере, формат файлов не документирован, нет synced real-RGB+MoCap, 4 аватара недостаточно для shape diversity.
|
||||
|
||||
---
|
||||
|
||||
## 12. Gap-анализ для нашего датасета SmartRep
|
||||
|
||||
|Ось|FLAG3D|Gap для SmartRep-dataset|
|
||||
|---|---|---|
|
||||
|**Упражнения**|60 fitness, bodyweight+легкий инвентарь, без штанги|FLAG3D не рассматривает **классические силовые со штангой и гантелями** (bench press, back squat, deadlift, pull-up, barbell row) — **ниша SmartRep:** 5 штанговых упражнений с вариациями широкий/узкий хват, high/low bar squat|
|
||||
|**Ошибки техники**|Только canonical correct instruction|FLAG3D не размечает **per-rep техничиеские ошибки** (butt wink, knee valgus, bar path deviation, elbow flare, kipping в pull-up) — **ниша SmartRep:** taxonomy ошибок с multi-label разметкой по категориям (severity × anatomical region × phase)|
|
||||
|**Антропометрия**|8M/2F MoCap, без BMI/возраст|FLAG3D не документирует **антропометрическое разнообразие** — **ниша SmartRep:** явный запись роста/веса/BMI/стажа тренировок для 20+ субъектов с баланс по полу и body types|
|
||||
|**Условия съёмки**|Лаборатория + Unity + 2 сцены smartphone|FLAG3D не покрывает **реальные gym environments** (variable lighting, crowded frames, occlusion от оборудования, mirrors) — **ниша SmartRep:** in-the-wild capture в 3–5 различных залах + home gym|
|
||||
|**Экипировка**|Отсутствует в Unity-рендере; частично в smartphone|FLAG3D не моделирует **спортивное оборудование** в 3D — **ниша SmartRep:** синхронная разметка bar path + plates + belt + chalk|
|
||||
|**Экспертная разметка тренеров**|Language instruction написана 1 раз|FLAG3D не предоставляет **экспертные оценки техники на уровне повторения** — **ниша SmartRep:** 2–3 certified S&C coaches с inter-annotator agreement (Cohen κ, Krippendorff α)|
|
||||
|**Пост-аугментационный gap**|Unity без оборудования, 4 аватара|FLAG3D не поддерживает **equipment-aware synthesis** — **ниша SmartRep:** Blender pipeline со SMPL + барбелл-физикой + variable gym assets|
|
||||
|
||||
---
|
||||
|
||||
## 13. Критическая оценка (peer-review)
|
||||
|
||||
### 13.1. Transparency Score
|
||||
|
||||
|Ось|0/1/2|Обоснование|
|
||||
|---|---|---|
|
||||
|Collection protocol|2|Детально описан: 10 MoCap × 3 × 60 × 4 retargeting и т.д.|
|
||||
|Capture setup|2|24 VICON V16, 77 маркеров, резолюция, FPS — все приведены|
|
||||
|Camera calibration|1|Unity-камеры: параметры известны; smartphone: калибровка не приведена|
|
||||
|Demographics|0|Пол только MoCap (8M/2F); возраст/BMI/рост/вес — НЕ УКАЗАНО|
|
||||
|Annotation instructions|1|Для language — описан источник (coaches); exact guidelines не приложены|
|
||||
|Inter-annotator agreement|0|НЕ ИЗМЕРЕН|
|
||||
|Rejection stats|0|Сколько записей отбраковано/переснято — НЕ ОТЧИТАНО|
|
||||
|IRB approval|0|Не упомянут; только "we agree with volunteers"|
|
||||
|Datasheet (Gebru)|0|Официальный datasheet отсутствует|
|
||||
|Limitations section|1|Failure modes обсуждены в анализе ошибок, но отдельного Limitations секции нет|
|
||||
|**ИТОГО**|**7/20**||
|
||||
|
||||
**Интерпретация 7/20:** попадает в диапазон **"0–6: серьёзные пробелы" / "7–11: умеренная прозрачность"**. [МОЙ КОММЕНТАРИЙ] Это нижняя граница приемлемого для CVPR-датасета 2023 года — авторы уделили больше внимания технической стороне (что собрано и как) и меньше — этике, демографии, annotation quality. Правлю самооценку: **11/20** только при щедрой интерпретации (дали баллы за частичную калибровку, частичный limitations). Консервативная оценка — 7/20.
|
||||
|
||||
### 13.2. Peer-review оценка (1–10 по критериям)
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Новизна|**8/10**|Первый fitness-specialized 3D + language датасет такого масштаба; multi-modal triplet оригинален|
|
||||
|Размер (scale)|**8/10**|180K seq, 20M кадров, 60 классов — крупно для fitness ниши|
|
||||
|Качество разметки|**7/10**|MoCap 120 Hz 77 маркеров — отлично; SMPL PA-MPJPE 27 мм — хорошо; language — одна каноническая инструкция на класс, без IAA — недостаточно|
|
||||
|Методология|**7/10**|L-BFGS fitting методологически корректен; собственный pipeline MoCap→Unity логичен; но отсутствует valid split и rejection stats|
|
||||
|Документация|**5/10**|Проектная страница минималистична; GitHub содержит только Mindspore baseline; формат SMPL/MoCap не документирован (согласуется с transparency 7/20)|
|
||||
|Воспроизводимость|**5/10**|Есть license gating, нет dataloader, нет pretrained weights, Unity pipeline не открыт|
|
||||
|Этика|**3/10**|Нет IRB approval, consent form не опубликован, privacy считерации не обсуждены|
|
||||
|Bias|**5/10**|Gender 80/20, нет BMI/age, только 4 synthetic avatars, лабораторные условия|
|
||||
|Adoption (community uptake)|**6/10**|Semantic Scholar 28 цитирований, PapersWithCode есть, но "No benchmarks yet"; основные adopters — авторы (FLAG3D++), FlexMotion (SOTA 2025), EgoExo-Fitness, FLEX|
|
||||
|Synthesis potential|**6/10**|Совместимость с AMASS возможна при конверсии, SMPL доступен, но без оборудования и с ограниченной аватар-диверсификацией|
|
||||
|
||||
**Общая рекомендация для SmartRep: ADOPT WITH CAVEATS.** FLAG3D использовать как **secondary pretraining source** и **taxonomy reference**, но **нельзя** использовать как primary training set или evaluation benchmark для error detection. Для главной задачи SmartRep (classification ошибок техники силовых со штангой) FLAG3D релевантен только косвенно.
|
||||
|
||||
---
|
||||
|
||||
## 14. Executive Summary
|
||||
|
||||
1. **Датасет в одном предложении:** FLAG3D — крупнейший публичный 3D-датасет фитнес-активностей (180K последовательностей, 60 классов, 20M кадров, 24 субъекта) от Tsinghua с тройной модальностью (VICON MoCap + Unity render + smartphone) и language instructions от тренеров, принятый на CVPR 2023.
|
||||
|
||||
2. **Самая сильная сторона:** **Структурная 3D-супервизия золотого стандарта** — VICON 24-камеры, 77 маркеров, 120 Hz + SMPL параметры с точностью регистрации PA-MPJPE 27 мм на 60 разнообразных fitness-движениях, включая сложные kneeling/lying позы.
|
||||
|
||||
3. **Самая слабая сторона:** **Полное отсутствие экспертной разметки ошибок техники на уровне повторений** — только одна каноническая правильная инструкция на класс, без per-rep labels и без inter-annotator agreement, что делает датасет неприменимым для прямого supervised error detection.
|
||||
|
||||
4. **Transparency Score:** **7/20** (консервативно) — "серьёзные пробелы": не указаны demographics (возраст, BMI), IRB, IAA, rejection stats, datasheet. При щедрой интерпретации 11/20 — умеренная прозрачность.
|
||||
|
||||
5. **Синтетический потенциал:** **СРЕДНИЙ** — SMPL совместим с AMASS/Fit3D после конверсии осей и частоты; pretrain-effect доказан (ROMP fine-tune даёт 3.3× drop MPJPE); НО Unity-рендер без оборудования, только 4 avatar shape, формат файлов не документирован, и нет синхронизированных real-RGB+MoCap пар.
|
||||
|
||||
6. **Роль в пайплайне SmartRep:** **pretrain-source для 3D pose/SMPL backbone** (направление 🅱) + **synthesis-source для skeleton augmentation** + **taxonomy reference** для наименования body parts и language-подхода. **НЕ training data для error classification, НЕ eval benchmark.**
|
||||
|
||||
7. **Главный gap для нашего датасета:** FLAG3D не покрывает (i) **классические силовые упражнения со штангой** (bench press, deadlift, back squat, pull-up, barbell row), (ii) **per-rep экспертную разметку ошибок техники от сертифицированных S&C-тренеров с IAA**, (iii) **реалистичные gym environments с оборудованием в кадре**. Это формирует тройную нишу SmartRep-dataset.
|
||||
|
||||
8. **Лицензионный статус:** **Custom research-only License Agreement** — требует подписи institutional representative и email на liujp22@mails.tsinghua.edu.cn. Реалистичное время получения 2–7 рабочих дней. Полные 172,800 rendered видео — по отдельному email-запросу.
|
||||
|
||||
9. **Приоритет: СРЕДНИЙ** — Adopt with caveats. Скачать для использования в качестве pretrain-source SMPL-backbone и taxonomy reference; НЕ вкладываться как в primary training/eval набор. Выделить ~1 неделю на получение доступа и разбор формата файлов.
|
||||
|
||||
10. **Связанные датасеты для изучения следом:**
|
||||
|
||||
- **Fitness-AQA** (Parmar et al., ECCV 2022) — **ПРИОРИТЕТ #1**: единственный RGB-датасет силовых упражнений (squat, OHP, barbell row) с экспертной разметкой ошибок от двух профессиональных тренеров; прямой role-model для SmartRep error taxonomy.
|
||||
- **EC3D** (Zhao et al., ACCV 2022) — 3D pose + scripted-error labels для squat/lunge/plank; полезен как методологический шаблон для small-subject scripted protocols.
|
||||
- **FLEX** (arXiv 2506.03198, 2025) — очень свежий (38 subjects, 20 weight-loaded actions, 5 views, sEMG, expert knowledge-graph error annotations); наиближайший концурент SmartRep, обязательно проанализировать для позиционирования.
|
||||
|
||||
---
|
||||
|
||||
_Примечание к рецензии:_ FLAG3D — качественный, методологически аккуратный fitness 3D-датасет с умеренным цитированием в сообществе (28 Semantic Scholar citations, 1 highly influential) и уже существующим расширением авторов (FLAG3D++, 2025) с задачами L-RAC/L-AQA. Для SmartRep он представляет ценность не как готовый building block, а как **структурный источник 3D/SMPL-супервизии** и **семантический reference** — использовать в ограниченной, но чётко определённой роли в pipeline.
|
||||
@@ -0,0 +1,103 @@
|
||||
|
||||
|
||||
## Уточню метаданные статьи перед анализом.```markdown
|
||||
|
||||
## title: "FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding"
|
||||
title_ru: "FineGym: иерархический видео-датасет для детального понимания действий" authors: [Shao, Zhao, Dai, Lin] year: 2020 venue: "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2616–2625 (Oral)" venue_tier: "A*" doi: "arXiv:2004.06704" tags: [validation, aqa] relevance_to_smartrep: 2 direction: "A"
|
||||
|
||||
# FineGym: иерархический видео-датасет для детального понимания действий
|
||||
|
||||
> ⚠️ **Дисклеймер.** PDF к промпту не приложен. Анализ построен на CVPR 2020 open-access PDF, странице проекта (sdolivia.github.io/FineGym), README репозитория `SDOlivia/FineGym` и описаниях из последующих работ (SeFAR, FineDiving и пр.). Несколько частных чисел отмечены как «не указано», если их нельзя верифицировать без полного текста.
|
||||
|
||||
## TL;DR (≤3 предложения)
|
||||
|
||||
FineGym — **иерархически размеченный** видео-датасет на материале профессиональных соревнований по женской спортивной гимнастике (vault, floor, beam, uneven bars), с трёхуровневой семантической таксономией (events → sets → elements) и двухуровневой временно́й сегментацией (полная программа → элементарные суб-действия). Авторы первыми показывают, что **класс «гимнастика»** на самом деле распадается на **530 элементов**, и большинство SOTA-моделей action recognition (TSN, I3D, TSM и пр.), отлично работающих на Kinetics, **резко проседают** на этом fine-grained-уровне. Релизованы подмножества **Gym99** и **Gym288** (de facto стандарт для бенчмаркинга fine-grained action recognition в 2020–2026 гг.).
|
||||
|
||||
## Проблема
|
||||
|
||||
Действующие на момент 2020 года крупные video-датасеты (Kinetics, ActivityNet, UCF-101, HMDB-51) останавливаются на уровне coarse классов вроде «гимнастика», «футбол», «бейсбол». В реальных приложениях — спортивная аналитика, обучение, sport coaching — нужна способность (а) парсить непрерывный поток на фазы и (б) различать визуально похожие, но семантически разные действия (например, _split leap with 1 turn_ vs _switch leap with 0.5 turn_). Существующие методы такой задачи не решают, потому что нет соответствующего benchmark’а.
|
||||
|
||||
## Гипотеза / вклад
|
||||
|
||||
- **Иерархическая семантическая разметка** (3 уровня): event → set → element, где elements — это именованные технические элементы из правил FIG (например, _double salto backward tucked with 2 twist_).
|
||||
- **Иерархическая временна́я разметка** (2 уровня): action (полное упражнение целиком) → sub-action (один элемент внутри упражнения), с явными timestamp’ами начала/конца.
|
||||
- **Источник данных — профессиональные соревнования** высокого уровня (303 видеозаписи), а не самописные клипы или crowdsourced — это даёт корректность fine-grained меток, потому что элементы соревнований судятся профессиональными арбитрами по правилам FIG.
|
||||
- **Decision-tree аннотация:** разметчики идут по дереву решений (build из правил FIG), что снижает их когнитивную нагрузку и обеспечивает воспроизводимость меток среди обычных аннотаторов на сложной экспертной таксономии.
|
||||
- **Empirical study**: показано, что SOTA action-recognition модели (TSN, TRN, I3D, Non-local, TSM) на coarse-уровне дают ≥90%, но на element-level Gym99/Gym288 точность катастрофически проседает.
|
||||
- **Подмножества Gym99 и Gym288** — стандартные бенчмарки fine-grained action recognition.
|
||||
|
||||
## Метод
|
||||
|
||||
Это датасет-пейпер; «метода» как новой архитектуры здесь нет — но методология **сбора и аннотации** сама по себе является вкладом. Pipeline (4 стадии): (1) аннотатор находит начало/конец полной программы и присваивает event label; (2) внутри программы временна́я сегментация на sub-actions; (3) каждому sub-action назначается set label (5 set’ов на event типа beam: leap-jump-hop, beam-turns, flight-salto, flight-handspring, dismount); (4) внутри set’а через manually constructed decision tree (на правилах FIG) присваивается element label. Авторы дополнительно прогоняют **20 baseline-моделей** (TSN, TSM, TRN, I3D, Non-local, R(2+1)D и др.) с разными бэкбонами и режимами входа (RGB / Flow / two-stream), и публикуют **готовые pre-extracted features** для всех 20.
|
||||
|
||||
## Датасеты
|
||||
|
||||
|Датасет|Размер|Метрика|Результат (в самой статье / репозитории)|
|
||||
|---|---|---|---|
|
||||
|**FineGym v1.0 (вводимый)**|303 видео соревнований; 4 events; ~99 sets; **530 element classes**; ~32k action instances + ~32k sub-actions; видео в основном 720p (источник YouTube)|Top-1 accuracy на element-level|На **Gym99** I3D-RGB ~63%, TSN-RGB ~74%, TSM-RGB ~71%; two-stream даёт небольшое улучшение. На **Gym288** числа ниже на 5–10 п.п. (длинный хвост и редкие классы)|
|
||||
|Gym99|99 наиболее частых element-классов|Per-class и Mean accuracy|Стандартный бенчмарк; later SOTA (PoseConv3D, MS-G3D, SeFAR) поднимают до ~90%+ на Gym99|
|
||||
|Gym288|288 element-классов|Per-class и Mean accuracy|Жёстче из-за class imbalance|
|
||||
|
||||
## Сравнение с SOTA
|
||||
|
||||
В самой статье 2020 г. tested ~20 baseline-моделей. Главный takeaway не «новый метод», а **diagnostic finding**: модели, которые на Kinetics дают 70%+, на Gym288 проваливаются в районе 30–40% mean accuracy. **Это даже не error 5–10%, а порядок неучёта реальной семантики движения.** Two-stream (RGB + optical flow) даёт стабильно лучше, чем чистый RGB, что подсказывает: **информация о движении критична** для fine-grained action recognition (это интуитивно полезный сигнал и для SmartRep). После 2020 г. на FineGym поверх отрабатывают skeleton-методы (PoseConv3D — Duan et al., CVPR 2022 — резко превосходит RGB-методы на Gym99), что ещё раз подтверждает важность позы как сигнала.
|
||||
|
||||
## Ограничения / слабости
|
||||
|
||||
- **Только 4 event типа** (vault, floor, balance beam, uneven bars) — все из женской спортивной гимнастики. Мужская гимнастика (кольца, конь, брусья, перекладина), художественная гимнастика, акробатика — не покрыты.
|
||||
- **Источник YouTube → юридическая серая зона** для коммерческого использования. Авторы публикуют только **annotation files и pre-extracted features**, а не сами видео (предполагается, что пользователь скачивает их по списку URL’ов). Битые/удалённые ссылки со временем — известная проблема таких датасетов.
|
||||
- **Только class-label, никакой quality label**. Это **action recognition**, а не **action quality assessment** — субъективная оценка судей в баллах НЕ перенесена в датасет (в отличие от MTL-AQA / FineDiving).
|
||||
- **Длинный хвост:** распределение element-классов сильно несбалансировано — отдельные элементы встречаются единицы раз. Поэтому subset Gym99 — это «честная топ-99», а Gym288 — это уже «топ-288 + хвост». 530 — это всё, что встретилось хоть раз.
|
||||
- **Один ракурс камеры** на инстанс (конкурсная режиссёрская съёмка), часто с zoom’ом и pan’ом, что усложняет pose estimation.
|
||||
- **Нет ground truth pose** ни в виде MoCap, ни в виде skeleton — есть только видео. Pose нужно извлекать сторонними детекторами (HRNet и т.п.), что вносит дополнительный шум.
|
||||
- **Нет демографической разметки** субъектов (это профессиональные спортсменки, узкий антропометрический диапазон, преимущественно молодые женщины).
|
||||
- **Аннотация subaction-границ требует субъективного суждения** на переходах между элементами (handspring → salto и т.п.) — формально межаннотаторского согласия в статье **не указано** в виде Cohen κ; есть упоминание multi-stage cross-check, но численно — не указано.
|
||||
|
||||
## Релевантность SmartRep
|
||||
|
||||
- **Прямая релевантность по контенту низкая (2/5):** гимнастика и силовые движения биомеханически очень разные. Спортсменки FineGym — экстремально гибкие и динамичные; силовой тренинг — медленный, нагруженный, амплитудно-ограниченный. Перенос моделей с FineGym на жим/присед — нетривиален.
|
||||
- **Методологическая релевантность высокая.** То, что стоит заимствовать в SmartRep:
|
||||
1. **Иерархическая таксономия** (event/exercise → phase/set → micro-element). У нас: «силовые упражнения → жим лёжа → эксцентрика | концентрика | пауза → ошибки внутри фазы». Это прямой шаблон для дизайна нашей разметки.
|
||||
2. **Двухуровневая временна́я сегментация** — отлично ложится на counting reps + phase segmentation внутри одного rep.
|
||||
3. **Decision-tree annotation protocol** — снижает разметочную нагрузку, когда таксономия большая (например, наша таблица ошибок техники по упражнениям может насчитывать 30–50 типов ошибок). Это reusable процедура для нашего краудсорсинга со студентами + верификации тренерами.
|
||||
4. **Diagnostic baseline study** — формат «прогнать 20 моделей и показать, что fine-grained ломает все» полезно повторить для SmartRep при выпуске нашего датасета. Это сильный аргумент в пользу того, что задача нетривиальна.
|
||||
- **С чем сравниваться:** при публикации SmartRep-датасета имеет смысл прямо ссылаться на FineGym как методологический референс «как делать fine-grained action benchmark в спорте», и обосновывать, чем наш отличается (technique-error labels vs class labels; strength training vs gymnastics; coach-grade annotations vs FIG-rule decision tree).
|
||||
|
||||
## Gap для нас
|
||||
|
||||
- **При этом не рассматривается** ни одно силовое упражнение (свободные веса, тренажёры, calisthenics силового толка); датасет полностью посвящён женской спортивной гимнастике из 4 disciplines.
|
||||
- **При этом не рассматривается** оценка качества выполнения (AQA / score regression / error detection) — только action classification. Между «выполнено» и «выполнено правильно» дистанция огромная, и FineGym её не закрывает.
|
||||
- **При этом не рассматривается** разметка ошибок техники (например, недостаточная амплитуда, потеря равновесия, неверная траектория) — судейские оценки FIG не интегрированы в аннотацию.
|
||||
- **При этом не рассматривается** биомеханическая модальность: нет ни pose GT, ни IMU, ни force-plate данных — модели работают только по сырому RGB.
|
||||
- **При этом не рассматривается** edge-deployment и latency-метрики — стандартные для action recognition модели здесь heavyweight (I3D, Non-local), нет benchmark’а для лёгких моделей под мобильник.
|
||||
- **Ниша SmartRep-датасета:** первый fine-grained sport video benchmark, где **(i)** домен = силовой тренинг, **(ii)** разметка дополнена **per-rep типизированными ошибками техники от сертифицированных тренеров**, **(iii)** иерархическая структура (упражнение → фаза → ошибка) прямо унаследована от FineGym для совместимости с моделями, **(iv)** добавлены edge-friendly метрики (latency, energy, accuracy at compute budget).
|
||||
|
||||
## Ссылки на связанные статьи в литобзоре
|
||||
|
||||
- [[FineDiving]] (Xu et al., CVPR 2022) — наследник идеи fine-grained sport video, но уже с AQA score regression; ближе к нашей задаче.
|
||||
- [[MTL-AQA]] (Parmar & Morris, CVPR 2019) — diving AQA, прямой предшественник AQA-вектки.
|
||||
- [[NTU RGB+D 120]] — coarse-grained action recognition; FineGym задумывался как ответ на ограничения NTU/Kinetics в part детализации.
|
||||
- [[Fitness-AQA]] — fitness-specific AQA, методологически наследует FineGym по идее иерархии и явно бьёт ту же нишу для фитнеса (что и SmartRep).
|
||||
- [[Fit3D]], [[FLAG3D]] — fitness pose-датасеты с MoCap; комплементарны по модальности.
|
||||
- [[PoseConv3D]] (Duan et al., CVPR 2022) — skeleton-based action recognition, SOTA на FineGym Gym99; кандидат для SmartRep backbone.
|
||||
- [[TPT (Temporal Action Parsing)]] (Shao et al., CVPR 2020) — параллельная работа той же группы, о parsing внутри FineGym.
|
||||
|
||||
## Код / данные
|
||||
|
||||
- Repo: https://github.com/SDOlivia/FineGym (annotations, splits, scripts, pre-extracted features для 20 моделей)
|
||||
- Project page: https://sdolivia.github.io/FineGym/
|
||||
- Датасет: видео не хостятся (YouTube ссылки + аннотации); annotation files и pre-extracted features в репозитории. Лицензия — research-only / non-commercial (явно не оформлено как CC, де-факто academic).
|
||||
- Pretrained: pre-extracted features (от TSN/TSM/I3D/etc., 20 вариантов) выложены авторами; полные веса бэкбонов — стандартные, со страниц mmaction2 и pyskl.
|
||||
|
||||
## Цитата (BibTeX)
|
||||
|
||||
```bibtex
|
||||
@inproceedings{shao2020finegym,
|
||||
author = {Shao, Dian and Zhao, Yue and Dai, Bo and Lin, Dahua},
|
||||
title = {{FineGym}: A Hierarchical Video Dataset for Fine-grained Action Understanding},
|
||||
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
|
||||
pages = {2616--2625},
|
||||
year = {2020},
|
||||
note = {Oral}
|
||||
}
|
||||
```
|
||||
431
SmartRep/1_lit_research/1_datasets/Human3.6M.md
Normal file
431
SmartRep/1_lit_research/1_datasets/Human3.6M.md
Normal file
@@ -0,0 +1,431 @@
|
||||
---
|
||||
|
||||
## dataset: Human3.6M type: dataset_analysis tags: [dataset, 3d-pose, mocap, human-pose-estimation, h36m, pretraining, smartrep] source_paper: "Ionescu et al., IEEE TPAMI 36(7):1325-1339, 2014" doi: 10.1109/TPAMI.2013.248 predecessor: "Ionescu, Li, Sminchisescu, ICCV 2011 (Latent Structured Models)" url: http://vision.imar.ro/human3.6m/ license: "Academic/Non-commercial (EULA, commercial by separate agreement)" subjects: 11 (5F + 6M; S1,S5,S6,S7,S8,S9,S11 публично с аннотациями; S10 без изображений; S2,S3,S4 — через eval-server) actions: 15 training scenarios (+ Miscellaneous только в test) frames_rgb: ~3 578 080 кадров × 4 камеры; до ~7 млн с зеркалированием poses_3d: "3.6 million 3D poses (3 578 080)" cameras_rgb: 4× Basler piA1000, 1000×1000 @50 Hz, progressive tof: 1× MESA SR4000, 176×144 @25 Hz mocap: 10× Vicon T40 4MP @200 Hz skeleton: "32 joints full / 17 joints standard evaluation" body_scans: "Vitus Smart LC3 (3 lasers, 7 pts/cm³, <1 mm)" studio: "IMAR Bucharest; ~6×5 m lab, ~4×3 m effective" sync: "hardware (MoCap↔DV), software (TOF)" primary_metrics: "MPJPE, UMPJPE, MPJAE, MPJLE (в оригинале); PA-MPJPE, PCK, AUC добавлены сообществом" standard_split: "S1,S5,S6,S7,S8 train / S9,S11 test" protocols: "Protocol #1 (MPJPE all 4 cams), Protocol #2 (PA-MPJPE, every 64th frame), Protocol #3 (frontal cam)" sota_mpjpe_p1: "≈35.8 мм (MotionBERT 2023); lifting-SOTA 2024-25: 37.0-38.5 мм" sota_pa_mpjpe_p2: "≈28-30 мм (DiffPose, HybrIK)" status: "saturated benchmark (community consensus 2023-2026)" critical_derivatives: "NeuralAnnot SMPL-X (~312.2K), MoShed (не распространяется), HybrIK pseudo-GT, PoseAug, H3WB, Human3.6M-Occluded" amass_status: "УДАЛЁН из AMASS между 2020-2022 (license)" relevance_to_smartrep: "3/15 (низкая — только общий 3D-pose prior; нет силовых упражнений)" synthesis_potential: "СРЕДНИЙ (MoCap-ретаргетинг и SMPL-фиты возможны, но нет штанговых движений)" recommended_use_smartrep: "Вспомогательный pretraining-источник общей 3D-позы; fine-tune обязателен на Fit3D/FLAG3D/EC3D + собственном штанговом датасете" citations_semantic_scholar: "~2900-3600 (April 2026); Google Scholar ~13-16k estimated" last_updated: "2026-04-21"
|
||||
|
||||
# Human3.6M для SmartRep — глубокий структурированный анализ
|
||||
|
||||
**BLUF.** Human3.6M — эталонный и, одновременно, насыщенный (saturated) бенчмарк 3D-позы человека: MPJPE на Protocol #1 у современных SOTA (MotionBERT, MixSTE+pretrain, MotionAGFormer, Pose3DM) опустился до **≈35.8–38 мм**, PA-MPJPE до **~28–30 мм**, и дальнейший прогресс измеряется долями миллиметра. Для SmartRep датасет **ценен исключительно как источник «общего» 3D-pose prior** — в нём нет ни одного силового упражнения, ни одной штанги, ни одной разметки ошибок техники, а домен-гап до жима/приседа/становой настолько велик, что модели, обученные только на H36M, на атлетических позах (AthletePose3D, ECCV 2024) деградируют до **>200 мм MPJPE**. Одновременно с этим 11 субъектов (5F+6M, BMI 17–29), лабораторный фон 4×3 м, обтягивающие MoCap-костюмы и 15 бытовых сценариев делают его крайне узким по распределению. Датасет остаётся де-факто стандартом благодаря 3.6 млн ground-truth 3D-поз (Vicon @200 Hz), 4 калиброванным камерам 1000×1000 @50 Hz, TOF-сенсору и лазерным сканам тел — но современные работы (HMR2.0/4D-Humans, SMPLer-X, WHAM, NLF 2024) используют его лишь как sanity-check, переключая основной прогресс на 3DPW, EMDB, BEDLAM, AGORA. Вердикт для SmartRep: **H36M включать в pretraining — да, как один из 4–6 датасетов в смеси; строить на нём fine-tune или оценивать технику жима/приседа — нет**.
|
||||
|
||||
---
|
||||
|
||||
## 1. Метаданные датасета
|
||||
|
||||
**Полное название:** Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments. **Авторы:** Catalin Ionescu, Dragoș Papava, Vlad Olaru, Cristian Sminchisescu (IMAR, Institute of Mathematics of the Romanian Academy, Bucharest; Lund University, Sweden). **Venue:** _IEEE Transactions on Pattern Analysis and Machine Intelligence_ (TPAMI), vol. 36, no. 7, July 2014, pp. 1325–1339. **DOI:** 10.1109/TPAMI.2013.248. **Официальная страница:** http://vision.imar.ro/human3.6m/. **Цитируемость (апрель 2026):** Semantic Scholar показывает диапазон **~2 900–3 600** (значение колеблется между подстраницами индекса). ACM DL — 672 (внутренний заниженный счётчик). Google Scholar прямым запросом недоступен, экспертная оценка — **~13 000–16 000 цитирований**, что согласуется с агрегированным h-index Sminchisescu (23 044 суммарно). [МОЙ КОММЕНТАРИЙ: точное число Scholar лид-исследователь должен проверить вручную — автоматические tools Scholar блокирует.]
|
||||
|
||||
**Предшественник:** Ionescu, Li, Sminchisescu, "Latent Structured Models for Human Pose Estimation", ICCV 2011, pp. 2220–2227, DOI 10.1109/ICCV.2011.6126500. **Важная корректировка**: вопреки распространённому заблуждению, в этой ICCV-статье датасет Human3.6M **не описывался** — все эксперименты проводились на HumanEva-I, упоминается лишь собранный авторами набор ~4 000 MoCap-примеров для демонстрации на фрагменте голливудского фильма. Публичный релиз H36M и его описание появились только в TPAMI-2014. Тем не менее §5 EULA датасета **требует цитировать обе статьи**, иначе лицензия считается нарушенной.
|
||||
|
||||
---
|
||||
|
||||
## 2. Позиционирование датасета
|
||||
|
||||
H36M в 2014 решал конкретные проблемы предыдущего поколения benchmarks — HumanEva I/II (~40K кадров, 3–4 субъекта) и CMU Mocap. Авторы ставили цель создать датасет **«на порядки больше» существующих**, со строгой калибровкой, multi-view, time-of-flight и body scans — то, что позволило впервые осмысленно обучать discriminative 3D-pose predictors и исследовать влияние **размера тренировочной выборки (10³→10⁶)** на ошибку. В TPAMI-2014 демонстрируется, что ошибка kNN/KRR/LinKRR/LinKDE закономерно падает с log-scale размером выборки (Fig. 9), что и стало теоретическим оправданием «scale-first» подхода к pose estimation, доминировавшего весь 2015–2023.
|
||||
|
||||
**Что замещает/замещал:** HumanEva (малый), CMU Mocap (без синхронных RGB), TUM Kitchen и INRIA IXMAS (малые, ограниченная поза). В современной литературе (2023–2026) роль «универсального студийного бенчмарка» частично перешла к **Panoptic Studio (CMU)**, **HuMMan (Shanghai Lab)**, **Motion-X**, **RICH**, **BEDLAM** (синтетика) — но H36M остаётся обязательным.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ: H36M — это «ImageNet для 3D-позы». Историческая роль огромная, но, как и ImageNet-1k для классификации, в 2026 году он уже больше «обряд посвящения», чем источник реального прогресса.]
|
||||
|
||||
---
|
||||
|
||||
## 3. Технические характеристики
|
||||
|
||||
### 3.1 Статистика (числа из TPAMI-2014)
|
||||
|
||||
|Характеристика|Значение|Источник|
|
||||
|---|---|---|
|
||||
|Субъектов всего|**11** (5F + 6M)|§2.2, abstract|
|
||||
|BMI субъектов|**17 – 29** (диапазон)|§2.2|
|
||||
|Публично с 3D GT|**7** (S1, S5, S6, S7, S8, S9, S11)|metadata.xml|
|
||||
|Withheld (изображения)|**S10** (только силуэты/bbox/дескрипторы)|§5.2|
|
||||
|Withheld (полностью)|**S2, S3, S4** (только через eval-server)|metadata|
|
||||
|Сценариев (train)|**15**|§2.2|
|
||||
|Сценариев (+test-only)|+1 «Miscellaneous»|Table 2(a)|
|
||||
|Trial на сценарий|2 (train + validation)|§2.2|
|
||||
|3D поз суммарно|**3 578 080** (Train 1 464 216 + Val 646 180 + Test 1 467 684)|Table 2(a)|
|
||||
|RGB кадров (с камер × 4)|**~3.6 млн** / до **~7 млн** с mirror-augmentation|§2.2|
|
||||
|Консистентных пар поз|10 926|§3.1|
|
||||
|При допуске 100 мм уникальных|~438 654 (12%)|§3.1|
|
||||
|Mixed reality test|7 466 кадров (1 270 с окклюзией)|§5.3|
|
||||
|Частота видео|**50 Hz**|Table 2(b)|
|
||||
|Частота MoCap|**200 Hz** (4× выше видео)|Table 2(b)|
|
||||
|Частота TOF|**25 Hz**|Table 2(b)|
|
||||
|Общий размер на диск (unofficial)|**~267 GB** (без mixed-reality/depth)|kotaro-inoue/human3.6m_downloader|
|
||||
|
||||
**Корректировки относительно исходного ТЗ:**
|
||||
|
||||
- «17 scenarios» в ТЗ — **неверно**, в статье **15 training scenarios** (16-я строка Miscellaneous только для теста).
|
||||
- «24-joint skeleton» — **неверно**, в статье **32 joints полного скелета** и **17 joints для оценки**.
|
||||
- «Stockholm Studio 4×3 м» — **неверно по местоположению**: студия в **IMAR, Bucharest, Romania**. Sminchisescu аффилиирован с Lund (Швеция), но запись велась в Бухаресте.
|
||||
|
||||
### 3.2 Модальности
|
||||
|
||||
|Модальность|Сенсор|Спецификация|Синхронизация|
|
||||
|---|---|---|---|
|
||||
|RGB видео|**4× Basler piA1000** (progressive scan)|**1000×1000** @ 50 Hz, 4 угла зоны захвата|Hardware|
|
||||
|Depth (ToF)|**1× MESA SR4000**|**176×144** @ 25 Hz, смонтирован поверх одной DV-камеры|Software|
|
||||
|MoCap|**10× Vicon T40** (4 MP камеры)|200 Hz; расположены по стенам (4 L + 4 R + 2 mid)|Hardware|
|
||||
|Body scan|**Vitus Smart LC3** (Human Solutions)|3 лазера, плотность **7 точек/см³**, точность **<1 мм**|Offline|
|
||||
|Bounding boxes + силуэты|Выведены из фонового вычитания и MoCap|На все кадры|—|
|
||||
|
||||
Официальное разрешение RGB — **1000×1000**; вариант «1000×1002», встречающийся в некоторых репозиториях и в ТЗ, — артефакт контейнера/кодека при перекодировании. Intrinsic+extrinsic калибровка выпущена вместе с датасетом; итоговая **средняя ошибка репроекции составляет 0.17 пикселя** (вручную размеченные 30 отражающих маркеров, модели с радиальной дисторсией 2-го порядка).
|
||||
|
||||
### 3.3 Съёмочная установка
|
||||
|
||||
Лаборатория ≈ **6 × 5 м**, эффективная зона захвата ≈ **4 × 3 м** (внутри субъект виден всем 4 камерам). 4 Basler DV-камеры установлены по углам эффективной зоны; **высота камер в статье не указана** — известна только по floor plan (Fig. 2c). TOF-сенсор MESA SR4000 — сверху одной из DV-камер. 10 Vicon T40 — по периметру стен, максимизируя объём. Освещение, тип ламп, люксы и цвет фона — **НЕ УКАЗАНО В СТАТЬЕ** (Wandt et al. 2021 характеризуют фон как «однородно освещённый, без пересветов и сильных теней»).
|
||||
|
||||
**Vicon-пайплайн:** «small reflective markers» на теле (точное число в TPAMI-2014 не раскрыто — обычно Vicon Plug-in-Gait использует 39–53 маркера); tracking поддерживает идентичность каждого маркера, затем фитинг проприетарной модели человека даёт углы суставов и позиции. Точность «sub-mm» в статье явно не сказана — говорится лишь «accurate 3D pose information».
|
||||
|
||||
### 3.4 Визуальные материалы статьи
|
||||
|
||||
Статья содержит 10 figures и 5 tables. Ключевые: **Fig. 2** (floor plan + спецификация сенсоров + распределение train/val/test по сценариям — это одновременно и Table 2); **Fig. 3** (RGB + силуэт + TOF + 3D-поза + 3D-скан одного кадра); **Fig. 5** (меши всех 11 актёров); **Fig. 7** (визуальные неоднозначности foreshortening, T1/T2); **Fig. 8** (consistent pose pairs, joint visibility, part support, depth discontinuity); **Fig. 9** (ошибка vs log-size тренировочной выборки — исторически главный график статьи); **Table 3** — ASM-results по 15 сценариям; **Table 4** — GM (2.1M/1.4M поз).
|
||||
|
||||
---
|
||||
|
||||
## 4. Методология сбора данных
|
||||
|
||||
**4.1 Рекрутинг субъектов.** Авторы наняли **11 профессиональных актёров** (5 женщин + 6 мужчин), BMI 17–29. Конкретные возраст, рост, вес, национальность, процесс найма и размер вознаграждения в TPAMI-2014 **не раскрыты**. Разбиение: 5 train (2F+3M), 2 validation (1F+1M), 4 test (2F+2M).
|
||||
|
||||
**4.2 Протокол записи.** Каждый субъект исполнял 15 сценариев в **двух trial** (train + val). Сценарии направляли субъекта на естественное поведение в 4×3-м зоне, без жёсткой хореографии. Каждый сценарий — минуты-десятки минут непрерывной записи; длительность на trial **не раскрыта** в статье (оценочно 5 ч на камеру суммарно). Mixed-reality test снимался отдельно с 5 динамическими фонами.
|
||||
|
||||
**4.3 Quality control.**
|
||||
|
||||
- Калибровка камер — по 30 отражающим маркерам в сцене, ручная разметка с субпиксельной точностью, fit модели с радиальной дисторсией, итоговая reprojection error 0.17 px.
|
||||
- MoCap — непрерывный tracker с проприетарным фиттингом; аномальные сегменты (marker swaps, dropouts) проходили ручную очистку (в статье упомянуто косвенно).
|
||||
- Body scans — отдельная сессия в стойке «T-pose».
|
||||
- Валидации по repeatability: 10 926 пар консистентных поз внутри датасета.
|
||||
|
||||
**IRB / Ethics approval:** в статье **не упомянут**. В computer vision-сообществе в 2013–2014 это было нормой, но по стандартам 2026 (GDPR, EU AI Act) — серьёзный пробел.
|
||||
|
||||
---
|
||||
|
||||
## 5. Протокол аннотации
|
||||
|
||||
**5.1 Типы меток.**
|
||||
|
||||
- **3D joint positions** — в мировой системе координат (R3DJP относительно root-pelvis) и в камерных системах.
|
||||
- **3D joint angles** — kinematic representation (KR), углы между конечностями, инвариантны к масштабу.
|
||||
- **2D joint positions** — проекции 3D на 4 камеры (не ручная разметка!).
|
||||
- **Bounding boxes + силуэты** — автоматически из фонового вычитания.
|
||||
- **Body scans** — высокополигональные меши для всех 11 субъектов.
|
||||
- **Visual ambiguity labels** — T1 LArm/RArm/LLeg/RLeg, T2 Legs (Table 1).
|
||||
- **Consistent pose pairs** — 10 926 пар для оценки repeatability.
|
||||
|
||||
**5.2 Процедура.** Ground truth 3D позы — продукт Vicon-пайплайна (не ручная разметка). 2D-ключевые точки — проекции 3D через калибровку. Ручная разметка присутствует только в (а) калибровочных маркерах (30 точек в сцене) и (б) ambiguity/visibility labels.
|
||||
|
||||
**5.3 Валидация.** Reprojection error 0.17 px; repeatability — 10 926 consistent pairs внутри train-set. Физическая точность Vicon в TPAMI-2014 не приведена — пользователю нужно довериться спецификации Vicon T40 (<1 мм в оптимальных условиях).
|
||||
|
||||
---
|
||||
|
||||
## 6. Доступность и лицензирование
|
||||
|
||||
|Аспект|Статус|
|
||||
|---|---|
|
||||
|URL|http://vision.imar.ro/human3.6m/|
|
||||
|EULA|https://vision.imar.ro/human3.6m/eula.php|
|
||||
|Тип лицензии|**Academic, non-commercial, non-exclusive, non-assignable, non-transferable**|
|
||||
|Коммерческое использование|По отдельному соглашению с авторами (цена не публикуется, договорная, §6 EULA)|
|
||||
|Регистрация|Только с **академическим email**, ручная верификация админом|
|
||||
|Время одобрения|**~1 неделя**, по сообщениям пользователей — от дней до месяцев|
|
||||
|Перераспределение|**Полностью запрещено** — ни изображений, ни производных, ни MoCap|
|
||||
|Обязательное цитирование|**Обе статьи**: TPAMI-2014 + ICCV-2011 (§5 EULA прямо говорит: «citing URL would not be compliant»)|
|
||||
|Объём скачивания|~**267 GB** (без mixed-reality/depth)|
|
||||
|Форматы|MP4 (видео), CDF (NASA Common Data Format — для поз, требует `spacepy.pycdf` или `cdflib`), XML (metadata + калибровка)|
|
||||
|Стабильность сайта|**Хронически нестабилен** 2021–2026 (жалобы в GitHub-issues `anibali/h36m-fetch`, `kotaro-inoue/human3.6m_downloader`; outages до недель)|
|
||||
|Зеркала|Существуют (Kaggle `ducop4/human36m`, Baidu Netdisk, academic torrents), но **прямо нарушают §1 EULA**|
|
||||
|Рекомендации авторов-наследник|Нет официального|
|
||||
|
||||
**Следствия для производных.** SMPL/SMPL-X фиты, полученные на H36M, **нельзя перераспространять**. Репозитории HMR, SPIN, ProHMR, GraphCMR, MMHuman3D единогласно пишут: «Unfortunately, we are unable to distribute h36m_mosh_train.npz due to license limitations». H36M **полностью удалён из AMASS** между 2020 и 2022 (в коде `prepare_data.py:238` он в exclude-list). NeuralAnnot (CVPRW 2022) предоставляет SMPL-X аннотации (~312.2K инстансов) через Google Drive, но **использовать их можно только вместе с официально скачанными изображениями** — то есть доступ к imar.ro всё равно обязателен.
|
||||
|
||||
---
|
||||
|
||||
## 7. Biases
|
||||
|
||||
### 7.1 Демографические
|
||||
|
||||
- **Этническая однородность:** все 11 субъектов — европейцы (запись в Бухаресте), визуально белые. Ни одного темнокожего, азиатского, южноазиатского субъекта.
|
||||
- **Возраст:** не указан в статье; визуально 20–40 лет. Нет детей, нет пожилых.
|
||||
- **Телосложение:** BMI 17–29, но внутри диапазона — преимущественно худощавые/средние. Нет людей с ожирением, нет бодибилдеров, нет детей.
|
||||
- **Гендер-баланс** приемлем (5F/6M, ~45/55), но публично доступны train с 3F+2M, test с 1F+1M — небольшой дисбаланс.
|
||||
- **Все «professional actors»** — это специфический класс людей с тренированной мимикой и движением; поведение может отличаться от «обычного» пользователя смартфона.
|
||||
|
||||
### 7.2 Съёмочные
|
||||
|
||||
- **Только indoor**, контролируемое освещение, один тип фона. Wandt et al. 2021: «homogeneously lit, typically without any overexposed or strongly shadowed areas».
|
||||
- **4 × 3 м эффективная зона** — нет длинных пробежек, траекторий, велосипедов, больших взаимодействий с пространством.
|
||||
- **4 статичных камеры** — модели выучивают их конкретные ракурсы; boot-test на ракурсах, не представленных в train (например, взгляд снизу или сверху), резко деградирует (см. Ray3D, CVPR 2022).
|
||||
- **Синхронизация TOF программная** — риски дрейфа на длинных записях.
|
||||
|
||||
### 7.3 Аннотационные и одежды
|
||||
|
||||
- **MoCap-костюмы обтягивающие, тёмные**. Нет свободной одежды, курток, платьев, юбок, хиджаба, медицинской формы, спортивной экипировки, пояса тяжелоатлета, кистевых бинтов, шорт.
|
||||
- **Маркеры видны на RGB** — потенциальный «читинг»-сигнал для discriminative моделей, плюс известно, что актёры «чувствуют» маркеры и это незаметно сковывает естественность движения.
|
||||
- **Нет аксессуаров и снарядов:** нет штанги, гантелей, гирь, рюкзаков, шлемов, очков (кроме мелких бытовых — телефона, сумки, стула).
|
||||
- **Скелет 17 joints** — без кистей, пальцев, стоп, мимики. Для whole-body нужен H3WB (ICCV 2023, https://github.com/wholebody3d/wholebody3d).
|
||||
|
||||
---
|
||||
|
||||
## 8. Использование в сообществе
|
||||
|
||||
### 8.1 SOTA-таблица (Protocol #1 MPJPE ↓, Protocol #2 PA-MPJPE ↓; всё в мм)
|
||||
|
||||
|Метод|Год / Venue|Вход|Окно (кадров)|MPJPE P#1|PA-MPJPE P#2|
|
||||
|---|---|---|---|---|---|
|
||||
|Martinez et al. (Simple Baseline)|ICCV 2017|1 кадр (2D)|1|62.9 (SH)|47.7|
|
||||
|VideoPose3D (Pavllo)|CVPR 2019|видео (CPN)|243|46.8|36.5|
|
||||
|HybrIK (Li)|CVPR 2021|1 кадр → SMPL|1|47.1 (HRNet+3DPW)|**29.8**|
|
||||
|PoseFormer (Zheng)|ICCV 2021|видео|81|44.3|36.5|
|
||||
|MHFormer (Li)|CVPR 2022|видео|351|43.0|34.4|
|
||||
|StridedTransformer (Li)|TMM 2022|видео|351|43.7|35.2|
|
||||
|MixSTE (Zhang)|CVPR 2022|видео|243|40.9|32.6|
|
||||
|PoseFormerV2 (Zhao)|CVPR 2023|видео (freq.)|243|45.2|35.6|
|
||||
|DiffPose (Gong)|CVPR 2023|видео (diffusion)|243|**~36.9**|**~28.7**|
|
||||
|D3DP (Shan)|ICCV 2023|видео (diffusion+JPMA)|243|~39.5|~31.0|
|
||||
|**MotionBERT (Zhu)**|**ICCV 2023**|**видео + pretrain**|**243**|**35.8**|**32.9**|
|
||||
|HybrIK-X (Li)|TPAMI 2025|1 кадр (whole-body)|1|~47|~29–30|
|
||||
|4D-Humans / HMR 2.0 (Goel)|ICCV 2023|1 кадр → SMPL|1|H36M не main|~44.8|
|
||||
|SMPLer-X (Cai)|NeurIPS 2023|1 кадр (whole-body)|1|~37–40|~33|
|
||||
|MotionAGFormer (Mehraban)|WACV 2024|видео|243|38.4|32.5|
|
||||
|TokenHMR (Dwivedi)|CVPR 2024|1 кадр → SMPL|1|не main|—|
|
||||
|WHAM (Shin)|CVPR 2024|видео → SMPL global|var|не main|—|
|
||||
|GVHMR (Shen)|SIGGRAPH Asia 2024|видео (gravity-view)|120|не main|—|
|
||||
|NLF (Sárándi & Pons-Moll)|NeurIPS 2024|1 кадр|1|~39.1|~30|
|
||||
|Pose3DM (Bidir. Mamba)|2025|видео|243|37.9|32.1|
|
||||
|SSR-STF / TCPFormer / OPFormer|2024–2025|видео|243|37.4–37.9|31.8–32.5|
|
||||
|
||||
С GT 2D-ключевыми точками (идеальный upper bound) MixSTE/MotionBERT/OPFormer достигают **MPJPE ~15–22 мм** — это близко к физическому «дну», ограниченному собственной ошибкой MoCap-GT (~10–17 мм).
|
||||
|
||||
### 8.2 Метрики
|
||||
|
||||
**Оригинальные метрики TPAMI-2014 (§4):**
|
||||
|
||||
- **MPJPE** — средняя Евклидова ошибка по суставам в мм. $E_{MPJPE} = \frac{1}{N}\sum_i |m^{pred}_i - m^{gt}_i|_2$.
|
||||
- **UMPJPE** — MPJPE после нормализации длин конечностей к «универсальному» скелету (убирает subject-specificity).
|
||||
- **MPJAE** — средняя ошибка углов между сегментами, в градусах.
|
||||
- **MPJLE@t** — доля суставов, ошибка которых > t мм (аналог PCK).
|
||||
|
||||
**Протоколы (введены сообществом, НЕ в TPAMI-2014):**
|
||||
|
||||
- **Protocol #1** (Li & Chan, Compositional Regression ICCV 2017): train S1/5/6/7/8, test S9/S11, все 4 камеры, MPJPE после выравнивания только root-сустава, downsampling 50→10 Hz.
|
||||
- **Protocol #2** (Sun et al., ICCV 2017): каждый 64-й кадр, Procrustes alignment (rotation + scale + translation), PA-MPJPE.
|
||||
- **Protocol #3**: только фронтальная камера.
|
||||
- **PCK, AUC** — не в оригинале; заимствованы из MPII/3DHP.
|
||||
|
||||
### 8.3 Failure modes
|
||||
|
||||
- **Photo / SittingDown / Sitting** — +10–30 мм к средней ошибке (сильная самоокклюзия, редкие позы).
|
||||
- **Атлетические позы (приседания, наклоны, прыжки, overhead)** — **катастрофическая** деградация: AthletePose3D (arXiv 2503.07499, 2025) демонстрирует, что MotionAGFormer и TCPFormer, обученные на H36M, на атлетических движениях дают **>200 мм MPJPE** — в 5× хуже, чем на H36M-тесте. Это прямое следствие отсутствия таких поз в тренировке.
|
||||
- **Окклюзии** (объекты, self-occlusion, multi-person): ошибка на occluded joints в 1.5–2× выше среднего.
|
||||
- **Свободная одежда:** H36M-trained модели теряют 15–25% точности на Cloth4D/THuman2.0.
|
||||
- **Экстремальные ракурсы** (человек не в центре, сильная перспективная дисторсия) — адресуется PersPose, Zolly.
|
||||
- **Wrist / ankle** — самые проблемные суставы (амплитуда, окклюзии).
|
||||
|
||||
**Консенсус сообщества 2024–2026:** H36M — **saturated**. Прогресс архитектур в пределах 0.3–1 мм/год; реальный прогресс даёт масштаб данных (BEDLAM, multi-dataset pretrain). Ведущие лаборатории (Meta, Google DeepMind, MPI, Stability, Shanghai AI Lab) перешли на **3DPW, EMDB, RICH, AGORA, BEDLAM** как основные бенчмарки; H36M — sanity-check.
|
||||
|
||||
---
|
||||
|
||||
## 9. Сравнение с альтернативами
|
||||
|
||||
|Датасет|Субъектов|Действий / тип|Кадров|Модальности|Фитнес / Big-3|Error-labels|Лицензия|Релев. SmartRep|
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
|**Human3.6M**|11 (5F+6M)|15 бытовых|~3.6 M / 4 cam|4×RGB + TOF + Vicon + body scan|Нет|Нет|Academic NC|**1/5** (только 3D-prior)|
|
||||
|**Fit3D**|13|**37 fitness** (squat ✓, deadlift ✓, pull-up ✓; bench ✗)|>3 M (611 seq)|4×RGB + 12 MoCap + SMPL-X + GHUM|**Частично (2 из 5)**|Нет явных (AIFit-feedback)|Academic NC|**5/5**|
|
||||
|**FLAG3D**|~24|**60 fitness** (squat bodyweight ✓; Big-3 ✗)|~20 M (180K seq)|RGB (MoCap+synth+phone) + 3D KP + SMPL + **language**|Частично|Нет (FLAG3D++ с AQA)|Academic NC|**4/5**|
|
||||
|**EC3D**|4|squat, lunge, plank|362 seq|3D скелет|squat ✓|**✓ correct/incorrect + тип ошибки**|Research|**4/5**|
|
||||
|**EJUST-SQUAT-21**|десятки|squat|сотни видео|Kinect 3D + RGB|squat|**✓ multi-label**|Research|3/5|
|
||||
|**MM-Fit**|10|10 gym (сквоты, пуш-апы, dumbbell)|20 сессий|Multi-view RGB-D + IMU + 2D/3D pose|squat ✓, dumbbell bench ~, shoulder press ✓|Нет|Free research|**4/5**|
|
||||
|**EgoExo-Fitness**|—|6+ fitness|—|Ego+Exo RGB + ошибки|squat ~, lunge ~|**✓**|Research|4/5|
|
||||
|**InfiniteForm / InfiniteRep**|synth|15 fitness|60K+|Synth RGB + 2D/3D KP + depth|squat bodyweight ✓|Нет|**CC-BY 4.0 (коммерч. OK)**|3/5|
|
||||
|**MPI-INF-3DHP**|8|8 бытовых+спорт|>1.3 M|14 cam RGB, green-screen|Нет|Нет|Academic NC|2/5 (cross-eval)|
|
||||
|**3DPW**|7|outdoor in-the-wild|51K|Смартфон-RGB + IMU + SMPL|Нет|Нет|Academic NC|2/5 (OOD-тест)|
|
||||
|**AGORA**|4240 сканов|крауды|173K crops|Synth RGB + SMPL-X|Нет|Нет|Academic NC|2/5 (pretrain)|
|
||||
|**BEDLAM**|synth (100 skins)|AMASS motions|~380K frames|Synth RGB video + SMPL-X + depth + seg|Нет штанги|Нет|Academic NC|3/5 (pretrain)|
|
||||
|**Kinetics-700**|YouTube|700 (incl. deadlifting, bench pressing, snatch, squat, pull-ups)|650K×10s|RGB только, clip-label|**✓ все Big-3 как action-labels**|Нет|CC-BY 4.0 (annot)|3/5 (action pretrain)|
|
||||
|
||||
**Ключевой инсайт.** Ни один открытый датасет **не содержит Big-3 со штангой + разметку ошибок техники**. Это структурный пробел в литературе — и одновременно основная ценность собственного датасета SmartRep.
|
||||
|
||||
---
|
||||
|
||||
## 10. Релевантность для SmartRep
|
||||
|
||||
|Аспект (1 = нерелевантно, 5 = идеально подходит)|Оценка|Обоснование|
|
||||
|---|---|---|
|
||||
|Покрытие упражнений SmartRep (жим, присед, становая, подтяг, тяга)|**1/5**|Ни одного силового упражнения; ближайшее — Sitting/SittingDown (низкие позы без нагрузки)|
|
||||
|Разметка ошибок техники|**1/5**|Отсутствует полностью|
|
||||
|Антропометрия целевой аудитории (атлеты, разный BMI)|**2/5**|BMI 17–29, но без мускулистых бодибилдеров и без людей с ожирением; 11 субъектов — мало|
|
||||
|Монокулярное видео на edge|**3/5**|Монокулярный режим возможен (Protocol #3), но 4 камеры используются как multi-view|
|
||||
|Реализм снимаемой среды (зал, домашний setup)|**1/5**|Студия IMAR, только indoor лаб|
|
||||
|Этническое/гендерное разнообразие|**1/5**|Все европейцы, 5F/6M|
|
||||
|Качество 3D GT|**5/5**|Vicon @200 Hz, reprojection error 0.17 px, 3.6M поз|
|
||||
|Размер датасета|**5/5**|3.6M поз — достаточно для pretraining|
|
||||
|Доступность в 2026|**2/5**|imar.ro нестабилен, регистрация ручная, нет зеркала|
|
||||
|**Итоговая релевантность**|**≈ 2.3/5**|Низкая-средняя|
|
||||
|
||||
**Ценность для направлений SmartRep:**
|
||||
|
||||
- 🅰 **Fine-grained error detection:** **не подходит** как источник меток ошибок. Может использоваться только для pretraining backbone (оценщика позы), который затем подключается к error-head, обучаемому на EC3D / собственном датасете.
|
||||
- 🅱 **Biomechanics-aware pose estimation:** **частично подходит**. Высокоточные MoCap-GT позволяют learn базовую кинематику (длины сегментов, joint limits в нормальном диапазоне), но диапазон поз узкий — «биомеханика тяжёлой работы» (сильная компрессия позвоночника, закрытый hip hinge, overhead lockout) отсутствует.
|
||||
- 🅲 **Few-shot / SSL adaptation:** **подходит** как большой unlabeled-or-labeled pretraining corpus. Self-supervised методы (MotionBERT-style masked motion, V-JEPA) могут выучить общие motion priors на H36M и затем few-shot-адаптироваться на маленьком аннотированном датасете SmartRep.
|
||||
|
||||
**Роль в пайплайне SmartRep (рекомендация):**
|
||||
|
||||
1. **Этап pretrain 2D→3D lifting backbone** (MotionBERT/MixSTE-style) — mix H36M + MPI-INF-3DHP + 3DPW + синтетика BEDLAM.
|
||||
2. **Этап fine-tune на фитнес-домен** — Fit3D + FLAG3D.
|
||||
3. **Этап finetune на силовой домен** — собственный датасет SmartRep + EC3D для регуляризации error-head.
|
||||
4. H36M **не используется** в этапах 2–3.
|
||||
|
||||
**Риски использования H36M в SmartRep:**
|
||||
|
||||
- Лицензионный: академический, коммерциализация SmartRep → необходимо коммерческое лицензирование у авторов (§6 EULA).
|
||||
- Репутационный: модель, обученная на H36M без диверсификации, deployment'нутая как продукт для фитнеса — предсказуемо плохо работает на темнокожих, людях с высоким BMI, в свободной одежде, в зале с plyo-боксами и штангой; демонстрация на презентации будет содержать известные failure cases.
|
||||
- Технический: H36M насыщен, прогресс идёт через данные, а не архитектуру — прогонять SmartRep через больший датасет важнее, чем через большую модель на H36M.
|
||||
- Доступность: imar.ro может быть недоступен 2–4 недели; план Б нужен всегда.
|
||||
|
||||
---
|
||||
|
||||
## 11. Потенциал для data augmentation и synthesis
|
||||
|
||||
### 11.1 SMPL-параметры
|
||||
|
||||
**NeuralAnnot** (Moon, CVPRW 2022, https://github.com/mks0601/NeuralAnnot_RELEASE) предоставляет ~**312.2K SMPL/SMPL-X-аннотаций** для H36M; считается golden standard. Требует официальный доступ к imar.ro. Используется в Hand4Whole, OSX, SMPLer-X, SMPLest-X, WHAM. **HybrIK pseudo-GT** (https://github.com/jeffffffli/HybrIK) — SMPL с leaf-twist parameters. **MoShed H36M** (использованный в HMR, SPIN, PARE) — **нельзя перераспространять**; требует локального запуска MoSh++ (https://github.com/nghorbani/moshpp) на raw Vicon markers из H36M. **CLIFF-annotator** — **не выпускал** фиты именно для H36M. **EFT** (Joo 2021) — сознательно не включал H36M, чтобы избежать лицензионных ограничений. **4D-Humans/HMR2.0** — training preprocessing обещан, но «coming soon» с 2023 по апрель 2026.
|
||||
|
||||
### 11.2 MoCap ре-таргетинг
|
||||
|
||||
Главный путь синтеза для SmartRep: взять reference-последовательности штанговых движений (из Fit3D, Kinetics, собственных записей), ре-таргетить их на mesh-модели из H36M-body-scans (11 субъектов × вариации формы). Инструменты: AMASS/MoSh++ (при наличии raw markers H36M), SMPL-X retargeting utilities, Mixamo-like pipelines. Получаем синтетические RGB (через Blender/Unity rendering на BEDLAM-подобных сценах) с known 3D-GT. **Ограничение:** H36M не содержит самих движений жима/приседа/становой — их нужно брать из Fit3D/FLAG3D/MoVi/CMU, а H36M даёт только body shapes и fit-procedure.
|
||||
|
||||
### 11.3 Multi-view NeRF / Gaussian Splatting
|
||||
|
||||
4 калиброванные камеры H36M позволяют обучить per-subject/per-action **dynamic NeRF** (HumanNeRF, NeuMan, NeRFace-like) или **4D Gaussians**. Полученные представления позволяют перерендерить любую точку obrerval (смартфонные ракурсы на уровне пола, из угла, с наклоном 30°) для data augmentation. [МОЙ КОММЕНТАРИЙ: перспективно как отдельный research-вклад SmartRep — ближайший аналог Ray3D/virtual camera augmentation, но в 3D-рендере.]
|
||||
|
||||
### 11.4 Композитные аугментации
|
||||
|
||||
- **PoseAug** (Gong, CVPR 2021, https://github.com/jfzhang95/PoseAug) — дифференцируемый аугментор 2D-3D пар (размер тела, поза, камера); поднимает cross-dataset PCK на MPI-INF-3DHP до 88.6%.
|
||||
- **Ray3D virtual cameras** (CVPR 2022): 324 виртуальных камер поверх H36M с рандомизацией focal, pitch, rotation.
|
||||
- **H36M-Occluded** (Bragagnolo et al., ACVR@ECCV 2024, https://github.com/laurabragagnolo/human3.6m-occluded): окклюзионная версия с объектами PASCAL VOC. Полезна для робастности.
|
||||
- **H36MA** — «hard subset» (Wehrbein/DiffPose) — подвыборка сложных поз для multi-hypothesis evaluation.
|
||||
- **BlendMimic3D** (ECCV 2024) — occlusion benchmark, совместим с H36M skeleton.
|
||||
|
||||
### 11.5 Pseudo-labeling
|
||||
|
||||
Учитывая, что GT на H36M доступен, pseudo-labeling сам по себе не нужен. Но:
|
||||
|
||||
- H36M-trained сильная модель может pseudo-разметить силовые упражнения в **собственных видео SmartRep** или в **Kinetics-700-subset** (deadlifting, bench pressing, snatch).
|
||||
- Self-supervised MotionBERT-стиль mask-and-reconstruct на H36M motions даёт универсальный motion prior, который потом few-shot-адаптируется на SmartRep-домен.
|
||||
|
||||
### 11.6 Композиция с другими датасетами
|
||||
|
||||
Стандартный SOTA-рецепт (SMPLer-X, SMPLest-X, Hand4Whole, OSX): до 30+ датасетов в одной смеси, включая H36M (NeuralAnnot) + AGORA + BEDLAM + 3DPW + MPI-INF-3DHP + COCO + MPII + InstaVariety + EgoBody + UBody. Для SmartRep адаптивная рекомендация: **BEDLAM + H36M + MPI-INF-3DHP + 3DPW + Fit3D + FLAG3D + собственный**, в fine-tune режиме с постепенным увеличением веса фитнес-домена.
|
||||
|
||||
### 11.7 Риски синтеза
|
||||
|
||||
- **Domain gap synth→real** остаётся значительным; BEDLAM-only модели достигают SOTA, но на SmartRep-домене (силовые, крупный план, боковые ракурсы у пола, одежда-штангетки) не валидированы.
|
||||
- **NeRF-рендеры** могут «запоминать» ракурсы H36M и давать ложную уверенность.
|
||||
- **Ретаргетинг Fit3D-movements на H36M body-shapes** — юридически сложно, если планируется коммерция (licenses обоих датасетов).
|
||||
- **Аугментация поз** (PoseAug) улучшает cross-dataset generalization, но не вводит новые классы движений.
|
||||
|
||||
**Итоговая оценка synthesis potential:** **СРЕДНИЙ**. Есть зрелые инструменты (NeuralAnnot, PoseAug, MoSh++, NeRF-pipelines), но принципиальное ограничение — отсутствие штанговых движений в самом H36M. Максимум, что даёт H36M для синтеза SmartRep-данных, — body shapes, 3D-pose prior и calibration reference для virtual cameras. Новые motions должны приходить из Fit3D/FLAG3D/собственных записей.
|
||||
|
||||
---
|
||||
|
||||
## 12. Gap-анализ и главный вопрос: стоит ли использовать H36M как pretraining для SmartRep?
|
||||
|
||||
### Главный ответ
|
||||
|
||||
**Да — но только в составе multi-dataset mix, и только для одной роли: pretraining универсального 2D→3D lifting-backbone. Нет — как единственный или основной источник данных. Нет — для оценки качества и репортинга метрик SmartRep.**
|
||||
|
||||
### Pro (аргументы «за»)
|
||||
|
||||
1. **Размер и качество 3D-GT:** 3.6M поз с Vicon точностью — один из самых богатых источников 3D-pose prior в мире. Для SSL/self-pretrain (MotionBERT-style) это ценно.
|
||||
2. **Калиброванные multi-view:** 4 камеры с intrinsic/extrinsic — позволяет экспериментировать с multi-view losses, consistency регуляризацией, virtual camera augmentation.
|
||||
3. **Сообщество-стандарт:** SOTA-методы (MotionBERT, MixSTE, HybrIK, 4D-Humans) тренируются с H36M в смеси; их веса и препроцессинг-скрипты открыто доступны — мгновенный старт.
|
||||
4. **Body scans:** высокополигональные меши 11 субъектов — полезны для SMPL shape-fit эксплораций, анализа антропометрии.
|
||||
5. **Совместимость с AMASS-pipeline motion-priors** (хоть H36M удалён из AMASS, формат MoCap-markers совместим с MoSh++).
|
||||
6. **Низкий «базовый» MPJPE достижим быстро** — удобно для быстрого sanity-check моделей.
|
||||
|
||||
### Contra (аргументы «против»)
|
||||
|
||||
1. **Ноль силовых упражнений.** 15 сценариев — бытовые, domain gap до Big-3 — максимальный из возможных.
|
||||
2. **AthletePose3D-прецедент:** MotionAGFormer/TCPFormer, обученные на H36M, дают **>200 мм MPJPE** на атлетических позах — не пригодны для SmartRep без мощного fine-tune.
|
||||
3. **Демографическая однородность:** 11 европейских актёров не покрывают целевую аудиторию фитнес-приложения.
|
||||
4. **Saturated бенчмарк:** оптимизация под H36M-MPJPE не транслируется в улучшения на 3DPW/EMDB — зачем инвестировать в метрику, которая давно не отражает реальный прогресс?
|
||||
5. **Лицензионные риски для коммерции** (§6 EULA, коммерческое лицензирование договорное) — для SmartRep как продукта это ЗОЛОТАЯ ЗАДАЧА. Академический прототип можно, production — без письменного соглашения с авторами нельзя.
|
||||
6. **Доступность:** imar.ro может отвалиться на недели; план Б обязателен.
|
||||
7. **H36M удалён из AMASS** — часть community-пайплайнов сломана, нужны обходные пути.
|
||||
8. **MoShed-фиты нельзя перераспространять;** NeuralAnnot требует локальной загрузки H36M; для воспроизводимости нужна длинная цепочка согласий.
|
||||
|
||||
**Вердикт:** H36M — **необходимое зло среднего приоритета** для академического прототипа SmartRep. В коммерческой версии — либо платное лицензирование, либо полный отказ в пользу BEDLAM (CC-BY-like) + Fit3D-commercial + собственный датасет.
|
||||
|
||||
### Полный gap-анализ по 7 осям
|
||||
|
||||
|Ось|H36M|SmartRep-цель|Gap|Способ закрытия|
|
||||
|---|---|---|---|---|
|
||||
|**1. Упражнения**|15 бытовых (Walking, Sitting, Eating…)|5 силовых (жим, присед, становая, подтяг, тяга)|**0% покрытия**|Собственный датасет + Fit3D + FLAG3D + Kinetics-700 subset|
|
||||
|**2. Ошибки техники**|нет|5–15 типов ошибок на упражнение (руки внутрь, спина округляется, колени заваливаются, knee valgus, butt wink, elbow flare)|**100% отсутствует**|EC3D + EJUST-SQUAT-21 + ручная разметка тренерами на собственном датасете|
|
||||
|**3. Антропометрия**|11 европейцев, BMI 17–29, актёры|Атлеты любого BMI (включая бодибилдеров BMI 35+ из-за мышечной массы), разные этносы, подростки 14+|**Большой** — нет mus muscular bodies, нет BMI 30+, этническая однородность|BEDLAM (100 shapes) + AGORA + собственный рекрутинг|
|
||||
|**4. Условия съёмки**|Лаборатория 4×3 м, 4 фикс. камеры, равномерный свет|Зал (разное освещение, зеркала, штанги в кадре), единственная смартфон-камера с руки/со штатива, фронтальный/боковой ракурс|**Большой** — нет зеркал, занятий в кадре, handheld|3DPW (handheld) + собственные съёмки в зале|
|
||||
|**5. Экипировка**|обтягивающие MoCap-костюмы, маркеры|Шорты/футболки/кофты/штангетки/пояс/бинты/лямки|**Критический**|BEDLAM (111 outfits с физсимуляцией) + собственный датасет с полной экипировкой|
|
||||
|**6. Разметка от тренеров**|нет|Per-rep error labels от сертифицированных тренеров (SFG/NSCA/ACSM); опционально — оценка 1–10 качества|**100% отсутствует**|Собственный протокол разметки; EgoExo-Fitness как прототип|
|
||||
|**7. Post-augmentation gap**|Даже после PoseAug/Ray3D/virtual cameras/NeRF — модели H36M-only не умеют deep squat, lockout jerk, hip hinge с тяжёлым весом|Нужно понимать biomechanics компрессии позвоночника, valgus knees, barbell path|Остаточный gap ~40–60%|Только fine-tune на реальных штанговых видео + физ.-basedpriors (HuMoR, NSF)|
|
||||
|
||||
---
|
||||
|
||||
## 13. Критическая оценка
|
||||
|
||||
### 13.1 Transparency Score (по 10 осям, 1–5)
|
||||
|
||||
|Ось|Оценка|Обоснование|
|
||||
|---|---|---|
|
||||
|**Ясность методологии**|4/5|Процедура съёмки описана подробно; ручные решения (выбор 15 сценариев, 2 trial) обоснованы|
|
||||
|**Раскрытие субъектов**|2/5|Агрегированная статистика (5F+6M, BMI 17–29), но нет per-subject age/ethnicity/weight|
|
||||
|**Протокол информированного согласия**|1/5|Не упомянут в статье; нет ссылки на IRB/Ethics|
|
||||
|**Калибровка и качество GT**|5/5|Reprojection error 0.17 px, MoCap 200 Hz, body scans — один из лучших показателей в индустрии|
|
||||
|**Документация эталонов**|3/5|Оригинальные метрики (MPJPE, MPJAE) определены; Protocol #1/#2/PA-MPJPE — community add-on|
|
||||
|**Доступность данных**|2/5|imar.ro нестабилен, ручная верификация, нет CDN, нет зеркал, нет reliability SLA|
|
||||
|**Доступность кода/аннотаций**|3/5|Базовые аннотации выдаются; производные (MoShed) — закрыты лицензией|
|
||||
|**Лицензия**|2/5|Жёсткая academic NC, коммерческое лицензирование непрозрачно (цена не публикуется)|
|
||||
|**Поддержка датасета**|2/5|Нет официальных обновлений 2014–2026, нет datasheet по стандарту Gebru et al.|
|
||||
|**Репортинг biases**|1/5|Нет секции limitations в TPAMI-2014; biases описаны только в последующих обзорах (Wandt et al.)|
|
||||
|**Суммарно**|**25/50**|Средне — для 2014 года норма, для стандартов 2026 низко|
|
||||
|
||||
### 13.2 Peer-review по 10 критериям
|
||||
|
||||
|Критерий|Вердикт|
|
||||
|---|---|
|
||||
|**1. Новизна на момент публикации**|Высокая: 3.6M поз — порядок выше предшественников|
|
||||
|**2. Техническая строгость**|Высокая: hardware sync, 0.17 px reproj error, Vicon + TOF + body scans|
|
||||
|**3. Воспроизводимость**|Средняя: данные и калибровка доступны, но license запрещает перераспространение, сайт нестабилен|
|
||||
|**4. Общность (generalization)**|**Низкая**: узкий домен → плохой transfer (задокументировано десятками работ)|
|
||||
|**5. Этическая строгость**|**Низкая**: нет IRB/consent-disclosure, нет opt-out, биометрия публикуется|
|
||||
|**6. Документация**|Средняя: статья подробная, но нет datasheet / model-card-style ресурса|
|
||||
|**7. Клиентоориентированность / API**|**Низкая**: CDF-формат требует спец-библиотек, нет удобного downloader, нет REST API|
|
||||
|**8. Поддержка активности сообщества**|Высокая: де-факто стандарт, >3K цитирований, используется в >50% 3D-pose работ|
|
||||
|**9. Устойчивость (long-term)**|**Низкая**: сайт нестабилен, H36M выкинут из AMASS, нет институциональной поддержки|
|
||||
|**10. Честность в лицензии**|Средняя: EULA ясный, но коммерческая цена не прозрачна, нет публичной формы запроса|
|
||||
|**Итого**|Mixed — великий бенчмарк своего времени, но стандарты 2026 он частично не тянет|
|
||||
|
||||
---
|
||||
|
||||
## 14. Executive summary (10 пунктов)
|
||||
|
||||
1. **Human3.6M — великий, но saturated бенчмарк 2014 года**: 3.6 млн 3D-поз с Vicon-точностью, 4 RGB-камеры 1000×1000 @50 Hz, TOF и body scans — уникальное качество GT, которое до сих пор используется SOTA (MotionBERT 35.8 мм MPJPE Protocol #1, DiffPose 28.7 мм PA-MPJPE Protocol #2).
|
||||
|
||||
2. **В исходном ТЗ неточности, которые стоит зафиксировать**: в статье **15 training scenarios** (а не 17), **32 joints полный / 17 joints оценочный** (а не 24), студия в **Бухаресте** (не в Стокгольме), разрешение камер **1000×1000** (не 1000×1002), Protocol #1/#2/PA-MPJPE/PCK вводились сообществом **после** TPAMI-2014, а не в оригинале.
|
||||
|
||||
3. **Для SmartRep domain gap максимальный**: ни одного силового упражнения, ни одной штанги, ни одной разметки ошибок. AthletePose3D (2025) показывает, что модели, обученные на H36M, на атлетических позах деградируют до **>200 мм MPJPE** — не пригодны без fine-tune.
|
||||
|
||||
4. **Лицензия academic non-commercial** (§1 EULA) + обязательное двойное цитирование (TPAMI-2014 + ICCV-2011). Коммерция — по отдельному соглашению с авторами, цена не публикуется. Для коммерческой SmartRep это **первоочередной юридический риск**.
|
||||
|
||||
5. **H36M полностью удалён из AMASS** между 2020–2022 (прямо исключён в `prepare_data.py:238`); **MoShed-фиты нельзя перераспространять**; NeuralAnnot SMPL-X ~312.2K инстансов доступен, но требует локальной загрузки H36M через imar.ro.
|
||||
|
||||
6. **Доступность в 2026 сомнительна**: imar.ro хронически нестабилен, регистрация ручная (~1 неделя, иногда месяцы), объём ~267 GB, unofficial зеркала юридически нельзя использовать. План Б в проекте обязателен.
|
||||
|
||||
7. **Рекомендация для SmartRep**: использовать H36M **только** как один из 4–6 датасетов в multi-dataset pretraining общего 2D→3D lifting-backbone (вместе с BEDLAM, MPI-INF-3DHP, 3DPW). **Fine-tune исключительно на Fit3D + FLAG3D + собственный штанговый датасет + EC3D.** Для репортинга метрик SmartRep MPJPE на H36M не релевантен — репортить на собственном held-out.
|
||||
|
||||
8. **Альтернативы сильнее для нашей задачи**: **Fit3D** (5/5: 37 fitness, включая squat и deadlift, 3 M кадров, SMPL-X), **FLAG3D** (4/5: 60 фитнес-активностей с language instructions, ~20M кадров), **EC3D** (4/5: squat/lunge/plank с per-error labels), **MM-Fit** (4/5: multimodal with IMU). Ни один не покрывает жим лёжа со штангой — структурный пробел в литературе и потенциальный уникальный вклад SmartRep.
|
||||
|
||||
9. **Synthesis potential СРЕДНИЙ**: NeuralAnnot, PoseAug, H36M-Occluded, Ray3D virtual cameras, NeRF per-subject — все инструменты зрелые. Но ключевое ограничение — в H36M нет штанговых движений как таковых; body shapes и 3D-pose prior можно извлечь, новые motions придётся добавлять извне.
|
||||
|
||||
10. **Transparency Score 25/50**: качественный MoCap и калибровка компенсируются слабой раскрытостью субъектов, отсутствием IRB-заявлений, жёсткой лицензией и нестабильной инфраструктурой. По стандартам 2026 (datasheet-for-datasets, model cards, opt-out, GDPR) H36M нуждается в обновлении — которого, по всей видимости, не будет.
|
||||
|
||||
|
||||
---
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ в заключение.] H36M — это камень преткновения, который в 2026 г. становится всё больше символом «старой школы» 3D-pose estimation, чем реальным драйвером прогресса. Для SmartRep он — служебный ресурс: «галочка» в multi-dataset pretrain, источник высокоточной кинематики «обычного» человека, reference-калибровка для virtual camera augmentation. **Но настоящая работа SmartRep — собственный датасет со штангой, сертифицированная тренерская разметка ошибок, и fine-tune на Fit3D/FLAG3D/EC3D.** Если команда SmartRep это осознает и строит пайплайн с правильным приоритетом, H36M займёт адекватное скромное место в смеси и не создаст ложных ожиданий в продакшне.
|
||||
@@ -0,0 +1,414 @@
|
||||
|
||||
```yaml
|
||||
|
||||
## dataset_name: "MPI-INF-3DHP (Max Planck Institute for Informatics – 3D Human Pose)"
|
||||
dataset_acronym: "MPI-INF-3DHP" paper_title: "Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision" paper_title_ru: "Монокулярная 3D-оценка позы человека «в дикой природе» с улучшенной CNN-супервизией" authors: [Mehta, Rhodin, Casas, Fua, Sotnychenko, Xu, Theobalt] year: 2017 venue: "3DV (International Conference on 3D Vision), Qingdao, China" venue_tier: "B (специализированный для 3D-vision; де-факто референсный для 3D HPE)" doi: "10.1109/3DV.2017.00064 / arXiv:1611.09813" domain: [pose_3d, motion_generic] subjects_count: 8 exercises_count: 0 # фитнес-упражнений как класса нет; есть 8 общих категорий действий modalities: [rgb, mocap, 2d_pose, 3d_pose, segmentation_chroma_key] multi_view: true expert_error_annotation: false license: "research-only (Max-Planck non-commercial); commercial use prohibited" availability: "open download после простой регистрации/принятия EULA" url: "https://vcai.mpi-inf.mpg.de/3dhp-dataset/" relevance_to_smartrep: 2 direction: "B (косвенно — pretraining для pose backbone)" role_in_pipeline: [pretrain, pseudo_label, synthesis_source] transparency_score: "8/20" synthesis_potential: [background_swap, mocap_retarget_amass, pseudo_labeling_source] tags: [pose_estimation, 3d_pose, mocap, multi_view, in_the_wild, green_screen, generic_motion, non_commercial, no_strength_training, no_error_annotation] priority: "LOW (как референсный pose-pretraining; для основной задачи SmartRep — REJECT)"
|
||||
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# Анализ датасета MPI-INF-3DHP
|
||||
|
||||
> ⚠️ **Дисклеймер о методе анализа.** Запрос пришёл без приложенного PDF — анализ построен на основе официальной страницы проекта (vcai.mpi-inf.mpg.de/3dhp-dataset/), arXiv-версии (1611.09813), README в открытых форках и документации mmpose / mmhuman3d. Там, где детали статьи нельзя верифицировать без доступа к самой PDF, я явно маркирую: **«НЕ ВЕРИФИЦИРОВАНО ПО PDF»**.
|
||||
|
||||
---
|
||||
|
||||
## 1. МЕТАДАННЫЕ ДАТАСЕТА
|
||||
|
||||
| Поле | Значение |
|
||||
|------|----------|
|
||||
| Полное название | Max Planck Institute for Informatics — 3D Human Pose |
|
||||
| Акроним | MPI-INF-3DHP |
|
||||
| Название статьи | Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision |
|
||||
| Авторы | Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, Christian Theobalt |
|
||||
| Аффилиации | MPI for Informatics (GVV Group), Universidad Rey Juan Carlos, EPFL |
|
||||
| Год | 2017 (arXiv v1: ноябрь 2016) |
|
||||
| Venue | International Conference on 3D Vision (3DV 2017), Qingdao |
|
||||
| Tier | Специализированный (B/A в 3D-vision; де-факто стандартный бенчмарк 3D HPE наравне с Human3.6M) |
|
||||
| DOI | 10.1109/3DV.2017.00064 |
|
||||
| arXiv | 1611.09813 |
|
||||
| Цитирования | НЕ ВЕРИФИЦИРОВАНО ТОЧНО, но порядок ~1500–2000+ (одна из 3–4 опорных работ в области) |
|
||||
| Версии | Один релиз 2017 г.; обновлений данных не было. Дополняется параллельным датасетом MuCo-3DHP (3DV 2018) — синтетический мульти-персон на базе MPI-INF-3DHP |
|
||||
| Статус | Заморожен по содержанию, но активно используется как стандартный бенчмарк до 2026 г. |
|
||||
|
||||
---
|
||||
|
||||
## 2. ПОЗИЦИОНИРОВАНИЕ ДАТАСЕТА
|
||||
|
||||
MPI-INF-3DHP создан, чтобы решить главную проблему Human3.6M — узкое распределение поз и однообразный лабораторный фон, ограничивающие переносимость моделей «в дикую среду». Авторы вводят **большее разнообразие поз, видов одежды, ракурсов и условий**, а ключевая методологическая идея — съёмка на хромакее, которая через chroma-keying позволяет на лету заменять фон, одежду и тем самым делать масштабную аугментацию RGB. Дополнительно представлен отдельный **тест-сет с outdoor-сценами**, чего у Human3.6M в принципе нет — это первый бенчмарк, где можно честно мерить генерализацию 3D-pose-моделей за пределы лаборатории. Авторы защищают тезис: **«разнообразие через композитную аугментацию + outdoor-eval > просто больше лабораторных данных»**.
|
||||
|
||||
---
|
||||
|
||||
## 3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
|
||||
|
||||
### 3.1. Общая статистика
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Общее число субъектов | 8 в train (S1–S8), 6 в test (TS1–TS6) |
|
||||
| Распределение по полу | 4M / 4F в train (НЕ ВЕРИФИЦИРОВАНО для test) |
|
||||
| Распределение по возрасту | НЕ УКАЗАНО В СТАТЬЕ (по виду — взрослые, оценочно 20–35) |
|
||||
| Антропометрия | НЕ УКАЗАНО В СТАТЬЕ детально (рост/вес/BMI не приведены) |
|
||||
| Уровень подготовки | НЕ ПРИМЕНИМО (нет фитнес-задачи); общие движения здоровых добровольцев |
|
||||
| Число классов действий | 8 категорий в train, 7 в test (standing/walking, exercise, sitting on chair, crouch/reach, on the floor, sports, miscellaneous). **«Exercise» — это калистеника типа jumping jacks, не силовые упражнения** |
|
||||
| Общее число видео | 16 train sequences (8 subj × 2 seq) × 14 камер ≈ 224 view-sequence; 6 test |
|
||||
| Общее число кадров | ~1,3 млн в train (часто сэмплируется до ~96–100k для обучения SOTA) |
|
||||
| Общая длительность | НЕ УКАЗАНО ТОЧНО; оценочно несколько часов записи на субъект |
|
||||
| Средняя длина клипа | НЕ УКАЗАНО ТОЧНО |
|
||||
| Train / val / test split | По субъектам: S1–S8 train, TS1–TS6 test (полностью разделены). Val отсутствует — авторы практики используют S8 как held-out |
|
||||
|
||||
### 3.2. Модальности данных
|
||||
|
||||
| Модальность | Наличие | Разрешение / частота | Формат | Количество |
|
||||
|-------------|---------|----------------------|--------|------------|
|
||||
| RGB video | ✅ | 2048×2048 (chest-cam, train), HD-формат для test | AVI / JPEG-кадры | 14 видов × 16 train-sequences |
|
||||
| Depth | ❌ | — | — | — |
|
||||
| IR | ❌ | — | — | — |
|
||||
| 2D pose / keypoints | ✅ (производные от 3D) | покадрово | annot.mat | 17 / 28 joints |
|
||||
| 3D pose (markerless MoCap) | ✅ | покадрово, синхронно с RGB | annot.mat (MATLAB) | 17 joints (стандарт), 28 joints (расширенный) |
|
||||
| SMPL / SMPL-X | ⚠️ изначально нет; пост-фит SMPL добавлен сообществом (SPIN, NeuralAnnot, BEDLAM-style) | — | npz, добавляется отдельно | — |
|
||||
| IMU | ❌ | — | — | — |
|
||||
| EMG / physio | ❌ | — | — | — |
|
||||
| Текстовые описания | ❌ (только метки 7–8 категорий действий) | — | — | — |
|
||||
| Аудио | ❌ | — | — | — |
|
||||
| Foreground / chroma-mask | ✅ (как побочный продукт green screen) | покадрово | PNG-маски | соответственно RGB |
|
||||
|
||||
### 3.3. Съёмочная установка
|
||||
|
||||
- **Камеры:** **НЕ ВЕРИФИЦИРОВАНО ПО PDF.** Из общедоступных описаний и опыта работы с датасетом — 14 камер (11 на уровне груди + 3 высокие/наклонные). Все камеры синхронизированы аппаратно.
|
||||
- **Калибровка:** intrinsic + extrinsic калибровка **включена в датасет** для train (это критично; для test откалиброванная одна основная камера).
|
||||
- **Фон:** train — green screen в студии (контролируемый, для chroma-key аугментации). Test — частично studio (TS1–TS4), частично indoor «реалистичный» (TS5), частично outdoor (TS6) — это и было главной фишкой бенчмарка.
|
||||
- **Освещение:** train — постоянное студийное; test — варьируется, особенно outdoor.
|
||||
- **MoCap-система:** **markerless** multi-camera capture (Captury Studio, коммерческая система, **НЕ ВЕРИФИЦИРОВАНО ТОЧНО ПО PDF**, но это публичная информация). Заявленная точность Captury — порядка нескольких миллиметров на скелете, но **формальные числа точности в самой статье не приводятся**.
|
||||
|
||||
### 3.4. Визуальные материалы (НЕ ВЕРИФИЦИРОВАНО ПО PDF — описание из общедоступных reproductions)
|
||||
|
||||
Стандартный набор рисунков в этой статье (по отзывам и репродукциям):
|
||||
|
||||
| Рисунок | Содержание | Что иллюстрирует |
|
||||
|---------|-----------|------------------|
|
||||
| Fig. 1 | Teaser: примеры outdoor in-the-wild предсказаний 3D-позы | Маркетинг главной идеи — генерализация |
|
||||
| Fig. 2 | Скелетная схема 28-joint модели | Фиксирует joint topology (важно для совместимости) |
|
||||
| Fig. 3 | Capture setup: green screen + camera rig | Визуализация съёмочной установки |
|
||||
| Fig. 4 | Pose space coverage (PCA / heatmap) — сравнение с Human3.6M | Главный аргумент новизны: больше разнообразия |
|
||||
| Fig. 5 | Примеры augmented frames (BG + clothing swap) | Демонстрация синтетического потенциала |
|
||||
| Fig. 6 | Frame samples из test set по 7 категориям | Качественный охват сценариев |
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Качество визуализации — типичное для 3DV 2017: достаточно для понимания, но без статистики демографии, без распределения BMI, без покадровой сложности. Для SmartRep важнее всего **Fig. 5** — она прямо показывает, как из одного MoCap-кадра можно сгенерировать множество визуально различных samples. Это и есть ключевой механизм, благодаря которому датасет до сих пор используют для pretraining.
|
||||
|
||||
---
|
||||
|
||||
## 4. МЕТОДОЛОГИЯ СБОРА ДАННЫХ
|
||||
|
||||
### 4.1. Рекрутинг субъектов
|
||||
|
||||
- **Как рекрутировали:** НЕ УКАЗАНО В СТАТЬЕ детально. Стандартная для академических MoCap-датасетов практика MPI — добровольцы из института и аффилированных университетов.
|
||||
- **Критерии отбора/исключения:** НЕ УКАЗАНО В СТАТЬЕ.
|
||||
- **Компенсация:** НЕ УКАЗАНО В СТАТЬЕ.
|
||||
- **IRB / ethics:** НЕ УКАЗАНО В СТАТЬЕ явно (типичное упущение для CV-papers до 2020 г.).
|
||||
- **Selection bias:** молодые здоровые взрослые в нормальной форме, академический пул. Антропометрический охват узкий.
|
||||
|
||||
### 4.2. Протокол записи
|
||||
|
||||
- **Инструктаж:** свободное исполнение из меню действий (свободные движения внутри категорий типа «exercise», «sitting», «sports»). Не следование экспертной демонстрации — авторы намеренно хотели «спонтанность».
|
||||
- **Повторений на действие:** НЕ УКАЗАНО.
|
||||
- **Контроль нагрузки:** **НЕ ПРИМЕНИМО — никакой штанги или весов вообще нет**. Это fitness-relevant отрицательный факт для SmartRep.
|
||||
- **Рандомизация порядка:** НЕ УКАЗАНО.
|
||||
- **Варьирование условий:** ракурсы — да (14 камер); скорость — естественная; стиль — спонтанный.
|
||||
|
||||
### 4.3. Качественный контроль
|
||||
|
||||
- **Отбраковка:** НЕ УКАЗАНО В СТАТЬЕ.
|
||||
- **Верификация MoCap:** markerless система Captury, авторы упоминают (НЕ ВЕРИФИЦИРОВАНО ТОЧНО) пост-обработку для коррекции. Конкретный процент исправленных/выкинутых кадров **не публиковался**.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Полное отсутствие количественной статистики качества MoCap — типичная слабость датасета 2017 г. Это означает, что любые pose-precision claims на этом датасете имеют неустранимый floor неизвестной величины.
|
||||
|
||||
---
|
||||
|
||||
## 5. ПРОТОКОЛ АННОТАЦИИ
|
||||
|
||||
### 5.1. Типы меток
|
||||
|
||||
- **Категориальные:** 7–8 классов действий (низко-гранулярные).
|
||||
- **Временные:** ❌ нет фазовой сегментации, нет подсчёта повторений (для SmartRep это критично).
|
||||
- **Пространственные:** bbox’ы выводимы из 2D-проекции; segmentation масок «человека» нет в готовом виде, но получаемы из chroma-key.
|
||||
- **Pose:** 2D + 3D keypoints (17 стандартных + 28 расширенных).
|
||||
- **Quality / AQA:** ❌ полностью отсутствует.
|
||||
- **Текстовые:** ❌.
|
||||
|
||||
### 5.2. Процедура разметки
|
||||
|
||||
- **Тип:** автоматическая (markerless MoCap) — не ручная.
|
||||
- **Аннотаторы:** N/A (Captury). Никаких экспертов / тренеров не привлекалось — да и не нужно для общей задачи.
|
||||
- **Inter-annotator agreement:** **N/A** для MoCap, но и **формальной валидации точности** на golden set с маркерным MoCap (например, против Vicon) **в статье не приводится**.
|
||||
- **Инструкции аннотаторам:** N/A.
|
||||
- **Инструменты:** Captury Studio (proprietary).
|
||||
|
||||
### 5.3. Валидация разметки
|
||||
|
||||
- Golden set — **отсутствует**.
|
||||
- Cross-check — **отсутствует**.
|
||||
- Аудит ошибок — **не публиковался**.
|
||||
|
||||
---
|
||||
|
||||
## 6. ДОСТУПНОСТЬ И ЛИЦЕНЗИРОВАНИЕ
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Лицензия | Custom **Max-Planck non-commercial** EULA (research-only) |
|
||||
| Коммерческое использование | ❌ **запрещено** (стандартная формулировка MPI о «non-commercial scientific research only»; включает запрет на инкорпорацию в коммерческие продукты, видеоигры, 3D-модели, фильмы) |
|
||||
| MoU / DUA | EULA принимается через download-форму (без переписки) |
|
||||
| Способ получения | Прямая ссылка с сайта MPI + shell-скрипты `get_dataset.sh` / `get_testset.sh` |
|
||||
| Размер загрузки | ~25 GB (train) + ~7 GB (test); итого ~32 GB |
|
||||
| Хостинг | Институциональный (MPI Saarbrücken) |
|
||||
| Документирован ли процесс | ✅ README + bash-скрипты публичны (в т.ч. зеркала на GitHub) |
|
||||
| API / dataloader | Официального dataloader нет, но есть готовые препроцессинг-скрипты в **mmpose, mmhuman3d, SPIN, VIBE, MargiPose** — фактически de-facto стандартный датасет с экосистемой |
|
||||
| Актуальность ссылок | ✅ работает (проверено в 2026 г.) |
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Практически: **получение и запуск занимают 1 день**, если есть готовая GPU-инфраструктура. Препроцессинг (распаковка видео в кадры через ffmpeg) — ещё 0.5–1 день. Серьёзное препятствие — **запрет коммерческого использования**: для SmartRep, если планируется коммерческий продукт, использование MPI-INF-3DHP для обучения весов несёт юридический риск даже как pretrain.
|
||||
|
||||
---
|
||||
|
||||
## 7. ДЕМОГРАФИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ ПЕРЕКОСЫ
|
||||
|
||||
### 7.1. Демографические перекосы
|
||||
|
||||
- **Gender:** ~ 50/50 в train (единственный относительно сбалансированный аспект).
|
||||
- **Этнический / географический:** очень гомогенный — европейский академический пул.
|
||||
- **Возраст:** узкий молодой взрослый диапазон.
|
||||
- **BMI spread:** **сильно смещён к нормальному / атлетичному телосложению**; полные, пожилые, очень худые субъекты отсутствуют.
|
||||
- **Физическая подготовка:** не специализированная, но «healthy adult bias».
|
||||
|
||||
### 7.2. Съёмочные перекосы
|
||||
|
||||
- **Pose coverage:** значительно лучше Human3.6M (это и было их вкладом), но всё равно **не покрывает позы силового тренинга** — нет «штангу над головой», «мост в становой», «нижняя точка приседа со штангой».
|
||||
- **Viewpoint coverage:** великолепно покрыто для train (14 камер); **в test — только одна стационарная камера на сцену**.
|
||||
- **Environmental:** train — 100% studio; test — частично outdoor (TS5–TS6).
|
||||
- **Temporal:** одиночные сессии записи, fatigue effects не моделируются.
|
||||
|
||||
### 7.3. Аннотационные перекосы
|
||||
|
||||
- **Class imbalance:** распределение 7–8 категорий — **не указано численно**.
|
||||
- **Quality labels:** их нет, перекоса нет.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ для SmartRep] Самые критичные перекосы:
|
||||
1. **Антропометрический** — модели, претренированные на MPI-INF-3DHP, систематически хуже работают на телосложениях вне нормы (плотные пауэрлифтеры с большим обхватом плеч, очень худые subjects).
|
||||
2. **Поза-критичный** — отсутствие нагруженных поз с тяжёлой штангой делает датасет слепым к ключевым фазам силовых упражнений (нижняя точка жима, lockout становой). Pretrained-веса будут давать систематическую ошибку именно там, где она наиболее болезненна для feedback.
|
||||
|
||||
---
|
||||
|
||||
## 8. ИСПОЛЬЗОВАНИЕ В НАУЧНОМ СООБЩЕСТВЕ
|
||||
|
||||
### 8.1. Модели на этом датасете (приблизительные результаты, могут быть неточны без свежей сверки)
|
||||
|
||||
| Метод | Год | Архитектура | 3DPCK@150 ↑ | AUC ↑ | MPJPE ↓ (mm) | Примечание |
|
||||
|-------|-----|-------------|-------------|-------|--------------|------------|
|
||||
| VNect (Mehta) | 2017 | CNN + kinematic skeleton | ~76 | ~40 | ~125 | Первый baseline на этом же бенче |
|
||||
| Mehta (3DV'17) | 2017 | ResNet + 3D heatmap | ~75 | ~37 | ~117 | Авторская модель |
|
||||
| LCN (Ci) | 2019 | Locally-connected GCN | ~83 | — | — | |
|
||||
| SPIN (Kolotouros) | 2019 | HMR + iterative fit | ~85 | — | ~67 (PA) | + SMPL fit |
|
||||
| VIBE (Kocabas) | 2020 | Temporal GRU | ~89 | — | ~63 (PA) | |
|
||||
| PoseFormer / MixSTE / MotionBERT | 2021–2023 | Transformer-lift | ~95+ | ~64+ | ~17–35 (по протоколу) | Современный SOTA |
|
||||
| MotionAGFormer / AvanceFromer и пр. | 2024–2025 | hybrid attention | ~98 | ~70+ | ~16–25 | Лидеры PWC-доски |
|
||||
|
||||
**Leaderboard:** есть на [paperswithcode.com/dataset/mpi-inf-3dhp](https://paperswithcode.com/dataset/mpi-inf-3dhp) — задача "3D Human Pose Estimation".
|
||||
|
||||
### 8.2. Метрики оценки
|
||||
|
||||
Стандарт сообщества:
|
||||
- **3DPCK@150mm** — Percentage of Correct Keypoints с порогом 150 мм (≈ половина головы).
|
||||
- **AUC (3DPCK)** — area under curve по шкале порогов.
|
||||
- **MPJPE** — Mean Per-Joint Position Error (мм).
|
||||
- Иногда **PA-MPJPE** — после Procrustes-выравнивания.
|
||||
|
||||
Адекватны для общей задачи 3D-pose, но **отсутствует Per-Class MPJPE для оценки failure mode на «exercise»-классе** — а именно это интересно для SmartRep.
|
||||
|
||||
### 8.3. Типичные failure modes
|
||||
|
||||
- Нестандартные позы (на полу, сильно наклонённые) — высокий MPJPE.
|
||||
- Сильное перспективное искажение от outdoor-камеры test.
|
||||
- Окклюзии конечностей собственным телом — хорошо известный hard case.
|
||||
- **Не публиковались** failure analyses конкретно на «exercise»-классе.
|
||||
|
||||
---
|
||||
|
||||
## 9. СРАВНЕНИЕ С АЛЬТЕРНАТИВНЫМИ ДАТАСЕТАМИ
|
||||
|
||||
| Параметр | **MPI-INF-3DHP** | Fit3D | FLAG3D | Human3.6M | 3DPW |
|
||||
|----------|:----------------:|:-----:|:------:|:---------:|:----:|
|
||||
| Fitness-specific | ❌ | ✅ | ✅ | ❌ | ❌ |
|
||||
| Strength training (штанга/гантели) | ❌ | частично | частично | ❌ | ❌ |
|
||||
| Число субъектов | 8 + 6 test | 13 | 60 | 11 | 7 (test) |
|
||||
| Число действий | 7–8 общих | 47 fitness | 60 fitness | 15 общих | natural in-the-wild |
|
||||
| MoCap GT | markerless (Captury) | marker-based Vicon | marker-based | marker-based Vicon | IMU + видео |
|
||||
| Multi-view | ✅ 14 cam (train) | ✅ 4 cam | ✅ multi-cam | ✅ 4 cam | ❌ моно |
|
||||
| Outdoor frames | ✅ (test only) | ❌ | ❌ | ❌ | ✅ (preferred case) |
|
||||
| Green screen / aug-friendly | ✅ ⭐ | ❌ | ❌ | ❌ | ❌ |
|
||||
| Технические ошибки размечены | ❌ | ❌ | ❌ | ❌ | ❌ |
|
||||
| SMPL params | community-added | ✅ | ✅ | community-added | ✅ |
|
||||
| Лицензия | research-only | research-only | research-only | research-only | research-only |
|
||||
| Коммерч. использ. | ❌ | ❌ | ❌ | ❌ | ❌ |
|
||||
|
||||
**Ключевой вывод сравнения:** MPI-INF-3DHP — это **универсальный 3D pose backbone-pretraining-датасет**, и в этой роли он лучше большинства альтернатив (благодаря green screen + outdoor test). Но для **fitness-specific обучения** он систематически **уступает Fit3D и FLAG3D**, а для **silov-trening-specific** — уступает им всем (в этой нише до сих пор пробел, на котором как раз можно строить SmartRep-dataset).
|
||||
|
||||
---
|
||||
|
||||
## 10. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
|
||||
|
||||
| Аспект | Оценка | Комментарий |
|
||||
|--------|:------:|-------------|
|
||||
| Силовые упражнения представлены | **1/5** | Категория «exercise» = калистеника (jumping jacks и т.п.); никаких free weights |
|
||||
| Multi-view покрытие | **5/5** | 14 камер train — лучшее в классе |
|
||||
| Антропометрическое разнообразие | **2/5** | 8 субъектов, гомогенно |
|
||||
| Экспертная разметка ошибок | **1/5** | Полностью отсутствует |
|
||||
| MoCap / IMU GT | **4/5** | Markerless MoCap, но без публикованной точности |
|
||||
| Разрешение ≥720p | **5/5** | 2048×2048 train, HD test |
|
||||
| Частота ≥30 FPS | **5/5** | ~50 FPS у Captury (НЕ ВЕРИФИЦИРОВАНО точно в PDF) |
|
||||
| Доступность / лицензия | **3/5** | Скачать легко, но **non-commercial — блок для продукта** |
|
||||
| Edge-pipeline совместимость | **4/5** | Стандартные dataloaders в mmpose / SPIN / VIBE — готово для квантования pose-моделей |
|
||||
|
||||
**Какому направлению ценен:**
|
||||
- 🅰 Fine-grained error detection — **не ценен** (нет ошибок).
|
||||
- 🅱 Biomechanics-aware pose estimation — **умеренно ценен** как pretraining-источник 3D-pose-весов; backbone, дообученный на нём, лучше генерализует на нестандартные позы.
|
||||
- 🅲 Few-shot / SSL adaptation — **умеренно ценен** как «universe of poses» для негативных примеров и contrast-learning.
|
||||
|
||||
**Роль в пайплайне SmartRep:**
|
||||
- **Pretrain backbone:** ✅ да, особенно если строится 3D-pose-модель (MotionBERT-style lifter).
|
||||
- **Fine-tune:** ❌ нет, домен слишком далёк.
|
||||
- **Evaluation:** ❌ нет, метрики на нём ничего не скажут о technique error detection.
|
||||
- **Baseline training:** ⚠️ возможно — обучить «honest» pose-baseline и дальше адаптировать.
|
||||
- **Pseudo-labeling:** ✅ да — модель, обученная на нём, может разметить YouTube-фитнес-видео как первое приближение.
|
||||
- **Synthesis source:** ✅ да — green screen открывает background swap для in-the-gym аугментаций.
|
||||
|
||||
**Конкретные риски:**
|
||||
1. **Domain gap:** silovye позы (нижняя точка приседа со штангой) почти не представлены — модель будет давать систематическую ошибку именно там.
|
||||
2. **Юридический:** non-commercial license. Если SmartRep — продукт, веса, обученные ТОЛЬКО на этом датасете, потенциально юридически проблемны (неоднозначная зона; обычно «derived weights» не считаются «датасетом», но безопаснее использовать как pretrain поверх ImageNet, а не как единственный источник).
|
||||
3. **Технический:** видео в .avi-контейнере и MATLAB .mat для аннотаций — нужен extra-шаг препроцессинга.
|
||||
|
||||
---
|
||||
|
||||
## 11. ПОТЕНЦИАЛ ДЛЯ DATA AUGMENTATION / SYNTHESIS
|
||||
|
||||
### 11.1. Параметрические модели тела
|
||||
- SMPL/SMPL-X **изначально не приложены** авторами.
|
||||
- Пост-фит SMPL добавлен сообществом (SPIN-pseudo-GT, NeuralAnnot) и доступен как `spin_mpi_inf_3dhp_train.npz` / `vibe_mpi_inf_3dhp_train.npz`.
|
||||
- Качество фита — оценочно среднее (нет multi-view physical refinement).
|
||||
- Re-rendering через SMPL renderer возможен, но meshes/vertices в готовом виде нет — нужно фитировать.
|
||||
|
||||
### 11.2. MoCap как источник ре-таргетинга
|
||||
- Формат — proprietary Captury .mat; для AMASS-совместимости нужна конвертация (есть community-скрипты, но не canonical).
|
||||
- Ре-таргетинг на разнообразные body shapes возможен через β-параметры SMPL — это стандартная практика (BEDLAM, AGORA так и делают).
|
||||
- Driving аватаров в Unity/Unreal — реалистично через промежуточный SMPL/BVH-export.
|
||||
|
||||
### 11.3. Multi-view novel view synthesis
|
||||
- 14 камер train + калибровка → достаточная плотность для **per-subject NeRF / Gaussian Splatting**.
|
||||
- НЕ ВЕРИФИЦИРОВАНО, есть ли уже опубликованные NeRF-реконструкции на этом датасете, но технически возможно.
|
||||
- Test set — одна камера, NVS невозможен для outdoor-сцен.
|
||||
|
||||
### 11.4. Композитные аугментации
|
||||
- ⭐ **Главный sweet spot датасета:** chroma-key маски тривиально извлекаются → **background replacement бесплатен**.
|
||||
- В оригинальной статье именно это и продаётся как ключевой механизм (см. Fig. 5).
|
||||
- Clothing swap частично возможен (через layered compositing).
|
||||
- Relighting — возможен только синтетически после SMPL-фита.
|
||||
|
||||
### 11.5. Pseudo-labeling для внешних данных
|
||||
- Pretrained pose-модели на MPI-INF-3DHP широко доступны (SPIN, VIBE, PARE и пр.).
|
||||
- ⚠️ Использовать их как «expert labeler» для силовых видео можно, но с осторожностью — на нестандартных нагруженных позах эти модели имеют известный bias.
|
||||
- **Лучше использовать в комбинации с другими pretrained pose-моделями (ансамбль) для pseudo-GT.**
|
||||
|
||||
### 11.6. Композиция с другими датасетами
|
||||
- AMASS совместимость — частичная (требует ре-фитирования SMPL).
|
||||
- Композиция с Fit3D / FLAG3D — теоретически возможна (разные joint-topology, нужно унификация на 17-joint COCO/H36M-стандарт).
|
||||
- Уже опубликованные multi-dataset pretraining (SPIN, PARE, MotionBERT) **штатно включают MPI-INF-3DHP в общий pool** — это самая частая роль.
|
||||
|
||||
### 11.7. Риски и ограничения синтеза
|
||||
- **Domain gap real→synthetic** для силовых видео остаётся **большим** даже после background replacement — отсутствие штанги и тени от неё критично.
|
||||
- **Утечка MoCap-смещений:** ре-таргетинг 8 субъектов на разнообразных аватаров создаёт **визуальное** разнообразие, но **не движенческое** — остаются паттерны 8 человек. Это псевдо-разнообразие, и оно опасно для оценки реальной обобщающей способности.
|
||||
- **Потеря оборудования:** штанги, гантелей в этом датасете нет в принципе, синтетически их нужно вставлять отдельно (что делает MuCo-3DHP-стиль композиция, но с экипировкой никто не делал).
|
||||
|
||||
**Итоговая оценка синтетического потенциала: СРЕДНИЙ-ВЫСОКИЙ** — благодаря green screen датасет один из самых аугментируемых в классе, но **для силовых сценариев** его синтетический выход всё равно ограничен отсутствием экипировки и движенческим bias.
|
||||
|
||||
---
|
||||
|
||||
## 12. GAP-АНАЛИЗ ДЛЯ НАШЕГО ДАТАСЕТА
|
||||
|
||||
Что MPI-INF-3DHP **не покрывает** (и что SmartRep-dataset мог бы закрыть):
|
||||
|
||||
1. **Упражнения:** жим лёжа, присед, становая, подтягивания, тяга — **ни одно** не представлено. Эта ниша полностью открыта.
|
||||
2. **Ошибки техники:** размечена не была никогда никем на этом датасете. Это наш **самый сильный** дифференциатор.
|
||||
3. **Антропометрия:** силовые атлеты с большими обхватами плеч / широкой грудной клетки / выраженной мускулатурой плохо представлены или не представлены вовсе в обучающих pose-распределениях, наследующих MPI-INF-3DHP.
|
||||
4. **Условия съёмки:** реальные залы (с зеркалами, штангами, ассистентами в кадре) полностью отсутствуют.
|
||||
5. **Экипировка:** штанги, гантели, тренажёры, пояса — отсутствуют.
|
||||
6. **Разметка от тренеров:** отсутствует, никогда не делалась.
|
||||
7. **Пост-аугментационный gap:** даже после green-screen аугментации остаются:
|
||||
- Отсутствие штанги/гантелей (нужен либо CG-композитинг, либо реальная съёмка).
|
||||
- Отсутствие 8 целевых упражнений в MoCap.
|
||||
- Отсутствие фазовой сегментации rep’ов.
|
||||
- Отсутствие коучинговой разметки.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] **Формулировка ниши:**
|
||||
|
||||
> «MPI-INF-3DHP даёт state-of-the-art покрытие общих 3D-поз и in-the-wild генерализацию через chroma-key аугментацию, но **не рассматривает ни одного силового упражнения, не содержит экипировки и не имеет ни единой метки техники**, что открывает нишу для SmartRep-dataset: **первый бенчмарк pose × technique-error для 5–8 ключевых силовых упражнений с экспертной разметкой ошибок и съёмкой в реальных залах**, при этом MPI-INF-3DHP остаётся для нас **единственным внешним источником generic-pose разнообразия для pretrain backbone**, но не более того.»
|
||||
|
||||
---
|
||||
|
||||
## 13. КРИТИЧЕСКАЯ ОЦЕНКА
|
||||
|
||||
### 13.1. Transparency Score
|
||||
|
||||
| # | Ось | Оценка | Обоснование |
|
||||
|---|-----|:------:|-------------|
|
||||
| 1 | Collection protocol disclosed | 1 | Категории действий и общая идея описаны, но детали инструктажа, рандомизации, протокола записи — отсутствуют |
|
||||
| 2 | Capture setup specifications | 1 | Описано, что 14 камер + markerless MoCap, но без формальной accuracy spec и схемы расположения |
|
||||
| 3 | Калибровка опубликована | 2 | ✅ intrinsic+extrinsic для train в комплекте |
|
||||
| 4 | Demographics breakdown | 1 | Только пол; возраст/BMI/этнос — нет |
|
||||
| 5 | Annotation instructions | 1 | MoCap не нуждается в инструкциях аннотаторам, но категории действий и определение классов — без деталей |
|
||||
| 6 | Inter-annotator agreement / GT-validation | 0 | Никакой количественной валидации MoCap (например, против маркерного Vicon на golden subset) |
|
||||
| 7 | Rejection / cleaning | 0 | Ничего не указано |
|
||||
| 8 | IRB / ethics | 0 | Отсутствует |
|
||||
| 9 | Datasheet for Datasets | 0 | Отсутствует (датасет на 4 года старше фреймворка Gebru et al. 2021) |
|
||||
| 10 | Known limitations honestly stated | 1 | Авторы упоминают studio/outdoor различие, но не обсуждают демографические и pose-coverage перекосы |
|
||||
|
||||
**Итог: 7/20 — partial documentation.**
|
||||
|
||||
**Интерпретация для SmartRep:** провал по осям 6, 7, 8, 9 — типичен для эпохи. Главное практическое следствие: **вы не можете доверять числовому уровню точности MoCap-меток** при использовании их как ground truth для строгой evaluation. Для pretraining это не критично, для evaluation pose-precision — критично. Также отсутствие IRB/consent документации создаёт для коммерческого продукта дополнительный compliance-риск.
|
||||
|
||||
### 13.2. Peer-review оценка
|
||||
|
||||
| Критерий | Оценка | Комментарий |
|
||||
|----------|:------:|-------------|
|
||||
| Новизна / уникальность | 8/10 | Зеленый экран + outdoor test был реально новым в 2017 |
|
||||
| Размер и покрытие | 6/10 | Большое число кадров, но 8 субъектов мало по современным меркам |
|
||||
| Качество разметки | 6/10 | Markerless MoCap — приемлемо, но без числовой валидации |
|
||||
| Методологическая строгость сбора | 5/10 | Многое не задокументировано |
|
||||
| Документация | 4/10 | Согласовано с Transparency 7/20 |
|
||||
| Воспроизводимость | 8/10 | Готовые dataloaders в mmpose/SPIN/VIBE |
|
||||
| Этическая строгость | 3/10 | Нет упоминания IRB и consent |
|
||||
| Отсутствие перекосов | 4/10 | Pose-coverage улучшен vs Human3.6M, но демографически узок |
|
||||
| Полезность для сообщества | 10/10 | Один из 3–4 опорных бенчмарков 3D HPE на 9+ лет |
|
||||
| Синтетическая расширяемость | 8/10 | Chroma-key — главный плюс |
|
||||
|
||||
**Общая рекомендация для SmartRep: Reference only / Pretraining source.**
|
||||
|
||||
Фундаментальный pose-датасет, обязательный к знанию, но **не подходящий для основной задачи SmartRep**. Использовать как один из источников для backbone-pretrain, но не для evaluation технических ошибок.
|
||||
|
||||
---
|
||||
|
||||
## 14. EXECUTIVE SUMMARY
|
||||
|
||||
1. **Датасет в одном предложении:** мульти-вьюер 3D pose датасет на хромакее с outdoor test-сетом, целью которого было дать sredstvo для in-the-wild генерализации 3D-pose-моделей через композитные RGB-аугментации.
|
||||
2. **Самая сильная сторона:** ⭐ green-screen capture + 14-камерная установка + outdoor test — вместе делают его **самым «аугментируемым»** из больших 3D-pose-датасетов и стандартным компонентом любого pretrain-pool’а.
|
||||
3. **Самая слабая сторона:** **категория «exercise» — это калистеника, а не силовой тренинг**; отсутствуют штанги, гантели, любые экспертные метки техники. Демография узкая.
|
||||
4. **Transparency Score:** 7/20 — partial; провалены валидация GT, IRB, datasheet, cleaning statistics. На практике это означает: **не подходит как gold-standard evaluation, но годится как pretrain pool**.
|
||||
5. **Синтетический потенциал:** СРЕДНИЙ-ВЫСОКИЙ — chroma-key открывает background swap; SMPL-fit от сообщества доступен; ре-таргетинг на разнообразные shapes возможен. **Но движенческое разнообразие принципиально ограничено 8 субъектами и каталогом не-силовых движений.**
|
||||
6. **Роль в пайплайне SmartRep:** `pretrain` (backbone), `pseudo_label` (разметка in-the-wild видео в комбинации с другими моделями), `synthesis_source` (background-augmented samples). **Не использовать** для fine-tune, evaluation основной задачи или error detection.
|
||||
7. **Главный gap:** **полное отсутствие силовых упражнений, экипировки и любой разметки технических ошибок** — открывает нишу для SmartRep-dataset как первого бенчмарка pose × coach-graded technique error на 5–8 ключевых упражнений в реальных залах.
|
||||
8. **Лицензионный статус:** **non-commercial only — для коммерческого продукта SmartRep это юридически неопрятно** при прямом использовании; безопаснее как один из источников в смешанном pretrain поверх commercially-friendly базы (например, COCO + бытовое видео).
|
||||
9. **Приоритет для SmartRep:** **НИЗКИЙ** для основной задачи. **СРЕДНИЙ** для роли «один из источников pretrain pool через готовые SPIN/VIBE-веса». В одиночку — REJECT.
|
||||
10. **Изучить следом:**
|
||||
- **Fit3D** (Fieraru et al., CVPR 2021) — fitness + Vicon MoCap, ближе к домену силовых, но всё равно без экспертной разметки ошибок.
|
||||
- **AMASS** (Mahmood et al., ICCV 2019) — гигантский MoCap-pool, частично включает MPI-INF-3DHP в формате SMPL, основа для синтетического движения.
|
||||
- **3DPW** (von Marcard et al., ECCV 2018) — IMU-based outdoor 3D pose, сравнить как **другую парадигму** ground truth для in-the-wild.
|
||||
```
|
||||
@@ -0,0 +1,102 @@
|
||||
|
||||
|
||||
|
||||
## Сначала уточню метаданные статьи.```markdown
|
||||
|
||||
## title: "NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding"
|
||||
title_ru: "NTU RGB+D 120: крупномасштабный бенчмарк для понимания 3D-активности человека" authors: [Liu, Shahroudy, Perez, Wang, Duan, Kot] year: 2020 venue: "IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 42(10), pp. 2684–2701" venue_tier: "Q1 / A*" doi: "10.1109/TPAMI.2019.2916873 / arXiv:1905.04757" tags: [pose_estimation, few_shot, validation, occlusion] relevance_to_smartrep: 2 direction: "—"
|
||||
|
||||
# NTU RGB+D 120: крупномасштабный бенчмарк для понимания 3D-активности человека
|
||||
|
||||
> ⚠️ **Дисклеймер.** PDF к промпту не приложен. Анализ построен на абстракте arXiv:1905.04757, README репозитория `shahroudy/NTURGB-D`, странице ROSE Lab и стандартных описаниях из последующих статей. Поля, не верифицируемые без полного текста, помечены «не указано».
|
||||
|
||||
## TL;DR (≤3 предложения)
|
||||
|
||||
Расширение датасета NTU RGB+D с 60 до 120 классов действий и с 56 880 до 114 480 видео-сэмплов (~8 млн кадров), снятых на 3 синхронные Kinect v2 в 32 различных setup’ах с 106 субъектами. Помимо самого датасета вводятся два новых протокола оценки — cross-subject и cross-setup — и формулируется задача **one-shot 3D action recognition** с предложенным baseline’ом APSR (Action-Part Semantic Relevance-aware). Это де-факто стандартный бенчмарк skeleton-based action recognition на 2020–2026 гг.
|
||||
|
||||
## Проблема
|
||||
|
||||
Существующие RGB+D action-датасеты (MSRDailyAction, NTU RGB+D 60, PKU-MMD и пр.) имеют либо мало классов, либо мало субъектов, либо однообразные ракурсы и условия. Это мешает обучать большие модели и не даёт надёжно мерить генерализацию по новым исполнителям, ракурсам и средам — особенно в сценариях few-shot, где число sample’ов на класс по определению крошечное.
|
||||
|
||||
## Гипотеза / вклад
|
||||
|
||||
- Удвоение числа классов (60 → 120) и почти удвоение объёма (56k → 114k) даёт первое realistic-scale покрытие multi-modality 3D activity recognition.
|
||||
- 32 разных setup’а (углы камер × фон × освещение) делают возможным новый честный протокол **cross-setup**, дополнительно к classic cross-subject.
|
||||
- Введена формальная задача **one-shot 3D action recognition** (100 auxiliary classes / 20 novel classes по 1 exemplar), что превращает датасет в бенчмарк не только для supervised, но и для few-shot/meta-learning.
|
||||
- Предложен метод APSR — рекомбинирует семантику частей тела по аналогии с языковыми эмбеддингами для one-shot переноса.
|
||||
- Категория «medical conditions / health-related» (ход, падение, кашель и т.п.) расширяет применение в healthcare.
|
||||
|
||||
## Метод
|
||||
|
||||
APSR (the auxiliary contribution рядом с датасетом): для каждой пары action × body-part вычисляется **семантическая релевантность** через эмбеддинги названия класса (GloVe) + классификатора по частям тела. На one-shot задаче exemplar и query сравниваются не на уровне «всё тело vs всё тело», а через релевантно-взвешенную композицию part-features, что снижает чувствительность к нерелевантным частям тела (например, «есть еду» — релевантна рука и рот, нерелевантны ноги). Архитектурно — LSTM/CNN-based skeleton encoder + part-attention по семантическим тегам класса. Конкретные числа гиперпараметров — не указано без полного текста.
|
||||
|
||||
## Датасеты
|
||||
|
||||
|Датасет|Размер|Метрика|Результат (в самой статье)|
|
||||
|---|---|---|---|
|
||||
|**NTU RGB+D 120 (вводимый)**|114 480 видео, 8 M кадров, 120 классов, 106 субъектов, 32 setup’а|Top-1 accuracy (cross-subject / cross-setup)|Базовые методы (HBRNN, ST-LSTM, GCA-LSTM и пр.) — порядка 55–65% top-1 на CS; на few-shot APSR превосходит naive prototype|
|
||||
|NTU RGB+D 60 (предшественник)|56 880 видео, 60 классов, 40 субъектов|Cross-subject / Cross-view top-1|Используется как референс / pretrain|
|
||||
|PKU-MMD|~1 000 длинных видео|mAP (continuous)|Используется в обзоре связанных работ|
|
||||
|
||||
После 2020 г. на NTU 120 SOTA выросли значительно (для контекста, не из самой статьи): MS-G3D, CTR-GCN, PoseConv3D, InfoGCN, HD-GCN дают ~85–90%+ top-1 на cross-subject и ~88–92% на cross-setup.
|
||||
|
||||
## Сравнение с SOTA
|
||||
|
||||
В самой статье 2020 г. APSR показан как сильный baseline для one-shot setting; для supervised — авторы воспроизводят серию методов (Part-Aware LSTM, ST-LSTM with Trust Gates, GCA-LSTM, FSNet, синтез RGB+D признаков), демонстрируя, что глубокие подходы доминируют над hand-crafted, и что cross-setup на ~5–10 п.п. сложнее cross-subject. Ключевой message сравнения — **не «новый метод бьёт всех», а «новый бенчмарк жёстче и разнообразнее существующих»**.
|
||||
|
||||
## Ограничения / слабости
|
||||
|
||||
- **Skeleton — это Kinect v2**, то есть приближённые координаты по depth-маске, а не MoCap-grade GT. Точность скелета известно деградирует на нестандартных позах, при окклюзиях штангой/мебелью и при self-occlusion.
|
||||
- 535 сэмплов с **повреждённым скелетом** — авторы честно публикуют список, но это значит, что любые SOTA-числа неявно вычисляются на «очищенной» подвыборке.
|
||||
- Только **3 ракурса камеры**, и они близки по углу (frontal + ±45°) — нет top-down, нет боковых под 90°, нет произвольных handheld-углов.
|
||||
- Все съёмки **в лаборатории** — ни одного «in-the-wild» сэмпла.
|
||||
- 120 классов смещены к **повседневным и мутуальным** действиям (есть, пить, обнимать, толкать). Спортивных нагруженных движений почти нет; силовых тренировочных движений со штангой — **ни одного**.
|
||||
- Демография 106 субъектов **не сбалансирована** по антропометрии и возрасту (преимущественно студенческий пул NTU Singapore).
|
||||
- Лицензия запрещает коммерческое использование и redistribution.
|
||||
|
||||
## Релевантность SmartRep
|
||||
|
||||
- **Прямая релевантность низкая.** Это датасет для **action classification / activity recognition**, а не для оценки техники (AQA), не для биомеханики и не для error detection.
|
||||
- **Полезные заимствования:**
|
||||
- **Протоколы cross-subject и cross-setup** — золотой стандарт, как разделять данные, чтобы избежать переоценки модели. Стоит использовать их же логику в нашем SmartRep-датасете (split по атлетам и по setup’ам).
|
||||
- **One-shot benchmark формат** — отличный шаблон для нашего сценария «адаптация под нового пользователя» (направление 🅲).
|
||||
- **APSR-стиль part-semantic attention** — концептуально близок к идее «разные части тела важны для разных ошибок техники» (например, для жима критичны кисти и локти, для приседа — таз и колени). Worth borrowing as design pattern.
|
||||
- **Skeleton-based pretraining:** модели типа CTR-GCN / PoseConv3D, обученные на NTU 120, имеют доступные веса, которые можно использовать как backbone для skeleton-encoding ветки SmartRep с последующей head-replace под error-detection task.
|
||||
- **С чем сравниваться:** SmartRep как новый датасет должен честно отчитаться, **почему NTU 120 не подходит для нашей задачи**, и заимствовать у него evaluation-протоколы (cross-subject, cross-setup, one-shot).
|
||||
|
||||
## Gap для нас
|
||||
|
||||
- **При этом не рассматривается** ни одно силовое упражнение со свободным весом (жим, присед, становая, подтягивания, тяга), отсутствует разметка ошибок техники, нет MoCap-grade GT (только Kinect-skeleton с известными артефактами на нестандартных позах), отсутствуют залы как среда съёмки и оборудование (штанга, гантели, тренажёры) в кадре.
|
||||
- **При этом не рассматривается** task quality assessment — модель учится только что «это действие класса X», но не насколько хорошо оно выполнено и в чём ошибка.
|
||||
- **При этом не рассматривается** edge-deployment — нет benchmark’ов задержки/энергопотребления, что для SmartRep критично.
|
||||
- **Ниша SmartRep-датасета:** первый skeleton+RGB benchmark, где (i) классы — силовые упражнения, (ii) дополнительно к class-label есть **per-rep technique-error annotation от сертифицированных тренеров**, (iii) cross-subject и cross-setup протоколы прямо унаследованы от NTU 120 для совместимости с экосистемой skeleton-action-recognition моделей.
|
||||
|
||||
## Ссылки на связанные статьи в литобзоре
|
||||
|
||||
- [[MPI-INF-3DHP]] — другая парадигма GT (markerless multi-view MoCap vs Kinect skeleton); комплементарно по pose-precision.
|
||||
- [[Fit3D]] — fitness-specific, marker-based MoCap; ближе по домену к нашей задаче.
|
||||
- [[NTU RGB+D 60]] — предшественник; необходимый референс при описании NTU 120.
|
||||
- [[PKU-MMD]] — близкий по духу continuous-action benchmark; стоит сравнить как альтернативу.
|
||||
- [[ST-GCN]], [[MS-G3D]], [[CTR-GCN]], [[PoseConv3D]] — методы-кандидаты для skeleton-encoding backbone, обученные/оценённые на NTU 120.
|
||||
- [[FineGym]] — gymnastics fine-grained action recognition; концептуально ближе к task оценки техники.
|
||||
|
||||
## Код / данные
|
||||
|
||||
- Repo (info + sample MATLAB-кода): https://github.com/shahroudy/NTURGB-D
|
||||
- Датасет: https://rose1.ntu.edu.sg/dataset/actionRecognition/ (регистрация + Release Agreement; academic non-commercial only)
|
||||
- Pretrained: официальных весов от авторов нет; есть множество community-весов на NTU 120 для ST-GCN / MS-G3D / CTR-GCN / PoseConv3D — см. mmaction2 / pyskl model zoo.
|
||||
|
||||
## Цитата (BibTeX)
|
||||
|
||||
```bibtex
|
||||
@article{liu2020ntu,
|
||||
author = {Liu, Jun and Shahroudy, Amir and Perez, Mauricio and Wang, Gang and Duan, Ling-Yu and Kot, Alex C.},
|
||||
title = {{NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding}},
|
||||
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
|
||||
volume = {42},
|
||||
number = {10},
|
||||
pages = {2684--2701},
|
||||
year = {2020},
|
||||
doi = {10.1109/TPAMI.2019.2916873}
|
||||
}
|
||||
```
|
||||
54
SmartRep/1_lit_research/1_datasets/_index.md
Normal file
54
SmartRep/1_lit_research/1_datasets/_index.md
Normal file
@@ -0,0 +1,54 @@
|
||||
# 1_datasets — датасеты
|
||||
|
||||
## Scope
|
||||
Датасеты для pose estimation, action recognition, AQA, fitness-specific задач, MoCap-валидации.
|
||||
|
||||
## Подтемы
|
||||
- **pose_3d** — 3D monocular / MoCap (Human3.6M, 3DPW, MPI-INF-3DHP)
|
||||
- **motion_generic** — AMASS, HumanML3D, NTU RGB+D
|
||||
- **fitness_specific** — Fit3D, Fitness-AQA, FLAG3D, FineGym
|
||||
- **aqa_benchmarks** — MTL-AQA, AQA-7, FineDiving
|
||||
|
||||
## Must-read (стартовый список)
|
||||
|
||||
### Fitness-specific (🔥 критично)
|
||||
- **Fit3D** (Fieraru et al., 2021, ECCV) — 29 участников × 47 упражнений, MoCap ground truth. Единственный публичный датасет с одновременно и видео, и точным MoCap для fitness.
|
||||
- **FLAG3D** (Tang et al., CVPR 2023) — language-annotated 3D fitness dataset, 60 activities × 22K video sequences.
|
||||
- **Fitness-AQA** (Parmar et al., 2022) — оценка качества фитнес-упражнений.
|
||||
|
||||
### Pose / motion
|
||||
- **Human3.6M** (Ionescu et al., TPAMI 2014) — 11 actors, 17 scenarios, MoCap. Стандартный бенчмарк monocular 3D pose.
|
||||
- **3DPW** (von Marcard et al., ECCV 2018) — in-the-wild с IMU ground truth.
|
||||
- **AMASS** (Mahmood et al., ICCV 2019) — агрегированный MoCap-архив.
|
||||
- **MPI-INF-3DHP** (Mehta et al., 3DV 2017) — spontaneous motion, green screen + outdoor.
|
||||
|
||||
### Action recognition
|
||||
- **NTU RGB+D 120** (Liu et al., TPAMI 2020) — 120 action classes, depth + skeleton.
|
||||
- **FineGym** (Shao et al., CVPR 2020) — 530 fine-grained gymnastics actions.
|
||||
- **Kinetics-700** (Carreira et al., 2019) — 700 human action classes.
|
||||
|
||||
|
||||
### AQA
|
||||
- **MTL-AQA** (Parmar & Morris, CVPR 2019) — diving, multi-task.
|
||||
- **AQA-7** (Parmar & Morris, WACV 2019) — 7 sports.
|
||||
- **FineDiving** (Xu et al., CVPR 2022) — fine-grained diving с размеченными фазами.
|
||||
|
||||
## Ключевые поиски
|
||||
- arXiv: `"fitness dataset" OR "exercise dataset" pose`
|
||||
- Papers With Code: Human Pose Estimation / Action Quality Assessment leaderboards
|
||||
- Google Scholar: cite_forward от Fit3D и FLAG3D
|
||||
|
||||
## Что искать в каждой статье
|
||||
- Количество субъектов, упражнений, кадров
|
||||
- Наличие MoCap / IMU / экспертных разметок
|
||||
- Лицензия (критично: CC-BY / research-only / нужно письмо автору)
|
||||
- Какие модели на нём обучались (для бейзлайнов)
|
||||
|
||||
## Gap для SmartRep
|
||||
Fit3D — единственный полный вариант; для корректной научной работы нужен **собственный датасет** силовых упражнений (жим, присед, тяга, подтягивание) с:
|
||||
- разными ракурсами (фронт / бок / 3/4)
|
||||
- разными антропометрическими типажами
|
||||
- размеченными ошибками техники (экспертная валидация от тренеров)
|
||||
- синхронизированным IMU или multi-view ground truth
|
||||
|
||||
Этот датасет сам по себе — публикуемый вклад (Data paper в Scientific Data / Nature Data).
|
||||
Reference in New Issue
Block a user