19 KiB
19 KiB
Структурные решения для pose_method-промпта (что отличает от A и B):
- Direction по умолчанию НЕ нулевой. Pose papers почти всегда 🅱 (биомех-aware pose), но иногда чисто backbone-роль для 🅲. По умолчанию — 🅱, явное обоснование требуется только если иначе.
- Ключевое различие в разделе 4. Pose papers оцениваются метриками положений и углов (MPJPE / PA-MPJPE / PVE / joint angle error), а не классификации. Дополнительная ось — физическая правдоподобность (jitter, foot sliding, penetration), которую AQA/SSL-шаблоны не покрывают.
- Body model — обязательное поле. SMPL / SMPL-X / SMPL+H / GHUM / STAR / mesh-free / только joints. От этого зависит, получим ли мы углы в суставах (нужны для 🅱) или только координаты.
- Камера и калибровка — обязательное поле. Многие SOTA-pose требуют known intrinsics или weak perspective с предположениями, которые не выполняются в зале с телефоном.
- Athletic / extreme pose evaluation — отдельная подсекция. Большинство pose-методов оценены на H36M (everyday actions); их деградация на глубоких приседах / арках жима — главный риск для нас. Если этой проверки нет, фиксируем явно.
- Stability across reps — отдельный пункт. Jitter в pose может быть ошибочно интерпретирован downstream-головой как изменение техники между повторами. Это уникальная для periodic-задач проблема, в общих pose-papers её обычно не меряют.
- Раздел 6 — pose-specific релевантность. Не «применим ли AQA-метод» и не «годится ли как pretraining», а «можно ли вообще получить из этого pose-выхода стабильные joint angles на штанговом видео с окклюзиями».
📑 Дополнения к тег-словарю для pose-papers
# Выход
joint_regression, smpl_fitting, smplx_fitting, ghum_fitting, mesh_recovery,
ik_solver, dense_pose, 2d_pose, 3d_pose
# Камера и сцена
single_view, multi_view, monocular, multi_camera, known_intrinsics, in_the_wild
# Приоры
physics_aware, biomech_aware, kinematic_prior, temporal_prior, contact_aware
# Обучение pose
synthetic_pretraining, weak_supervision, pseudo_labels
📝 ВАРИАНТ C — Промпт для pose estimation / mesh recovery / biomech-aware статей
ПРОМПТ ДЛЯ АНАЛИЗА POSE-СТАТЬИ (paper_type: pose_method)
Ты — старший научный рецензент с экспертизой в 2D/3D human pose estimation,
parametric body models (SMPL/SMPL-X/GHUM), inverse kinematics и
biomechanics-aware pose. Твоя задача — подготовить разбор статьи для
проекта SmartRep как кандидата на pose-стадию pipeline'а перед AQA/error-головой.
ВАЖНО-1: если статья ЯВНО про AQA / fine-grained errors / scoring движений
— ОСТАНОВИСЬ и сообщи: «AQA-типа, рекомендую AQA-промпт». Pose-выход в AQA-статьях
обычно вспомогательный.
ВАЖНО-2: если статья про чистый SSL pretraining без явного pose-output
(joint coords / SMPL params / mesh) — ОСТАНОВИСЬ и переключись на
SSL-backbone промпт.
ВАЖНО-3: для нашей задачи критичны три риска, которые нужно явно
проверить в каждой pose-статье:
(a) деградация на атлетических / экстремальных позах,
(b) поведение при окклюзии (штанга закрывает кисти/плечи),
(c) jitter между фреймами в периодических движениях.
Если статья не отвечает на какой-то из трёх — фиксируй как «НЕ ОЦЕНИВАЕТСЯ»
и переноси в Gap.
### 1. МЕТАДАННЫЕ (YAML)
```yaml
title: "<оригинальный заголовок>"
title_ru: "<перевод>"
short_name: "<canonical акроним>"
authors: [<фамилии>]
year: <YYYY>
venue: "<conference/journal>"
venue_tier: "<A*/A/B/Q1/Q2>"
doi: "<link>"
code: "<github>"
paper_type: "pose_method" # обязательно
tags: [<из фикс. словаря, минимум 4 — обязательны: тип выхода, body model, камера, парадигма обучения>]
relevance_to_smartrep: <1-5>
direction: "<🅰 / 🅱 / 🅲>" # default 🅱 для pose. Если иначе — обоснуй в TL;DR.
status: "reviewed"
```
### 2. CORE CONTRIBUTION (TL;DR)
3 предложения. **Первое** — какую pose-задачу решает: 2D keypoints / 3D joints
(absolute / root-relative) / SMPL parameters / full mesh; single-view
или multi-view; в реальном времени или offline. **Второе** — основной механизм
(regression / optimization-based fitting / IK / hybrid). **Третье** — обоснование
`direction` (🅱 если pose-метод, 🅲 если синтетический pretraining backbone, 🅰 если
включает явный biomech error head).
### 3. АРХИТЕКТУРА И МЕТОД
- **Выход модели:** {2D-keypoints / 3D-joints / SMPL θ,β / SMPL-X / mesh vertices
/ dense correspondences}. **Обязательно укажи, есть ли joint angles на выходе**
(или их нужно вычислять самостоятельно).
- **Body model:** SMPL / SMPL-X / SMPL+H / GHUM / STAR / skeleton-only / none.
Версия (neutral / gendered), число вершин, число суставов.
- **Pipeline:**
- Backbone (ResNet / HRNet / ViT / Mamba / GCN);
- Голова (regression / heatmap / parametric / IK / optimization);
- Если optimization-based — solver (LBFGS / Adam) и сколько итераций.
- **Камера:**
- Модель: weak perspective / full perspective / orthographic;
- Требуются ли known intrinsics (focal length, principal point)?
- Калибровка: автоматическая / нужна заранее / отсутствует.
- **Кинематические и физические приоры:**
- Joint limits (анатомические границы углов)?
- Bone length constraints?
- Temporal smoothness?
- Contact / penetration / foot sliding?
- Physics simulation в loop?
- **Loss-функции в LaTeX** ($\mathcal{L} = \dots$) с разбором по слагаемым:
3D joint loss, 2D reprojection, SMPL params, regularization, biomech priors.
- **Mermaid-диаграмма:** Image / Video → Backbone → {Heatmaps / Features} →
{Regression / IK / Optimization} → {Joints / SMPL / Mesh}.
### 4. POSE-ЭКСПЕРИМЕНТЫ
- **Training datasets:** H36M, MPI-INF-3DHP, 3DPW, AMASS, AGORA, BEDLAM,
COCO, MPII, собственные. Полностью / частично / только pretraining?
- **Evaluation datasets:** H36M, 3DPW, EMDB, AGORA-test, ASPset (athletic),
SportsPose, fitness-specific. **Особо отметь, есть ли out-of-distribution
атлетический бенчмарк.**
- **Pose metrics (обязательно):**
- MPJPE (mean per joint position error, mm)
- PA-MPJPE (Procrustes-aligned, mm) — снимает absolute scale/rotation
- PVE / MPVPE (per-vertex error, для mesh-методов)
- PCK @ threshold (Percentage of Correct Keypoints)
- Joint angle error (degrees, per-joint) — **редкая, но критичная для нас метрика**
- **Stability / temporal metrics (если есть):**
- Jitter / acceleration error
- Foot sliding (mm)
- Smoothness (e.g., MPJPE first-derivative)
- **Robustness тесты (если есть):**
- Окклюзия: synthetic mask-out, real occlusion datasets (3DOH, OCHuman);
- Cropping / truncation;
- Adversarial / compression artifacts.
- **Athletic / extreme pose evaluation:** делается ли отдельная оценка на
глубоких приседах, мостах, инверсиях, олимпийских позициях? Если нет —
это серьёзный риск, явно фиксируй.
- **SOTA-таблица:** воспроизведи ключевую.
- **Ablation:** какие компоненты критичны, какие — косметические.
### 5. EDGE FEASIBILITY (для SmartRep)
| Параметр | Значение |
|---|---|
| Параметры (M) | <число / НЕ УКАЗАНО> |
| GFLOPs / image | <число / НЕ УКАЗАНО> |
| Latency + железо | <число + device / НЕ УКАЗАНО> |
| FPS на видео | <число / НЕ УКАЗАНО> |
| Optimization-loop на инференсе | <да/нет, сколько итераций> |
| Известные intrinsics / калибровка нужна на инференсе | <да/нет> |
| Квантизация / дистилляция | <обсуждается?> |
| Mobile / edge deployment | <да/нет/не обсуждается> |
**Качественный fallback (если ≥4 НЕ УКАЗАНО):** оценка `lightweight / medium /
heavy / unknown` + мотивация. Особо отметь два killer-фактора для edge:
(i) optimization-loop на инференсе (даже 5–10 итераций LBFGS убивают real-time),
(ii) требование известных intrinsics (в зале с произвольным телефоном —
несбыточная роскошь).
### 6. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP (pose-pipeline применимость)
- **Атлетический domain transfer:** обучен ли метод на чём-то кроме H36M-style
бытовых движений? Если нет — насколько сильно деградирует на глубоких
приседах, плотном бенче, тяге с округлой спиной (можно судить по
атлетическим бенчмаркам или их отсутствию).
- **Barbell-occlusion устойчивость:** при наличии гриф закрывает кисти,
предплечья, иногда плечи и подбородок. Метод оценен на real occlusion?
Какова деградация MPJPE при mask-out 30–50% видимости?
- **Углы vs координаты:** даёт ли метод joint angles на выходе напрямую
(через SMPL θ или явный IK), или только координаты, из которых углы
считаются постфактум (с накоплением ошибки)? Для направления 🅱 первое
принципиально важно.
- **Body-shape нормализация:** даёт ли β-параметры SMPL (или эквивалент)?
Без них одинаковый угол в колене на разных телах = разная биомеханика.
- **Камерные требования:**
- Монокуляр side-view (наш случай) поддерживается?
- Нужна ли калибровка intrinsics?
- Нужен ли ground-plane?
- **Темпоральная стабильность:** есть ли явный smoothing / temporal prior?
Какой jitter на статичной части движения (нижняя точка приседа)?
- **Совместимость с downstream AQA-головой (направление 🅰):** pose-выход
стабилен и плотен по фреймам? Дискретизация по времени совпадает с
частотой нашего видео (≥30 FPS)?
- **Real-time бюджет:** успевает ли в наш taraget (~30 FPS на mobile)?
### 7. GAP ДЛЯ НАС (НИША НОВИЗНЫ — самое важное поле)
2–4 конкретных гэпа в формате:
- **Гэп N:** [что не делает или плохо делает статья] → [как это становится
новизной SmartRep].
Типичные формы для pose-papers:
- Не оценен на атлетических позах → ввести silver-standard атлетический
бенчмарк + бенч-дека-присед domain adaptation.
- Не оценена устойчивость к barbell-occlusion → ввести синтетический
barbell-mask augmentation + бенч.
- Optimization-loop на инференсе делает edge невозможным → дистилляция
в feedforward student.
- Joint angles только постфактум → явная angle-regression head поверх
pose-backbone.
- Нет temporal prior → cycle-aware smoothing для периодических движений.
### 8. ВЫВОД ДЛЯ ЛИТОБЗОРА
- Приоритет: **ВЫСОКИЙ / СРЕДНИЙ / НИЗКИЙ** + одна строка обоснования.
- Место в SmartRep-pipeline: какой компонент (pose backbone / SMPL-fitting
step / biomech feature extractor / baseline для сравнения).
- Прямой вклад в направления: обычно 🅱 ненулевой, 🅰 косвенный (pose
как вход), 🅲 нулевой. Если иначе — обоснуй.
- 3–5 связанных статей для следующего разбора с краткой ремаркой почему.
---
ИНСТРУКЦИИ AI:
- Не выдумывай данные. «НЕ УКАЗАНО» / «НЕ ОЦЕНИВАЕТСЯ» — допустимые ответы.
- Особо аккуратно с интерпретацией МPJPE: это среднее по 14–17 суставам,
а ошибки на extremities (запястья, лодыжки) часто в 2–3× выше; если
per-joint breakdown есть — обязательно его процитируй.
- Если в статье есть только PA-MPJPE без MPJPE — это сигнал, что absolute
pose плохой; явно отметь.
- Разделяй факты и [КОММЕНТАРИЙ РЕЦЕНЗЕНТА].
- Формулы — LaTeX.
- Перед финальным артефактом — короткий блок структурных решений.
- После артефакта — мета-комментарий о работе шаблона.
🧭 Обновлённый селектор (с учётом всех трёх шаблонов)
| Признаки в abstract / methods | Шаблон |
|---|---|
| Spearman / Kendall / AUROC / per-error F1 / regression head на оценку движения | A (AQA) |
| Named error taxonomy (butt-wink, hitch, valgus и т.п.) | A (AQA) |
| Reconstruction error / distance-to-prototype как anomaly score | A (AQA) |
| MPJPE / PA-MPJPE / PVE / SMPL-fitting / IK / mesh recovery | C (pose) |
| Joint angles / biomech priors / kinematic constraints как первичный выход | C (pose) |
| Pretext task (masked / contrastive / cycle / pred coding) + linear/finetune eval на классификации | B (SSL backbone) |
| Linear eval / KNN на NTU/Kinetics/ImageNet с Top-1 как главной метрикой | B (SSL backbone) |
| Гибрид: pose + AQA в одной статье (как AIFit) | C primary, A secondary; в frontmatter paper_type: hybrid, два direction-тега |
| Гибрид: SSL pretraining + downstream pose | B primary, C secondary |
| Dataset paper (sampling protocol / annotation methodology — главное) | существующий 14-секционный dataset-шаблон |
Мета-комментарий
Что специфично для C по сравнению с A и B:
- Три «hard checkpoints» (атлетические позы, окклюзия, jitter) вынесены в верхнюю часть промпта, чтобы AI явно их искал, а не упускал в потоке стандартных pose-метрик.
- Раздел 5 расширен двумя edge-killer полями (optimization loop, intrinsics requirement) — без них pose-метод можно ошибочно классифицировать как edge-friendly по числу параметров.
- Раздел 6 разворачивает «применимость» через монокуляр-side-view-фильтр SmartRep, а не через generic pose-quality.
Что закрыто полным трио A/B/C:
- Spearman/AUROC больше не появляются автоматически в SSL- и pose-карточках (где их нет).
- MPJPE/PA-MPJPE больше не появляются в AQA- и SSL-карточках.
directionбез default во всех трёх (B и C переопределяют через «обычно X, но обоснуй»).- Edge fallback унифицирован.
Что ещё в очереди (не сейчас, но имеет смысл записать):
- Возможный четвёртый шаблон
synthesis_method(для NeRF / 3DGS / SMPL-rendering / data augmentation статей) — тебе он может понадобиться при разборе FLEX и пайплайнов синтеза тренировочных данных. Решать стоит после FLEX-карточки, чтобы понять, лезет ли FLEX в существующие или нужен отдельный. - Миграция старых карточек: добавить
paper_typeв frontmatter Fit3D / FLAG3D / Fitness-AQA / H36M / AIFit. Это пять минут ручной работы или один прогон через скрипт.
Прагматичный следующий шаг: прогнать новый pose_method-промпт на AIFit. У тебя уже есть AIFit-карточка по старому общему шаблону — это даст прямую A/B-проверку, что именно прибавляет специализированный pose-промпт. Если ОК — запускаем?