Привет! Отличный выбор для анализа. Мы переходим от задач темпорального сглаживания к одной из самых острых проблем фитнес-домена — **обрезке кадра (truncation)**. Когда телефон стоит на полу (или прислонен к гантели), часть тела спортсмена неизбежно выходит за границы кадра.

**MeTRAbs (Sárándi et al., 2021)** — это блестящая архитектурная работа, которая решает проблему масштаба и невидимых частей тела через абсолютные метрические координаты. Давай разберем, насколько этот подход совместим с жесткими лимитами мобильных процессоров в **SmartRep**.

---

### 1. МЕТАДАННЫЕ

- **Полное название:** MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation (MeTRAbs: Метрические, устойчивые к обрезке кадра тепловые карты для абсолютной 3D-оценки позы человека)
    
- **Авторы:** István Sárándi, Timm Linder, Kai O. Arras, Bastian Leibe
    
- **Аффилиации:** RWTH Aachen University, Bosch Center for Artificial Intelligence
    
- **Год, venue:** 2021, IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM). Исходно представлена на FG 2020.
    
- **Рейтинг venue:** Q1
    
- **DOI / arXiv ID:** 10.1109/TBIOM.2020.3042533 / arXiv:2007.07227
    
- **Ссылка на код:** [https://github.com/isarandi/metrabs](https://github.com/isarandi/metrabs)
    
- **Цитирований:** >200
    

---

### 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)

- **Какую проблему решает статья?** Большинство 3D-сетей предсказывают позу _относительно корня (таза)_ и в масштабе изображения. Если таз или другая часть тела обрезаны рамкой кадра (truncation), относительные методы ломаются. Также возникает неоднозначность: это маленький человек близко к камере или большой человек далеко?
    
- **Что предлагается?** Использование объемных тепловых карт, в которых все три измерения (X, Y, Z) определены **в абсолютных метрах** (metric-scale), а не привязаны к пикселям изображения.
    
- **Принципиальная новизна:** Сеть разделена на две ветви: одна предсказывает 2D-координаты, другая — 3D-метрические координаты относительно корня. Специальный дифференцируемый модуль объединяет их для точного вычисления абсолютной глубины (удаленности от камеры).
    
- **Главная гипотеза:** Отвязка тепловых карт от границ изображения (FOV) позволяет сети достоверно "угадывать" (галлюцинировать с учетом анатомических ограничений) положение суставов, находящихся за пределами кадра.
    

---

### 3. АРХИТЕКТУРА И МЕТОД

#### 3.1. Тип подхода

- **Размерность:** Абсолютные 3D-координаты (в метрах)
    
- **Стратегия:** Single-stage (но требует bounding box детектора до себя)
    
- **Регрессия:** Volumetric Heatmap-based (с последующим soft-argmax)
    
- **Темпоральность:** Per-frame (без временного контекста)
    
- **Backbone:** CNN (в статье — ResNet-50, в официальном репозитории позже добавлены MobileNetV3 и EfficientNet).
    

#### 3.2. Описание архитектуры

- **Вход:** Кроп изображения человека.
    
- **Backbone:** Извлекает карты признаков (feature maps).
    
- **Двухголовая структура:** 1. _2D Head:_ Предсказывает 2D image-space heatmaps для получения пиксельных координат суставов.
    
    2. _3D Head:_ Предсказывает MeTRo (Metric-Scale Truncation-Robust) объемные тепловые карты размерности $W \times H \times D$, где каждая ячейка — это воксель фиксированного физического размера (например, куб $2.2 \times 2.2 \times 2.2$ метра вокруг человека).
    
- **Дифференцируемая реконструкция (Differentiable Reconstruction):** Из 2D-проекции и метрического 3D-скелета математически вычисляется абсолютная глубина корня (Root Depth), что дает полные 3D-координаты в системе отсчета камеры.
    
- **Выход:** Полный скелет в абсолютных 3D-координатах.
    

#### 3.3. Визуальные материалы из статьи

- **Figure 1 (Идея MeTRo):** Наглядно показывает разницу между обычными (image-space) тепловыми картами и метрическими. Показано, что метрическая карта остается инвариантной к зуму камеры, а суставы могут находиться "за краем" тензора, если это нужно.
    
- **Figure 4 (Архитектура MeTRAbs):** Показывает разделение на 2D-ветвь и 3D-ветвь с последующим объединением через математический расчет глубины (Root Reconstruction).
    

#### 3.4. Математическая формализация

- **Soft-argmax для 3D:** Для получения непрерывных координат из дискретного объема используется операция soft-argmax:
    
    $$\hat{\mathbf{y}} = \sum_{i,j,k} \text{softmax}(\mathbf{H})_{i,j,k} \cdot \mathbf{c}_{i,j,k}$$
    
    где $\mathbf{H}$ — объемная 3D-тепловая карта, а $\mathbf{c}_{i,j,k}$ — физические координаты центра вокселя.
    
- **Вычисление абсолютной глубины (Root Depth):** Если мы знаем истинный физический размер кости $S$ (из 3D-ветви) и ее размер в пикселях $s$ (из 2D-ветви), глубина $d$ вычисляется на основе фокусного расстояния $f$:
    
    $$d = f \cdot \frac{S}{s}$$
    
    _(Авторы делают это более робастным способом через оптимизацию системы уравнений для всех суставов)._
    

#### 3.5. Ключевые технические решения

- Обучение на кропах, где искусственно вырезаются части тела, чтобы заставить сеть полагаться на структурный (анатомический) контекст для предсказания обрезанных суставов.
    

---

### 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

#### 4.1. Датасеты

|**Датасет**|**Размер**|**Тип**|**Разрешение**|**Домен**|**Public?**|
|---|---|---|---|---|---|
|Human3.6M|3.6M|3D|Разное|General / MoCap|Да|
|MPI-INF-3DHP|~1.3M|3D|Разное|General / Studio|Да|
|MuPoTS-3D|~8K|3D|Разное|Multi-person / Outdoor|Да|

#### 4.2. Метрики

- **Координатные:** MPJPE (Root-relative 3D), PCK@150mm (MuPoTS), Absolute MPJPE (с учетом смещения в мире).
    
- **Угловые:** **НЕ УКАЗАНО В СТАТЬЕ**.
    
- **Деплоймент:** FPS на GPU (NVIDIA RTX 2080 Ti).
    
- **Робастность:** Отличные результаты на датасетах с перекрытиями и обрезками кадра.
    

#### 4.3. Сравнительная таблица результатов (на Human3.6M)

|**Метод**|**Absolute 3D**|**Architecture**|**MPJPE (mm)**|**P-MPJPE (mm)**|
|---|---|---|---|---|
|VideoPose3D (Temporal)|Нет|1D CNN|46.8|36.5|
|Moon et al.|Да|ResNet-50|54.4|35.2|
|**MeTRAbs (Ours)**|**Да**|**ResNet-50**|**50.6**|**37.6**|
|**MeTRAbs (Ensemble)**|**Да**|**ResNet-152**|**45.0**|**33.3**|

**[МОЙ КОММЕНТАРИЙ]:** MeTRAbs без использования видео (per-frame) достигает точности, сопоставимой с темпоральным VideoPose3D, что говорит об огромной силе метрических ограничений.

#### 4.4. Ablation Study

- Убрали 3D Metric-Scale heatmaps (заменили на 2.5D): ошибка на обрезанных людях (truncated) выросла катастрофически (с 60 мм до 120+ мм).
    

---

### 5. RESULTS & DISCUSSION

#### 5.1. Основные выводы

Гипотеза подтвердилась. Отвязка пространства предсказаний от пикселей кадра (и переход в метрическое пространство) решает проблему "невидимых" суставов при близком ракурсе и обрезке.

#### 5.2. Качественный анализ

- **Success:** Если в кадре только торс человека, сеть с поразительной точностью "дорисовывает" 3D-ноги, опираясь на наклон таза и спины (используя физические длины костей).
    
- **Failure:** При экстремальных позах (очень нестандартных), которых не было в обучающей выборке, галлюцинации обрезанных конечностей могут быть анатомически верными, но физически неправильными для данного момента.
    

#### 5.3. Edge-готовность (специально для SmartRep)

|**Параметр**|**Значение в статье**|**Соответствие SmartRep (<10 мс, <30 МБ, ≥30 fps)**|
|---|---|---|
|Hardware|NVIDIA RTX 2080 Ti|Не соответствует.|
|Latency|~5 ms на мощном GPU|**На грани провала.** Volumetric Heatmaps (3D-тензоры) требуют интенсивной работы с памятью (Memory Bandwidth). На CPU телефона это займет от 30 до 100+ мс даже для легкого backbone.|
|Model size|ResNet-50 (~25 MB)|Ок для весов, но RAM footprint для 3D-тензоров во время forward pass огромный.|
|Mobile version|В статье нет (появилась позже в репозитории как MobileNetV3)|Даже с MobileNetV3 3D-свертки (или soft-argmax над $64^3$ объемом) "убивают" кэш CPU.|

---

### 6. ПРЕИМУЩЕСТВА ПОДХОДА

- **Идеально решает Truncation:** Лучшее архитектурное решение для обрезанных кадров.
    
- **Биомеханическая адекватность:** Сеть выучивает физические пропорции людей (длины костей не искажаются при перспективе).
    
- Выдает абсолютные 3D-координаты, что позволяет считать скорость движения штанги в реальных метрах/секунду (в теории).
    

---

### 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ

- **Вычислительная сложность 3D-тензоров.** Объемные тепловые карты на порядки тяжелее плоских.
    
- Нет темпорального сглаживания (может быть jitter на видео).
    
- Требует знания фокусного расстояния камеры (хотя может аппроксимировать его).
    

---

### 8. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

Оцени по шкале 1–5 каждый аспект:

|**Аспект**|**Оценка (1–5)**|**Комментарий**|
|---|---|---|
|Edge-готовность|2|Несмотря на наличие MobileNetV3 в репо, 3D soft-argmax тяжело ложится на NPU/CPU из-за операций редукции над большими объемами.|
|Точность по угловым метрикам|2|Напрямую не оценивалась (только MPJPE).|
|Устойчивость к самоокклюзиям|4|Решается через жесткие метрические "prior" (кости фиксированной длины).|
|Работа с нестандартными позами|3|Если обрезать нестандартную позу, "галлюцинация" может ошибиться.|
|Темпоральная стабильность|1|Отсутствует.|
|Применимость к циклическим движениям|2|Нет использования темпоральности.|
|Валидация на фитнесе|1|Только общие датасеты.|
|Робастность к truncation|5|**Лучшая работа по этой проблеме.**|
|Возможность fine-tuning|4|Репо отличное, поддерживает тренировку.|
|Доступность кода|5|Один из лучших репозиториев (с поддержкой TensorFlow/PyTorch).|

**Конкретные элементы для заимствования (Привязка к направлению 🅲):**

- **Идея Metric-Scale представления (Направление 🅲):** Мы можем использовать эту концепцию в качестве биомеханической регуляризации (loss function) при обучении нашего 2D/3D регрессора, не используя тяжелые воксельные карты на инференсе. Мы можем штрафовать сеть, если предсказанные 3D-координаты нарушают фиксированные физические длины костей.
    

---

### 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ

- Идейно развивает 2.5D тепловые карты (Integral Human Pose) до честных 3D.
    
- Конкурирует с методами лифтинга (VideoPose3D), пытаясь решить проблему 3D сразу из изображения (Single-stage).
    

---

### 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review)

|**Критерий**|**1–10**|**Комментарий**|
|---|---|---|
|Новизна|9|Метрическое представление объема — изящный шаг.|
|Техническая глубина|9|Отличное математическое выведение абсолютной глубины.|
|Экспериментальная строгость|8|Мощный ablation study.|
|Ясность изложения|9|Статья логична и последовательна.|
|Воспроизводимость|10|Выдающийся инженерный уровень репозитория.|
|Значимость для community|8|Важный шаг для absolute 3D pose.|
|Релевантность edge-deployment|3|Слишком "жадная" до памяти архитектура.|

**Общая оценка:** Accept (как идеальный референс для работы с обрезкой кадра).

---

### 11. КЛЮЧЕВЫЕ ВЫВОДЫ

1. Главный вклад статьи: Переход от image-space координат к абсолютному метрическому 3D-пространству, что решает проблему оценки позы при обрезке кадра (truncation).
    
2. Самое сильное техническое решение: Двухголовая архитектура с дифференцируемым слиянием 2D и 3D предсказаний для вычисления абсолютной глубины.
    
3. Главный недостаток: Высокое потребление оперативной памяти и пропускной способности (memory bandwidth) из-за генерации 3D объемных тепловых карт, что критично для мобильных процессоров.
    
4. Самый полезный элемент для SmartRep: **Методология "Metric-scale constraints"** — может быть адаптирована как loss-функция для обучения наших легковесных моделей (чтобы они не ломались, когда ноги выходят за кадр).
    
5. Что изучить дополнительно: Как MobileNetV3 версия MeTRAbs (из их GitHub) перформит на мобильных процессорах (сделать profiling).
    
6. Приоритет для нашего исследования: **СРЕДНИЙ** (концептуально важно, архитектурно тяжело).
    
7. Связанные статьи: VideoPose3D (как альтернатива lifting'а), SMPL-based методы (VIBE/CLIFF).
    

---

## ИТОГОВАЯ КАРТОЧКА

Markdown

````
---
title: "MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation"
title_ru: "MeTRAbs: Метрические, устойчивые к обрезке кадра тепловые карты для абсолютной 3D-оценки позы человека"
authors: [Sárándi, Linder, Arras, Leibe]
year: 2021
venue: "T-BIOM"
venue_tier: "Q1"
doi: "10.1109/TBIOM.2020.3042533"
tags: [pose_estimation, biomech, occlusion, physics]
pose_dim: "3d"
strategy: "single_stage"
backbone: "ResNet-50 / MobileNetV3"
params_M: 25.0
flops_G: >4.0
latency_ms: 
hw_tested: "RTX 2080 Ti"
relevance_to_smartrep: 3
direction: "C"
priority: "MEDIUM"
---

# MeTRAbs: Метрические, устойчивые к обрезке кадра тепловые карты для абсолютной 3D-оценки позы человека

## TL;DR
Статья решает проблему предсказания позы, когда часть человека не влезает в кадр (truncation). Предлагается использовать 3D объемные тепловые карты, определенные в абсолютных метрах (а не в пикселях), что позволяет "заякорить" анатомические пропорции и SOTA-точно предсказывать обрезанные конечности.

## Проблема
Существующие 2.5D и 3D методы строятся на пиксельном пространстве (image-space), из-за чего не могут определить размер и удаленность объекта (scale/distance ambiguity) и катастрофически ломаются, если опорный сустав (например, таз) выходит за границы кропа.

## Гипотеза / вклад
- Определение размерности тепловых карт (X, Y, Z) в фиксированном физическом масштабе (metric-scale).
- Разделение на ветвь 2D-heatmaps и 3D-metric-heatmaps с последующей дифференцируемой реконструкцией абсолютной глубины.

## Метод
Входное изображение обрабатывается CNN (ResNet-50). Сеть выдает 2D-карты в плоскости кадра и 3D-объемные карты (MeTRo), представляющие собой воксельный куб фиксированного метрического размера. Истинная глубина (Root Depth) рассчитывается математически через соотношение 2D пиксельного масштаба и 3D метрического масштаба с учетом фокусного расстояния камеры.

## Датасеты
| Датасет | Размер | Метрика | Результат |
|---|---|---|---|
| Human3.6M | 3.6M | MPJPE | 50.6 мм |
| MuPoTS-3D | 8K | PCK | 82.0 (SOTA на 2020) |

## Сравнение с SOTA
MeTRAbs значительно (на порядки) превосходит бейзлайны на искусственно обрезанных изображениях (truncated crop), сохраняя физическую адекватность позы, когда видны только руки и голова.

## Edge-метрики
| Параметр | Значение | hw |
|---|---|---|
| Latency | ~5 мс | RTX 2080 Ti (GPU) |
| FPS | ~200 | RTX 2080 Ti (GPU) |
| Params | ~25M | - |
| FLOPs | >4G | - |

## Ограничения / слабости
Генерация и soft-argmax над объемными 3D-тензорами требует огромной пропускной способности памяти (Memory Bandwidth), что делает инференс на мобильных CPU крайне медленным по сравнению с 2D регрессией. Отсутствует темпоральное сглаживание.

## Релевантность SmartRep
Оцениваем как **Среднюю (3/5)**. Сама архитектура избыточна по операциям с памятью для Snapdragon (<10 ms). Однако, проблема обрезки (особенно ног в становой тяге из-за близкого телефона) критична для SmartRep. Концепт "метрических ограничений" (направление 🅲) может быть заимствован как loss-функция для обучения наших edge-моделей.

## Gap для нас
Работа блестяще решает проблему обрезки кадра, при этом **не рассматривается** применение темпоральных фильтров для устранения jitter на видео, оптимизация RAM-footprint для работы на мобильных устройствах без GPU-ускорителей, а также угловая биомеханическая точность в фитнес-движениях.

## Ссылки на связанные статьи
[[VideoPose3D]], [[MotionBERT]]

## Код / данные
- Repo: https://github.com/isarandi/metrabs
- Pretrained: Да (вкл. MobileNetV3)
- Датасет: Human3.6M, MPI-INF-3DHP

## BibTeX
```bibtex
@article{sarandi2021metrabs,
  title={MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation},
  author={S{\'a}r{\'a}ndi, Istv{\'a}n and Linder, Timm and Arras, Kai O and Leibe, Bastian},
  journal={IEEE Transactions on Biometrics, Behavior, and Identity Science},
  volume={3},
  number={1},
  pages={16--30},
  year={2021},
  publisher={IEEE}
}
````

```

---

Вот видео, которое наглядно демонстрирует эту статью (оно поможет понять, как именно модель восстанавливает обрезанные позы):
[MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation - YouTube](https://www.youtube.com/watch?v=BemM8-Lx47g)
Оно полезно, так как визуализирует работу пайплайна и показывает его высокую эффективность на обрезанных кадрах, что крайне важно для понимания концепта метрических тепловых карт.

Если мы хотим закрыть пробел именно в скорости и найти ту самую модель на <10 мс для нашего 2D-базиса, предлагаю следующей статьей разобрать **RTMPose** или **MoveNet**. Что скажешь?


http://googleusercontent.com/youtube_content/0
```