

Привет! Это блестящий выбор для продолжения нашего ресёрча. Если **VIBE** (предыдущая статья) пытался сделать 3D-позу реалистичной с помощью темпоральных данных и дискриминатора, то **PARE (ICCV 2021)** атакует самую страшную проблему компьютерного зрения в фитнесе — **перекрытия (occlusions)**.

В тренажёрном зале человек постоянно перекрыт: гриф штанги на груди, гантели в руках, стойки тренажёра перед ногами. Большинство SOTA-моделей ломаются в таких условиях. PARE предлагает невероятно элегантное архитектурное решение этой проблемы.

Давай разберем статью детально с прицелом на **SmartRep**.

---

### 1. МЕТАДАННЫЕ

- **Полное название:** PARE: Part Attention Regressor for 3D Human Body Estimation (PARE: Регрессор с вниманием к частям тела для 3D-оценки позы человека)
    
- **Авторы:** Muhammed Kocabas, Chun-Hao P. Huang, Otmar Hilliges, Michael J. Black
    
- **Аффилиации:** Max Planck Institute for Intelligent Systems (MPI-IS), ETH Zurich
    
- **Год, venue:** 2021, ICCV
    
- **Рейтинг venue:** A* (топ-конференция)
    
- **DOI / arXiv ID:** arXiv:2104.08527
    
- **Ссылка на код:** [https://github.com/mkocabas/PARE](https://github.com/mkocabas/PARE)
    
- **Цитирований:** >400
    

---

### 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)

- **Какую проблему решает статья?** Стандартные сети для предсказания 3D-меша (HMR, SPIN, VIBE) используют глобальные признаки (global image features) всего кропа изображения (через Global Average Pooling). Если хотя бы часть тела перекрыта (окклюзия), глобальный вектор признаков искажается, что приводит к катастрофическому сбою предсказания _всего_ тела (даже видимых частей).
    
- **Что предлагается?** Архитектура с "Вниманием к частям тела" (Part Attention). Сеть предсказывает 2D-маски сегментации для каждой части тела, и эти маски используются для взвешивания (pooling) карт признаков. Таким образом, для предсказания локтя используются только пиксели локтя.
    
- **Принципиальная новизна vs предшественников?** Использование явного soft-attention механизма на базе 2D-сегментации частей тела перед 3D-регрессией. Это отвязывает видимые части от перекрытых.
    
- **Главная гипотеза?** Разделение глобального вектора признаков на набор локальных векторов, привязанных к конкретным частям тела (part-guided features), сделает SMPL-регрессор устойчивым к любым перекрытиям без потери точности на полностью видимых людях.
    

---

### 3. АРХИТЕКТУРА И МЕТОД

#### 3.1. Тип подхода

- **Размерность:** SMPL (3D mesh + joint angles)
    
- **Стратегия:** Top-down / Single-stage (из RGB сразу в SMPL параметры)
    
- **Регрессия:** Hybrid (Heatmap-guided attention + Direct regression)
    
- **Темпоральность:** Per-frame (покадровый, без временного контекста)
    
- **Backbone:** CNN (ResNet-50 или HRNet-W32)
    

#### 3.2. Описание архитектуры

- **Вход:** Кроп человека $224 \times 224$.
    
- **Backbone:** Извлекает пространственные карты признаков (Feature Maps).
    
- **Part Attention Branch:** Легкая сверточная ветвь берет карты признаков и предсказывает $K$ тепловых карт/масок (где $K=24$ части тела).
    
- **Feature Pooling:** Исходные карты признаков поэлементно умножаются на каждую из $K$ масок. В результате получается $K$ независимых векторов признаков (каждый отвечает строго за свою кость/сустав).
    
- **SMPL Regressor:** Итеративный регрессор принимает эти $K$ векторов и предсказывает параметры камеры, позу $\theta$ (углы суставов) и форму $\beta$.
    
- **Размер модели:** ~45M (на базе ResNet-50).
    

#### 3.3. Визуальные материалы из статьи

- **Figure 1 (Мотивация):** Отличный пример. Показывает, как перекрытие ног скамейкой ломает позу верхней части тела у стандартного метода (SPIN), но PARE идеально восстанавливает видимый торс, а ноги достраивает по биомеханическим prior'ам.
    
- **Figure 2 (Пайплайн):** Детализирует механизм умножения масок сегментации на карты признаков.
    
- **Figure 4 (Attention Maps):** Визуализация того, "куда смотрит" сеть. Очень интерпретируемо.
    

#### 3.4. Математическая формализация

- **Part-Guided Feature Pooling:**
    
    Для получения вектора признаков $f_k$ для $k$-й части тела:
    
    $$f_k = \sum_{i=1}^{H \times W} M_{k,i} \cdot F_i$$
    
    где $F \in \mathbb{R}^{H \times W \times C}$ — глобальная карта признаков, а $M_k \in \mathbb{R}^{H \times W}$ — предсказанная 2D-карта внимания (вероятность того, что пиксель принадлежит части $k$).
    
- **Функция потерь:** Стандартные SMPL loss'ы (L2 на 3D/2D суставы, $\theta, \beta$), но добавляется **Part Segmentation Loss**:
    
    $$L_{seg} = \text{BCE}(\hat{M}, M_{GT})$$
    
    Сеть принудительно учат правильно сегментировать части тела (Ground Truth для масок берется от dense-pose разметок).
    

#### 3.5. Ключевые технические решения

- **Synthetic Occlusion Augmentation:** Чтобы сеть научилась робастности, авторы при обучении случайно накладывают текстуры объектов (из датасета Pascal VOC) поверх людей на фотографиях. **[МОЙ КОММЕНТАРИЙ]: Это гениальный и критически важный трюк для SmartRep!**
    

---

### 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

#### 4.1. Датасеты

|**Датасет**|**Размер**|**Тип**|**Разрешение**|**Домен**|**Public?**|
|---|---|---|---|---|---|
|3DPW / 3DPW-OCC|60 видео|SMPL|Разное|In-the-wild / Окклюзии|Да|
|MPI-INF-3DHP|1.3M|3D|Видео|Studio / Green screen|Да|
|COCO|~118K|2D|Разное|General (Train)|Да|

_(3DPW-OCC — специальный под-датасет 3DPW, где отобраны только кадры с сильными перекрытиями)._

#### 4.2. Метрики

- **Координатные:** MPJPE, PA-MPJPE.
    
- **Угловые:** **НЕ УКАЗАНО В СТАТЬЕ**.
    
- **Деплоймент:** Params. (FLOPs и Latency не обсуждаются, это не мобильная статья).
    
- **Робастность:** Это главная метрика. Измеряли падение точности на 3DPW-OCC.
    

#### 4.3. Сравнительная таблица результатов (на датасетах с окклюзией)

|**Метод**|**Backbone**|**Params**|**3DPW PA-MPJPE**|**3DPW-OCC PA-MPJPE**|
|---|---|---|---|---|
|HMR|ResNet-50|-|81.3|-|
|SPIN|ResNet-50|~45M|59.2|72.8|
|VIBE|ResNet-50+GRU|~50M|56.5|-|
|**PARE (Ours)**|**ResNet-50**|**~45M**|**50.9**|**60.0**|
|**PARE (Ours)**|**HRNet-W32**|**~40M**|**46.5**|**57.3**|

**[МОЙ КОММЕНТАРИЙ]:** PARE на базе HRNet установил абсолютный SOTA в 2021 году, снизив ошибку на перекрытых кадрах (3DPW-OCC) на внушительные 15.5 мм по сравнению со SPIN, доказав гипотезу локального внимания.

#### 4.4. Ablation Study

- Если отключить Loss сегментации (то есть сеть сама должна выучить маски внимания неявно), ошибка PA-MPJPE на 3DPW-OCC подскакивает с 60.0 до 66.8. Явный supervision частей тела критичен.
    

---

### 5. RESULTS & DISCUSSION

#### 5.1. Основные выводы

Отказ от глобального пулинга признаков в пользу локального (через маски сегментации) делает SMPL-регрессоры крайне устойчивыми к окклюзиям, предотвращая распространение ошибки от скрытой конечности на всё остальное тело.

#### 5.2. Качественный анализ

На изображениях, где человек закрыт машиной по пояс, глобальные сети "сплющивают" 3D-модель в комок. PARE идеально отрисовывает торс, а ноги ставит в нейтральную анатомическую позицию. Для спортзала (штанга перед животом) это работает идеально.

#### 5.3. Edge-готовность (специально для SmartRep)

|**Параметр**|**Значение в статье**|**Соответствие SmartRep (<10 мс, <30 МБ, ≥30 fps)**|
|---|---|---|
|Hardware|Типичный GPU (Titan RTX)|Не соответствует.|
|Latency|~30-40 ms на GPU|**Провал.** Извлечение фичей через ResNet/HRNet + сегментация 24 классов + регрессор. На Snapdragon 8 Gen 2 это будет >100 мс.|
|FPS|Около 25-30 на GPU|На мобильном CPU будет <10 FPS.|
|Model size|~40-45M (зависит от backbone)|**Провал.** В FP32 это >150 МБ.|
|FLOPs|>10G|**Провал.** Слишком тяжело.|

---

### 6. ПРЕИМУЩЕСТВА ПОДХОДА

- **Король Окклюзий:** Одно из самых робастных решений для SMPL.
    
- **Интерпретируемость:** Мы можем визуально проверить, правильно ли сеть нашла "пиксели левого предплечья".
    

---

### 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ

- **Single-frame (Покадровый):** Как и SPIN, PARE не имеет темпоральной памяти. На видео модель дрожит (jitter), так как предсказывает каждый кадр независимо.
    
- Вычислительно тяжелая архитектура.
    
- Требует датасетов с разметкой сегментации (DensePose) для обучения.
    

---

### 8. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

Оцени по шкале 1–5 каждый аспект:

|**Аспект**|**Оценка (1–5)**|**Комментарий**|
|---|---|---|
|Edge-готовность|1|Архитектура не для мобильных процессоров.|
|Точность по угловым метрикам|4|Дает SMPL-углы, но на видео будет дрожать из-за покадровости.|
|Устойчивость к самоокклюзии|5|**Лучшая в классе.**|
|Работа с нестандартными позами|4|Справляется хорошо, если видит хотя бы часть тела.|
|Темпоральная стабильность|1|Отсутствует (single-frame).|
|Применимость к циклическим движениям|1|Не использует темпоральные priors.|
|Валидация на фитнесе|1|Только общие датасеты.|
|Робастность к truncation|4|Справляется аналогично окклюзиям.|
|Возможность fine-tuning|3|Требует генерации псевдоразметки сегментации (DensePose) для Fit3D.|
|Доступность кода и весов|5|Официальный код работает отлично.|

**Конкретные элементы для заимствования (Привязка к направлению 🅰 и 🅲):**

- **Трюк с синтетической окклюзией (Направление 🅰):** Мы не возьмем тяжелую сеть PARE, но мы **обязаны** взять их метод аугментации. При обучении нашей ультралегкой 2D-сети (<10 мс) мы должны программно накладывать поверх людей в датасете вырезанные PNG-картинки гантелей, штанг и стоек тренажеров. Это заставит нашу маленькую сеть выучить робастность без усложнения архитектуры.
    
- **Идея Part-based pooling (Направление 🅲):** В архитектуре нашего Head'а мы можем использовать легкий Spatial Attention, чтобы направлять сеть на нужные участки изображения, не делая полного Global Average Pooling.
    

---

### 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ

- Исправляет уязвимости **SPIN** и **HMR**.
    
- Является 3D-эквивалентом идей из **TokenPose** (который тоже решал проблему окклюзий, но для 2D-точек через токены трансформера).
    
- Более новые работы (CLIFF) берут робастность PARE, но добавляют понимание положения камеры.
    

---

### 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review)

|**Критерий**|**1–10**|**Комментарий**|
|---|---|---|
|Новизна|9|Явное моделирование внимания к частям тела для 3D SMPL — отличная идея.|
|Техническая глубина|8|Прочная и хорошо обоснованная архитектура.|
|Экспериментальная строгость|9|Специальный датасет (3DPW-OCC) отлично доказывает поинт.|
|Ясность изложения|10|Статья читается как учебник.|
|Воспроизводимость|10|Выложены веса и код для подготовки датасетов.|
|Значимость для community|9|Стала базой (backbone) для многих последующих работ.|
|Релевантность edge-deployment|1|Слишком тяжелая.|

**Общая оценка:** Accept (как мощный концептуальный референс для борьбы с окклюзиями).

---

### 11. КЛЮЧЕВЫЕ ВЫВОДЫ

1. Главный вклад статьи: Использование 2D-масок сегментации частей тела для управления локальным извлечением признаков (part-guided attention), что решает проблему сбоев при сильных перекрытиях.
    
2. Самое сильное техническое решение: Отвязка признаков видимых частей тела от скрытых. Перекрытая нога больше не ломает предсказание видимой руки.
    
3. Главный недостаток: Отсутствие темпоральной памяти (дрожание на видео) и высокая вычислительная сложность (абсолютно не подходит для Edge).
    
4. Самый полезный элемент для SmartRep: **Методика Synthetic Occlusion Augmentation**. Наложение случайных объектов на кадры при обучении — это самый дешевый способ внедрить "фитнес-робастность" к снарядам в наши легкие edge-модели (направление 🅰).
    
5. Что изучить дополнительно после этой статьи: CLIFF (чтобы понять проблему ракурсов), TokenPose (похожая идея для 2D).
    
6. Приоритет для нашего исследования: **СРЕДНИЙ** (важна только концепция, код не берем).
    
7. Связанные статьи: TokenPose, VIBE.
    

---

## ИТОГОВАЯ КАРТОЧКА

Markdown

````
---
title: "PARE: Part Attention Regressor for 3D Human Body Estimation"
title_ru: "PARE: Регрессор с вниманием к частям тела для 3D-оценки позы человека"
authors: [Kocabas, Huang, Hilliges, Black]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "arXiv:2104.08527"
tags: [pose_estimation, biomech, occlusion, validation]
pose_dim: "smpl"
strategy: "single_stage"
backbone: "ResNet-50 / HRNet"
params_M: ~45.0
flops_G: "High"
latency_ms: "High"
hw_tested: "Titan RTX"
relevance_to_smartrep: 2
direction: "A, C"
priority: "MEDIUM"
---

# PARE: Регрессор с вниманием к частям тела для 3D-оценки позы человека

## TL;DR
Статья элегантно решает проблему перекрытий (occlusions) при оценке 3D-меша (SMPL). Вместо использования глобальных фичей изображения, PARE предсказывает маски сегментации для каждой части тела и извлекает признаки локально. Это не дает перекрытой ноге "сломать" предсказание видимой руки.

## Проблема
Существующие архитектуры (HMR, SPIN) используют Global Average Pooling для извлечения вектора признаков всего человека. Если человек частично перекрыт (например, стойкой для приседаний), глобальный вектор безвозвратно искажается, и регрессор выдает искорёженный 3D-скелет даже для полностью видимых частей тела.

## Гипотеза / вклад
- Явное моделирование внимания к отдельным частям тела (Part-Guided Attention).
- Обучение на синтетически перекрытых датасетах.
- Изоляция признаков: локальный пулинг гарантирует, что предсказание сустава опирается только на пиксели, принадлежащие этому суставу.

## Метод
Входное фото обрабатывается через CNN (ResNet/HRNet). Отдельная сверточная ветвь предсказывает $K$ 2D-масок вероятности для частей тела. Эти маски умножаются на исходные карты признаков (soft-pooling), создавая $K$ независимых векторов. Затем итеративный регрессор (MLP) собирает из этих локальных векторов финальные параметры SMPL (углы суставов и форму).

## Датасеты
| Датасет | Размер | Метрика | Результат |
|---|---|---|---|
| 3DPW-OCC | - | PA-MPJPE | 57.3 мм (SOTA) |
| MPI-INF-3DHP| 1.3M | MPJPE | 79.1 мм |

## Сравнение с SOTA
PARE на базе HRNet установил абсолютный рекорд робастности в 2021 году, превзойдя SPIN на 15.5 мм на датасете с жесткими окклюзиями (3DPW-OCC), практически не теряя точности на полностью видимых людях.

## Edge-метрики
| Параметр | Значение | hw |
|---|---|---|
| Latency | НЕ УКАЗАНО | Катастрофично для мобильного CPU |
| FPS | ~30 | Мощный GPU |
| Params | ~45M | - |
| FLOPs | НЕ УКАЗАНО | Высокие |

## Ограничения / слабости
Модель является покадровой (single-frame), из-за чего на видео наблюдается сильное дрожание (jitter) суставов. Архитектура требует вычисления карт сегментации высокого разрешения, что крайне затратно по памяти и времени на мобильных процессорах.

## Релевантность SmartRep
Саму модель мы использовать не можем (ограничения <10 мс, <30 МБ). Однако фитнес-специфика SmartRep подразумевает постоянные перекрытия штангой и тренажерами. **Концепция искусственных окклюзий (направление 🅰)** — наложение случайных текстур (блинов от штанги, грифов) при обучении нашей ультралегкой edge-модели — это обязательный трюк, который мы заимствуем из PARE.

## Gap для нас
Работа сфокусирована исключительно на статических кадрах, при этом **не рассматривается** темпоральное сглаживание (jitter-free видео), оптимизация архитектуры для мобильного real-time инференса, а также специфика нестандартных биомеханических поз (только повседневные окклюзии).

## Ссылки на связанные статьи
[[TokenPose]] (аналог для 2D), [[VIBE]]

## Код / данные
- Repo: https://github.com/mkocabas/PARE
- Pretrained: Да
- Датасет: 3DPW, MPI-INF-3DHP

## BibTeX
```bibtex
@inproceedings{kocabas2021pare,
  title={PARE: Part Attention Regressor for 3D Human Body Estimation},
  author={Kocabas, Muhammed and Huang, Chun-Hao P and Hilliges, Otmar and Black, Michael J},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={11127--11137},
  year={2021}
}
````

```
---
Мы рассмотрели почти все крупные архитектурные концепции. У нас остались самые критичные для проекта **Edge-модели (SOTA для мобилок)**.

Предлагаю разобрать **RTMPose-Lite** (текущий чемпион по <10 ms) или **BlazePose** от Google (работает в браузере и на телефонах). Выбирай!
```