
---
## title: "Lite-HRNet: A Lightweight High-Resolution Network" 


title_ru: "Lite-HRNet: облегчённая сеть с высоким разрешением" authors: [Yu, Xiao, Gao, Yuan, Zhang, Sang, Wang] year: 2021 venue: "CVPR 2021" venue_tier: "A*" doi: "arXiv:2104.06403" tags: [pose_estimation, edge] pose_dim: "2d" strategy: "top_down" backbone: "HRNet-inspired + Shuffle blocks + Conditional Channel Weighting" params_M: 1.1 flops_G: 0.20 latency_ms: null hw_tested: "8× NVIDIA V100 GPU (только training); inference benchmarks на CPU/mobile отсутствуют" relevance_to_smartrep: 4 direction: "A" priority: "HIGH"

# Глубокий анализ: Lite-HRNet — A Lightweight High-Resolution Network

## 1. МЕТАДАННЫЕ

|Поле|Значение|
|---|---|
|**Оригинальное название**|Lite-HRNet: A Lightweight High-Resolution Network|
|**Перевод**|Lite-HRNet: облегчённая сеть с высоким разрешением|
|**Авторы**|Changqian Yu¹,², Bin Xiao², Changxin Gao¹, Lu Yuan², Lei Zhang², Nong Sang¹*, Jingdong Wang²*|
|**Аффилиации**|¹Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, **Huazhong University of Science and Technology** + ²**Microsoft**|
|**Corresponding authors**|Nong Sang (Huazhong), Jingdong Wang (Microsoft)|
|**Note**|«This work is done when C. Yu was an intern at Microsoft Research, Beijing, P.R. China»|
|**Год публикации**|CVPR 2021, pages 10440-10450|
|**Venue**|**CVPR 2021** (IEEE/CVF Conference on Computer Vision and Pattern Recognition)|
|**Venue tier**|**A* (CORE Rank)** — топовая CV-конференция, единственная с таким рангом среди всех разобранных edge-моделей|
|**arXiv ID**|[2104.06403v1 (13 Apr 2021)](https://arxiv.org/abs/2104.06403)|
|**Код / веса**|**[github.com/HRNet/Lite-HRNet](https://github.com/HRNet/Lite-HRNet)** — официальная PyTorch реализация + интеграция в **MMPose**|
|**Цитирований**|~900+ citations (по Google Scholar, 2025); **самая цитируемая** из разобранных edge моделей (кроме BlazePose)|

**[МОЙ КОММЕНТАРИЙ]** Lite-HRNet — __единственная peer-reviewed CVPR (A_)_* статья в нашей коллекции edge-моделей. Группа из Microsoft Research Asia + Huazhong University — та же команда, которая создала оригинальный HRNet (Ke Sun et al., CVPR 2019) и HigherHRNet. Jingdong Wang — один из architect'ов HRNet линии. Это даёт **наивысшую academic credibility** среди всех разобранных моделей.

---

## 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)

Lite-HRNet решает проблему **высокой вычислительной стоимости pointwise 1×1 convolutions в lightweight networks**, особенно при применении ShuffleNet-style блоков к HRNet. Авторы делают **два шага**: (1) сначала показывают, что наивная комбинация shuffle blocks + HRNet (**«naive Lite-HRNet»**) уже обходит MobileNet, ShuffleNet и Small HRNet; (2) затем вводят **Conditional Channel Weighting (CCW)** — lightweight unit линейной сложности $\Theta(C)$ (vs квадратичная $\Theta(C^2)$ для 1×1 conv), который заменяет dense pointwise convolutions. «The complexity of channel weighting is linear w.r.t the number of channels and lower than the quadratic time complexity for pointwise convolutions». Ключевая идея — использовать **веса, вычисленные из всех каналов всех разрешений** (в параллельных branches HRNet) как **bridge для обмена информацией** между channels и resolutions.

**Главная гипотеза:** высокое разрешение (HRNet принцип) нужно и для маленьких моделей, причём information exchange через weight-based operations может быть значительно дешевле conventional 1×1 convolutions.

**[МОЙ КОММЕНТАРИЙ]** Архитектурная новизна **существенная**: (а) CCW как замена 1×1 conv — элегантный mathematical trick; (б) эксплуатация readily available multi-resolution features в HRNet для generating weights — синергетическое решение, которое работает **только** в HRNet-подобной архитектуре. Это не просто «меньший HRNet», а **качественно новый building block**.

---

## 3. АРХИТЕКТУРА И МЕТОД

### 3.1. Тип подхода

|Аспект|Классификация|
|---|---|
|**Размерность**|2D (17 COCO keypoints / 16 MPII keypoints)|
|**Стратегия**|**Top-down** «Following the state-of-the-art top-down framework» — требует внешний person detector|
|**Регрессия**|**Heatmap-based** «estimates K heatmaps to indicate the keypoint location confidence» с post-gaussian фильтром и quarter-offset refinement|
|**Темпоральность**|**Per-frame** (нет temporal модуля)|
|**Backbone**|**Кастомный HRNet-inspired CNN** с Conditional Channel Weighting блоками|

### 3.2. Описание архитектуры

**Общий pipeline:**

```
Input image 256×256 (или 256×192 / 384×288)
          │
          ▼
┌─────────────────────────────┐
│ Stem (downsample to 64×64)  │
│ - 3×3 Conv, stride 2        │
│ - 1× Shuffle block          │
└─────────────────────────────┘
          │
          ▼
   Initial resolution 4× (64×64), 32 channels
          │
          ▼
┌──────────────────────────────────────────┐
│ Stage 2 (2 modules for -18 / 3 for -30)  │
│  Parallel branches: 4× (40 ch), 8× (80 ch)│
│  Each module:                            │
│   - 2× CCW blocks                        │
│   - 1× multi-resolution fusion           │
└──────────────────────────────────────────┘
          │
          ▼
┌──────────────────────────────────────────┐
│ Stage 3 (4 modules for -18 / 8 for -30)  │
│  Branches: 4× (40), 8× (80), 16× (160)   │
│  Each module: 2× CCW + 1× fusion         │
└──────────────────────────────────────────┘
          │
          ▼
┌──────────────────────────────────────────┐
│ Stage 4 (2 modules for -18 / 3 for -30)  │
│ Branches: 4× (40), 8× (80), 16× (160),   │
│           32× (320)                      │
│  Each module: 2× CCW + 1× fusion         │
└──────────────────────────────────────────┘
          │
          ▼
  Highest resolution branch (64×64, 40 ch)
          │
          ▼
   1×1 Conv head
          │
          ▼
  K heatmaps (K=17 для COCO, 16 для MPII)
          │
          ▼
  argmax + quarter-offset refinement
          │
          ▼
  K keypoints (x, y)
```

**Conditional Channel Weighting (CCW) block:**

Figure 1 (b) из статьи описывает структуру CCW block:

```
Input (C channels)
     │
     ▼
Channel split (C/2 + C/2)
     │            │
     ▼            ▼
   branch 1    branch 2
     │         (identity pass-through)
     ▼
Channel weighting (H function):
 ├─ cross-resolution weights (from all branches)
 │  AAP(X_1), AAP(X_2), ..., X_s → concat
 │       → 1×1 Conv → ReLU → 1×1 Conv → sigmoid
 │       → (W_1, ..., W_s)
 │       → upsample to corresponding resolutions
 │
 └─ spatial weights (F function):
    GAP(X_s) → FC → ReLU → FC → sigmoid → w_s
     │
     ▼
Element-wise multiplication with input
     │
     ▼
3×3 Depthwise Conv
     │
     ▼
Channel weighting (second CCW operation)
     │
     ▼
Concatenation with branch 2
     │
     ▼
Channel shuffle
     │
     ▼
Output (C channels)
```

**Структура Lite-HRNet (Table 1 из статьи):**

|Layer|Output size|Operator|Resolution branch|Channels|Repeat (L-18 / L-30)|
|---|---|---|---|---|---|
|Image|256×256|—|1×|3|—|
|Stem|64×64|Conv2d stride 2 + Shuffle block|4×|32|1|
|Stage 2|64×64|2× CCW + 1× fusion|4× / 8×|40 / 80|**2 / 3 modules**|
|Stage 3|64×64|2× CCW + 1× fusion|4× / 8× / 16×|40 / 80 / 160|**4 / 8 modules**|
|Stage 4|64×64|2× CCW + 1× fusion|4× / 8× / 16× / 32×|40 / 80 / 160 / 320|**2 / 3 modules**|

**Размер модели (из Table 1):**

- **Lite-HRNet-18: 1.1M params, 273.4M FLOPs** (256×256 input, MPII)
- **Lite-HRNet-30: 1.8M params, 425.3M FLOPs** (256×256 input, MPII)

**Ключевое Computational Complexity Comparison (Table 2):** Для input shape X₁=64×64×40 и X₂=32×32×80:

|Operation|Single-res|Cross-res|Theory|**FLOPs**|
|---|:-:|:-:|---|--:|
|1×1 convolution|✓||$\sum N_s C_s^2$|**12.5M**|
|3×3 DepthwiseConv|✓||$\sum 9 N_s C_s$|2.1M|
|CCW (spatial only)|✓||$\sum (2C_s^2 + N_s C_s)$|**0.25M**|
|CCW (multi-res only)||✓|$2(\sum C_s)^2 + \sum N_s C_s$|**0.26M**|
|**CCW (full)**|✓|✓|$2(\sum C_s)^2 + 2\sum(C_s^2 + N_s C_s)$|**0.51M**|

«the conditional channel weighting unit can reduce the shuffle block's whole computation complexity by 80%».

**[МОЙ КОММЕНТАРИЙ]** CCW — **24.5× дешевле** 1×1 conv (12.5M → 0.51M FLOPs) для этого примера. Это reference case показывает, почему CCW — **centerpiece contribution**.

### 3.3. Визуальные материалы из статьи

|#|Рисунок/Таблица|Содержание|Что даёт|
|---|---|---|---|
|**Fig. 1**|Building block: (a) shuffle block (b) CCW block|Визуальное сравнение архитектур|Главная концептуальная диаграмма|
|**Fig. 2**|Small HRNet architecture|«It consists of a high-resolution stem as the first stage, gradually adding high-to-low resolution streams as the main body»|Baseline архитектура|
|**Fig. 3**|Qualitative results on COCO|«containing viewpoint change, occlusion, and multiple persons»|Демонстрация robustness|
|**Fig. 4**|Complexity vs accuracy scatter plots|Сравнение на COCO val и MPII val|Визуализация Pareto frontier|
|**Table 1**|Lite-HRNet structure|Детальная архитектурная спецификация|Reproducibility|
|**Table 2**|Complexity comparison|CCW vs 1×1 conv vs DepthwiseConv|Обоснование motivation|
|**Table 3**|COCO val comparisons|17 методов (большие + маленькие)|Основная сравнительная таблица|
|**Table 4**|COCO test-dev comparisons|SOTA сравнение|Независимая evaluation|
|**Table 5**|MPII val comparisons|5 lightweight методов|Cross-dataset validation|
|**Table 6**|Ablation: CCW vs 1×1 conv|Ключевой ablation|Валидация главного contribution|
|**Table 7**|Ablation: spatial vs multi-res weights|Декомпозиция CCW|Какой компонент важнее|
|**Table 8**|Semantic segmentation on Cityscapes|Universality check|Применимость за пределами pose|

**[МОЙ КОММЕНТАРИЙ]** Визуальные материалы **высокого качества и информативны**: Figure 1 — отличная схематическая иллюстрация CCW, Figure 4 — наглядный Pareto plot, extensive tables. **Лучшее визуальное сопровождение** среди всех разобранных моделей.

### 3.4. Математическая формализация

**1×1 convolution** (стандартная): $$Y = W \otimes X$$ где $X$ — input maps, $W$ — 1×1 convolutional kernel. Complexity: $\Theta(C^2)$.

**Element-wise channel weighting** (CCW замена): $$Y_s = W_s \odot X_s$$ где $W_s \in \mathbb{R}^{W_s \times H_s \times C_s}$ — 3D weight tensor, $\odot$ — element-wise multiplication. Complexity: $\Theta(C)$.

**Cross-resolution weight computation** (H function): $$(W_1, W_2, \ldots, W_s) = H_s(X_1, X_2, \ldots, X_s)$$ Реализация $H_s$: $$\text{AAP}(X_1), \text{AAP}(X_2), \ldots, X_s \to \text{Concat} \to 1\times1\text{Conv} \to \text{ReLU} \to 1\times1\text{Conv} \to \sigma$$ где AAP — Adaptive Average Pooling до размера $W_s \times H_s$, $\sigma$ — sigmoid.

**Spatial weight computation** (F function): $$w_s = F_s(X_s)$$ Реализация $F_s$: $$X_s \to \text{GAP} \to \text{FC} \to \text{ReLU} \to \text{FC} \to \sigma \to w_s$$

**Output:** для элемента в позиции $i$ и resolution $s$: $$y_{si} = w_{si} \odot x_{si}$$

**Loss:** MSE между предсказанными и target heatmaps: $$\mathcal{L} = \frac{1}{K} \sum_{k=1}^{K} |H_k - H_k^_|_2^2$$ где $H_k$ — predicted heatmap для k-th keypoint, $H_k^_$ — target Gaussian heatmap.

**[МОЙ КОММЕНТАРИЙ]** Математика CCW **элегантна**: линейная complexity, интерпретируемая как attention-based channel mixing. Формулировка через H и F functions (cross-resolution + spatial) — **клональная концепция**, которую можно портировать в другие multi-resolution архитектуры.

### 3.5. Ключевые технические решения

|Категория|Приём|Эффект|
|---|---|---|
|**Архитектурный**|**Conditional Channel Weighting** (CCW)|Главный contribution: замена квадратичной 1×1 conv на линейную channel weighting|
|**Архитектурный**|Cross-resolution weighting (H function)|Использует все параллельные HRNet branches для weight generation|
|**Архитектурный**|Spatial weighting (F function)|Global context через GAP + FC|
|**Архитектурный**|Комбинация CCW + shuffle block|Сохраняет структуру ShuffleNet-подобных блоков|
|**Архитектурный**|Separable convolutions в multi-resolution fusion|Замена dense conv в HRNet fusion|
|**Архитектурный**|HRNet high-to-low resolution pattern|4 параллельных branches от 4× до 32×|
|**Training**|Adam optimizer, initial LR 2e⁻³|Стандартный пайплайн|
|**Training**|8 NVIDIA V100 GPUs, batch size 32 per GPU|Tensor parallel|
|**Training**|Trained from scratch (no ImageNet pretrain)|**ВАЖНО:** Lite-HRNet-18/-30 обучаются без ImageNet pretrain, в отличие от EfficientPose/OpenPose|
|**Augmentation**|Random rotation (-30°, 30°), random scale (0.75, 1.25), random flipping|Стандарт для pose|
|**Augmentation**|Half body data augmentation for COCO|COCO-specific trick|
|**Inference**|Post-gaussian filter + quarter-offset refinement|Sub-pixel precision|
|**Inference**|Average original + flipped images' heatmaps|Test-time augmentation|
|**Detector**|«person detectors provided by SimpleBaseline»|Не end-to-end; требует отдельный detector|
|**НЕ применяется**|NAS, distillation, INT8 quantization|Не упомянуты ни как выполненные, ни как future work|

**[МОЙ КОММЕНТАРИЙ]** Один из самых выдающихся аспектов — «trained from scratch». Большинство lightweight моделей критически зависят от ImageNet pretraining, что не всегда доступно (особенно для custom backbones). Lite-HRNet — **self-sufficient в training**, что упрощает fine-tuning на custom датасетах.

---

## 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

### 4.1. Датасеты

|Датасет|Размер (train/val/test)|Тип|Разрешение|Домен|Public?|
|---|---|---|---|---|---|
|**COCO**|train2017: 57K images / 150K persons; val2017: 5K images; test-dev2017: 20K images; 17 keypoints|2D|256×192 или 384×288|General (everyday scenes)|✅|
|**MPII Human Pose**|25K images, 40K+ person instances; 12K test instances; 16 keypoints|2D|256×256|General (real-world activities)|✅|
|**Cityscapes**|2,975 train / 500 val / 1,525 test; 19 classes|Segmentation|512×1024|Street scenes|✅|

**[МОЙ КОММЕНТАРИЙ]** Использование **двух pose datasets (COCO + MPII)** — значительное улучшение в экспериментальной строгости по сравнению с EfficientPose (только MPII) и MovePose (только COCO). Cityscapes — бонус для демонстрации универсальности.

### 4.2. Метрики

|Категория|Используется?|Детали|
|---|---|---|
|**PCKh@0.5** (MPII)|✅|«PCKh@0.5 (head-normalized probability of correct keypoint)»|
|**PCKh@0.1**|❌|Не используется (EfficientPose использовал)|
|**OKS-mAP AP/AR**|✅|AP (mean at OKS=0.50-0.95), AP50, AP75, AR; APM (medium), APL (large)|
|**MPJPE / PA-MPJPE**|❌|2D метод|
|**MAE / RMSE по углам суставов**|❌ **(critical gap)**|—|
|**MPJVE / MPJAE (jitter)**|❌|—|
|**FLOPs**|✅|Measured для pose network (без detection)|
|**Params (M)**|✅|—|
|**Inference Time (mobile/CPU)**|❌ **(critical gap)**|**Только FLOPs! Нет latency на реальном hw**|
|**Inference Time (GPU)**|❌|Не измеряется|
|**Energy**|❌|—|
|**Cross-dataset generalization**|✅ частично|COCO + MPII (обучаются отдельно, но двумя датасетами)|
|**Semantic segmentation (Cityscapes)**|✅|Для демонстрации универсальности|
|**Occlusion accuracy**|❌|Не измеряется explicitly|

**Критически:** ❌ **нет валидации на фитнес-датасетах**; ❌ **нет угловых метрик**; ❌ **нет mobile latency benchmarks** (хотя это статья об edge-модели!); ✅ **двойная валидация на COCO + MPII** — значительно лучше EfficientPose и MovePose.

### 4.3. Сравнительная таблица результатов

#### COCO val (Table 3, 256×192 input):

|Метод|Backbone|Pretrain|Input|Params|GFLOPs|**AP**|AP₅₀|AP₇₅|AP_M|AP_L|AR|
|---|---|:-:|---|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
|**Large networks:**||||||||||||
|8-stage Hourglass|—|N|256×192|25.1M|14.3|66.9|—|—|—|—|—|
|CPN|ResNet-50|Y|256×192|27.0M|6.20|68.6|—|—|—|—|—|
|SimpleBaseline|ResNet-50|Y|256×192|34.0M|8.90|70.4|88.6|78.3|67.1|77.2|76.3|
|HRNetV1|HRNet-W32|N|256×192|28.5M|7.10|**73.4**|89.5|80.7|70.2|80.1|78.9|
|DARK|HRNet-W48|Y|128×96|63.6M|3.6|71.9|89.1|79.6|69.2|78.0|77.9|
|**Small networks:**||||||||||||
|MobileNetV2 1×|MobileNetV2|Y|256×192|9.6M|1.48|64.6|87.4|72.3|61.1|71.2|70.7|
|MobileNetV2 1×|MobileNetV2|Y|384×288|9.6M|3.33|67.3|87.9|74.3|62.8|74.7|72.9|
|ShuffleNetV2 1×|ShuffleNetV2|Y|256×192|7.6M|1.28|59.9|85.4|66.3|56.6|66.2|66.4|
|ShuffleNetV2 1×|ShuffleNetV2|Y|384×288|7.6M|2.87|63.6|86.5|70.5|59.5|70.7|69.7|
|Small HRNet|HRNet-W16|N|256×192|1.3M|0.54|55.2|83.7|62.4|52.3|61.0|62.1|
|Small HRNet|HRNet-W16|N|384×288|1.3M|1.21|56.0|83.8|63.0|52.4|62.6|62.6|
|DY-MobileNetV2|DY-MobileNetV2|Y|256×192|16.1M|1.01|68.2|88.4|76.0|65.0|74.7|74.2|
|DY-ReLU|MobileNetV2|Y|256×192|9.0M|1.03|68.1|88.5|76.2|64.8|74.3|—|
|**Lite-HRNet-18**|Lite-HRNet-18|N|256×192|**1.1M**|**0.20**|64.8|86.7|73.0|62.1|70.5|71.2|
|**Lite-HRNet-18**|Lite-HRNet-18|N|384×288|**1.1M**|**0.45**|67.6|87.8|75.0|64.5|73.7|73.7|
|**Lite-HRNet-30**|Lite-HRNet-30|N|256×192|**1.8M**|**0.31**|67.2|88.0|75.0|64.3|73.1|73.3|
|**Lite-HRNet-30**|Lite-HRNet-30|N|384×288|**1.8M**|**0.70**|**70.4**|**88.7**|**77.7**|**67.5**|**76.3**|**76.2**|

**Жирным** — лучшие результаты для small networks.

**Ключевые сравнения:**

|Сравнение|Результат|
|---|---|
|Lite-HRNet-30 (256×192) vs **MobileNetV2 1×**: +2.6 AP, **5× меньше GFLOPs** (0.31 vs 1.48), **5× меньше params** (1.8M vs 9.6M)|✅ Существенное улучшение|
|Lite-HRNet-18 vs **ShuffleNetV2 1×**: +4.9 AP, **6.4× меньше GFLOPs** (0.20 vs 1.28)|✅ Существенное улучшение|
|Lite-HRNet-18 vs **Small HRNet-W16**: +9.6 AP (64.8 vs 55.2) при 2.7× меньше GFLOPs|✅ Огромное улучшение|
|Lite-HRNet-30 (384×288) vs **HRNetV1-W32** (large): -3.0 AP (70.4 vs 73.4) но **10× меньше GFLOPs** (0.70 vs 7.10) и **16× меньше params** (1.8M vs 28.5M)|✅ Отличный trade-off|

#### COCO test-dev (Table 4):

|Метод|Backbone|Input|Params|GFLOPs|AP|AP₅₀|AP₇₅|
|---|---|---|:-:|:-:|:-:|:-:|:-:|
|**Large networks (лучшие):**||||||||
|HRNetV1|HRNet-W48|384×288|63.6M|32.9|75.5|92.5|83.3|
|DARK|HRNet-W48|384×288|63.6M|32.9|**76.2**|92.5|83.6|
|**Small networks:**||||||||
|MobileNetV2 1×|MobileNetV2|384×288|9.8M|3.33|66.8|90.0|74.0|
|ShuffleNetV2 1×|ShuffleNetV2|384×288|7.6M|2.87|62.9|88.5|69.4|
|Small HRNet|HRNet-W16|384×288|1.3M|1.21|55.2|85.8|61.4|
|**Lite-HRNet-18**|Lite-HRNet-18|384×288|1.1M|0.45|66.9|89.4|74.4|
|**Lite-HRNet-30**|Lite-HRNet-30|384×288|1.8M|0.70|**69.7**|**90.7**|**77.5**|

**Lite-HRNet-30 на COCO test-dev: 69.7 AP** — лучшее среди small networks с огромным отрывом.

#### MPII val (Table 5, 256×256 input):

|Метод|Params|GFLOPs|**PCKh**|
|---|:-:|:-:|:-:|
|MobileNetV2 1×|9.6M|1.97|85.4|
|MobileNetV3 1×|8.7M|1.82|84.3|
|ShuffleNetV2 1×|7.6M|1.70|82.8|
|Small HRNet-W16|1.3M|0.72|80.2|
|**Lite-HRNet-18**|1.1M|0.27|86.1|
|**Lite-HRNet-30**|1.8M|0.42|**87.0**|

**Lite-HRNet-30 vs MobileNetV2: +1.6 PCKh при 4.7× меньше GFLOPs.**

**[МОЙ КОММЕНТАРИЙ — критический разбор]:**

1. **Lite-HRNet определяет новую Pareto frontier для edge pose estimation в 2021 году.** Нет ни одной small модели, одновременно более точной И более эффективной.
    
2. **Trained from scratch!** «pretrain = pretrain the backbone on ImageNet» — в Table 3 Lite-HRNet помечен «N» (без pretraining), в отличие от MobileNetV2, ShuffleNetV2, DY-MobileNetV2. Это делает результаты **ещё более впечатляющими**.
    
3. **Сравнения **честные**:** все модели используют тот же person detector (SimpleBaseline), тот же input size, все trained/evaluated по стандартному пайплайну.
    
4. **Ограничение:** сравниваются **только на COCO/MPII** — нет fitness dataset validation, нет угловых метрик.
    
5. **Главный вопрос для нас:** при 0.20-0.70 GFLOPs, будет ли Lite-HRNet работать <10 ms на Snapdragon 8 Gen 2? Грубая оценка: 0.45 GFLOPs / 50 GFLOPS (Snapdragon CPU) ≈ 9 ms (без квантизации). **Теоретически в пределах нашего бюджета!** Но **в статье НЕТ direct mobile measurements**.
    

### 4.4. Ablation Study

#### Table 6: CCW vs 1×1 convolution:

|Model|Params|COCO MFLOPs|COCO AP|MPII MFLOPs|MPII PCKh|
|---|:-:|:-:|:-:|:-:|:-:|
|Small HRNet-W16|1.3M|551.7|55.2|735.5|80.2|
|Naive Lite-HRNet-18|0.7M|194.8|62.5|259.6|85.3|
|Wider Naive Lite-HRNet-18|1.3M|311.1|**65.7**|418.7|**86.8**|
|Wider NLite-HRNet-18 (1× 1×1 conv. dropped)|1.1M|248.4|63.6|331.0|86.0|
|Wider NLite-HRNet-18 (2× 1×1 conv. dropped)|0.9M|188.9|61.3|251.7|85.3|
|**Lite-HRNet-18 (CCW full)**|1.1M|205.2|64.8|273.4|86.1|
|**Lite-HRNet-30**|1.8M|319.2|**67.2**|425.3|**87.0**|

**Ключевые выводы:**

- «dropping two 1×1 convolutions leads to 4.4 AP points decrease»: 1×1 conv важны для обмена информацией
- «conditional channel weighting improves by 3.5 AP points over dropping two 1×1 convolutions with only increasing 16M FLOPs»: CCW восстанавливает большую часть этих 4.4 AP при значительно меньшем compute
- Naive Lite-HRNet-18 уже обходит Small HRNet-W16 **на +7.3 AP** — shuffle blocks + HRNet — хорошая комбинация сама по себе

#### Table 7: Spatial vs multi-resolution weights:

|Model|Params|COCO MFLOPs|COCO AP|MPII MFLOPs|MPII PCKh|
|---|:-:|:-:|:-:|:-:|:-:|
|Wider NLite-HRNet-18 (2× 1×1 conv. dropped)|0.9M|188.9|61.3|251.7|85.3|
|Lite-HRNet-18 (CCW only w/ spatial weights)|0.9M|190.6|62.6 (+1.3)|254.0|85.4|
|Lite-HRNet-18 (CCW only w/ multi-res weights)|0.9M|203.5|63.0 (+1.7)|271.1|85.8|
|**Lite-HRNet-18 (full CCW)**|1.1M|205.2|**64.8 (+3.5)**|273.4|**86.1**|

**Ключевые выводы:**

- «spatial weights achieve 1.3 AP increase, and the multi-resolution weights obtain 1.7 point gain»
- **Multi-resolution weights дают больший вклад**, чем spatial (1.7 vs 1.3), но оба необходимы
- Оба вместе: 3.5 AP — суммируются суб-аддитивно (1.3 + 1.7 = 3.0 vs actual 3.5 — небольшая синергия)

**[МОЙ КОММЕНТАРИЙ]** Ablations — **очень качественные и чётко separated**. Доказывают, что каждый компонент CCW necessary. Лучшие ablations среди всех разобранных edge моделей.

#### Table 8: Semantic Segmentation on Cityscapes (бонус)

|Method|Params|GFLOPs|Val mIoU|Test mIoU|
|---|:-:|:-:|:-:|:-:|
|**Lite-HRNet-18**|1.1M|1.95|73.8|72.8|
|**Lite-HRNet-30**|1.8M|3.02|**76.0**|**75.3**|
|BiSeNetV1 B|49.0M|55.3|74.8|74.7|
|MobileNetV3|1.5M|9.1|72.4|72.6|
|MobileNetV2 0.5×|0.3M|3.73|68.6|—|

Lite-HRNet **обходит** большинство hand-crafted и NAS-based методов по mIoU при меньших GFLOPs. Это доказывает **универсальность CCW** за пределами pose estimation.

---

## 5. RESULTS & DISCUSSION

### 5.1. Основные выводы

1. **Naive combination shuffle blocks + HRNet** уже обходит MobileNet/ShuffleNet/Small HRNet на +7.3 AP (COCO) — **высокое разрешение критично для pose estimation, даже для маленьких моделей**.
    
2. **CCW замена 1×1 convolutions**: линейная complexity (vs квадратичная), 24.5× меньше FLOPs для reference example, и даже **улучшает accuracy** на 3.5 AP vs 2-dropped baseline.
    
3. **Multi-resolution weights** (использующие все parallel HRNet branches) дают больший вклад (+1.7 AP), чем spatial weights (+1.3 AP), но оба нужны.
    
4. **Lite-HRNet-30 (1.8M params, 0.70 GFLOPs, 384×288)**: 70.4 AP на COCO val — лучшее среди <10M params моделей в 2021 году.
    
5. **Universality**: те же блоки применимы к semantic segmentation (Cityscapes, 76.0 val mIoU).
    
6. **Контринтуитивный результат**: naive combination HRNet + shuffle уже существенно лучше MobileNet/ShuffleNet — это **не очевидно**, т.к. HRNet обычно ассоциируется с большими моделями.
    

### 5.2. Качественный анализ

- Figure 3: «Example qualitative results on COCO pose estimation: containing viewpoint change, occlusion, and multiple persons»
- **Failure cases систематически НЕ ОБСУЖДАЮТСЯ** в статье
- Нет per-joint analysis
- Нет occlusion-specific evaluation

**[МОЙ КОММЕНТАРИЙ]** Qualitative раздел **скудный** — всего одна figure без разбора failure cases. Это стандарт для CVPR, но пробел для нашего use case.

### 5.3. Edge-готовность (специально для SmartRep)

|Параметр|Значение в статье|Соответствие SmartRep|
|---|---|---|
|Hardware (test platform)|8× NVIDIA V100 GPU (только training); **нет inference benchmarks на CPU/mobile**|❌ Нет mobile замеров|
|Latency per frame|**НЕ УКАЗАНО для CPU/mobile**|❌ Главный пробел|
|FPS|—|—|
|Model size|Lite-HRNet-18: ~4.4 MB (FP32, 1.1M params); Lite-HRNet-30: ~7.2 MB|✅ Все <30 MB|
|FLOPs|**0.20-0.70 GFLOPs** (зависит от variant × resolution)|✅ Очень малые значения|
|Quantization support|Не обсуждается|❌|
|Mobile/embedded benchmarks|**Отсутствуют**|❌|

**[МОЙ КОММЕНТАРИЙ]** Статус парадоксальный: **одна из самых computationally efficient** моделей по FLOPs среди всех разобранных (0.20 GFLOPs для Lite-HRNet-18 256×192 — меньше, чем у MoveNet Lightning!), но **absolute absence of mobile latency benchmarks**. Community-реализации в **MMPose** и **ONNX** существуют, но в статье не упомянуты.

---

## 6. ПРЕИМУЩЕСТВА ПОДХОДА

**Архитектурные:**

- **Conditional Channel Weighting (CCW)** — математически элегантный trick, линейная vs квадратичная complexity
- **Использование multi-resolution features HRNet** для weight generation — синергетическое решение
- **HRNet pattern** — сохраняет высокое разрешение на всех stages (vs encoder-decoder)
- **Parameter efficiency**: 1.1M params (Lite-HRNet-18) — очень компактно
- **FLOPs efficiency**: 0.20 GFLOPs для 256×192 — **лучший в классе** на момент публикации
- **Universality**: работает для pose + semantic segmentation

**В обучении:**

- **Train from scratch** — не требует ImageNet pretrain
- **Adam optimizer**, стандартный recipe
- **Relatively fast training** на 8× V100

**Практические:**

- ✅ **CVPR 2021 peer-reviewed (A*)** — наивысший tier среди разобранных
- ✅ **Open-source PyTorch implementation**: [github.com/HRNet/Lite-HRNet](https://github.com/HRNet/Lite-HRNet)
- ✅ **Интеграция в MMPose** — готовые training configs и pretrained веса
- ✅ **~900 цитирований** — большая экосистема работ-продолжателей
- ✅ **Microsoft Research + Huazhong University** — high-credibility авторы
- ✅ **Та же команда**, что создала HRNet — deep understanding архитектуры

**По метрикам:**

- SOTA на COCO val для <2M params моделей в 2021
- Существенные улучшения по всем метрикам vs MobileNet/ShuffleNet/Small HRNet
- Cross-task validation (pose + segmentation)

---

## 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ

**Архитектурные / методологические:**

1. **Heavy reliance on multi-resolution fusion** — HRNet-style parallel branches добавляют memory overhead и затрудняют mobile deployment
2. **Top-down подход** — требует внешний person detector (дополнительный latency)
3. **Heatmap-based** — требует 64×64 output heatmaps и post-processing (gaussian filter + quarter-offset)
4. **Per-frame** — нет temporal модуля
5. **Sequential resolution branches** — хуже parallelizable на GPU/NPU, чем линейные backbones
6. **CCW sigmoid operations** — могут быть дорогими на mobile NPU (не все NPU оптимизированы под sigmoid)

**Экспериментальные пробелы:** 7. **ОТСУТСТВУЕТ mobile/CPU latency benchmark** — критический пробел для edge-paper на CVPR! 8. **Нет сравнения с BlazePose, MoveNet, EfficientPose** (BlazePose — apr 2020, до статьи; EfficientPose — apr 2020; MoveNet — may 2021, после arXiv submission) 9. **Нет угловых метрик** 10. **Нет occlusion-specific анализа** 11. **Нет cross-dataset transfer** (обучают отдельно на COCO и MPII) 12. **Нет INT8 quantization** (не упомянуто ни как выполненное, ни как future work) 13. **Нет distillation экспериментов** 14. **Нет energy/battery measurements**

**Что авторы не обсудили:** 15. **Реальное mobile inference latency** 16. **Performance под квантизацией** 17. **Fitness/exercise specific evaluation** 18. **Failure cases** — только 1 figure qualitative без анализа 19. **Robustness к occlusion/truncation** — не quantified

**Проблемы при переносе в фитнес-домен:** 20. **17 COCO keypoints (без foot keypoints)** или **16 MPII keypoints** — недостаточно для оценки техники приседаний 21. **Без temporal smoothing** будет jitter на видео тренировок 22. **Обучен только на general activities** — domain gap к фитнесу 23. **Требует person detector** — добавляет latency 24. **Multi-resolution fusion** может быть неоптимальным для mobile SoC (много memory transfers)

---

## 8. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

|Аспект|Оценка|Комментарий|
|---|:-:|---|
|Edge-готовность (<10 мс, <30 МБ)|**4**|0.20 GFLOPs для Lite-HRNet-18 256×192 — **потенциально лучшая** среди разобранных; 1.1M params — 4.4 MB FP32; **но нет direct mobile latency**|
|Точность по угловым метрикам|**2**|Нет угловых метрик. OKS-mAP — лучшая координатная метрика на COCO среди edge моделей, но не угловая|
|Устойчивость к самоокклюзии|**3**|Figure 3 показывает «occlusion», но нет quantitative eval. HRNet parallel branches теоретически должны помогать|
|Работа с нестандартными позами|**3**|Train на COCO + MPII — содержат разные активности, но не горизонтальные/инвертированные позы|
|Темпоральная стабильность|**1**|Per-frame, нет temporal модуля|
|Применимость к циклическим движениям|**1**|Нет periodicity priors|
|Валидация на фитнес-датасетах|**1**|Только COCO + MPII (general domain)|
|Робастность к truncation|**2**|Не измеряется explicitly|
|Возможность fine-tuning|**5**|**MMPose integration** — готовые training configs; train from scratch показывает self-sufficiency; BSD-style license (Apache 2.0 совместима)|
|Доступность кода и весов|**5**|Полный PyTorch репозиторий + MMPose + pretrained веса для COCO/MPII/Cityscapes|

**Итоговая релевантность для SmartRep: 4/5** (прекрасный kandidate для fine-tuning; peer-reviewed CVPR baseline).

### Конкретные элементы для заимствования

|Элемент|Что переносить|Модификации|Риски|
|---|---|---|---|
|**Lite-HRNet-18 (или -30)**|Готовая edge-модель с открытыми весами|Fine-tune на нашем фитнес-датасете через MMPose|HRNet-style архитектура может быть неоптимальна для mobile NPU|
|**Conditional Channel Weighting unit**|Как замена 1×1 conv в любой архитектуре|Адаптировать под наш backbone|Sigmoid может быть медленным на некоторых NPU|
|**Cross-resolution weighting H function**|Паттерн attention между разрешениями|Применить, если используем multi-resolution features|Требует multi-branch архитектуры|
|**Spatial weighting F function**|GAP + FC + ReLU + FC + sigmoid — аналог SE-block|Прямо применимо|Аналогично standard SE, ничего нового|
|**HRNet parallel branches pattern**|Multi-resolution представление|Использовать как основу нашей архитектуры|Memory-intensive для mobile; не все mobile компиляторы хорошо оптимизируют|
|**Trained from scratch recipe**|Adam + LR 2e-3 + standard augmentations|Прямо применимо|—|
|**Separable convolutions в multi-resolution fusion**|Замена dense conv|Прямо применимо|—|
|**Post-gaussian filter + quarter-offset refinement**|Sub-pixel decoding|Прямо применимо для heatmap-based|Дополнительные ~1-2 ms post-processing|
|**MMPose training pipeline**|Готовый training framework|Клонировать и адаптировать|—|
|**Half body data augmentation**|Augmentation trick для COCO|Применить к нашему датасету|Нужно адаптировать под 17/33 keypoint topology|

### Привязка к направлениям новизны (🅰/🅱/🅲)

- **🅰 (fitness fine-tuning + edge):** **УМЕРЕННО ПОДДЕРЖИВАЕТ** — Lite-HRNet предоставляет **лучшую edge baseline по params/FLOPs** среди разобранных, с открытым pipeline через MMPose. Для fine-tuning на фитнес-данных — один из двух лучших кандидатов (вместе с EfficientPose RT).
- **🅱 (temporal-aware для циклических):** **НЕ поддерживает** — per-frame модель. Можно добавить temporal модуль поверх highest-resolution branch.
- **🅲 (биомеханическая регуляризация):** **НЕ поддерживает** — нет anatomical constraints. Можно добавить как auxiliary loss.

**Особо важная цитата для нашего проекта**: «Lite-HRNet is the state-of-the-art in terms of complexity and accuracy trade-off on COCO and MPII human pose estimation» — authors явно позиционируют work как **efficient pose estimation**, а не просто «smaller HRNet».

---

## 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ

**Прямо использует / базируется на:**

- **HRNet** (Sun et al., CVPR 2019; Wang et al., TPAMI 2019) — архитектурная основа
- **ShuffleNet V2** (Ma et al., ECCV 2018) — shuffle block design
- **Small HRNet** — baseline (reduced depth/width HRNet)
- **MobileNet** (Howard et al.) — точка сравнения
- **Squeeze-and-Excitation** (Hu et al., CVPR 2018) — философская связь с F function
- **CondConv** (Yang et al., NeurIPS 2019) и **Dynamic Convolution** (Chen et al., CVPR 2020) — conceptual связь с conditional weighting
- **Dynamic Filter Networks** (Jia et al., NeurIPS 2016) — inspiration для weight generation
- **SimpleBaseline** (Xiao et al., ECCV 2018) — предоставляет person detectors + training recipe

**Прямо сравнивается с:**

- ✅ **MobileNetV2/V3** (small + large pretrained)
- ✅ **ShuffleNetV2**
- ✅ **Small HRNet-W16**
- ✅ **DY-MobileNetV2, DY-ReLU** (dynamic networks — тоже conditional)
- ✅ **Large networks**: Hourglass, CPN, SimpleBaseline, HRNetV1, DARK

**НЕ сравнивается с (важные пропуски):**

- ❌ **BlazePose** (Bazarevsky et al., June 2020) — BlazePose существовал до Lite-HRNet, но не включён
- ❌ **MoveNet** (May 2021) — одновременно с Lite-HRNet submission
- ❌ **EfficientPose** (Groos et al., April 2021) — одновременно с Lite-HRNet

**Связь с фитнес-работами:** отсутствует. Авторы фокусируются на general COCO/MPII.

**Расширения / последующие работы:**

- **Elite-HRNet** (Zhang et al., Nature Scientific Reports 2023) — multi-dimensional weighting на базе Lite-HRNet
- Многочисленные «Inspired by HRNet's success, Yu et al.» — Lite-HRNet часто используется как baseline в последующих работах

---

## 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review)

|Критерий|Оценка|Комментарий|
|---|:-:|---|
|Новизна|**8/10**|CCW как замена 1×1 conv — оригинальный contribution; использование multi-resolution features для weight generation — clever|
|Техническая глубина|**8/10**|Mathematically rigorous: сложностный анализ $\Theta(C^2)$ vs $\Theta(C)$, детальные формулы H и F functions, complete architecture spec|
|Экспериментальная строгость|**8/10**|Two pose datasets (COCO + MPII) + cross-task validation (Cityscapes); **extensive ablations** — Tables 6 + 7; но **нет mobile benchmarks** и **нет fair сравнения с BlazePose/EfficientPose**|
|Ясность изложения|**9/10**|Отличная структура, понятная motivation (quadratic vs linear complexity), хорошие figures|
|Воспроизводимость|**10/10**|Полный PyTorch repo, MMPose integration, pretrained веса, детальные hyperparameters; **лучшая среди всех разобранных**|
|Значимость для community|**9/10**|900+ цитирований, multiple extensions, MMPose production integration; fundamental contribution к efficient pose architectures|
|Релевантность edge-deployment|**5/10**|Lite-HRNet декларируется как edge model и **по FLOPs действительно лучший**, но **отсутствуют direct mobile latency benchmarks** — серьёзный пробел|

**Общая оценка:** **Strong Accept** для CVPR. Peer-review CVPR 2021 это подтвердил.

**[МОЙ КОММЕНТАРИЙ]** Lite-HRNet — **методологически самая зрелая** из всех разобранных edge моделей: математическая строгость (complexity analysis), extensive ablations, two-dataset validation, cross-task generalization. **Единственный серьёзный минус** — отсутствие mobile latency benchmarks, что парадоксально для edge-paper.

---

## 11. КЛЮЧЕВЫЕ ВЫВОДЫ

1. **Главный вклад:** Lite-HRNet — peer-reviewed CVPR 2021 edge pose estimation модель с новым **Conditional Channel Weighting (CCW) unit** линейной complexity (vs квадратичная для 1×1 conv), которая использует multi-resolution HRNet features для channel weight generation; 1.1M params / 0.20 GFLOPs (Lite-HRNet-18) или 1.8M params / 0.70 GFLOPs (Lite-HRNet-30, 384×288) — SOTA для <2M params моделей на COCO/MPII.
    
2. **Самое сильное техническое решение:** **Conditional Channel Weighting (CCW)** — математически элегантная замена 1×1 convolutions, использующая cross-resolution channel features (H function) + spatial context (F function) для generating weights; **80% снижение compute в shuffle block** при **улучшении accuracy** на 3.5 AP vs plain baseline.
    
3. **Главный недостаток:** **Полное отсутствие mobile/CPU latency benchmarks** — парадоксально для edge-paper. Без direct замеров на Snapdragon / Apple A-series / ARM невозможно подтвердить edge-readiness для production. HRNet-подобные multi-resolution branches могут быть неоптимальны для mobile NPU/compilers.
    
4. **Самый полезный элемент для SmartRep:**
    
    - **Lite-HRNet-18 через MMPose** — готовый kandidate для fine-tuning на фитнес-датасете (компонент: **готовая модель + training pipeline**)
    - **Conditional Channel Weighting unit** — замена costly 1×1 conv в нашей собственной архитектуре (компонент: **building block**)
    - **Multi-resolution weight generation pattern** (H function) — использование readily available multi-branch features (компонент: **attention module design**)
    - **Train from scratch recipe** (Adam + LR 2e-3) — простой и эффективный pipeline без ImageNet pretrain (компонент: **training procedure**)
    - **Half body data augmentation** — augmentation trick из COCO (компонент: **augmentation strategy**)
5. **Изучить дополнительно:**
    
    - **MMPose integration** Lite-HRNet — как использовать в production pipeline
    - **HRNet original paper** (Sun et al., CVPR 2019) для глубокого понимания multi-resolution principle
    - Реальные **mobile benchmarks Lite-HRNet** на Snapdragon — нужно профилировать самим (ONNX Runtime, TFLite, PyTorch Mobile)
    - **Последующие extensions**: Elite-HRNet (Zhang et al., 2023), Lite-Pose и другие Lite-HRNet extensions
    - **Dynamic ReLU / CondConv** (упомянуты в related work) — для понимания conditional computation парадигмы
6. **Приоритет для нашего исследования:** **ВЫСОКИЙ** — единственная peer-reviewed CVPR edge pose модель в нашей коллекции; прекрасный **academic baseline** для сравнения; **открытый pipeline через MMPose** делает fine-tuning тривиальным. Однако для **production deployment** на Snapdragon 8 Gen 2 нужно самостоятельно benchmark'ить и, возможно, адаптировать архитектуру (особенно CCW sigmoid operations).
    
7. **Связанные статьи, которые стоит прочитать следом:**
    
    - **HRNet** (Sun et al., CVPR 2019) — фундамент
    - **HRNet v2** (Wang et al., TPAMI 2019) — расширение на общие задачи
    - **ShuffleNet V2** (Ma et al., ECCV 2018) — shuffle block design
    - **Squeeze-and-Excitation** (Hu et al., CVPR 2018) — conceptual предшественник F function
    - **Dynamic Convolution** (Chen et al., CVPR 2020) — dynamic conditional networks
    - **RTMPose** (Jiang et al., 2023) — modern SOTA edge с SimCC + rigorous mobile benchmarks
    - **DistilPose** и другие distillation работы на базе Lite-HRNet
    - **Elite-HRNet** (Zhang et al., Nature SR 2023) — post-Lite-HRNet расширение

---

## ИТОГОВАЯ КАРТОЧКА (для Obsidian-vault)

````markdown
---
title: "Lite-HRNet: A Lightweight High-Resolution Network"
title_ru: "Lite-HRNet: облегчённая сеть с высоким разрешением"
authors: [Yu, Xiao, Gao, Yuan, Zhang, Sang, Wang]
year: 2021
venue: "CVPR 2021"
venue_tier: "A*"
doi: "arXiv:2104.06403"
tags: [pose_estimation, edge]
pose_dim: "2d"
strategy: "top_down"
backbone: "HRNet-inspired + Shuffle blocks + Conditional Channel Weighting"
params_M: 1.1 # Lite-HRNet-18; Lite-HRNet-30: 1.8M
flops_G: 0.20 # Lite-HRNet-18 256×192; варианты: 0.27 (256×256), 0.45 (384×288), 0.70 (Lite-HRNet-30 384×288)
latency_ms: null # НЕ ИЗМЕРЯЛОСЬ! Только GFLOPs + NVIDIA V100 GPU training
hw_tested: "8× NVIDIA V100 GPU (только training); inference benchmarks на CPU/mobile отсутствуют"
relevance_to_smartrep: 4
direction: "A"
priority: "HIGH"
---

# Lite-HRNet: облегчённая сеть с высоким разрешением

## TL;DR
Lite-HRNet (CVPR 2021, Microsoft + Huazhong University) — peer-reviewed edge pose estimation модель с двумя ключевыми идеями: (1) комбинирует ShuffleNet V2 shuffle blocks с HRNet multi-resolution pattern (уже обходит MobileNet/ShuffleNet/Small HRNet), (2) заменяет costly 1×1 convolutions на новый Conditional Channel Weighting (CCW) unit линейной complexity Θ(C) vs квадратичной Θ(C²), используя cross-resolution channel features из HRNet branches для weight generation. Два варианта: Lite-HRNet-18 (1.1M params, 0.20 GFLOPs @256×192) и Lite-HRNet-30 (1.8M, 0.70 GFLOPs @384×288, 70.4 AP на COCO val — SOTA для <2M params в 2021). Главное достоинство — peer-reviewed CVPR A* tier + открытый PyTorch pipeline + MMPose integration; главный недостаток — полное отсутствие mobile/CPU latency benchmarks и нет fitness-валидации.

## Проблема
Lightweight networks для pose estimation (MobileNet, ShuffleNet) страдают от двух проблем: (1) в position-sensitive задачах как pose estimation, наибольшее sensitivity к spatial resolution, а efficient networks обычно encoder-decoder pattern жертвует resolution; (2) pointwise 1×1 convolutions в shuffle blocks — computational bottleneck с квадратичной complexity Θ(C²). Авторы ставят задачу: построить efficient high-resolution network, которая бы решала обе проблемы одновременно.

## Гипотеза / вклад
- Высокое разрешение (HRNet pattern) необходимо и для маленьких моделей, не только для больших.
- Pointwise 1×1 convolutions в lightweight networks можно заменить на channel weighting с линейной complexity, сохранив (или улучшив) accuracy.
- Multi-resolution features HRNet можно использовать для enriched weight generation ("bridge for information exchange").
- Combination shuffle block + HRNet + CCW — новая Pareto frontier для edge pose estimation.

## Метод
Архитектура: Top-down heatmap-based pose estimator с 4 parallel resolution branches (4×, 8×, 16×, 32×) по HRNet pattern. Stem: 3×3 conv stride 2 + shuffle block. Main body: 3 stages (каждый с несколькими modules, каждый module = 2× CCW blocks + 1× multi-resolution fusion); Lite-HRNet-18 имеет [2, 4, 2] modules, Lite-HRNet-30 имеет [3, 8, 3]. CCW block заменяет 1×1 convolutions в shuffle block на element-wise channel weighting Y_s = W_s ⊙ X_s, где weights W_s — sum двух компонентов: (a) cross-resolution weights из H function (AAP всех branches → concat → 1×1 conv → ReLU → 1×1 conv → sigmoid), (b) spatial weights из F function (GAP → FC → ReLU → FC → sigmoid). Output: 17 heatmaps для COCO (16 для MPII) на highest resolution branch + post-gaussian filter + quarter-offset sub-pixel refinement. Training: Adam с LR 2e-3, from scratch, 8× V100, rotation ±30°, scale 0.75-1.25, flipping, half-body aug для COCO.

## Датасеты
| Датасет | Размер | Метрика | Результат |
|---|---|---|---|
| COCO train2017 | 57K images / 150K persons | training | — |
| **COCO val** | 5K | AP/AP50/AP75/AR | Lite-HRNet-18 @256×192: 64.8 AP; Lite-HRNet-30 @384×288: **70.4 AP** |
| **COCO test-dev** | 20K | AP/AP50/AP75 | Lite-HRNet-30 @384×288: **69.7 AP** (SOTA <2M params) |
| **MPII val** | ~3K | PCKh@0.5 | Lite-HRNet-30 @256×256: **87.0 PCKh** |
| Cityscapes val (bonus) | 500 | mIoU | Lite-HRNet-30 @512×1024: 76.0% |

## Сравнение с SOTA
**Vs small networks (COCO val):** Lite-HRNet-30 @256×192: 67.2 AP, 0.31 GFLOPs, 1.8M params. Vs MobileNetV2 1× (64.6 AP, 1.48 GFLOPs, 9.6M): **+2.6 AP при 5× меньше GFLOPs и 5× меньше params**. Vs ShuffleNetV2 1× (59.9 AP, 1.28 GFLOPs): **+7.3 AP при 4× меньше GFLOPs**. Vs Small HRNet-W16 (55.2 AP, 0.54 GFLOPs): **+12.0 AP при почти 2× меньше GFLOPs**.

**Vs large networks (COCO val):** Lite-HRNet-30 @384×288: 70.4 AP vs HRNetV1-W32: 73.4 AP (-3.0 AP, но 16× меньше params и 10× меньше GFLOPs). Vs SimpleBaseline ResNet-50: 70.4 AP vs 70.4 AP (равно, при 19× меньше params и 13× меньше GFLOPs).

**Vs разобранные edge модели:** нет прямого сравнения, но по характеристикам: Lite-HRNet-18 (0.20 GFLOPs, 1.1M params) — **одна из самых компактных**; vs EfficientPose RT (0.87 GFLOPs, 0.46M params) — Lite-HRNet-18 имеет больше params но меньше FLOPs; vs MovePose (0.71 GFLOPs) — Lite-HRNet-18 — 3.5× меньше FLOPs.

## Edge-метрики
| Параметр | Значение | hw |
|---|---|---|
| Latency | **НЕ ИЗМЕРЯЛОСЬ** для mobile/CPU | — |
| FPS | — | — |
| Params (18 / 30) | 1.1M / 1.8M | — |
| Model size (FP32) | ~4.4 MB / ~7.2 MB | — |
| FLOPs (COCO 256×192) | 0.20G (18) / 0.31G (30) | — |
| FLOPs (MPII 256×256) | 0.27G (18) / 0.42G (30) | — |
| FLOPs (COCO 384×288) | 0.45G (18) / 0.70G (30) | — |
| Quantization support | Не обсуждается | — |

## Ограничения / слабости
- **ОТСУТСТВУЮТ mobile latency benchmarks** — главный пробел для edge-paper
- Не сравнивается с BlazePose, EfficientPose (одновременные работы), MoveNet (после)
- Нет угловых метрик
- Нет INT8 quantization (не упомянуто ни как сделанное, ни как future work)
- Нет distillation, NAS, pruning
- HRNet-style multi-resolution branches — memory-intensive, могут быть неоптимальны для mobile NPU
- Sigmoid в CCW может быть slow на некоторых NPU
- Heatmap-based с post-processing (gaussian filter + quarter-offset)
- Per-frame, без temporal модуля
- Top-down: требует external person detector (additional latency)
- 17 COCO / 16 MPII keypoints — нет foot keypoints
- Обучена только на general activities (COCO, MPII)
- Нет fitness/sport specific evaluation
- Qualitative анализ скудный (одна figure без анализа failure cases)

## Релевантность SmartRep
**Заимствовать:** (1) **Lite-HRNet-18 через MMPose** — готовый edge baseline для fine-tuning на нашем фитнес-датасете; единственная peer-reviewed CVPR edge pose модель в нашей коллекции; (2) **Conditional Channel Weighting (CCW) unit** — математически элегантная замена 1×1 convolutions для нашей собственной архитектуры; (3) **Cross-resolution weighting pattern** — использование multi-branch features для enriched attention; (4) **Train from scratch recipe** (Adam + LR 2e-3, from scratch) — без ImageNet зависимости; (5) **Half body data augmentation** и общий MMPose training pipeline. **Сравниваться:** обязательно как peer-reviewed CVPR edge baseline в нашей evaluation table; имеет лучшие FLOPs среди всех разобранных (0.20 GFLOPs для 256×192).

## Gap для нас
- **При этом не измеряется mobile/CPU latency** — парадокс для edge-paper; невозможно подтвердить real-time на Snapdragon 8 Gen 2.
- **При этом не валидируется на фитнес-датасетах с MoCap (Fit3D, MM-Fit)** — наш ключевой gap.
- **При этом не валидируется по угловым метрикам (MAE по joint angles)** — наш ключевой gap.
- **При этом не исследуется INT8/FP16 квантизация** — критично для mobile deployment.
- **При этом не предсказывает foot keypoints** (только 17 COCO / 16 MPII) — критично для оценки техники приседаний.
- **При этом не использует temporal priors** для циклических движений.
- **При этом не использует биомеханические constraints** на углы суставов.
- **При этом не сравнивается с BlazePose, MoveNet, EfficientPose** — современниками.
- **При этом не оптимизируется под mobile NPU** (CCW с sigmoid может быть slow на не-всех NPU).
- **При этом не показывается робастность к occlusion/truncation** quantitatively.
- **При этом не разрабатывается distillation** из large HRNet в Lite-HRNet (упомянуто как потенциальное направление, но не выполнено).

## Ссылки на связанные статьи
- [[HRNet - Sun CVPR 2019]] (архитектурная основа)
- [[ShuffleNet V2 - Ma ECCV 2018]] (shuffle block)
- [[SimpleBaseline - Xiao ECCV 2018]] (person detector + training recipe)
- [[Squeeze-and-Excitation - Hu CVPR 2018]] (conceptual предшественник F function)
- [[Dynamic Convolution - Chen CVPR 2020]] (conditional computation)
- [[CondConv - Yang NeurIPS 2019]] (conditional convolutions)
- [[BlazePose - 2020]] (параллельная edge-линия, не сравнивается)
- [[MoveNet - 2021]] (не сравнивается, появился одновременно)
- [[EfficientPose - Groos 2021]] (не сравнивается, одновременная работа)
- [[MovePose - Yu ICANN 2024]] (использует SimCC; следующая ступень)
- [[RTMPose - Jiang 2023]] (modern SOTA edge)
- [[Elite-HRNet - Zhang Nature SR 2023]] (extension of Lite-HRNet)

## Код / данные
- Repo: **https://github.com/HRNet/Lite-HRNet** (~900 stars, PyTorch)
- MMPose integration: **https://github.com/open-mmlab/mmpose**
- Pretrained: ✅ COCO-pretrained + MPII-pretrained + Cityscapes-pretrained models
- Датасеты: COCO (public), MPII (public), Cityscapes (public)

## BibTeX
```bibtex
@inproceedings{yu2021lite,
  title     = {Lite-{HRNet}: A Lightweight High-Resolution Network},
  author    = {Yu, Changqian and Xiao, Bin and Gao, Changxin and Yuan, Lu and Zhang, Lei and Sang, Nong and Wang, Jingdong},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages     = {10440--10450},
  year      = {2021},
  note      = {arXiv:2104.06403; code at https://github.com/HRNet/Lite-HRNet}
}
````

```

---

## Стратегическое сравнение всех 5 разобранных edge моделей

**[МОЙ КОММЕНТАРИЙ — итоговый стратегический]** Lite-HRNet — **пятая** из разобранных edge pose estimation моделей. Обновлённое сравнение:

| Аспект | BlazePose | MoveNet | EfficientPose | MovePose | **Lite-HRNet** |
|---|---|---|---|---|---|
| **Venue** | CVPR Workshop | TF Blog | Q1 Journal | ICANN B | **CVPR A\*** |
| **Peer review** | Workshop-light | Нет | Полное rigorous | B-tier | **Rigorous CVPR** |
| **Params (main)** | 3.5M / 1.3M | ~2.4-6.3M | 0.40M-6.56M | Не указано | **1.1M / 1.8M** |
| **FLOPs (main)** | ~7M / 2.7M | 0.54-2.44G | 0.86G-72.89G | 0.71G | **0.20G-0.70G** |
| **Mobile latency** | ✅ 33ms Pixel2 | ✅ 25-90ms Pixel5 | ❌ | ✅ 90ms Snap8+ | ❌ **Нет** |
| **Fitness training** | Приватный | Active (закрытый) | MPII частично | COCO | COCO + MPII |
| **Strict metric** | PCK@0.2 | OKS-mAP | **PCKh@0.1** | OKS-mAP | OKS (все thresholds) |
| **Keypoints** | 33 | 17 | 16 MPII | 17 | 17 / 16 |
| **Backbone paradigm** | Custom | MobileNetV2+FPN | EfficientNet+compound | MobileNet+U-Net | **HRNet+CCW** |
| **Head** | Heatmap-regression | CenterNet 4-head | Heatmap (OpenPose) | SimCC | **Heatmap** |
| **Open source training** | ✅ MediaPipe | ⚠️ Только inference | ✅ Keras/TF/PT/TFLite | ❌ | ✅ **MMPose** |
| **Train from scratch** | ? | ? | EfficientNet pretrain | ? | ✅ **Да** |
| **INT8 ready** | ✅ | ✅ | TFLite готов, INT8 future | ❌ | ❌ |

**Обновлённое ранжирование для SmartRep (с учётом всех 5):**

1. **MoveNet** — лучший для production start (Google support + INT8 + fitness-trained + accessible)
2. **Lite-HRNet** — лучший academic baseline (peer-reviewed CVPR + MMPose + лучшие FLOPs + train from scratch)
3. **EfficientPose RT** — лучший для fine-tuning approach (clinical framing + open pipeline + recommendation авторов на transfer learning)
4. **BlazePose** — лучший для 33 keypoints (с кистями/стопами)
5. **MovePose** — академический интерес SimCC

**Обновлённые стратегические рекомендации для SmartRep:**

1. **Baseline ensemble:** наша benchmark-таблица должна включать **все 5 моделей** + RTMPose (следующий). Особенно **Lite-HRNet и EfficientPose как peer-reviewed academic baselines**.

2. **Архитектурные принципы для SmartRep (обновлённые):**
   - **Conditional Channel Weighting (CCW)** от Lite-HRNet — как альтернатива 1×1 conv
   - **Compound scaling** от EfficientPose — для семейства моделей
   - **SimCC head** от MovePose / RTMPose — для скорости и precision
   - **MobileNet/EfficientNet-Lite backbone** — standard edge
   - **Fitness-specific training data** от MoveNet — нужно собрать свой Active-like dataset
   - **Temporal smoothing** от MoveNet — non-linear filter
   - **PCKh@0.1 + угловые метрики** — от EfficientPose + наш domain

3. **Ключевое соображение по Lite-HRNet:** его **multi-resolution HRNet branches** — палка о двух концах. С одной стороны, дают хорошую accuracy при малых FLOPs; с другой, могут быть **неоптимальны для mobile NPU** (много memory transfers между branches, parallel compute не всегда хорошо оптимизируется). Это основной риск при выборе Lite-HRNet как baseline.

4. **Главный gap, который остаётся после 5 моделей:** **ни одна из разобранных не показывает mobile latency на Snapdragon 8 Gen 2 + angular accuracy на фитнесе одновременно**. **Это наше окно для оригинальной работы SmartRep.**

5. **Что ещё нам нужно выяснить для Lite-HRNet:** 
   - Реальный latency на Snapdragon 8 Gen 2 (нужно profile самим)
   - Как влияет INT8 квантизация на accuracy (нет данных)
   - Насколько MMPose fine-tuning pipeline хорошо работает для small custom датасетов

**Следующий приоритет для разбора:** **RTMPose** (Jiang et al., arXiv:2303.07399, 2023) — обязательный следующий. Это **единственная модель в нашей области**, которая одновременно (a) современная (2023, после всех разобранных), (b) с rigorous Snapdragon 865 mobile benchmarks, (c) peer-reviewed с полным MMPose кодом (того же community, что и Lite-HRNet), (d) имеет **прямое сравнение с BlazePose / MoveNet / Lite-HRNet**, (e) использует **SimCC head** (как MovePose), что делает её estetic продолжением всех наших 5 разобранных. 

После RTMPose edge-линия нашего литобзора будет **максимально полной**. Далее стратегически можно перейти к:
- **3D lifting**: VideoPose3D (Pavllo et al., CVPR 2019), MotionBERT (Zhu et al., ICCV 2023), MotionAGFormer — для 3D-углов в фитнесе
- **Фитнес-датасетам**: Fit3D (Fieraru et al., 2021) — наш target dataset
- **Biomechanical pose**: работы с anatomical/kinematic constraints (как PARE, BEV)
- **Temporal pose**: TransPose, PoseFormer для 🅱 направления
```