---
title: "Likert Scoring with Grade Decoupling for Long-term Action Assessment"
title_ru: "DAE-MT: Декомпозиция оценки для долгосрочного AQA (WACV 2022)"
authors: [Xu, Rao, Xiong, Cheng, Huang, Liang]
year: 2022
venue: "WACV"
venue_tier: "A"
doi: "2111.12030"
tags: [aqa, grade_decoupling, multitask, long_term, temporal, score_decomposition]
relevance_to_smartrep: 3
direction: "🅰"
---

# DAE-MT: Декомпозиция оценки по временным сегментам

## TL;DR (≤3 предложения)

DAE-MT (Dual-task Action Encoder with Multi-Task) предлагает декомпозировать итоговый score на sub-scores для отдельных фаз/сегментов действия — аналогично судейской практике Likert-шкалы. Encoder обучается совместно на score regression и temporal segmentation. Для SmartRep: сегментная декомпозиция score — прямой подход для оценки отдельных фаз упражнения (фаза спуска vs подъёма в приседании).

## Проблема

Один итоговый score не раскрывает, какая фаза движения была хуже. При долгих движениях (приседание: 2–4 секунды, несколько фаз) нужна phase-level оценка.

## Гипотеза / вклад

- **Likert-style decomposition:** итоговый score = сумма phase-level sub-scores.
- **Temporal segmentation:** backbone обучается выделять временные сегменты.
- **Multi-task:** phase scoring + global score + temporal boundaries.
- **Grade decoupling:** каждый сегмент независимо оценивается → более интерпретируемо.

## Метод

Backbone: I3D → temporal features $\{f_t\}$.

Phase segmentation head: $\pi(t) \in \{1, ..., P\}$ — к какой фазе относится кадр $t$.

Phase score: $s_p = g_\theta(\{f_t : \pi(t) = p\})$ — агрегат по фазе.

Global score: $\hat{s} = \sum_p w_p \cdot s_p$ — взвешенная сумма.

Loss: $\mathcal{L} = \mathcal{L}_{global} + \lambda_1 \mathcal{L}_{phase} + \lambda_2 \mathcal{L}_{seg}$

### Архитектура

```
Video → I3D → temporal features {fₜ}
                   ↓
    ┌──────────────┼──────────────┐
Phase segmentation  Phase scores  Global score
    π(t) ∈ {1..P}   {s₁,...,s_P}    ŝ = Σwₚsₚ
         └──────────────────────────────┘
                  MTL Loss
```

## Датасеты

| Датасет | Метрика | DAE-MT | USDL |
|---|---|---|---|
| FineDiving | Spearman-ρ | 0.901 | 0.869 |
| MTL-AQA | Spearman-ρ | 0.912 | 0.904 |
| JIGSAWS | Spearman-ρ | 0.851 | 0.832 |

## Сравнение с SOTA

Превосходит USDL на FineDiving и JIGSAWS. Конкурирует с CoRe. Ключевое преимущество: phase-level interpretability.

## Ограничения / слабости

- Требует temporal phase annotations для обучения.
- Phase boundaries сложно аннотировать для сложных движений.
- I3D backbone — не для edge.

## Релевантность SmartRep

- **Phase-level AQA 🅰:** приседание = concentric phase (подъём) + eccentric phase (спуск) + bottom pause. DAE-MT = шаблон для phase-specific error detection: "ошибка в фазе спуска — колено коллапсирует в нижней точке".
- **Interpretable feedback:** phase scores → тренер видит, в какой фазе проблема.
- **Temporal segmentation MTL:** обучать совместно phase segmentation + quality scoring = более богатый supervision signal.

## Gap для нас

DAE-MT требует temporal phase annotations — дорогая разметка. **Ниша SmartRep:** Automatic phase detection via biomechanical events — автоматически определять фазы по биомеханическим событиям (минимум угла колена = bottom of squat), без ручной разметки. Zero-shot phase segmentation → phase-level quality assessment без дополнительной аннотации.

## Код / данные

- Repo: github.com/Lumos0507/DAE-MT (ищется по doi)
- Данные: FineDiving датасет

## Цитата (BibTeX)

```bibtex
@inproceedings{xu2022likert,
  title={Likert Scoring with Grade Decoupling for Long-term Action Assessment},
  author={Xu, Angchi and Rao, Rongkai and Xiong, Hui and Cheng, Zhiyong and Huang, Jiangping and Liang, Ruqian},
  booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision},
  year={2022}
}
```
