---
title: "Group-aware Contrastive Regression for Action Quality Assessment"
title_ru: "CoRe: Групповая контрастная регрессия для оценки качества действий"
authors: [Yu, Cheng, Shi, Lu, Ding, Mei]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "2108.07797"
tags: [aqa, contrastive, regression, group_comparison, exemplar, pairwise, diving]
relevance_to_smartrep: 5
direction: "🅰"
---

# CoRe: Контрастная регрессия через сравнение с эталонами

## TL;DR (≤3 предложения)

CoRe (Contrastive Regression) формулирует AQA как relative regression: модель оценивает качество запроса $q$ относительно набора exemplar видео $\{e_i\}$ с известными оценками, предсказывая разницу $\Delta s = s_q - s_{e_i}$. Групповая контрастная обработка нескольких exemplars снижает зависимость от абсолютных значений. Для SmartRep: CoRe = прямой прообраз нашей few-shot AQA задачи — оценивать качество упражнения относительно эталонного исполнения тренера.

## Проблема

Абсолютная регрессия score чувствительна к bias конкретных датасетов и судей. Человеки оценивают качество относительно, а не абсолютно: "хуже чем эталон X". Нужен relative assessment approach.

## Гипотеза / вклад

- **Relative regression:** $\Delta s_{q,e} = s_q - s_e$ — относительная оценка vs exemplar.
- **Group awareness:** несколько exemplars → более стабильная оценка.
- **Contrastive training:** пары (query, exemplar) с разными $\Delta s$ → контрастная оптимизация.
- **CORE block:** cross-attention между query и exemplar features → relative representation.

## Метод

Backbone: I3D → features $f_q, f_e$.

CORE (Contrastive Regression) block: cross-attention:
$$\tilde{f}_q = f_q + \text{Attn}(f_q, f_e, f_e)$$

Regression head: $\widehat{\Delta s} = g_\theta(\tilde{f}_q - f_e)$

Prediction: $\hat{s}_q = s_e + \widehat{\Delta s}_{q,e}$

Group aggregation (N exemplars): $\hat{s}_q = \frac{1}{N} \sum_{i=1}^N (s_{e_i} + \widehat{\Delta s}_{q,e_i})$

Loss: $\mathcal{L} = \sum_i \|\Delta s_{q,e_i} - \widehat{\Delta s}_{q,e_i}\|^2$

### Архитектура

```
Query video → I3D → f_q
Exemplar videos {eᵢ} → I3D → {f_eᵢ}
                    ↓
         CORE Block (cross-attention): f̃_q
                    ↓
         Δŝ_{q,eᵢ} = g_θ(f̃_q - f_eᵢ) per exemplar
                    ↓
         ŝ_q = (1/N) Σ(s_eᵢ + Δŝ_{q,eᵢ})   Metric: Spearman-ρ
```

## Датасеты

| Датасет | Метрика | CoRe | MUSDL | MTL-AQA |
|---|---|---|---|---|
| MTL-AQA (diving) | Spearman-ρ | 0.911 | 0.904 | 0.849 |
| JIGSAWS (surgery) | Spearman-ρ | 0.883 | 0.832 | — |
| AQA-7 | Spearman-ρ | 0.751 | — | 0.73 |

## Сравнение с SOTA

CoRe SOTA на MTL-AQA (2021). Позже превзойдён TPT (2022) и CoFInAl (2024). Ключевое: contrastive + exemplar подход открыл направление к few-shot AQA.

## Ограничения / слабости

- Требует exemplars с известными score — нужна разметка референсов.
- N exemplars из того же датасета → нет zero-shot.
- I3D backbone для edge не подходит.

## Релевантность SmartRep

- **Core архитектурный шаблон 🅰:** CoRe = прямой шаблон для SmartRep few-shot AQA: тренер показывает эталонное приседание (exemplar), система оценивает ученика относительно эталона. Это и есть наш основной сценарий.
- **Few-shot naturalness:** 1–5 exemplars от тренера → оценка относительно них. CoRe доказывает, что это работает.
- **Cross-attention CORE block:** адаптировать для skeletal features (joint angles) вместо I3D видеофичей — skeleton-based CoRe для edge.
- **Δs regime:** predict "насколько отклоняется от эталона" = интерпретируемый feedback (например, -12% от идеальной техники).

## Gap для нас

CoRe требует exemplars с числовыми оценками. **Ниша SmartRep:** Exemplar-based AQA без числовой оценки — тренер показывает "хорошее" видео (positive exemplar), система сигнализирует об отклонении от него без предварительного scoring. One-class CoRe: только positive exemplars + anomaly detection.

## Код / данные

- Repo: github.com/yuxumin/CoRe
- Данные: MTL-AQA (публичный)

## Цитата (BibTeX)

```bibtex
@inproceedings{yu2021group,
  title={Group-aware Contrastive Regression for Action Quality Assessment},
  author={Yu, Xumin and Cheng, Yongming and Shi, Jie and Lu, Di and Ding, Zhizhong and Mei, Tao},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={7919--7928},
  year={2021}
}
```
