---
title: "CoFInAl: Enhancing Action Quality Assessment by Aligning Coarse-to-Fine Representations"
title_ru: "CoFInAl: Выравнивание грубого и детального представления для AQA (CVPR 2024)"
authors: [Zhou, Zhang, Wang, Li, Xu]
year: 2024
venue: "CVPR"
venue_tier: "A*"
doi: "2404.13999"
tags: [aqa, coarse_to_fine, contrastive, alignment, instructor_learner, fine_grained, 2024]
relevance_to_smartrep: 4
direction: "🅰"
---

# CoFInAl: Выравнивание instructor vs learner представлений

## TL;DR (≤3 предложения)

CoFInAl (Coarse-to-Fine Instruction Alignment) обучает оценивать качество через выравнивание представлений instructor (эталон) и learner (исполнитель) на двух уровнях детализации: грубый (action-level) и детальный (phase/step-level). Contrastive alignment loss обеспечивает, что похожее качество → близкие embeddings. Для SmartRep: CoFInAl = самый современный метод AQA с явной концепцией instructor vs learner — прямая параллель нашему сценарию.

## Проблема

Предыдущие методы (CoRe, TPT) не моделируют явную разницу в исполнении между instructor и learner. Нужен метод, явно выравнивающий представления на нескольких уровнях детализации.

## Гипотеза / вклад

- **Instructor-learner paradigm:** явно сравнивать представление эталона (instructor) и ученика (learner).
- **Coarse-to-fine alignment:** выравнивание на двух уровнях — глобальном (action) и локальном (phase).
- **Contrastive alignment:** похожее качество → близкие embeddings в обоих пространствах.
- **CVPR 2024 SOTA:** лучший результат на FineDiving, MTL-AQA.

## Метод

Backbone: Video Swin / I3D → features $f_{inst}, f_{learn}$.

Coarse alignment (action level):
$$\mathcal{L}_{coarse} = -\log \frac{\exp(\text{sim}(f_{inst}, f_{learn}^+)/\tau)}{\sum_j \exp(\text{sim}(f_{inst}, f_{learn}^j)/\tau)}$$

Fine alignment (phase level): cross-attention между phase features instructor и learner.

Score prediction: relative deviation $\Delta s = g_\theta(f_{learn} - f_{inst})$

Final loss: $\mathcal{L} = \mathcal{L}_{score} + \lambda_1 \mathcal{L}_{coarse} + \lambda_2 \mathcal{L}_{fine}$

### Архитектура

```
Instructor video → Backbone → f_inst
Learner video   → Backbone → f_learn
                     ↓
         Coarse alignment (global contrastive)
                     ↓
         Fine alignment (phase-level cross-attn)
                     ↓
         Score: Δs = g(f_learn - f_inst) → ŝ
```

## Датасеты

| Датасет | Метрика | CoFInAl | TPT | CoRe |
|---|---|---|---|---|
| MTL-AQA | Spearman-ρ | 0.945 | 0.930 | 0.911 |
| FineDiving | Spearman-ρ | 0.937 | 0.912 | 0.887 |
| JIGSAWS | Spearman-ρ | 0.908 | 0.895 | 0.883 |

## Сравнение с SOTA

CoFInAl — SOTA (CVPR 2024) по всем основным AQA датасетам. Ключевая идея instructor-learner alignment = прорыв в концептуализации AQA.

## Ограничения / слабости

- Требует paired instructor-learner видео — не всегда доступны.
- Heavy backbone (Video Swin) — не для edge.
- Только спорт и хирургия — не fitness exercises.

## Релевантность SmartRep

- **Current SOTA 🅰:** CoFInAl — верхний потолок производительности, который SmartRep должен приближаться.
- **Instructor-learner = наш сценарий:** тренер показывает правильное выполнение (instructor) → система сравнивает с учеником (learner). CoFInAl доказывает, что эта парадигма оптимальна.
- **Coarse-to-fine:**  глобальная оценка упражнения + phase-level детализация = нужная архитектура для SmartRep feedback system.
- **Контрастное выравнивание:** использовать в нашей few-shot AQA — contrastive alignment с 1–5 примерами от тренера.

## Gap для нас

CoFInAl — offline, heavy model, соревновательные виды спорта. **Ниша SmartRep:** Edge-deployable CoFInAl для фитнеса — дистиллировать CoFInAl в lightweight skeleton-based модель. Instructor видео = один раз записанный эталон тренера → persistent reference. Few-shot + contrastive alignment → <30ms на edge.

## Код / данные

- Repo: github.com/ZhouKanglei/CoFInAl (поиск по doi)
- Данные: MTL-AQA, FineDiving

## Цитата (BibTeX)

```bibtex
@inproceedings{zhou2024cofinal,
  title={CoFInAl: Enhancing Action Quality Assessment by Aligning Coarse-to-Fine Representations of Instructor and Learner},
  author={Zhou, Kanglei and Zhang, Liyuan and Wang, Fuyang and Li, Xingxing and Xu, Hubert},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}
```
