---
title: "What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment"
title_ru: "MTL-AQA: Многозадачное обучение для оценки качества действий (что и насколько хорошо)"
authors: [Parmar, Morris]
year: 2019
venue: "CVPR"
venue_tier: "A*"
doi: "1904.04346"
tags: [aqa, multitask, c3d, score_regression, diving, commentary, MTL]
relevance_to_smartrep: 4
direction: "🅰"
---

# MTL-AQA: Multitask AQA — score + commentary генерация

## TL;DR (≤3 предложения)

MTL-AQA (Multi-Task Learning AQA) объединяет score regression и video caption generation в одном multi-task pipeline: backbone обучается предсказывать и числовой балл, и текстовое описание исполнения. Создан MTL-AQA датасет: 1412 прыжков в воду с оценками и текстовыми комментариями. Для SmartRep: MTL подход = прообраз нашей системы "score + объяснение ошибки" — score regression + error type classification как joint multi-task.

## Проблема

Только score regression не объясняет качество исполнения. Нужно одновременно предсказывать балл (что?) и причину/описание (почему такой балл?). Одна задача может помочь другой через shared representation.

## Гипотеза / вклад

- **Multi-task:** score regression + caption generation → общий backbone лучше оба.
- **Датасет MTL-AQA:** 1412 diving видео + судейские оценки + текстовые комментарии от тренеров.
- **C3D-AVG-STL baseline:** single-task C3D + temporal average pooling — строгий baseline.
- **MTL improvement:** +0.04 Spearman-ρ vs single-task baseline.

## Метод

Backbone: C3D → temporal clip features $\{f_1, ..., f_T\}$.

**Score head (STL):** $\hat{s} = W_s \cdot \text{AvgPool}(\{f_t\})$

**MTL:**
- Score head: как STL
- Caption head: LSTM decoder с attention над $\{f_t\}$
- Shared C3D параметры → joint optimization

Loss: $\mathcal{L} = \mathcal{L}_{score} + \lambda \mathcal{L}_{caption}$

### Архитектура

```
Video → C3D → {f₁, ..., f_T} (temporal features)
                   ↓              ↓
            AvgPool → FC    LSTM decoder
                   ↓              ↓
               Score ŝ      Caption text
                   └── MTL loss ──┘
```

## Датасеты

| Датасет | Задача | Spearman-ρ |
|---|---|---|
| MTL-AQA (diving) | Score regression | 0.849 |
| MTL-AQA | Caption BLEU-4 | 0.71 |
| AQA-7 (multi-sport) | Score regression | 0.73 |

## Сравнение с SOTA

MTL-AQA превосходит одиночную регрессию. Уступает USDL (2020) и CoRe (2021) — более поздние методы. MTL-AQA датасет используется всеми последующими методами.

## Ограничения / слабости

- C3D backbone — устаревший.
- Caption generation не интерпретируема для fitness (специфический язык diving).
- Нет uncertainty оценки score.
- Нет person-independent generalisation.

## Релевантность SmartRep

- **MTL framework 🅰:** SmartRep = MTL: score regression + error_type classification + explanation generation. MTL-AQA доказывает, что auxiliary задачи улучшают score prediction.
- **Датасет**: MTL-AQA datset — один из стандартных бенчмарков для сравнения нашего метода.
- **C3D-AVG-STL baseline:** обязательный нижний baseline в наших экспериментах.
- **Score + text:** концепция "score + почему" — прямая параллель нашей задаче "score + описание ошибки техники".

## Gap для нас

MTL-AQA: caption = текст на английском про diving, не классификация биомеханических ошибок. **Ниша SmartRep:** structured error taxonomy как auxiliary task — вместо free-text caption, классифицировать ошибку в фиксированной таксономии (например, "колено уходит внутрь" → класс 3). Это structured MTL, более actionable для тренера.

## Код / данные

- Repo: github.com/ParitoshParmar/MTL-AQA
- MTL-AQA dataset: публично доступен

## Цитата (BibTeX)

```bibtex
@inproceedings{parmar2019multitask,
  title={What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment},
  author={Parmar, Paritosh and Morris, Brendan Tran},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={316--325},
  year={2019}
}
```
