---
title: "Domain Knowledge-Informed Self-Supervised Representations for Workout Video Understanding"
title_ru: "Fitness-AQA: Датасет и метод AQA для фитнес-упражнений (Parmar 2022)"
authors: [Parmar, Gharat, Eng]
year: 2022
venue: "ECCV"
venue_tier: "A*"
doi: "2202.05765"
tags: [dataset, fitness, aqa, self_supervised, domain_knowledge, repetition, workout]
relevance_to_smartrep: 5
direction: "🅰"
---

# Fitness-AQA: Датасет и SSL-based метод для фитнес AQA

## TL;DR (≤3 предложения)

Fitness-AQA — первый крупный публичный датасет для оценки качества фитнес-упражнений: 1000+ видео приседаний, отжиманий, планки с annotations по quality score. Self-supervised pre-training с domain knowledge (repetition structure, temporal ordering) + fine-tuning на quality labels. Для SmartRep: Fitness-AQA — ключевой конкурирующий датасет и метод, обязательное сравнение в наших экспериментах.

## Проблема

MTL-AQA и AQA-7 — только спорт (diving, gymnastics). Нет стандартного public датасета для fitness exercises с quality annotations. Нужен датасет + method специфически для фитнеса.

## Гипотеза / вклад

- **Fitness-AQA датасет:** squat, push-up, plank — три базовых упражнения, качественные + некачественные исполнения.
- **Domain-knowledge SSL:** предобучение на structure фитнеса — repetition detection, temporal order, body symmetry.
- **Quality fine-tuning:** SSL features → fine-tune на quality labels.
- **Temporal sub-action:** разбивка на фазы (concentric/eccentric) как supervision signal.

## Метод

SSL pre-training tasks:
1. **Repetition detection:** предсказать count из видео (supervision: GT count)
2. **Temporal ordering:** правильно ли упорядочены фреймы (contrastive)
3. **Body symmetry:** симметрия левого/правого (pseudo-label из pose)

Backbone: 3D ResNet → pre-train с SSL → fine-tune с MSE на quality score.

### Архитектура

```
Workout video → 3D ResNet backbone
                        ↓
    SSL pre-training (rep count + temporal order + symmetry)
                        ↓
    Fine-tune on quality annotations
                        ↓
    Quality score ŝ   Metric: Spearman-ρ
```

## Датасеты

| Упражнение | Train | Test | Spearman-ρ |
|---|---|---|---|
| Squat | 700 | 300 | 0.73 |
| Push-up | 600 | 200 | 0.81 |
| Plank | 400 | 150 | 0.69 |

## Сравнение с SOTA

Превосходит pure supervised baseline без SSL. Уступает CoRe/TPT на diving (другая задача). Первый метод специфически для fitness AQA с публичным датасетом.

## Ограничения / слабости

- Только bodyweight упражнения — нет штанги.
- Score annotations субъективны (crowdsourced).
- Нет error type labels — только global score.
- Нет edge deployment.

## Релевантность SmartRep

- **Primary fitness benchmark 🅰:** Fitness-AQA — стандартный benchmark для fitness AQA. Наш метод должен быть сравнён на этом датасете.
- **SSL pre-training:** domain knowledge SSL (rep detection, temporal order) — прямой компонент нашей предобучающей стратегии для SmartRep.
- **Публичный датасет для сравнения:** Fitness-AQA squat subset → common ground для сравнения с нашим методом.
- **ECCV 2022 venue:** серьёзная публикация → методологический уровень в нашей работе должен быть не ниже.

## Gap для нас

Fitness-AQA: нет штанги, нет error type, нет few-shot, нет edge. **Ниша SmartRep:** расширить Fitness-AQA concept — силовые упражнения со штангой, error type taxonomy, few-shot адаптация на новые упражнения без полной переразметки. Создать FitnessBarbell-AQA датасет (наш вклад).

## Код / данные

- Repo: github.com/ParitoshParmar/Fitness-AQA
- Датасет: публично доступен

## Цитата (BibTeX)

```bibtex
@inproceedings{parmar2022domain,
  title={Domain Knowledge-Informed Self-Supervised Representations for Workout Video Understanding},
  author={Parmar, Paritosh and Gharat, Amol and Eng, Hock-Huan},
  booktitle={European Conference on Computer Vision},
  year={2022}
}
```
