---
title: "FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding"
title_ru: "FineGym: Иерархический датасет видео для тонкозернистого понимания гимнастических действий"
authors: [Shao, Zhao, Li, Dai, Zhou, Pan, Bai, Ouyang]
year: 2020
venue: "CVPR"
venue_tier: "A*"
doi: "2004.06704"
tags: [dataset, fine_grained, gymnastics, action_recognition, hierarchical, error_classification]
relevance_to_smartrep: 3
direction: "🅰"
---

# FineGym: Тонкозернистый датасет гимнастики с иерархической таксономией

## TL;DR (≤3 предложения)

FineGym — крупнейший fine-grained датасет для гимнастики: 708 видео, 32,697 action instances, 3-уровневая иерархическая таксономия (событие → вид элемента → конкретный элемент). Задача: распознать не просто "гимнастика", а конкретный элемент (например, "Tkatchev with stretched body" vs "Tkatchev piked"). Для SmartRep: иерархическая таксономия ошибок — архитектурный шаблон для нашей error classification системы.

## Проблема

Существующие датасеты грубозернисты: "спортивная гимнастика" как один класс. Fine-grained recognition требует различать close variants (почти одинаковые движения с разной техникой). Иерархическая структура спорта не используется.

## Гипотеза / вклад

- **3-уровневая иерархия:** Gym → набор (vault/floor/bars) → тип элемента → конкретный вариант.
- **288 fine-grained классов** на третьем уровне.
- **Temporal segmentation:** начало и конец каждого элемента размечены.
- **Benchmark:** несколько baselines для fine-grained recognition.

## Метод (датасет)

Аннотация: 3-уровневая иерархия (event → set → element):
- **Event:** Vault, Floor, Uneven Bars, Balance Beam
- **Set:** тип опорного прыжка, оборот и т.д. (33 sets)
- **Element:** конкретный вариант (288 элементов)

Temporal boundaries: начало и конец каждого элемента (frame-level).

Baseline methods: TSN, TRN, VideoSwin — все с hierarchical classification loss.

## Датасет

| Параметр | Значение |
|---|---|
| Видео | 708 (3.2 часа) |
| Action instances | 32,697 |
| Классы (уровень 3) | 288 |
| Уникальных спортсменов | ~240 |
| Источник | YouTube (олимпийские соревнования) |

## Сравнение с SOTA

FineGym задаёт benchmark для fine-grained action recognition. Позже: FineDiving (2022) — аналогичный датасет для прыжков в воду с quality labels.

## Ограничения / слабости

- Только гимнастика — не fitness exercises.
- Нет quality/score annotations — только classification.
- Нет biomechanical annotations.
- Высокая экспертиза требуется для аннотации.

## Релевантность SmartRep

- **Иерархическая таксономия 🅰:** FineGym показывает, как строить hierarchical error taxonomy. Для SmartRep: ошибки приседания → иерархия: (1) плоскость (сагиттальная/фронтальная) → (2) сустав (колено/бедро/лодыжка) → (3) тип (valgus/varus/depth).
- **Fine-grained recognition:** различение "хорошее приседание" vs "приседание с коленом внутрь" — аналогичная fine-grained задача.
- **Temporal segmentation:** разметка начала/конца элемента как шаблон для нашей phase segmentation.
- **Transfer learning:** FineGym pre-trained features → fine-tune на наших упражнениях (схожие temporal patterns).

## Gap для нас

FineGym: только recognition, нет quality assessment, не fitness. **Ниша SmartRep:** FineGym-style иерархическая таксономия для силовых упражнений с quality annotation — создать датасет с 3-уровневой иерархией ошибок и quality scores. Первый fine-grained fitness AQA датасет с biomechanical grounding.

## Код / данные

- Repo: github.com/sfu-gruvi-3dv/FineGym
- Dataset: mmlab.ie.cuhk.edu.hk/projects/FineGym.html

## Цитата (BibTeX)

```bibtex
@inproceedings{shao2020finegym,
  title={FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding},
  author={Shao, Dian and Zhao, Yue and Dai, Bo and Loy, Chen Change},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={2616--2625},
  year={2020}
}
```
