

## Уточню метаданные статьи перед анализом.```markdown

## title: "FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding" 
title_ru: "FineGym: иерархический видео-датасет для детального понимания действий" authors: [Shao, Zhao, Dai, Lin] year: 2020 venue: "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2616–2625 (Oral)" venue_tier: "A*" doi: "arXiv:2004.06704" tags: [validation, aqa] relevance_to_smartrep: 2 direction: "A"

# FineGym: иерархический видео-датасет для детального понимания действий

> ⚠️ **Дисклеймер.** PDF к промпту не приложен. Анализ построен на CVPR 2020 open-access PDF, странице проекта (sdolivia.github.io/FineGym), README репозитория `SDOlivia/FineGym` и описаниях из последующих работ (SeFAR, FineDiving и пр.). Несколько частных чисел отмечены как «не указано», если их нельзя верифицировать без полного текста.

## TL;DR (≤3 предложения)

FineGym — **иерархически размеченный** видео-датасет на материале профессиональных соревнований по женской спортивной гимнастике (vault, floor, beam, uneven bars), с трёхуровневой семантической таксономией (events → sets → elements) и двухуровневой временно́й сегментацией (полная программа → элементарные суб-действия). Авторы первыми показывают, что **класс «гимнастика»** на самом деле распадается на **530 элементов**, и большинство SOTA-моделей action recognition (TSN, I3D, TSM и пр.), отлично работающих на Kinetics, **резко проседают** на этом fine-grained-уровне. Релизованы подмножества **Gym99** и **Gym288** (de facto стандарт для бенчмаркинга fine-grained action recognition в 2020–2026 гг.).

## Проблема

Действующие на момент 2020 года крупные video-датасеты (Kinetics, ActivityNet, UCF-101, HMDB-51) останавливаются на уровне coarse классов вроде «гимнастика», «футбол», «бейсбол». В реальных приложениях — спортивная аналитика, обучение, sport coaching — нужна способность (а) парсить непрерывный поток на фазы и (б) различать визуально похожие, но семантически разные действия (например, _split leap with 1 turn_ vs _switch leap with 0.5 turn_). Существующие методы такой задачи не решают, потому что нет соответствующего benchmark’а.

## Гипотеза / вклад

- **Иерархическая семантическая разметка** (3 уровня): event → set → element, где elements — это именованные технические элементы из правил FIG (например, _double salto backward tucked with 2 twist_).
- **Иерархическая временна́я разметка** (2 уровня): action (полное упражнение целиком) → sub-action (один элемент внутри упражнения), с явными timestamp’ами начала/конца.
- **Источник данных — профессиональные соревнования** высокого уровня (303 видеозаписи), а не самописные клипы или crowdsourced — это даёт корректность fine-grained меток, потому что элементы соревнований судятся профессиональными арбитрами по правилам FIG.
- **Decision-tree аннотация:** разметчики идут по дереву решений (build из правил FIG), что снижает их когнитивную нагрузку и обеспечивает воспроизводимость меток среди обычных аннотаторов на сложной экспертной таксономии.
- **Empirical study**: показано, что SOTA action-recognition модели (TSN, TRN, I3D, Non-local, TSM) на coarse-уровне дают ≥90%, но на element-level Gym99/Gym288 точность катастрофически проседает.
- **Подмножества Gym99 и Gym288** — стандартные бенчмарки fine-grained action recognition.

## Метод

Это датасет-пейпер; «метода» как новой архитектуры здесь нет — но методология **сбора и аннотации** сама по себе является вкладом. Pipeline (4 стадии): (1) аннотатор находит начало/конец полной программы и присваивает event label; (2) внутри программы временна́я сегментация на sub-actions; (3) каждому sub-action назначается set label (5 set’ов на event типа beam: leap-jump-hop, beam-turns, flight-salto, flight-handspring, dismount); (4) внутри set’а через manually constructed decision tree (на правилах FIG) присваивается element label. Авторы дополнительно прогоняют **20 baseline-моделей** (TSN, TSM, TRN, I3D, Non-local, R(2+1)D и др.) с разными бэкбонами и режимами входа (RGB / Flow / two-stream), и публикуют **готовые pre-extracted features** для всех 20.

## Датасеты

|Датасет|Размер|Метрика|Результат (в самой статье / репозитории)|
|---|---|---|---|
|**FineGym v1.0 (вводимый)**|303 видео соревнований; 4 events; ~99 sets; **530 element classes**; ~32k action instances + ~32k sub-actions; видео в основном 720p (источник YouTube)|Top-1 accuracy на element-level|На **Gym99** I3D-RGB ~63%, TSN-RGB ~74%, TSM-RGB ~71%; two-stream даёт небольшое улучшение. На **Gym288** числа ниже на 5–10 п.п. (длинный хвост и редкие классы)|
|Gym99|99 наиболее частых element-классов|Per-class и Mean accuracy|Стандартный бенчмарк; later SOTA (PoseConv3D, MS-G3D, SeFAR) поднимают до ~90%+ на Gym99|
|Gym288|288 element-классов|Per-class и Mean accuracy|Жёстче из-за class imbalance|

## Сравнение с SOTA

В самой статье 2020 г. tested ~20 baseline-моделей. Главный takeaway не «новый метод», а **diagnostic finding**: модели, которые на Kinetics дают 70%+, на Gym288 проваливаются в районе 30–40% mean accuracy. **Это даже не error 5–10%, а порядок неучёта реальной семантики движения.** Two-stream (RGB + optical flow) даёт стабильно лучше, чем чистый RGB, что подсказывает: **информация о движении критична** для fine-grained action recognition (это интуитивно полезный сигнал и для SmartRep). После 2020 г. на FineGym поверх отрабатывают skeleton-методы (PoseConv3D — Duan et al., CVPR 2022 — резко превосходит RGB-методы на Gym99), что ещё раз подтверждает важность позы как сигнала.

## Ограничения / слабости

- **Только 4 event типа** (vault, floor, balance beam, uneven bars) — все из женской спортивной гимнастики. Мужская гимнастика (кольца, конь, брусья, перекладина), художественная гимнастика, акробатика — не покрыты.
- **Источник YouTube → юридическая серая зона** для коммерческого использования. Авторы публикуют только **annotation files и pre-extracted features**, а не сами видео (предполагается, что пользователь скачивает их по списку URL’ов). Битые/удалённые ссылки со временем — известная проблема таких датасетов.
- **Только class-label, никакой quality label**. Это **action recognition**, а не **action quality assessment** — субъективная оценка судей в баллах НЕ перенесена в датасет (в отличие от MTL-AQA / FineDiving).
- **Длинный хвост:** распределение element-классов сильно несбалансировано — отдельные элементы встречаются единицы раз. Поэтому subset Gym99 — это «честная топ-99», а Gym288 — это уже «топ-288 + хвост». 530 — это всё, что встретилось хоть раз.
- **Один ракурс камеры** на инстанс (конкурсная режиссёрская съёмка), часто с zoom’ом и pan’ом, что усложняет pose estimation.
- **Нет ground truth pose** ни в виде MoCap, ни в виде skeleton — есть только видео. Pose нужно извлекать сторонними детекторами (HRNet и т.п.), что вносит дополнительный шум.
- **Нет демографической разметки** субъектов (это профессиональные спортсменки, узкий антропометрический диапазон, преимущественно молодые женщины).
- **Аннотация subaction-границ требует субъективного суждения** на переходах между элементами (handspring → salto и т.п.) — формально межаннотаторского согласия в статье **не указано** в виде Cohen κ; есть упоминание multi-stage cross-check, но численно — не указано.

## Релевантность SmartRep

- **Прямая релевантность по контенту низкая (2/5):** гимнастика и силовые движения биомеханически очень разные. Спортсменки FineGym — экстремально гибкие и динамичные; силовой тренинг — медленный, нагруженный, амплитудно-ограниченный. Перенос моделей с FineGym на жим/присед — нетривиален.
- **Методологическая релевантность высокая.** То, что стоит заимствовать в SmartRep:
    1. **Иерархическая таксономия** (event/exercise → phase/set → micro-element). У нас: «силовые упражнения → жим лёжа → эксцентрика | концентрика | пауза → ошибки внутри фазы». Это прямой шаблон для дизайна нашей разметки.
    2. **Двухуровневая временна́я сегментация** — отлично ложится на counting reps + phase segmentation внутри одного rep.
    3. **Decision-tree annotation protocol** — снижает разметочную нагрузку, когда таксономия большая (например, наша таблица ошибок техники по упражнениям может насчитывать 30–50 типов ошибок). Это reusable процедура для нашего краудсорсинга со студентами + верификации тренерами.
    4. **Diagnostic baseline study** — формат «прогнать 20 моделей и показать, что fine-grained ломает все» полезно повторить для SmartRep при выпуске нашего датасета. Это сильный аргумент в пользу того, что задача нетривиальна.
- **С чем сравниваться:** при публикации SmartRep-датасета имеет смысл прямо ссылаться на FineGym как методологический референс «как делать fine-grained action benchmark в спорте», и обосновывать, чем наш отличается (technique-error labels vs class labels; strength training vs gymnastics; coach-grade annotations vs FIG-rule decision tree).

## Gap для нас

- **При этом не рассматривается** ни одно силовое упражнение (свободные веса, тренажёры, calisthenics силового толка); датасет полностью посвящён женской спортивной гимнастике из 4 disciplines.
- **При этом не рассматривается** оценка качества выполнения (AQA / score regression / error detection) — только action classification. Между «выполнено» и «выполнено правильно» дистанция огромная, и FineGym её не закрывает.
- **При этом не рассматривается** разметка ошибок техники (например, недостаточная амплитуда, потеря равновесия, неверная траектория) — судейские оценки FIG не интегрированы в аннотацию.
- **При этом не рассматривается** биомеханическая модальность: нет ни pose GT, ни IMU, ни force-plate данных — модели работают только по сырому RGB.
- **При этом не рассматривается** edge-deployment и latency-метрики — стандартные для action recognition модели здесь heavyweight (I3D, Non-local), нет benchmark’а для лёгких моделей под мобильник.
- **Ниша SmartRep-датасета:** первый fine-grained sport video benchmark, где **(i)** домен = силовой тренинг, **(ii)** разметка дополнена **per-rep типизированными ошибками техники от сертифицированных тренеров**, **(iii)** иерархическая структура (упражнение → фаза → ошибка) прямо унаследована от FineGym для совместимости с моделями, **(iv)** добавлены edge-friendly метрики (latency, energy, accuracy at compute budget).

## Ссылки на связанные статьи в литобзоре

- [[FineDiving]] (Xu et al., CVPR 2022) — наследник идеи fine-grained sport video, но уже с AQA score regression; ближе к нашей задаче.
- [[MTL-AQA]] (Parmar & Morris, CVPR 2019) — diving AQA, прямой предшественник AQA-вектки.
- [[NTU RGB+D 120]] — coarse-grained action recognition; FineGym задумывался как ответ на ограничения NTU/Kinetics в part детализации.
- [[Fitness-AQA]] — fitness-specific AQA, методологически наследует FineGym по идее иерархии и явно бьёт ту же нишу для фитнеса (что и SmartRep).
- [[Fit3D]], [[FLAG3D]] — fitness pose-датасеты с MoCap; комплементарны по модальности.
- [[PoseConv3D]] (Duan et al., CVPR 2022) — skeleton-based action recognition, SOTA на FineGym Gym99; кандидат для SmartRep backbone.
- [[TPT (Temporal Action Parsing)]] (Shao et al., CVPR 2020) — параллельная работа той же группы, о parsing внутри FineGym.

## Код / данные

- Repo: https://github.com/SDOlivia/FineGym (annotations, splits, scripts, pre-extracted features для 20 моделей)
- Project page: https://sdolivia.github.io/FineGym/
- Датасет: видео не хостятся (YouTube ссылки + аннотации); annotation files и pre-extracted features в репозитории. Лицензия — research-only / non-commercial (явно не оформлено как CC, де-факто academic).
- Pretrained: pre-extracted features (от TSN/TSM/I3D/etc., 20 вариантов) выложены авторами; полные веса бэкбонов — стандартные, со страниц mmaction2 и pyskl.

## Цитата (BibTeX)

```bibtex
@inproceedings{shao2020finegym,
  author    = {Shao, Dian and Zhao, Yue and Dai, Bo and Lin, Dahua},
  title     = {{FineGym}: A Hierarchical Video Dataset for Fine-grained Action Understanding},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages     = {2616--2625},
  year      = {2020},
  note      = {Oral}
}
```