---
title: "Action Quality Assessment with Temporal Parsing Transformer"
title_ru: "TPT: Трансформер с темпоральным разбором для оценки качества действий"
authors: [Bai, Zhao, Ding, Wang, Mei]
year: 2022
venue: "ECCV"
venue_tier: "A*"
doi: "2207.09270"
tags: [aqa, transformer, temporal_parsing, segment, fine_grained, diving, parsing]
relevance_to_smartrep: 4
direction: "🅰"
---

# TPT: Temporal Parsing Transformer для сегментной оценки

## TL;DR (≤3 предложения)

TPT (Temporal Parsing Transformer) явно моделирует структуру действия через temporal parsing: трансформер разбивает видео на смысловые сегменты и оценивает каждый независимо с учётом глобального контекста. "Tail-preserving" loss сохраняет информацию о редких (хвостовых) сегментах. Для SmartRep: temporal parsing = фазовая декомпозиция упражнения без ручной разметки фаз.

## Проблема

Методы average pooling теряют структуру действия. Действие имеет смысловые фазы (diving: approach → takeoff → flight → entry), каждая важна по-разному. Нужна модель с explicit temporal structure.

## Гипотеза / вклад

- **Temporal parsing:** трансформер с positional encoding обнаруживает сегменты без ручной разметки.
- **Segment-level scoring:** каждый сегмент получает sub-score → weighted sum.
- **Tail-preserving loss:** специальный loss для редких паттернов в хвосте распределения.
- **FineDiving benchmark:** новый датасет с temporal fine-grained annotations.

## Метод

Backbone: I3D → clip features $\{c_t\}_{t=1}^T$.

Temporal parsing transformer:
$$Z = \text{TransformerEncoder}(\{c_t\} + \text{PosEmb})$$

Segment queries $\{q_s\}_{s=1}^S$:
$$\tilde{q}_s = \text{CrossAttn}(q_s, Z)$$

Segment score: $\hat{s}_s = g_\theta(\tilde{q}_s)$

Global score: $\hat{s} = \sum_s w_s \hat{s}_s$

Tail-preserving loss: дополнительный loss на хвост score distribution для редких исполнений.

### Архитектура

```
Video → I3D → {cₜ} clip features
                  ↓
    TransformerEncoder → Z (contextualized)
                  ↓
    S Segment queries → CrossAttn → {q̃ₛ}
                  ↓
    Per-segment scores {ŝₛ} → weighted sum ŝ
                  + Tail-Preserving Loss
```

## Датасеты

| Датасет | Метрика | TPT | CoRe | USDL |
|---|---|---|---|---|
| MTL-AQA | Spearman-ρ | 0.930 | 0.911 | 0.904 |
| FineDiving | Spearman-ρ | 0.912 | 0.887 | 0.869 |
| JIGSAWS | Spearman-ρ | 0.895 | 0.883 | — |

## Сравнение с SOTA

TPT — SOTA (2022) по всем датасетам. Ключевое преимущество: automatic temporal parsing без разметки фаз.

## Ограничения / слабости

- Трансформер требователен к памяти при длинных видео.
- S segment queries — гиперпараметр, не адаптируется к типу действия.
- I3D backbone — не для edge.

## Релевантность SmartRep

- **Automatic phase discovery 🅰:** TPT обнаруживает фазы упражнения автоматически — не нужна разметка "фаза спуска/подъёма". Для SmartRep: TPT-inspired temporal parsing для упражнений.
- **Segment-level feedback:** каждый сегмент имеет score → "спуск — хорошо (8/10), подъём — плохо (5/10)".
- **FineDiving benchmark:** использовать как дополнительный датасет для предобучения/fine-tuning нашей модели.
- **Transformer temporal encoder:** архитектурный шаблон для нашего temporal encoder в skeleton-based AQA.

## Gap для нас

TPT работает на видео (I3D features). **Ниша SmartRep:** Skeleton-based TPT — заменить I3D clip features на joint angle segment features; temporal parsing над joint trajectory вместо видео. Segment queries адаптируются к биомеханически определённым фазам (contact event based).

## Код / данные

- Repo: github.com/baiyang4/aqa-tpt
- FineDiving датасет: github.com/xujinglin/FineDiving

## Цитата (BibTeX)

```bibtex
@inproceedings{bai2022action,
  title={Action Quality Assessment with Temporal Parsing Transformer},
  author={Bai, Yang and Zhao, Desen and Ding, Pengfei and Wang, Yang and Mei, Tao},
  booktitle={European Conference on Computer Vision},
  year={2022}
}
```
