---
title: "TSA-Net: Tube Self-Attention Network for Action Quality Assessment"
title_ru: "TSA-Net: Сеть с самовниманием по трубкам для оценки качества действий"
authors: [Wang, He, Zhao, Yang, Xu]
year: 2021
venue: "ACM MM"
venue_tier: "A*"
doi: "2201.03746"
tags: [aqa, tube_attention, temporal, spatial, self_attention, diving, skeleton]
relevance_to_smartrep: 3
direction: "🅰"
---

# TSA-Net: Темпорально-пространственное внимание для AQA

## TL;DR (≤3 предложения)

TSA-Net вводит "tube self-attention" — механизм внимания вдоль пространственно-временных трубок (tubes), соответствующих частям тела в видео. Attention веса показывают, какие части тела и в какой момент критичны для оценки качества. Для SmartRep: tube attention = прообраз joint-specific attention в нашем pose-based AQA — какой сустав в какую фазу важен для оценки техники.

## Проблема

Global average pooling темпоральных признаков игнорирует spatial и temporal locality. Какие части тела в какой момент критичны для оценки? Нужен механизм selective attention по частям тела.

## Гипотеза / вклад

- **Temporal tube:** трубка = набор bounding boxes вокруг части тела через время.
- **Tube self-attention:** attention между tube features → cross-part и cross-time relationship.
- **ROI pooling по tubes:** выделить признаки для каждой части тела отдельно.

## Метод

Backbone: I3D → feature maps $F \in \mathbb{R}^{T \times H \times W \times C}$.

Pose estimation → joint locations → tube boxes $\{B_j^t\}$ для $J$ суставов.

ROI pooling: $f_j^t = \text{RoIPool}(F^t, B_j^t)$ → tube feature $f_j = \{f_j^1, ..., f_j^T\}$.

Tube self-attention: $\hat{F}_j = \text{SelfAttn}(f_j)$ + cross-tube attention $\hat{F}_j = \text{CrossAttn}(f_j, \{f_k\}_{k\ne j})$.

Score: $\hat{s} = g_\theta(\text{Pool}(\{\hat{F}_j\}))$

### Архитектура

```
Video → I3D → F(T×H×W×C)
Pose → joint boxes {Bⱼᵗ}
         ↓
    ROI Pooling → per-joint tube features {fⱼᵗ}
         ↓
   Tube self-attention + cross-tube attention
         ↓
   Aggregated representation → FC → score ŝ
```

## Датасеты

| Датасет | Метрика | TSA-Net | CoRe | MUSDL |
|---|---|---|---|---|
| MTL-AQA | Spearman-ρ | 0.904 | 0.911 | 0.904 |
| AQA-7 | Spearman-ρ | 0.781 | 0.751 | — |

## Сравнение с SOTA

Сравнимо с CoRe на MTL-AQA. Ключевое преимущество: interpretable attention — видно, какие части тела важны.

## Ограничения / слабости

- Требует 2D pose estimation как preprocessing — дополнительный шаг.
- Трубки определяются heuristically — нет learnable tube discovery.
- ROI pooling на 3D features вычислительно дорого.

## Релевантность SmartRep

- **Joint-specific attention 🅰:** TSA-Net = прообраз для SmartRep skeleton-based AQA: вместо video tubes — joint angle trajectories с attention. Какой сустав (колено? бедро?) в какую фазу критичен для оценки техники упражнения.
- **Interpretable feedback:** attention веса → "система смотрит на колено в нижней точке" → объяснение оценки.
- **Pose-driven features:** явное использование pose as inductive bias улучшает AQA vs pure video methods.

## Gap для нас

TSA-Net использует video + 2D pose как вспомогательное. **Ниша SmartRep:** Pure skeleton-based TSA — работать только с 3D joint angles (не с видео), attention по суставам вместо image tubes. Легче, интерпретируемее, edge-friendly. Заменить I3D backbone на lightweight 1D temporal CNN на joint angle sequences.

## Код / данные

- Repo: поиск по "TSA-Net AQA github"
- Данные: MTL-AQA, AQA-7

## Цитата (BibTeX)

```bibtex
@inproceedings{wang2021tsa,
  title={TSA-Net: Tube Self-Attention Network for Action Quality Assessment},
  author={Wang, Shunli and He, Dong and Zhao, Fuwei and Yang, Wankou and Xu, Chi},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  year={2021}
}
```
