---
title: "Temporal-Relational CrossTransformers for Few-Shot Action Recognition"
title_ru: "Темпорально-реляционные кросс-трансформеры для распознавания действий с малым числом примеров (TRX)"
authors: [Perrett, Masullo, Burghardt, Mirmehdi, Damen]
year: 2021
venue: "CVPR"
venue_tier: "A*"
doi: "10.1109/CVPR46437.2021.00054"
tags: [few_shot, action_recognition, transformer, cross_attention, temporal, video]
relevance_to_smartrep: 4
direction: "🅱"
---

# TRX: Темпорально-реляционные кросс-трансформеры для распознавания действий

## TL;DR (≤3 предложения)

TRX использует cross-attention трансформер для сравнения кортежей кадров query-видео с кортежами кадров support-видео, захватывая темпоральные отношения на нескольких масштабах одновременно. Ключевое: метод сравнивает не отдельные кадры, а упорядоченные пары и тройки кадров — это кодирует "как развивается движение во времени", а не только "как выглядит кадр". Для SmartRep — прямой кандидат для сравнения нового повтора с эталонными через multi-scale темпоральные отношения суставов.

## Проблема

OTAM использует DTW на покадровом уровне — захватывает выравнивание, но не многомасштабные темпоральные отношения. Для тонких различий в технике (присед с нормальной глубиной vs недостаточной) нужно сравнивать не отдельные кадры, а "как изменяется угол колена с кадра $t$ до кадра $t+k$".

## Гипотеза / вклад

- **Tuple-level comparison:** вместо frame-level similarity — cross-attention между упорядоченными $\Omega$-кортежами кадров (Ω=2 пары, Ω=3 тройки).
- **Multi-scale:** несколько значений $\Omega$ параллельно, объединяются суммой.
- **Learnable alignment:** cross-transformer сам учится выравнивать важные части последовательностей, а не делает жёсткий DTW.

## Метод

Для каждого значения $\Omega$ из query-видео и support-видео сэмплируются все $\Omega$-кортежи. Cross-transformer:

$$\text{sim}(Q, S) = \sum_{\Omega} \sum_{\tau_q \in \mathcal{T}^\Omega_Q} \max_{\tau_s \in \mathcal{T}^\Omega_S} \text{CrossAttn}(\tau_q, \tau_s)$$

где CrossAttn — стандартный трансформер: query — из $\tau_q$, key/value — из $\tau_s$.

Общее сходство query с support-классом = сумма по $\Omega$. Loss — эпизодическая кросс-энтропия.

### Архитектура (Mermaid)

```
Query video  → frame encoder → all Ω-tuples of frames
Support video → frame encoder → all Ω-tuples of frames
                                    ↓
              Cross-transformer: query tuples ↔ support tuples
                                    ↓
              Max-pooled similarity score per Ω
                                    ↓
              Sum over Ω → class similarity → Classification loss
```

## Датасеты

| Датасет | Задача | Метрика | Результат (5-way 5-shot) |
|---|---|---|---|
| Kinetics-100 | Action recognition | Accuracy | 96.1% |
| SSv2-100 | Action recognition | Accuracy | 59.1% |
| HMDB51 | Action recognition | Accuracy | 75.6% |
| UCF101 | Action recognition | Accuracy | 96.1% |

## Сравнение с SOTA

Превзошёл OTAM на всех бенчмарках. На SSv2 (+7% vs OTAM) — где темпоральные отношения критичны. Особенно силён при Ω=3 (тройки кадров).

## Ограничения / слабости

- Число кортежей квадратично по длине видео — масштабируется плохо при длинных последовательностях.
- Требует перебора всех пар/троек → дорого при long-form inference (много повторов подряд).
- Backbone ResNet-50 / ViT — тяжёлый для edge.
- Нет явного механизма оценки качества движения — только классификация "что это за действие?".

## Релевантность SmartRep

- **Эталонный метод для 🅱:** multi-scale tuple comparison — методологически точно то, что нужно для сравнения техники: "фаза опускания" (3-кадровый кортеж) у query vs у эталона.
- **Per-joint version:** если заменить RGB-кадры на векторы суставных координат, cross-transformer работает на последовательностях суставных углов — значительно легче RGB.
- **Quality head:** к финальной similarity можно добавить regression head: sim → deviation score вместо binary class.

## Gap для нас

TRX классифицирует "что за действие", не "насколько хорошо сделано". **Ниша SmartRep:** TRX-QA (Quality Assessment) — добавить к cross-transformer второй head, оценивающий per-joint и per-phase отклонения от выровненных эталонных кортежей. Также перевести на скелетные координаты для edge-совместимости (было бы первой публикацией skeleton-TRX для AQA).

## Ссылки на связанные статьи

- [[OTAM]] — предшественник, DTW вместо transformer
- [[HyRSM]] — следующий шаг, гибридные отношения
- [[MotionBERT]] — предобученный backbone для скелетных последовательностей, совместимый с TRX-архитектурой

## Код / данные

- Repo: github.com/tobyperrett/trx
- Pretrained: доступны веса

## Цитата (BibTeX)

```bibtex
@inproceedings{perrett2021temporal,
  title={Temporal-Relational CrossTransformers for Few-Shot Action Recognition},
  author={Perrett, Toby and Masullo, Alessandro and Burghardt, Tilo and Mirmehdi, Majid and Damen, Dima},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2021}
}
```
