
YAML

```
---
title: "Is Space-Time Attention All You Need for Video Understanding?"
title_ru: "Достаточно ли пространственно-временного внимания для понимания видео? (TimeSformer)"
authors: [Bertasius, Wang, Torresani]
year: 2021
venue: "ICML"
venue_tier: "A*"
doi: "arXiv:2102.05095"
tags: [video_transformer, motion_representation, aqa]
relevance_to_smartrep: 3
params: "121.4M (Base model)"
flops: "830 GFLOPs (Base model, 8x224x224)"
---
```

# Достаточно ли пространственно-временного внимания для понимания видео?

## TL;DR (≤3 предложения)

Статья представляет TimeSformer — одну из первых успешных адаптаций архитектуры Vision Transformer (ViT) для видео, предлагая механизм «разделенного пространственно-временного внимания» (Divided Space-Time Attention). Вместо тяжелых 3D-сверток модель последовательно применяет временное внимание, а затем пространственное к патчам кадров. Это позволяет эффективно обучаться на длинных видеопоследовательностях и превосходить SOTA-модели 3D CNN (такие как I3D и SlowFast) на крупных бенчмарках.

## Проблема

Классические 3D CNN (например, I3D, SlowFast) имеют ограниченный рецептивный пол, определяемый размером ядра свертки, что затрудняет захват долгосрочных зависимостей в длинных видео. С другой стороны, стандартный механизм Self-Attention применительно ко всем патчам видео (Joint Space-Time Attention) имеет квадратичную сложность относительно количества патчей, что делает инференс и обучение на видео практически невозможными из-за колоссальных вычислительных затрат.

## Гипотеза / вклад

- **Разделенное внимание (Divided Space-Time Attention):** Гипотеза о том, что разделение внимания на временное (вдоль одного патча в разных кадрах) и пространственное (внутри одного кадра) является более эффективным и точным, чем их совместное вычисление.
    
- **Масштабируемость:** Transformer-архитектура позволяет обрабатывать значительно более длинные клипы (до нескольких минут), чем традиционные CNN, без потери локальной детализации.
    
- **Эффективность обучения:** TimeSformer требует меньше времени на обучение по сравнению с 3D CNN при сопоставимой или более высокой точности.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Видео разбивается на набор плоских патчей (как в ViT). Пространственное внимание вычисляется внутри каждого кадра отдельно: каждый патч взаимодействует со всеми остальными патчами _того же_ кадра.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Divided Attention**. В каждом блоке трансформера сначала применяется временное внимание: каждый патч взаимодействует только с патчами в той же пространственной позиции, но в _других_ кадрах. Затем результат подается на слой пространственного внимания.
    
3. **Как объединяются признаки?**
    
    Признаки объединяются через стандартную архитектуру Transformer (Residual connections, MLP). Финальное предсказание делается по CLS-токену, который агрегирует информацию из всего пространственно-временного объема.
    

## Вычислительная сложность и Edge-потенциал

Для проекта SmartRep модель в исходном виде является **чрезвычайно тяжелой**.

- **Параметры:** 121.4M (модель Base).
    
- **FLOPs:** 830 GFLOPs для стандартного клипа (8 кадров).
    
    Модель не пригодна для прямого запуска на Edge-устройствах (Jetson Orin NX/Mobile) без радикальной оптимизации. В статье не обсуждаются дистилляция в легкие модели (mobile-level) или квантизация. Однако архитектура TimeSformer служит отличным «учителем» (Teacher) для дистилляции временных знаний в наши легкие GCN/SSM бэкбоны.
    

## Датасеты и метрики

|**Датасет**|**Домен (Спорт/Общее)**|**Метрика (Top-1)**|**Результат модели**|
|---|---|---|---|
|Kinetics-400|Общее|Top-1|80.7%|
|Something-Something V2|Взаимодействие объектов|Top-1|62.5%|
|Kinetics-600|Общее|Top-1|82.4%|

## Сравнение с SOTA

TimeSformer превосходит SlowFast и X3D на Kinetics-400 при меньших затратах времени на обучение. На датасете Something-Something V2, где критически важен временной порядок, разделенное внимание показало себя лучше, чем Joint-Attention, что доказывает эффективность предложенной схемы разделения осей пространства и времени.

## Ограничения / слабости

- **Требовательность к памяти:** Несмотря на разделенное внимание, трансформеры все еще потребляют много VRAM при работе с высоким разрешением.
    
- **Зависимость от предобучения:** Модель требует сильного предобучения на ImageNet-21K для достижения конкурентных результатов.
    
- **Отсутствие индуктивного смещения:** В отличие от CNN, трансформерам нужно больше данных, чтобы выучить локальные структуры (что может быть минусом при малых датасетах силовых упражнений).
    

## Релевантность SmartRep

TimeSformer важен для нас как **золотой стандарт моделирования времени**. Если наша задача — понимать сложные фазы (например, заминка в нижней точке приседания), механизм Global Temporal Attention из этой статьи справится лучше любой локальной свертки. Мы можем использовать идеи «разделенного внимания» для оптимизации наших собственных временных блоков, чтобы они могли «смотреть» на упражнение целиком, а не только на соседние кадры.

## Gap для нас

- **Модель слишком тяжелая:** Отсутствует дистилляция в edge-модель. Параметры (121M) и FLOPs (830G) на порядки превышают наши лимиты (<5M / <5G).
    
- **Модель не отличает технику (AQA):** Она классифицирует действие, но не оценивает углы или «чистоту» выполнения.
    
- **Подсчет повторений:** TimeSformer не имеет явного механизма для Rep Counting; он воспринимает видео как единый объем патчей, а не как периодический процесс.
    
- **Фазовая сегментация:** Статья фокусируется на классификации клипа, а не на пофреймовой разметке (концентрика/эксцентрика).
    

## Ссылки на связанные статьи в литобзоре

- Основа: [[ViT]] (Vision Transformer).
    
- Конкуренты (3D CNN): [[SlowFast]], [[I3D]].
    
- Другие видео-трансформеры: [[ViViT]], [[VideoMAE]] (использует TimeSformer как бэкбон).
    

## Код / данные

- Repo: [https://github.com/facebookresearch/TimeSformer](https://github.com/facebookresearch/TimeSformer)
    
- Pretrained: Да (на ImageNet и Kinetics).
    
- Отношение к нашим данным: Работает с RGB. Для SmartRep было бы интересно подавать в TimeSformer не RGB, а скелетные heatmap-ы (как в [[PoseConv3D]]), что может снизить вычислительную сложность.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{bertasius2021timesformer,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning (ICML)},
  year={2021}
}
```