

YAML

```
---
title: "ViViT: A Video Vision Transformer"
title_ru: "ViViT: Видео-трансформер для задач компьютерного зрения"
authors: [Arnab, Dehghani, Heigold, Sun, Lučić, Schmid]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "10.1109/ICCV48922.2021.00676"
tags: [video_transformer, motion_representation, distillation, aqa]
relevance_to_smartrep: 3
params: "88M (Base) — 632M (Huge)"
flops: "455 GFLOPs (Base) — 3980 GFLOPs (Huge)"
---
```

# ViViT: Видео-трансформер для задач компьютерного зрения

## TL;DR (≤3 предложения)

Статья представляет чистую Transformer-архитектуру для видео, которая отказывается от 3D-сверток в пользу различных схем факторизации пространственно-временного внимания. Авторы предложили четыре варианта архитектуры и метод "Tubelet Embedding" для эффективной токенизации видео. Модель достигла SOTA-результатов на Kinetics-400 и Epic Kitchens, доказав, что трансформеры могут эффективно обобщать пространственные знания из ImageNet на временную область.

## Проблема

Прямое применение Vision Transformer (ViT) к видео крайне затруднительно из-за квадратичной сложности self-attention: количество токенов в видео на порядки больше, чем в изображении ($T \times H \times W$). Основная проблема — как эффективно моделировать временные зависимости, не перегружая вычислительные ресурсы и не теряя глобальный контекст, который так важен для понимания движений.

## Гипотеза / вклад

- **Tubelet Embedding:** Предложен метод токенизации, где патчи извлекаются не только по пространству, но и по времени (3D-кубы), что позволяет уменьшить количество токенов на входе.
    
- **Факторизация внимания:** Исследованы 4 архитектуры для разделения пространственного и временного обучения, среди которых "Factorised Encoder" (сначала пространственный трансформер, затем временной) оказался наиболее сбалансированным.
    
- **Масштабируемость:** Показано, что предобучение на огромных датасетах изображений (ImageNet-21k) критично для видео-трансформеров, чтобы компенсировать отсутствие индуктивного смещения (в отличие от CNN).
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Используется **Tubelet Embedding**: из видео вырезаются 3D-патчи размера $t \times h \times w$. В базовой версии пространственная информация кодируется стандартными блоками ViT, которые обрабатывают токены одного кадра (или одного временного "тубуса").
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Через **Factorised Self-Attention**. В наиболее успешном варианте (Model 2) используется каскад:
    
    - **Spatial Transformer:** обрабатывает патчи внутри каждого кадра.
        
    - **Temporal Transformer:** принимает на вход выходные токены (или CLS-токены) из пространственного трансформера и моделирует связи между ними вдоль оси времени.
        
        Это позволяет избежать вычисления внимания между всеми патчеми всех кадров одновременно.
        
3. **Как объединяются признаки?**
    
    Признаки объединяются через глубокую иерархию слоев внимания. Финальный классификатор работает на основе CLS-токена временного трансформера, который агрегирует информацию о динамике всей последовательности.
    

## Вычислительная сложность и Edge-потенциал

Для проекта SmartRep в текущем виде модель **непригодна для инференса на edge**.

- **Минимальный GFLOPs:** 455 (Base) — это почти в 100 раз превышает наши целевые 5 GFLOPs.
    
- **Память:** Требуется огромный объем VRAM для хранения промежуточных attention maps.
    
    **Однако:** ViViT — идеальный кандидат на роль **Teacher-модели**. Её способность извлекать богатые представления движений можно дистиллировать в наши легковесные MambaVision или SOFIA бэкбоны.
    

## Датасеты и метрики

|**Датасет**|**Домен (Спорт/Общее)**|**Метрика (Top-1)**|**Результат модели**|
|---|---|---|---|
|Kinetics-400|Общее|Top-1|84.9%|
|Kinetics-600|Общее|Top-1|85.8%|
|Epic Kitchens|Бытовые действия|Top-1 (Action)|44.0%|

## Сравнение с SOTA

ViViT на момент выхода обошел [[TimeSformer]] и тяжелые 3D CNN, такие как SlowFast и X3D. Основное преимущество — лучшая работа на длинных видео и высокая точность при использовании очень больших моделей (Huge), которые "переваривают" больше данных, чем классические свертки.

## Ограничения / слабости

- **Колоссальные ресурсы:** Огромные затраты на обучение и инференс.
    
- **Зависимость от данных:** Без предобучения на ImageNet-21k или JFT-300M модель показывает результаты значительно хуже средних CNN.
    
- **Чувствительность к гиперпараметрам:** Трудно обучать с нуля.
    

## Релевантность SmartRep

Архитектура **Factorised Encoder** (Model 2) очень близка к логике нашего проекта: разделение на "быстрый" пространственный экстрактор и "глобальный" временной агрегатор. Мы можем заимствовать идею Tubelet Embedding для первичного сжатия данных скелетных heatmap-ов перед подачей в Mamba-блоки.

## Gap для нас

- **Отсутствие Rep Counting:** ViViT классифицирует действие целиком, но не умеет считать цикличные повторения.
    
- **Нет фазовой сегментации:** Модель не дает пофреймовых предсказаний (концентрика/эксцентрика), что критично для анализа техники в SmartRep.
    
- **Вычислительный барьер:** Статья не рассматривает вопросы сжатия для Edge-устройств. Наша ниша — адаптация такой мощности под Jetson Orin NX через дистилляцию или замену Attention на SSM (Mamba).
    

## Ссылки на связанные статьи в литобзоре

- Параллельная работа по разделению внимания: [[TimeSformer]].
    
- Дальнейшее развитие (Masked Autoencoders): [[VideoMAE]].
    
- Классические SOTA для сравнения: [[SlowFast]], [[X3D]].
    

## Код / данные

- Repo: [https://github.com/google-research/scenic](https://github.com/google-research/scenic) (в составе библиотеки Scenic).
    
- Pretrained: Да (Base, Large).
    
- Отношение к нашим данным: Работает с RGB-видео. Для нас интересна адаптация под скелетные данные через замену входного эмбеддинга.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{arnab2021vivit,
  title={Vivit: A video vision transformer},
  author={Arnab, Anurag and Dehghani, Mostafa and Heigold, Georg and Sun, Chen and Lu{\v{c}}i{\'c}, Mario and Schmid, Cordelia},
  booktitle={Proceedings of the IEEE/CVF international conference on computer vision},
  pages={6836--6846},
  year={2021}
}
```

---

_Прим. рецензента: Коллега, обрати внимание на Model 2 (Factorised Encoder) в тексте. Это фактически прообраз того, что мы пытаемся сделать с Mamba, только на тяжелых трансформерах. Если будем делать дистилляцию, ViViT-Base — наш первый кандидат на роль "учителя"._