

---

## title: "Video Swin Transformer" title_ru: "Видео Swin-трансформер: иерархическая модель на основе скользящих окон для видео" authors: [Liu, Ning, Cao, Wei, Zhang, Lin, Tsang, Guo] year: 2022 venue: "CVPR" venue_tier: "A*" doi: "10.1109/CVPR52688.2022.00320" tags: [video_transformer, motion_representation, aqa, distillation] relevance_to_smartrep: 3 params: "28.2M (Swin-T) — 200M (Swin-L)" flops: "59 GFLOPs (Swin-T) — 595 GFLOPs (Swin-L)"

# Видео Swin-трансформер: иерархическая модель на основе скользящих окон для видео

## TL;DR (≤3 предложения)

Статья адаптирует успешную архитектуру Swin Transformer для работы с видеоданными, заменяя глобальное внимание локальным вниманием в пределах 3D-окон. Иерархическая структура позволяет строить карты признаков разного разрешения, а механизм сдвинутых окон (shifted windows) обеспечивает эффективную связь между пространственно-временными областями. Модель достигла SOTA на Kinetics-400 и Something-Something V2, предложив более эффективную альтернативу классическим ViT-видеомоделям.

## Проблема

Использование стандартных трансформеров (ViT) для видео крайне ресурсозатратно из-за квадратичной зависимости сложности self-attention от количества патчей ($T \times H \times W$). Кроме того, видео обладает сильной локальной корреляцией: соседние пиксели и кадры семантически связаны, и игнорирование этого факта (как в глобальных трансформерах) замедляет сходимость и требует избыточных вычислений.

## Гипотеза / вклад

- **3D Shifted Windows:** Впервые предложен механизм 3D-окон, где внимание вычисляется внутри локального объема $T' \times H' \times W'$. Сдвиг окон между слоями позволяет информации "перетекать" между окнами, захватывая движение.
    
- **Иерархичность:** В отличие от "плоских" ViT, Video Swin постепенно уменьшает пространственное разрешение, увеличивая глубину признаков (аналогично CNN), что критично для задач сегментации и детекции.
    
- **Индуктивное смещение локальности:** Сочетание преимуществ трансформеров (динамические веса) с эффективностью локальных операций, типичных для сверточных сетей.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Входное видео разбивается на 3D-патчи (обычно $2 \times 4 \times 4$ пикселя). Пространственное кодирование происходит внутри слоев через локальное внимание в окнах $H' \times W'$. За счет иерархической структуры (Stage 1–4) модель способна захватывать как мелкие детали, так и крупные объекты.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Время моделируется через **3D Window-based Multi-head Self-Attention (W-MSA)**. Окна имеют размерность $L \times H' \times W'$. Ключевой момент — **Shifted Window**: в соседних слоях окна сдвигаются на половину своего размера вдоль осей $T, H, W$, что позволяет одному и тому же патчу взаимодействовать с соседями по времени и пространству, которые ранее были в разных окнах.
    
3. **Как объединяются признаки?**
    
    После каждого этапа (Stage) используется слой **Patch Merging**, который конкатенирует признаки соседних патчей, сокращая разрешение и увеличивая размерность вектора признаков (C, 2C, 4C, 8C).
    

## Вычислительная сложность и Edge-потенциал

Несмотря на линейную сложность относительно размера изображения (в отличие от квадратичной у ViViT), Video Swin остается тяжелым для Edge-инференса.

- **Swin-T (Tiny):** ~28M параметров и ~59 GFLOPs — это в 10 раз больше нашего целевого бюджета (5 GFLOPs).
    
- **Edge-потенциал:** Низкий для прямого запуска в реальном времени. Однако, благодаря иерархичности, архитектура удобна для обрезки (pruning) или использования только первых стадий как экстрактора признаков. Также может служить Teacher-моделью для дистилляции в наш легкий бэкбон (SOFIA/MambaVision).
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат (Swin-T)**|
|---|---|---|---|
|Kinetics-400|Общее|Top-1 Accuracy|78.8%|
|Kinetics-600|Общее|Top-1 Accuracy|82.4%|
|SSv2|Движения|Top-1 Accuracy|66.5%|

## Сравнение с SOTA

Video Swin-B (Base) превосходит [[TimeSformer]] и [[ViViT]] на Kinetics-400, потребляя при этом меньше памяти и обладая более высокой скоростью инференса. По сравнению с 3D CNN (SlowFast), трансформер лучше справляется с датасетами, требующими понимания сложных взаимодействий (Something-Something V2).

## Ограничения / слабости

- **Сложность реализации:** Механизм 3D shifted windows и циклический сдвиг (cyclic shift) сложнее в реализации и оптимизации под TensorRT, чем стандартные свертки.
    
- **Предобучение:** Модель все еще сильно зависит от качественного предобучения на ImageNet-1K/21K.
    
- **Фиксированное окно:** Ограниченный размер временного окна ($L=8$) может быть недостаточен для анализа очень медленных упражнений без сильного даунсэмплинга.
    

## Релевантность SmartRep

**Оценка: 3.** Основной интерес представляет **иерархический подход**. В SmartRep мы используем 4-стадийную пирамиду признаков в SOFIA, и логика Video Swin по объединению локальных окон может быть адаптирована для наших Mamba-блоков (например, Local Mamba Attention), чтобы ограничить вычислительную сложность при работе с видео.

## Gap для нас

- **Превышение бюджета Edge:** Даже Tiny версия слишком тяжела для Jetson Orin NX в реальном времени (>50ms latency).
    
- **Отсутствие Rep Counting:** В модели нет механизмов для обнаружения цикличности или периодичности.
    
- **Фазовая сегментация:** Статья фокусируется на классификации всего видео. Для нас требуется адаптация иерархических признаков для пофреймового (dense) вывода фаз упражнения.
    
- **Игнорирование скелета:** Video Swin работает чисто с RGB-пикселями. Наша ниша — применить аналогичную иерархическую логику внимания к разреженным графам суставов или их heatmap-ам.
    

## Ссылки на связанные статьи в литобзоре

- Базовая архитектура: [[Swin Transformer]] (Liu et al., 2021).
    
- Конкурент: [[TimeSformer]], [[ViViT]].
    
- Предшественник 3D-подхода: [[VideoMAE]] (использует иные стратегии маскирования).
    

## Код / данные

- Repo: [https://github.com/video-swin-transformer/Video-Swin-Transformer](https://www.google.com/search?q=https://github.com/video-swin-transformer/Video-Swin-Transformer&authuser=1)
    
- Pretrained: Да (Swin-T, S, B, L).
    
- Отношение к нашим данным: Работает с RGB. Можно интегрировать как Backbone в наш 3-фазный план (Phase 2: Distillation).
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{liu2022video,
  title={Video swin transformer},
  author={Liu, Ze and Ning, Jia and Cao, Yue and Wei, Yixuan and Zhang, Zheng and Lin, Stephen and Tsang, Han Hu and Guo, Baining},
  booktitle={Proceedings of the IEEE/CVF conference on computer vision and pattern recognition},
  pages={3202--3211},
  year={2022}
}
```

---

**Краткий вывод для SmartRep:** Video Swin — мощный, но тяжелый бэкбон. Его стоит изучить ради идеи **Shifted Windows** в 3D, которую мы можем упростить и перенести в наши легковесные Mamba-блоки для захвата движения без квадратичной сложности.

Рекомендуемый приоритет: **СРЕДНИЙ** (как объект для дистилляции знаний).