

YAML

```
---
title: "VideoMAEv2: Scalable Masked Autoencoders for Self-Supervised Video Pre-training"
title_ru: "VideoMAEv2: Масштабируемые маскированные автоэнкодеры для самообучаемого предобучения видео"
authors: [Wang, Huang, Zhao, Tong, He, Wang, Wang, Qiao]
year: 2023
venue: "CVPR"
venue_tier: "A*"
doi: "arXiv:2303.16727"
tags: [video_transformer, motion_representation, distillation, aqa]
relevance_to_smartrep: 3
params: "22M (ViT-S) — 1B (ViT-g)"
flops: "180 GFLOPs (ViT-B) — 2000+ GFLOPs (ViT-g)"
---
```

# VideoMAEv2: Масштабируемые маскированные автоэнкодеры для самообучаемого предобучения видео

## TL;DR (≤3 предложения)

VideoMAEv2 — это эволюция оригинального VideoMAE, масштабированная до моделей с миллиардом параметров за счет внедрения стратегии **двойного маскирования** (Dual Masking). Модель обучается на колоссальных объемах неразмеченного видео, извлекая универсальные признаки движения, которые позволяют достичь SOTA-результатов в распознавании и классификации действий. Для SmartRep это «ультимативная» модель-учитель для извлечения смысловых представлений о биомеханике.

## Проблема

Предыдущие видео-автоэнкодеры сталкивались с вычислительным «потолком» при попытке масштабирования до гигантских Vision Transformers (ViT). Проблема заключалась в том, что даже при маскировании 90% входа, декодер все равно потреблял слишком много ресурсов при восстановлении полного объема видео, а отсутствие огромных качественных видео-датасетов ограничивало потенциал моделей с миллиардами параметров.

## Гипотеза / вклад

- **Двойное маскирование (Dual Masking):** Авторы предложили маскировать не только вход энкодера (90%), но и значительно сокращать количество токенов, подаваемых в декодер. Это позволило снизить вычислительную нагрузку на декодер на 70%.
    
- **Масштабирование до 1B параметров:** Впервые видео-MAE успешно доведен до размера ViT-g (giant), что дает качественный скачок в точности признаков.
    
- **Progressive Training:** Использование огромного неразмеченного датасета (UnlabeledHybrid) для постепенного обучения от простых структур к сложным семантическим концепциям.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Используется стандартный патч-эмбеддинг ViT (патчи 16x16). Пространственные связи внутри кадра обрабатываются через механизм Self-Attention.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Joint Space-Time Attention** в рамках ванильного ViT. Поскольку 90% патчей замаскировано, модель вынуждена выучивать зависимости между оставшимися «кусочками» видео во всем пространственно-временном объеме.
    
3. **Как объединяются признаки?**
    
    Энкодер обрабатывает только видимые патчи. Декодер восстанавливает видео из разреженного представления. После обучения декодер отбрасывается, оставляя мощный экстрактор признаков.
    

## Вычислительная сложность и Edge-потенциал

VideoMAEv2 — это «тяжелая артиллерия» для серверных ферм.

- **Edge-потенциал:** В исходном виде (ViT-B/L/g) — **нулевой**. Модели требуют десятки и сотни терафлопсов.
    
- **Дистилляция:** Это главный сценарий для SmartRep. Мы можем использовать веса VideoMAEv2-g для обучения нашей легкой модели **SOFIA+MambaVision**, заставляя Student имитировать латентные представления (embeddings) Teacher-а. Это позволит «засунуть» знания гигантской модели в наши 5M параметров.
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат (ViT-g)**|
|---|---|---|---|
|Kinetics-400|Общее|Top-1 Acc|91.3%|
|SSv2|Движения|Top-1 Acc|77.0%|
|UCF101|Общее|Top-1 Acc|99.6%|

## Сравнение с SOTA

VideoMAEv2-g превосходит оригинальный [[VideoMAE]] и все существующие видео-трансформеры ([[ViViT]], [[TimeSformer]]) с огромным отрывом (на +3-5% на Kinetics-400). Фактически, это самая сильная открытая модель для понимания видеодинамики на текущий момент (2023-2024).

## Ограничения / слабости

- **Ресурсы:** Обучение ViT-g требует сотен GPU A100.
    
- **Инференс:** Даже ViT-S версия будет работать на Edge медленнее, чем оптимизированные CNN или Mamba-модели.
    
- **Смещение (Bias):** Модель обучалась на общих видео, поэтому для специфики «становой тяги» или «приседаний» ей все равно может потребоваться fine-tuning на спортивных данных.
    

## Релевантность SmartRep

**Оценка: 3.** Нам не нужна сама модель на девайсе, но нам критически важны её **веса как таргет для дистилляции**. Если наш Student-бэкбон научится выдавать такие же векторы признаков, как VideoMAEv2, мы решим проблему понимания сложной техники упражнений при малом количестве параметров.

## Gap для нас

- **Подсчет повторений:** Как и предшественник, модель не имеет логики периодичности.
    
- **Фазовая сегментация:** VideoMAEv2 дает «глобальный» вектор признаков клипа. Для сегментации эксцентрики/концентрики нам придется адаптировать её под пофреймовый (dense) вывод.
    
- **Отсутствие биомеханики:** Модель «смотрит» на пиксели, а не на скелет. Наша ниша — объединить визуальную мощь MAEv2 с геометрической точностью скелетных графов в рамках LUPI-дистилляции.
    

## Ссылки на связанные статьи в литобзоре

- Предшественник: [[VideoMAE]].
    
- Идейная база: [[MAE]] (He et al.).
    
- Основа для нашего Student: [[MambaVision]].
    

## Код / данные

- Repo: [https://github.com/OpenGVLab/VideoMAEv2](https://github.com/OpenGVLab/VideoMAEv2)
    
- Pretrained: Да (все размеры от S до g).
    
- Отношение к нашим данным: Работает с RGB. Можно попробовать подавать ей Heatmap-скелеты для «скелетного предобучения».
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{wang2023videomaev2,
  title={Videomaev2: Scalable masked autoencoders for self-supervised video pre-training},
  author={Wang, Limin and Huang, Bingkun and Zhao, Zhiyu and Tong, Zhan and He, Yangjun and Wang, Yi and Wang, Yinan and Qiao, Yu},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={13188--13199},
  year={2023}
}
```