

YAML

```
---
title: "VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training"
title_ru: "VideoMAE: Маскированные автоэнкодеры как эффективные ученики для самообучаемого предобучения видео"
authors: [Tong, Song, Wang, Wang]
year: 2022
venue: "NeurIPS"
venue_tier: "A*"
doi: "2203.12602"
tags: [video_transformer, motion_representation, aqa]
relevance_to_smartrep: 3
params: "86M (ViT-B) / 304M (ViT-L)"
flops: "~180-200 GFLOPs (Inference ViT-B)"
---
```

# VideoMAE: Маскированные автоэнкодеры как эффективные ученики для самообучаемого предобучения видео

## TL;DR (≤3 предложения)

VideoMAE адаптирует концепцию маскированных автоэнкодеров (MAE) для видео, используя экстремально высокий коэффициент маскирования (90–95%). Модель обучается восстанавливать пропущенные пространственно-временные «трубки» (tubes), что заставляет её извлекать глубокие семантические признаки движения без использования размеченных данных. На момент публикации VideoMAE установила новый SOTA на Kinetics-400 и Something-Something V2, продемонстрировав феноменальную эффективность на малых наборах данных.

## Проблема

Видеоданные обладают избыточностью: соседние кадры часто почти идентичны. Если применять стандартное маскирование из имидж-моделей (напр. 75%), видео-трансформер может легко восстановить пропущенные пиксели за счет простой интерполяции между кадрами, не «вникая» в суть движения. Кроме того, обучение видео-трансформеров обычно требует гигантских датасетов и вычислительных мощностей.

## Гипотеза / вклад

- **Экстремальное маскирование:** Авторы доказали, что для видео эффективным является маскирование 90–95% патчей. Это уничтожает временную избыточность и заставляет модель обучаться сложным репрезентациям динамики.
    
- **Tube Masking:** Предложена стратегия маскирования, при которой одна и та же пространственная область маскируется на протяжении всей временной оси, что предотвращает «подсматривание» в соседние кадры.
    
- **Data-Efficiency:** Модель отлично обучается на датасетах среднего размера (Kinetics-400) без необходимости предобучения на миллиардах картинок (JFT-300M).
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Видео разбивается на патчи размером **$16 \times 16$**. Используется стандартный ViT-бэкбон. Визуальные токены (патчи) объединяются в кубические «трубки» (tubes) размером **$2 \times 16 \times 16$**.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Joint Space-Time Attention** (объединенное пространственно-временное внимание). В отличие от TimeSformer, VideoMAE подает все видимые (не замаскированные) токены в стандартный трансформер, где каждый токен может взаимодействовать с любым другим токеном во всем объеме видео.
    
3. **Как объединяются признаки?**
    
    Поскольку 90% данных маскируется, энкодер обрабатывает лишь малую часть видео (оставшиеся 5–10% патчей). Декодер (более легкий трансформер) затем пытается восстановить полный объем видео. После предобучения декодер отбрасывается, а энкодер используется для классификации или анализа.
    

## Вычислительная сложность и Edge-потенциал

Хотя процесс предобучения стал эффективнее из-за маскирования, инференс остается классическим для ViT.

- **Параметры:** 86M (Base) — это слишком много для нашего лимита в 5M.
    
- **FLOPs:** ~180 GFLOPs — на два порядка выше нашего таргета (5 GFLOPs).
    
    **Потенциал:** VideoMAE — мощнейший **Teacher-модель**. Мы можем использовать предобученный VideoMAE для дистилляции «движенческих» знаний в наш легкий Student (SOFIA+MambaVision), чтобы он научился понимать динамику упражнения так же глубоко.
    

## Датасеты и метрики

|**Датасет**|**Домен (Спорт/Общее)**|**Метрика (Top-1)**|**Результат (ViT-B)**|
|---|---|---|---|
|Kinetics-400|Общее|Top-1 Accuracy|81.5%|
|SSv2|Взаимодействие объектов|Top-1 Accuracy|70.8%|
|UCF101|Общее (малый датасет)|Top-1 Accuracy|96.1%|

## Сравнение с SOTA

VideoMAE значительно превосходит **TimeSformer** и **ViViT** при обучении «с нуля» на видео. Она показала, что самообучение (self-supervised) на видео работает лучше, чем перенос весов из предобученных на картинках моделей.

## Ограничения / слабости

- **Тяжелый инференс:** Модель требует мощных GPU (A100/H100) для обучения и не оптимизирована для работы в реальном времени на Edge.
    
- **Отсутствие индуктивного смещения:** Как и все трансформеры, VideoMAE «не знает» о структуре человеческого тела (в отличие от GCN), поэтому на очень зашумленных данных может работать хуже специализированных скелетных моделей.
    

## Релевантность SmartRep

Это «золотой стандарт» для получения признаков движения. Для SmartRep VideoMAE может быть полезна в двух сценариях:

1. **Teacher для дистилляции:** Перенос знаний о динамике в наш легкий Mamba-бэкбон.
    
2. **Backbone для AQA:** Если мы захотим оценивать технику не по скелету, а по RGB (через оценку качества движения), VideoMAE — лучший экстрактор признаков.
    

## Gap для нас

- **Модель слишком тяжелая:** Требуется радикальное сжатие или дистилляция в SSM (Mamba) с линейной сложностью.
    
- **Отсутствие Rep Counting:** Статья не рассматривает цикличность движений.
    
- **Нет фазовой сегментации:** VideoMAE классифицирует видео целиком, не выделяя границы эксцентрики/концентрики.
    
- **Не использует скелет:** Модель работает только с RGB, игнорируя биомеханическую информацию из координат суставов (наша ниша — объединить такую мощность с эффективностью по скелету).
    

## Ссылки на связанные статьи в литобзоре

- Основа (MAE для картинок): [[MAE]] (He et al.).
    
- Архитектура бэкбона: [[TimeSformer]], [[ViViT]].
    
- SOTA видео-модели: [[VideoMAEv2]] (масштабирование до 1B параметров).
    

## Код / данные

- Repo: [https://github.com/MCG-NJU/VideoMAE](https://github.com/MCG-NJU/VideoMAE)
    
- Pretrained: Да (Kinetics-400, SSv2).
    
- Отношение к нашим данным: Работает с RGB видео-клипами.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{tong2022videomae,
  title={Videomae: Masked autoencoders are data-efficient learners for self-supervised video pre-training},
  author={Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},
  booktitle={Advances in Neural Information Processing Systems},
  volume={35},
  pages={10078--10093},
  year={2022}
}
```