

---

## title: "VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-training" title_ru: "VideoMAE: Маскированные автоэнкодеры как эффективные ученики для самообучаемого предварительного обучения на видео" authors: [Tong, Song, Wang, Wang] year: 2022 venue: "NeurIPS" venue_tier: "A*" doi: "2203.12602" tags: [ssl, masked_modeling, edge] relevance_to_smartrep: 3 direction: "🅰"

# VideoMAE: Маскированные автоэнкодеры как эффективные ученики для самообучаемого предварительного обучения на видео

## TL;DR (≤3 предложения)

Статья адаптирует концепцию MAE (Masked Autoencoders) для видео, предлагая экстремально высокий коэффициент маскирования (90–95%) пространственно-временных патчей. Авторы доказывают, что из-за высокой избыточности видео такая агрессивная маскировка заставляет модель эффективно извлекать семантические признаки без необходимости в огромных датасетах. Результатом стала SOTA-производительность на малых датасетах при значительном сокращении вычислительных затрат во время обучения.

## Проблема

Видеоданные обладают сверхвысокой временной избыточностью (соседние кадры почти идентичны). Традиционные методы SSL, перенесенные из обработки изображений, часто сталкиваются с тем, что модель "ленится" и восстанавливает патчи по простым локальным интерполяциям, не выучивая глубокую семантику движения. Кроме того, обучение видеотрансформеров обычно требует колоссальных вычислительных ресурсов и огромных массивов данных.

## Гипотеза / вклад

- **Extremely High Masking Ratio:** Гипотеза о том, что для видео требуется гораздо более высокий уровень маскировки (90%+ против 75% у изображений), чтобы предотвратить "информационную утечку" из соседних кадров.
    
- **Tube Masking Strategy:** Использование стратегии маскирования "трубок" (одинаковая маска для патча во всех кадрах по времени), что заставляет модель использовать семантическую логику, а не просто копировать пиксели из соседнего кадра.
    
- **Data Efficiency:** Доказано, что VideoMAE может обучаться на малых выборках (порядка нескольких тысяч видео) и при этом превосходить тяжелые модели, обученные на миллионах примеров.
    

## Метод

VideoMAE использует асимметричную архитектуру Encoder-Decoder. Энкодер (ViT) обрабатывает только видимые (немаскированные) патчи, что при 90% маскировке сокращает требования к памяти и вычислениям на порядок.

### Математическая формализация

Основной задачей является минимизация ошибки восстановления пикселей в маскированных областях:

$$L = \frac{1}{\Omega} \sum_{i \in \mathcal{M}} \| \mathcal{I}_i - \hat{\mathcal{I}}_i \|^2$$

Где:

- $\mathcal{M}$ — набор индексов маскированных патчей.
    
- $\Omega$ — общее количество маскированных пикселей.
    
- $\mathcal{I}_i$ — исходный маскированный патч.
    
- $\hat{\mathcal{I}}_i$ — восстановленный патч на выходе декодера.
    

### Архитектура (Mermaid)

Code snippet

```
graph LR
    Input[Video Frames] --> Patch[3D Patch Partition]
    Patch --> Mask[90% Tube Masking]
    Mask --> Visible[Visible Patches Only]
    Visible --> Encoder[ViT Encoder]
    Encoder --> Latent[Latent Representation]
    Latent --> DecoderJoin[Add Mask Tokens]
    DecoderJoin --> Decoder[Lightweight Decoder]
    Decoder --> Reconstruction[Reconstructed Pixels]
    Reconstruction --> Loss[MSE Loss on Masked Areas]
```

## Датасеты

|**Датасет**|**Размер**|**Метрика**|**Результат (ViT-B)**|
|---|---|---|---|
|Kinetics-400|~240k видео|Top-1 Acc|81.5%|
|Something-Something V2|~169k видео|Top-1 Acc|70.8%|
|UCF101|~13k видео|Top-1 Acc|96.1%|
|HMDB51|~7k видео|Top-1 Acc|73.3%|

## Сравнение с SOTA

VideoMAE превосходит конкурентов (например, VideoSwin или TimeSformer), используя при этом в разы меньше данных. На SSv2 (где важно именно движение) модель показала существенный отрыв, подтверждая, что маскирование "трубок" заставляет модель понимать динамику.

## Ограничения / слабости

- **Сложность инференса:** Несмотря на эффективность обучения, инференс на полном разрешении через ViT-Base/Large остается тяжелым для edge-устройств.
    
- **Отсутствие индуктивного смещения:** Как и все трансформеры, модель требует аккуратного подбора гиперпараметров и длинного расписания обучения.
    
- **Pixel-level loss:** MSE на пикселях может игнорировать высокоуровневые структурные аномалии, важные для AQA (например, дрожание сустава).
    

## Релевантность SmartRep

- **One-class AQA [4/5]:** Идеально подходит для претрейна на "чистых" записях упражнений. Ошибка восстановления ($L_{MSE}$) на маскированных участках может служить прокси-метрикой аномалии (плохой техники).
    
- **LUPI-потенциал [2/5]:** Статья фокусируется на RGB. Однако архитектуру можно адаптировать: Teacher видит все патчи, Student учится на маскированных.
    
- **Periodicity-awareness [2/5]:** Метод не направлен на периодичность напрямую, но выучивает временные зависимости.
    

## Gap для нас

VideoMAE — это "тяжелый" фундамент. В статье **не рассматривается работа со скелетными данными** (Pose-based SSL), что критично для нашей вычислительной сложности (5 GFLOPs). Также модель **не оптимизирована под real-time инференс**; она требует накопления пачки кадров.

_Ниша для SmartRep:_ Адаптация агрессивного маскирования для легких гибридных моделей (типа нашей SOFIA+Mamba) и перенос логики MAE на 1D-сигналы скелетных координат.

## Ссылки на связанные статьи

- [[MAE]] — оригинальный метод для изображений.
    
- [[VideoMAEv2]] — масштабирование до миллиардов параметров.
    
- [[SkeletonMAE]] — применение аналогичного подхода к позам.
    

## Код / данные

- Repo: [github.com/MCG-NJU/VideoMAE](https://github.com/MCG-NJU/VideoMAE)
    
- Pretrained: Доступны веса для ViT-S, B, L, H.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{tong2022videomae,
  title={VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-training},
  author={Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022}
}
```

---

[КОММЕНТАРИЙ РЕЦЕНЗЕНТА]: Для SmartRep наиболее ценным является вывод об уровне маскировки. Если мы будем делать SSL на борту или для претрейна нашего Student, нужно маскировать не менее 90% данных, иначе модель "перепишет" соседние кадры за счет избыточности, не выучив физику упражнения. Прямое использование ViT-B из статьи невозможно из-за лимита в 5 GFLOPs, требуется дистилляция в Mamba-стадии.