

---

## title: "VideoMAEv2: Scalable Masked Autoencoders for Video Pre-training" title_ru: "VideoMAEv2: Масштабируемые маскированные автоэнкодеры для предварительного обучения на видео" authors: [Wang, Chen, He, Wu, Ji, Qiao] year: 2023 venue: "CVPR" venue_tier: "A*" doi: "2303.08338" tags: [ssl, masked_modeling, edge] relevance_to_smartrep: 2 direction: "🅰"

# VideoMAEv2: Масштабируемые маскированные автоэнкодеры для предварительного обучения на видео

## TL;DR (≤3 предложения)

VideoMAEv2 расширяет парадигму маскированного моделирования до гигантских масштабов (до миллиарда параметров), вводя концепцию "двойной маскировки" (dual masking) для эффективного обучения. Авторы решают проблему вычислительной неэффективности при работе с огромными видеотрансформерами, позволяя обучать модели на колоссальных объемах неразмеченного видео. В результате созданы одни из самых мощных "foundation models" для видео на сегодняшний день.

## Проблема

Обучение сверхбольших моделей (ViT-g) на видео напрямую крайне затруднено из-за квадратичной сложности внимания и огромного объема видеоданных. Предшественники (VideoMAE v1) уже использовали 90% маскировку, но при масштабировании параметров до миллиарда даже оставшиеся 10% патчей становятся вычислительно дорогими для обработки в "честном" режиме.

## Гипотеза / вклад

- **Dual Masking:** Авторы предложили маскировать не только входные данные для энкодера, но и сами операции внимания (masking operators), что позволяет обучать гигантские модели с вменяемым бюджетом.
    
- **Progressive Training:** Стратегия постепенного обучения от малых моделей/разрешений к большим.
    
- **Giant Foundation Model:** Первая работа, успешно обучившая ViT-g (1B параметров) на видео, достигнув новых SOTA.
    

## Метод

В основе лежит классический Masked Autoencoder, где энкодер видит лишь малую часть патчей. Ключевое отличие v2 — оптимизация пайплайна обучения через уменьшение избыточности не только в пространстве пикселей, но и в вычислительном графе.

### Математическая формализация

Функция потерь остается классической MSE для реконструкции пикселей, но с акцентом на масштабируемость:

$$L = \frac{1}{|\mathcal{M}|} \sum_{i \in \mathcal{M}} \| \mathcal{I}_i - \text{Dec}(\text{Enc}(\mathcal{I}_{\text{vis}}))_i \|^2$$

Где:

- $\mathcal{I}_{\text{vis}}$ — видимые патчи (всего 10% от исходного видео).
    
- $\mathcal{M}$ — индексы маскированных патчей.
    
- $\text{Dec}, \text{Enc}$ — декодер и энкодер соответственно.
    

### Архитектура (Mermaid)

Code snippet

```
graph TD
    V[Video Input] --> P[3D Patch Partition]
    P --> DM[Dual Masking Strategy 90%]
    DM --> Enc[Giant ViT Encoder - ViT-g]
    Enc --> Latent[Latent Space]
    Latent --> Dec[Lightweight Decoder]
    Dec --> Rec[Reconstruction of Masked Patches]
    Rec --> Loss[MSE Loss]
```

## Датасеты

Обучение проводилось на смеси огромных наборов данных (Kinetics-700, Something-Something v2, и др.).

|**Датасет**|**Размер (Params)**|**Метрика**|**Результат**|
|---|---|---|---|
|Kinetics-400|1B (ViT-g)|Top-1 Acc|91.3%|
|SSv2|1B (ViT-g)|Top-1 Acc|77.0%|
|UCF101|1B (ViT-g)|Top-1 Acc|99.1%|

## Сравнение с SOTA

VideoMAEv2 устанавливает новые рекорды точности, превосходя v1 на 3-5% за счет масштаба. Однако это достигается ценой экспоненциального роста требований к железу для обучения.

## Ограничения / слабости

- **Extreme Compute:** Обучение требует сотен GPU (A100/H100).
    
- **Inference Latency:** Модели ViT-L/g абсолютно не пригодны для edge-инференса без радикальной дистилляции.
    
- **Data Hungry:** Несмотря на эффективность SSL, для реализации потенциала 1B параметров требуются миллионы видео.
    

## Релевантность SmartRep

- **One-class AQA [2/5]:** Концептуально — да, но модель избыточна. Мы можем использовать предобученные веса v2 как "Teacher" для дистилляции в нашу SOFIA+Mamba.
    
- **LUPI-потенциал [5/5]:** Это идеальный кандидат на роль **Teacher** в нашей парадигме. VideoMAEv2 ViT-g обладает колоссальными семантическими знаниями о динамике человека.
    
- **Periodicity-awareness [1/5]:** На таких масштабах специфика периодичности размывается общими семантическими признаками.
    

## Gap для нас

VideoMAEv2 идет по пути "больше параметров = лучше результат". Наш проект SmartRep идет по пути "минимальные параметры при сохранении качества".

**Главный Gap:** Статья не предлагает способов эффективного переноса знаний из ViT-g в компактные модели для real-time (на борту Snapdragon/Jetson).

_Ниша для новизны:_ Дистилляция гигантского VideoMAEv2 в гибридный SSM (Mamba) backbone с сохранением способности к детекции аномалий в технике упражнений.

## Ссылки на связанные статьи

- [[VideoMAE]] (v1) — база метода.
    
- [[MAMP]] — альтернативный подход к masked motion pretraining.
    

## Код / данные

- Repo: [github.com/OpenGVLab/VideoMAEv2](https://github.com/OpenGVLab/VideoMAEv2)
    
- Pretrained: Доступны веса от ViT-B до ViT-g.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{wang2023videomaev2,
  title={VideoMAEv2: Scalable Masked Autoencoders for Video Pre-training},
  author={Wang, Limin and Chen, Bingkun and He, Jiagang and Wu, Zhan Tong and Ji, Jue and Qiao, Yu},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2023}
}
```

---

[КОММЕНТАРИЙ РЕЦЕНЗЕНТА]: Для SmartRep эта статья важна как источник "Золотого эталона" признаков. Поскольку мы используем **LUPI**, мы можем взять замороженный энкодер VideoMAEv2 в качестве одного из каналов нашего Teacher (наряду с DINOv2), чтобы Student (SOFIA) учился предсказывать эти высокоуровневые признаки движения. Использовать v2 напрямую на edge невозможно (GFLOPs зашкаливают за сотни).