

Вот подробный технический разбор статьи **MAE-ST (Masked Autoencoders As Spatiotemporal Learners)** в контексте разработки системы SmartRep.

YAML

```
1. МЕТАДАННЫЕ
title: "Masked Autoencoders As Spatiotemporal Learners"
title_ru: "Маскированные автоэнкодеры как пространственно-временные ученики"
authors: [Feichtenhofer, Fan, Li, He]
year: 2022
venue: "NeurIPS"
venue_tier: "A*"
doi: "https://arxiv.org/abs/2205.09113"
tags: [masked_modeling, ssl, video_vit, spatiotemporal, action_recognition, representation_learning]
relevance_to_smartrep: 3 # Мощный Teacher-экстрактор, но слишком тяжелый для Edge.
direction: "🅰" # Self-supervised motion
```

---

### 2. CORE CONTRIBUTION (TL;DR)

Статья адаптирует архитектуру Masked Autoencoder (MAE) для видео, рассматривая его как набор 3D-токенов (пространственно-временных "тьюблетов"). Авторы доказывают, что из-за высокой избыточности видеоданных **экстремально высокий процент маскирования (90-95%)** является оптимальным для обучения сильных репрезентаций. Метод решает проблему **Masked Modeling** в самообучении на видео, позволяя тренировать vanilla Vision Transformers (ViT) без специфических пространственно-временных индуктивных смещений и размеченных данных.

---

### 3. АРХИТЕКТУРА И МЕТОД

- **Механизм обучения:** В основе лежит задача восстановления маскированных пикселей (Masked Patch Prediction). Видео разбивается на непересекающиеся пространственно-временные патчи (tubelets). Случайным образом маскируется подавляющее большинство патчей (~90%). Энкодер обрабатывает _только_ видимые патчи (что резко снижает вычислительную сложность при обучении), а легкий декодер восстанавливает исходные пиксели маскированных участков на основе эмбеддингов видимых патчей и маск-токенов.
    
- **Backbone:** Стандартный **Vision Transformer (ViT)**. Авторы намеренно отказались от факторизованного (разделенного на пространство и время) внимания. Пространственно-временная структура задается исключительно на этапе токенизации (tubelet embedding) и добавления позиционных эмбеддингов (3D sine-cosine).
    
- **Математика:** В качестве целевой функции используется среднеквадратичная ошибка (MSE) между предсказанными и нормализованными истинными значениями пикселей _только_ для замаскированных патчей.
    
    $$L_{total} = \frac{1}{|\Omega|} \sum_{i \in \Omega} \| x_i - \hat{x}_i \|_2^2$$
    
    Где $\Omega$ — множество замаскированных патчей, $x_i$ — нормализованные пиксели исходного видео в патче $i$, а $\hat{x}_i$ — предсказание декодера. Физический смысл: модель вынуждена выучивать высокоуровневую семантику движений (кинематику объектов), чтобы интерполировать 90% отсутствующей визуальной информации из 10% видимой.
    
- **Диаграмма потока данных:**
    

Code snippet

```
graph TD
    A[Input Video Clip] --> B[Tubelet Embedding]
    B --> C{Random Masking 90%}
    C -->|10% Visible| D[ViT Encoder]
    C -->|90% Masked| E[Drop Tokens]
    D --> F[Encoded Patches]
    F --> G[Concat with Mask Tokens]
    G --> H[ViT Decoder]
    H --> I[Reconstructed Pixels]
    I --> J((MSE Loss on Masked Pixels))
```

---

### 4. ЭКСПЕРИМЕНТЫ (AQA & Motion)

- **Datasets:** Оценка проводилась на общих датасетах распознавания действий: Kinetics-400 (K400), Kinetics-600, Something-Something V2 (SSv2), AVA.
    
- **Результаты:** [КОММЕНТАРИЙ РЕЦЕНЗЕНТА] Метод установил новый SOTA на момент выхода для архитектур, обучаемых только на видео (без претрейна на ImageNet).
    

|**Модель (Backbone)**|**Датасет**|**Pre-training**|**Fine-tuning Top-1 Acc**|
|---|---|---|---|
|MAE-ST (ViT-Base)|K400|K400 (SSL)|81.3%|
|MAE-ST (ViT-Large)|K400|K400 (SSL)|85.9%|
|MAE-ST (ViT-Huge)|K400|K400 (SSL)|**87.4%**|
|MAE-ST (ViT-Large)|SSv2|K400 -> SSv2|74.2%|

- **Метрики:** Использовались стандартные метрики классификации (Top-1 Accuracy) для действий и mAP для локализации (AVA). Специфические метрики для оценки качества (AQA) не применялись.
    

---

### 5. EDGE FEASIBILITY (Критично для SmartRep)

- **Вычислительная сложность:** Экстремально высокая. Vanilla ViT для видео требует огромных ресурсов.
    
    - _Параметры:_ ViT-B (~86M), ViT-L (~304M), ViT-H (~632M).
        
    - _FLOPs:_ ViT-B при входе $16 \times 224 \times 224$ потребляет около 180 GFLOPs.
        
    - _Latency:_ [НЕ УКАЗАНО]
        
- **Квантизация/Дистилляция:** [НЕ УКАЗАНО]. Авторы не фокусируются на edge-развертывании.
    

[КОММЕНТАРИЙ РЕЦЕНЗЕНТА] Из-за квадратичной сложности self-attention относительно длины последовательности токенов (которая в видео огромна), инференс этой модели "как есть" на edge-устройствах (мобильные телефоны, слабые TPU) **невозможен в реальном времени**.

---

### 6. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

- **One-class AQA:** _Ограниченно применимо._ Экстрагированные признаки из предобученного MAE-ST очень богаты. Их можно пропустить через легкий One-Class SVM или Normalizing Flow для оценки аномалий движений, но только на сервере из-за тяжести энкодера.
    
- **LUPI-потенциал (ОТЛИЧНО):** Это идеальный кандидат на роль **Teacher** в парадигме _Learning Using Privileged Information_. MAE-ST, обучаясь на сырых пикселях с высокой долей маскирования, строит очень робастные представления о кинематике. Мы можем дистиллировать эти знания в легкий Student-скелетон (например, ST-GCN) или MobileNetV3 для edge-устройства.
    
- **Periodicity-awareness:** _Не применимо._ Модель выучивает кратковременную динамику, но не имеет встроенных механизмов для подсчета фаз и циклов упражнений.
    

---

### 7. GAP ДЛЯ НАС (Ниша для новизны)

1. **Неэффективность восстановления фона:** MAE-ST тратит б_о_льшую часть capacity на попиксельное восстановление нерелевантного фона (стены спортзала, освещение), а не на биомеханику человека. _Решение для SmartRep:_ Использовать маскирование с учетом позы (skeleton-guided masking) или восстанавливать не пиксели, а координаты 3D-скелета / карты признаков позы.
    
2. **Отсутствие реального времени на Edge:** Архитектура не приспособлена для потоковой (streaming) обработки видео кадр-за-кадром. _Решение для SmartRep:_ Замена тяжелого пространственного энкодера на легковесный, или переход на рекуррентные/SSM (Mamba) архитектуры для временной оси.
    

---

### 8. ВЫВОД ДЛЯ ЛИТОБЗОРА

- **Рекомендуемый приоритет:** **СРЕДНИЙ**. Статья обязательна к упоминанию как базовый фундамент Video SSL, но сам метод слишком тяжел для прямого внедрения в пайплайн мобильного фитнес-приложения.
    
- **Связанные статьи для прочтения:**
    
    - **VideoMAE** (Tong et al.) — параллельное и очень похожее исследование.
        
    - **TCLR** (Temporal Contrastive Learning for Video Representation) — для оценки качества движений.
        
    - **PatchCore** — для адаптации экстрагированных признаков под задачу One-Class AQA.
        

---

Хочешь, я подготовлю аналогичный разбор для **VideoMAE**, чтобы сравнить подходы, или лучше сразу перейдем к анализу статей по **One-Class AQA** (например, PatchCore, адаптированный под видео)?