

Вот глубокий технический разбор статьи **MaskFeat**, подготовленный в соответствии с вашими требованиями для проекта SmartRep.

YAML

```
1. МЕТАДАННЫЕ
title: "Masked Feature Prediction for Self-Supervised Visual Pre-Training"
title_ru: "Предсказание маскированных признаков для самообучаемого визуального предобучения"
authors: [Wei, Fan, Xie, Wu, Yuille, Feichtenhofer]
year: 2022
venue: "CVPR"
venue_tier: "A*"
doi: "https://arxiv.org/abs/2112.09133"
tags: [masked_modeling, ssl, hog, video_vit, feature_prediction, representation_learning]
relevance_to_smartrep: 4 # Очень полезная концепция для фитнеса из-за фокуса на градиентах/контурах
direction: "🅰" # Self-supervised motion
```

---

### 2. CORE CONTRIBUTION (TL;DR)

Статья решает проблему **Masked Modeling**, предлагая предсказывать не сырые пиксели (как в MAE), а извлеченные признаки маскированных областей — в частности, гистограммы направленных градиентов (HOG). Это заставляет модель фокусироваться на локальных структурах, формах и градиентах движения, а не тратить ресурсы на восстановление высокочастотного визуального шума и текстур фона. В контексте видео HOG отлично улавливает края движущихся объектов, что делает метод крайне эффективным для пространственно-временного обучения.

---

### 3. АРХИТЕКТУРА И МЕТОД

- **Механизм обучения:** Входное видео разбивается на 3D-патчи (tubelets). Значительная часть патчей маскируется. Параллельно из оригинального видео извлекаются HOG-признаки (или другие дескрипторы, но HOG показал лучшие результаты). Энкодер обрабатывает видимые патчи, а легкий декодер пытается предсказать HOG-дескрипторы для замаскированных участков.
    
- **Backbone:** Авторы используют **Vanilla ViT** и **MViT** (Multiscale Vision Transformer). В MViT для обработки временной и пространственной размерностей используются слои Pooling Attention, которые иерархически уменьшают пространственно-временное разрешение и увеличивают размерность каналов.
    
- **Математика:** Целевая функция минимизирует расстояние (используется $l_2$ loss или косинусное сходство) между предсказанными признаками и истинными нормализованными HOG-признаками на маскированных патчах.
    
    $$L_{total} = \frac{1}{|\Omega|} \sum_{i \in \Omega} \| \hat{y}_i - y_i \|_2^2$$
    
    Где $\Omega$ — множество замаскированных патчей, $\hat{y}_i$ — предсказание декодера, $y_i$ — целевой HOG-признак. Физический смысл: HOG описывает распределение направлений градиентов яркости. Предсказывая HOG, модель выучивает "скелет" и контуры объектов (человека) в динамике, игнорируя цвет и освещение.
    
- **Диаграмма потока данных:**
    

Code snippet

```
graph TD
    A[Input Video Clip] --> B[Extract Target Features HOG]
    A --> C[Spatiotemporal Tokenization]
    C --> D{Masking}
    D -->|Visible Patches| E[ViT / MViT Encoder]
    D -->|Masked Patches| F[Drop Tokens]
    E --> G[Encoded Features]
    G --> H[Concat with Mask Tokens]
    H --> I[Lightweight Decoder]
    I --> J[Predicted HOG Features]
    J --> K((L2 Loss))
    B --> K
```

---

### 4. ЭКСПЕРИМЕНТЫ (AQA & Motion)

- **Datasets:** Оценка для видео проводилась на датасетах распознавания действий: Kinetics-400 (K400), Kinetics-600, Kinetics-700, AVA.
    
- **Результаты:** Метод превзошел подходы, основанные на предсказании пикселей (MAE-ST), при сопоставимой архитектуре.
    

|**Модель (Backbone)**|**Датасет**|**Pre-training**|**Fine-tuning Top-1 Acc**|
|---|---|---|---|
|MaskFeat (ViT-L)|K400|K400 (SSL)|84.4%|
|MaskFeat (MViT-L)|K400|K400 (SSL)|**86.7%**|
|MAE-ST (ViT-L)|K400|K400 (SSL)|85.9%|

- **Метрики:** Использовались стандартные метрики классификации (Top-1 Acc) и локализации действий (mAP для AVA). Специфические метрики движения (AQA) не применялись. [КОММЕНТАРИЙ РЕЦЕНЗЕНТА] Отсутствие тестов на AQA-датасетах не умаляет ценности выученных репрезентаций, так как HOG исторически является мощнейшим дескриптором для анализа позы.
    

---

### 5. EDGE FEASIBILITY (Критично для SmartRep)

- **Вычислительная сложность:**
    
    - _Параметры:_ MViT-L имеет ~218M параметров, MViT-B ~53M.
        
    - _GFLOPs:_ MViT-L потребляет ~377 GFLOPs на один проход для видео (32 кадра).
        
    - _Latency:_ НЕ УКАЗАНО.
        
- **Квантизация/Дистилляция:** НЕ УКАЗАНО. [КОММЕНТАРИЙ РЕЦЕНЗЕНТА] Модель совершенно не годится для Edge-деплоя "в лоб" из-за архитектуры 3D-трансформера.
    

---

### 6. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP (Анализ по пунктам)

- **One-class AQA:** _Потенциально применимо._ Поскольку модель выучивает HOG, ее репрезентации крайне чувствительны к форме и контурам (что полезно для оценки осанки и углов суставов). Признаки можно агрегировать для One-Class детекторов.
    
- **LUPI-потенциал (ОЧЕНЬ ВЫСОКИЙ):** Использование MaskFeat в качестве Teacher-модели — блестящая идея. Teacher (MViT) выучит идеальные градиентно-кинематические признаки на серверных видео, а Student (наш легкий Edge-скелетон) будет обучаться их имитировать. То, что целевым признаком был HOG, делает модель Teacher'а менее зависимой от "мусорных" факторов среды, что облегчает дистилляцию.
    
- **Periodicity-awareness:** _Не применимо._ Метод ничего не знает о цикличности повторений.
    

---

### 7. GAP ДЛЯ НАС (Ниша для новизны)

1. **Teacher-Student дистилляция через HOG-prior:** Статья фокусируется на HOG как на таргете для претрейна _больших_ моделей. Мы можем использовать эту идею для создания **Edge-friendly Student**, который будет предсказывать HOG-подобные паттерны движения напрямую из последовательности 3D-координат скелета (MediaPipe), полностью отказавшись от видео на инференсе.
    
2. **HOG не учитывает биомеханику:** HOG — это низкоуровневый визуальный дескриптор. Он ничего не знает о физических ограничениях суставов. В SmartRep можно предложить _KinematicsFeat_ — предсказание маскированных углов суставов или кинематических цепей вместо HOG.
    

---

### 8. ВЫВОД ДЛЯ ЛИТОБЗОРА

- **Рекомендуемый приоритет:** **ВЫСОКИЙ**. Концепция предсказания _признаков_ (а не пикселей) архитектурно ближе к тому, что нам нужно для AQA, так как фитнес — это про структуру позы, а не про текстуру одежды.
    
- **Связанные статьи для прочтения:**
    
    - **VideoMAE** / **MAE-ST** (для контраста с pixel-reconstruction).
        
    - **MIL-NCE** или статьи по Contrastive Learning (для понимания альтернатив Masked Modeling).