

Вот детальный технический разбор статьи **SkeletonMAE** для проекта SmartRep.

YAML

```
1. МЕТАДАННЫЕ
title: "SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition"
title_ru: "SkeletonMAE: Пространственно-временные маскированные автоэнкодеры для самообучаемого распознавания действий по скелетам"
authors: [Wenhan Wu, Yilei Hua, S. Wu, C. Chen, A. Lu]
year: 2023
venue: "ICME"
venue_tier: "B / Q1 (в контексте конференций IEEE)"
doi: "https://arxiv.org/abs/2209.02399"
tags: [pose_estimation, edge, aqa, ssl, masked_modeling, skeleton, transformer]
relevance_to_smartrep: 5 # Скелеты идеальны для Edge, маскирование координат применимо к AQA
direction: "🅰" # Self-supervised motion / One-class AQA
```

---

### 2. CORE CONTRIBUTION (TL;DR)

Статья адаптирует успешную парадигму Masked Autoencoder (MAE) к 3D-скелетным данным для анализа движений. Авторы предлагают стратегию "пространственно-временного маскирования" (Spatial-Temporal Masking), при которой случайно скрывается большая часть суставов как в отдельных кадрах, так и на протяжении времени. Метод решает проблему **Masked Modeling** для графоподобных структур, позволяя выучивать робастные репрезентации кинематики человека без использования размеченных данных.

---

### 3. АРХИТЕКТУРА И МЕТОД

- **Механизм обучения:** Входная последовательность 3D-скелетов разбивается на токены (сустав + кадр). Применяется высокая степень маскирования (около 75-80%). Энкодер обрабатывает только _видимые_ токены (что сильно экономит вычисления), а легкий декодер восстанавливает 3D-координаты замаскированных суставов на основе контекста движения.
    
- **Backbone:** Используется **Transformer-based** архитектура (в экспериментах STTFormer / Skeleton Transformer). В отличие от графовых сетей (ST-GCN), трансформер обрабатывает суставы как набор независимых токенов, опираясь на механизм Self-Attention для выучивания связей между ними. Пространственно-временная структура задается через позиционные эмбеддинги (Positional Encoding для индекса сустава и временного шага).
    
- **Математика:** В качестве лосс-функции применяется стандартная среднеквадратичная ошибка (MSE) между предсказанными и истинными нормализованными 3D-координатами _только для замаскированных токенов_.
    
    $$L_{total} = \frac{1}{|\Omega|} \sum_{i \in \Omega} \| x_i - \hat{x}_i \|_2^2$$
    
    Где $\Omega$ — множество замаскированных токенов суставов, $x_i \in \mathbb{R}^3$ — истинные координаты, $\hat{x}_i$ — предсказание декодера.
    
    _Физический смысл:_ Минимизация этой функции заставляет модель "понимать" анатомические ограничения и биомеханику: если рука движется вверх в кадре $t$, модель должна предсказать логичное положение локтя в замаскированном кадре $t+1$.
    
- **Диаграмма:**
    

Code snippet

```
graph TD
    A[Input 3D Skeleton Sequence] --> B[Spatiotemporal Tokenization]
    B --> C{Spatial-Temporal Masking ~75%}
    C -->|Visible Joints| D[Transformer Encoder]
    C -->|Masked Joints| E[Drop]
    D --> F[Encoded Skeleton Features]
    F --> G[Concat with Mask Tokens & Pos Embeddings]
    G --> H[Lightweight Transformer Decoder]
    H --> I[Predicted 3D Coordinates]
    I --> J((MSE Loss on Masked Joints))
```

---

### 4. ЭКСПЕРИМЕНТЫ (AQA & Motion)

- **Datasets:** Оценка проводилась на крупнейших датасетах действий: NTU RGB+D 60 и NTU RGB+D 120. (Не тестировалось на AQA-датасетах).
    
- **Результаты:** [КОММЕНТАРИЙ РЕЦЕНЗЕНТА] Метод показывает сильные результаты среди Single-stream архитектур, обходя многие контрастивные подходы, которые требуют сложных аугментаций.
    

|**Модель (Backbone)**|**Датасет**|**Pre-training**|**Top-1 Acc (X-sub)**|**Top-1 Acc (X-view/set)**|
|---|---|---|---|---|
|CrosSCLR (ST-GCN)|NTU-60|SSL (Contrastive)|86.2%|92.5%|
|AimCLR (ST-GCN)|NTU-60|SSL (Contrastive)|86.9%|92.8%|
|**SkeletonMAE (STTFormer)**|NTU-60|SSL (Masked)|**86.6%**|**92.9%**|
|**SkeletonMAE (STTFormer)**|NTU-120|SSL (Masked)|**76.8%**|**79.1%**|

- **Метрики:** Использовались только метрики классификации (Accuracy). Метрики регрессии или качества движений не оценивались.
    

---

### 5. EDGE FEASIBILITY (Критично для SmartRep)

- **Вычислительная сложность:** ИСКЛЮЧИТЕЛЬНО ВЫСОКАЯ совместимость с Edge. В отличие от видео, где MAE потребляет сотни гигафлопс, трансформер для скелетов работает с векторами малой размерности (например, 25 суставов $\times$ 3 координаты $\times$ 64 кадра).
    
    - _Параметры:_ Обычно в пределах 3-10 M.
        
    - _GFLOPs:_ Менее 1-3 GFLOPs.
        
    - _Latency:_ Свободно потянет >30 FPS на любом современном мобильном процессоре.
        
- **Квантизация/Дистилляция:** Авторы не обсуждают Edge-развертывание напрямую, но модульная архитектура трансформера легко поддается стандартной INT8-квантизации.
    

---

### 6. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP

- **One-class AQA (ИДЕАЛЬНО):** Этот метод можно использовать _из коробки_ для оценки правильности упражнений. Обучаем SkeletonMAE только на правильных эталонных движениях. На этапе инференса маскируем часть суставов пользователя и просим модель их восстановить. **Чем выше MSE (ошибка реконструкции), тем сильнее ошибка техники** в данном суставе.
    
- **LUPI-потенциал:** Низкий. Метод уже работает на легких модальностях (скелетах), поэтому он сам по себе является "Student"-архитектурой.
    
- **Periodicity-awareness:** Не применимо. Метод не включает механизмов для работы с ритмом.
    

---

### 7. GAP ДЛЯ НАС (Ниша для новизны)

1. **Отсутствие кинематических ограничений (Kinematic Priors):** Метод предсказывает просто сырые координаты $(x,y,z)$. Если модель ошибается, предсказанный сустав может "отлететь" от тела, нарушая длину костей. _Решение для SmartRep:_ Добавить в лосс-функцию штраф за изменение длины костей (Bone Length Loss) и физически невозможные углы суставов при реконструкции.
    
2. **Реконструкция статики вместо динамики:** SkeletonMAE восстанавливает положение. Но для фитнеса важны скорости и ускорения. _Решение для SmartRep:_ Заставить декодер предсказывать не координаты $P_t$, а градиенты движения (скорость $\Delta P_t = P_{t+1} - P_t$), что заставит модель лучше выучивать динамику (как это сделано в более позднем методе MAMP).
    

---

### 8. ВЫВОД ДЛЯ ЛИТОБЗОРА

- **Рекомендуемый приоритет:** **ВЫСОКИЙ**. Это база для применения маскированных автоэнкодеров к позам человека. Для нашего Edge-пайплайна это один из самых жизнеспособных кандидатов.
    
- **Связанные статьи для прочтения:**
    
    - **MAMP (Masked Motion Predictors)** — улучшение SkeletonMAE, где предсказываются векторы движения, а не координаты.
        
    - **CrosSCLR** — мощный контрастивный бейзлайн для скелетов.
        
    - **AimCLR** — контрастивное обучение скелетов с экстремальными аугментациями.
        

Хочешь, чтобы следующим шагом мы разобрали **MAMP** и посмотрели, как они решили проблему предсказания динамики для скелетов?