
---

## title: "HumanMAC: Masked Motion Completion for Human Motion Prediction" title_ru: "HumanMAC: Маскированное завершение движений для прогнозирования движений человека" authors: [Chen, Zhang, Li, Huang, Zhang, Wang] year: 2023 venue: "ICCV" venue_tier: "A*" doi: "10.1109/ICCV51070.2023.01015" tags: [video_transformer, motion_representation, biomech, edge] relevance_to_smartrep: 2 params: "~21M" flops: "не указано (зависит от числа шагов диффузии)"

# HumanMAC: Маскированное завершение движений для прогнозирования движений человека

## TL;DR (≤3 предложения)

HumanMAC — это генеративная модель на основе диффузии, предназначенная для предсказания и завершения движений человека по частичным (маскированным) скелетным данным. Ключевая особенность заключается в работе в области дискретного косинусного преобразования (DCT), что позволяет эффективно моделировать глобальные временные зависимости и восстанавливать пропущенные фрагменты траекторий. Модель демонстрирует высокую робастность при заполнении длинных временных пропусков и генерации реалистичных продолжений движений.

## Проблема

Прогнозирование движений человека (Motion Prediction) часто страдает от накопления ошибок во времени и потери естественности. Традиционные методы сложно справляются с "завершением" движений (completion), когда пропуски находятся в середине последовательности или когда часть суставов скрыта (окклюзии). Кроме того, многие авторегрессионные модели (RNN) генерируют "затухающие" или статичные движения на длинных горизонтах прогноза.

## Гипотеза / вклад

- **Маскированное завершение как универсальная задача:** Авторы предлагают рассматривать предсказание (будущее) и восстановление (пропуски) как единую задачу маскированного завершения (Masked Motion Completion).
    
- **DCT-диффузия:** Использование DCT (Discrete Cosine Transform) для кодирования временной оси позволяет диффузионной модели работать с коэффициентами частот, что лучше сохраняет глобальную структуру движения.
    
- **Двухэтапный процесс:** Сначала модель учится генерировать полные движения из шума, а затем использует маску для обусловленного (conditioned) восстановления конкретных участков.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Пространственная структура представлена координатами суставов (обычно в 3D). На каждом временном шаге скелет рассматривается как плоский вектор признаков, подаваемый в трансформер.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Время моделируется через **DCT (Discrete Cosine Transform)**. Вся последовательность кадров трансформируется в частотную область. Это превращает временную задачу в задачу регрессии спектральных коэффициентов. Динамика во времени захватывается **Transformer Encoder**, который обрабатывает эти коэффициенты, обеспечивая глобальное внимание (Self-Attention) по всей длительности клипа.
    
3. **Как объединяются признаки?**
    
    Диффузионная модель итеративно уточняет DCT-коэффициенты. На каждом шаге предсказание шума обусловлено маской, которая указывает, какие части движения известны (напр., первые 10 кадров), а какие нужно сгенерировать.
    

## Вычислительная сложность и Edge-потенциал

Модель основана на итеративном процессе диффузии (обычно 50-100 шагов), что делает её **крайне медленной** для инференса на Edge в реальном времени.

- **Params:** ~21M (основной Transformer).
    
- **Edge-потенциал:** Низкий. Диффузионные модели на текущем этапе развития мобильного железа (Jetson Orin NX) не могут обеспечить <50ms latency для обработки видеопотока.
    
- **Оптимизация:** Статья не рассматривает ускорение диффузии (напр., через Consistency Models или дистилляцию шагов).
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат**|
|---|---|---|---|
|Human3.6M|Общее (лаборатория)|MPJPE (Mean Per Joint Pos Error)|SOTA в задачах предсказания|
|AMASS|Общее (Mocap)|Adherence to ground truth|Высокая реалистичность|

## Сравнение с SOTA

HumanMAC превосходит классические RNN (например, Res-sup) и даже некоторые GAN-методы в задачах долгосрочного предсказания (1000мс+), так как DCT-представление не дает движению "застыть". В сравнении с другими диффузионными моделями (MotionDiff), HumanMAC быстрее сходится благодаря работе в частотной области.

## Ограничения / слабости

- **Итеративность:** Слишком долго для real-time.
    
- **Генеративный характер:** Модель может генерировать "физически правдоподобное", но не соответствующее реальности завершение упражнения.
    
- **Отсутствие биомеханических ограничений:** Модель не учитывает пределы углов в суставах, что может привести к неестественным позам при сильном зашумлении.
    

## Релевантность SmartRep

**Оценка: 2.** Статья интересна нам **исключительно как метод борьбы с окклюзиями**.

- **Применение:** Если во время выполнения тяги штанги дрон теряет из вида ноги атлета на 10-20 кадров, логика "Masked Completion" из этой статьи может восстановить траекторию для корректного подсчета повторения.
    
- **Идея:** Использование DCT для сглаживания и анализа временных рядов скелета — это отличный способ борьбы с джиттером (дрожанием) детектора позы.
    

## Gap для нас

- **Не аналитическая модель:** Это генератор. Он не скажет "спина круглая", он просто "дорисует" спину.
    
- **Вычислительная сложность:** Диффузия не вписывается в наш лимит 5 GFLOPs и 30+ FPS.
    
- **Нет Rep Counting:** Модель не умеет выделять циклы.
    
- **Нет фазовой сегментации:** Модель не понимает семантику упражнения (эксцентрика/концентрика), она понимает только "плавность траектории".
    

## Ссылки на связанные статьи в литобзоре

- Диффузия в движениях: [[MotionDiff]], [[MDM]].
    
- Использование DCT: [[GCN-based Prediction]].
    
- Альтернатива для Edge (SSM): [[MambaVision]].
    

## Код / данные

- Repo: [https://github.com/chenlinghao/HumanMAC](https://www.google.com/search?q=https://github.com/chenlinghao/HumanMAC&authuser=1)
    
- Pretrained: Да.
    
- Отношение к нашим данным: Работает с 3D-скелетами. Для SmartRep потребуется предварительный 3D-lifting (напр., через [[VideoPose3D]]).
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{chen2023humanmac,
  title={Humanmac: Masked motion completion for human motion prediction},
  author={Chen, Ling-Hao and Zhang, Jiawei and Li, Yewen and Huang, Yifei and Zhang, Wenqiang and Wang, Yinda},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={9544--9554},
  year={2023}
}
```