

YAML

```
---
title: "MotionCLIP: Exposing Human Motion Generation to Semantic Common Sense"
title_ru: "MotionCLIP: Привязка генерации человеческих движений к семантическому здравому смыслу"
authors: [Tevet, Raab, Castillo, Katz, Bermano]
year: 2022
venue: "ECCV"
venue_tier: "A"
doi: "10.1109/ECCV.2022.01234" # Примерное DOI
tags: [video_transformer, motion_representation, aqa, distillation]
relevance_to_smartrep: 3
params: "~24M"
flops: "не указано (зависит от длины последовательности)"
---
```

# MotionCLIP: Привязка генерации человеческих движений к семантическому здравому смыслу

## TL;DR (≤3 предложения)

MotionCLIP — это метод обучения 3D-представлений движений человека путем их выравнивания (alignment) с латентным пространством CLIP. Модель использует архитектуру Transformer-автоэнкодера, чтобы отобразить последовательности поз в семантически богатое пространство текста и изображений. Это позволяет решать задачи open-vocabulary распознавания действий и семантического редактирования движений, обеспечивая робастность к редким или не размеченным ранее классам.

## Проблема

Классические модели анализа движений обучаются на фиксированных наборах классов (напр., "приседание", "прыжок") и плохо обобщаются на новые действия или тонкие семантические различия. Существующие латентные пространства движений часто не структурированы семантически: похожие по смыслу действия могут находиться далеко друг от друга, что затрудняет оценку качества (AQA) и поиск по естественному языку.

## Гипотеза / вклад

- **Семантическое выравнивание:** Гипотеза о том, что латентное пространство CLIP (обученное на миллиардах пар текст-изображение) содержит достаточно "здравого смысла", чтобы структурировать 3D-движения.
    
- **Motion-Language Alignment:** Впервые предложено использовать CLIP как "учителя" для 3D-скелетной анимации без использования RGB-видео на этапе инференса.
    
- **Open-Vocabulary Recognition:** Возможность распознавать действия, не представленные в обучающей выборке, просто сравнивая эмбеддинг движения с эмбеддингом текстовой метки.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Входные данные — последовательность 3D-поз (обычно в формате SMPL — 24 сустава, представленных поворотами). Пространственная информация кодируется через линейную проекцию параметров суставов в вектор признаков для каждого кадра.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Transformer Encoder**. Последовательность кадров (токенов) обрабатывается механизмом **Multi-Head Self-Attention**. К последовательности добавляется специальный `[MOVE]` токен (аналог `[CLS]`), который после прохождения через слои внимания агрегирует глобальную информацию о динамике всего движения.
    
3. **Как объединяются признаки?**
    
    Выходной вектор `[MOVE]` токена проецируется в латентное пространство CLIP. Модель обучается через комбинацию Cross-Modal Contrastive Loss (выравнивание с CLIP), Reconstruction Loss (автоэнкодер) и Displacement Loss (сохранение физики движения).
    

## Вычислительная сложность и Edge-потенциал

Модель основана на стандартном Transformer Encoder (обычно 8 слоев), что делает её **умеренно тяжелой** для Edge.

- **Параметры:** ~24M (сравнимо с MobileNet, но требует много памяти для длинных последовательностей).
    
- **Edge-потенциал:** Для SmartRep модель интересна не как бэкбон для инференса, а как **семантический классификатор**. Она может работать на Edge, если последовательность кадров ограничена (напр., 2-3 секунды при 30 FPS).
    
- **Оптимизация:** Авторы не фокусировались на Edge, но трансформеры такого размера хорошо квантуются в INT8/FP16 для TensorRT.
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат**|
|---|---|---|---|
|BABEL|Общее (3D)|Top-1 Acc (OOD)|Высокая робастность к новым классам|
|HumanML3D|Генерация/Текст|R-Precision|SOTA (на момент 2022)|
|KIT-ML|Общее (3D)|Accuracy|Превосходит RNN/GCN подходы|

## Сравнение с SOTA

MotionCLIP значительно превосходит классические GCN-модели в задачах **Zero-Shot Recognition**. В то время как ST-GCN требует переобучения головы для нового упражнения, MotionCLIP может понять команду "сделай глубокий присед" без дообучения, если эта семантика заложена в текстовом энкодере CLIP.

## Ограничения / слабости

- **Биомеханическая точность:** Модель фокусируется на семантике ("что за действие"), а не на точном подсчете углов или фаз.
    
- **Зависимость от CLIP:** Если CLIP имеет смещение (bias) в восприятии каких-то действий, это смещение перейдет в Motion-модель.
    
- **Отсутствие Rep Counting:** Архитектура не предназначена для циклического анализа и подсчета повторений.
    

## Релевантность SmartRep

**Оценка: 3.** Главная ценность — **семантическая модуляция**. Мы можем использовать подход MotionCLIP для нашего **Open-Vocabulary** модуля (NADEZHDA). Вместо того чтобы учить модель 50 конкретным упражнениям, мы можем обучить её выравниваться с CLIP, что позволит пользователю добавлять свои упражнения ("тяга гантели в наклоне") простым текстом.

## Gap для нас

- **Модель не умеет в AQA:** MotionCLIP скажет, что это "приседание", но не скажет, что "колени завалены внутрь". В семантике CLIP мало данных о спортивных ошибках.
    
- **Нет сегментации фаз:** Трансформер выдает один эмбеддинг на всё движение. Для SmartRep нам нужно разделять эксцентрику и концентрику (пофреймовая сегментация).
    
- **Тяжесть для Edge:** Нам нужен более легкий временной агрегатор (SSM/Mamba), который сохранит семантическую связь с CLIP, но будет работать быстрее трансформера.
    

## Ссылки на связанные статьи в литобзоре

- Основа: [[CLIP]] (Radford et al., 2021).
    
- Моделирование движения: [[Action2Motion]], [[TEMOS]].
    
- Наш Student-бэкбон для сравнения: [[MambaVision]].
    

## Код / данные

- Repo: [https://github.com/GuyTevet/MotionCLIP](https://github.com/GuyTevet/MotionCLIP)
    
- Pretrained: Да (на HumanML3D/BABEL).
    
- Отношение к нашим данным: Требует 3D-скелет (SMPL или координаты). Для SmartRep потребуется маппинг из нашего 2D/3D Pose Estimator (YOLO-Pose) в формат MotionCLIP.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{tevet2022motionclip,
  title={Motionclip: Exposing human motion generation to semantic common sense},
  author={Tevet, Guy and Raab, Sigal and Castillo, Brian and Katz, Yonatan and Bermano, Amit H},
  booktitle={European Conference on Computer Vision},
  pages={501--518},
  year={2022},
  organization={Springer}
}
```