

YAML

```
---
title: "TEMOS: Generating Diverse Human Motions from Textual Descriptions"
title_ru: "TEMOS: Генерирование разнообразных движений человека по текстовым описаниям"
authors: [Petrovich, Black, Varol]
year: 2022
venue: "ECCV"
venue_tier: "A"
doi: "arXiv:2204.14133"
tags: [video_transformer, motion_representation, biomech]
relevance_to_smartrep: 2   # 2 = Тангенциально (генеративная модель, но полезна для латентных представлений)
params: "~22M"
flops: "не указано (сильно зависит от длины генерируемой последовательности)"
---
```

# Генерирование разнообразных движений человека по текстовым описаниям (TEMOS)

## TL;DR (≤3 предложения)

TEMOS — это текстово-обусловленная порождающая модель (text-conditioned generative model), которая синтезирует разнообразные 3D-движения человека на основе естественного языка. Модель построена на архитектуре Variational Autoencoder (VAE) с трансформерными энкодерами и декодерами, выравнивающими текстовые распределения с распределениями движений. Результат работы — реалистичные последовательности в формате SMPL, точно соответствующие семантике входной фразы.

## Проблема

Создание 3D-анимации человека по текстовому описанию ограничено двумя факторами: дефицитом качественных парных данных (текст-движение) и проблемой «один-ко-многим» (одно описание «идти» может подразумевать разную походку). Существующие методы часто генерируют детерминированные, однообразные движения или плохо справляются с длинными и сложными временными зависимостями.

## Гипотеза / вклад

- **VAE-архитектура для движений:** Гипотеза о том, что использование вариационного автоэнкодера позволяет моделировать многообразие движений в латентном пространстве, избегая регрессии к «среднему» (замыленному) движению.
    
- **Текстово-движенческое выравнивание:** Использование распределений (вместо векторов) для выравнивания латентного пространства текста (через DistilBERT) и движений (через Transformer).
    
- **End-to-end Transformer:** Отказ от RNN в пользу трансформеров для захвата долгосрочных временных связей в скелетных последовательностях.
    

## Метод (Temporal Modeling)

Модель состоит из трех компонентов: текстового энкодера, энкодера движений и декодера движений.

1. **Как кодируется пространственная информация (spatial)?**
    
    Входные данные — 3D-скелет в представлении SMPL (ротации суставов + трансляция корня). Пространственные признаки кадра проецируются в латентный вектор.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Transformer Encoder** (для анализа) и **Transformer Decoder** (для генерации). Кадры последовательности рассматриваются как токены. Механизм Self-Attention позволяет каждому кадру «видеть» контекст всего упражнения/движения.
    
3. **Как объединяются признаки?**
    
    Через латентное пространство VAE. Текстовое описание и реальное движение отображаются в параметры нормального распределения ($\mu, \sigma$). Во время инференса берется сэмпл из «текстового» распределения и подается в декодер.
    

## Вычислительная сложность и Edge-потенциал

Модель базируется на каскаде трансформеров (около 22M параметров).

- **Edge-потенциал:** Низкий. Генерация последовательностей — ресурсоемкая задача.
    
- **Релевантность для инференса:** Для SmartRep сама генерация (Text-to-Motion) не нужна на борту дрона или смартфона. Однако **Motion Encoder** из TEMOS может быть дистиллирован для задач классификации, так как он уже выучил семантически богатые представления.
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат**|
|---|---|---|---|
|HumanML3D|Общие движения|MultiModality|0.450 (высокая вариативность)|
|KIT-ML|Общие движения|R-Precision|0.424 (высокая точность)|

## Сравнение с SOTA

TEMOS превосходит предшественников (напр., Language2Pose) в качестве генерации и способности создавать разные движения для одного и того же текста. Она более эффективна, чем модели на базе GAN, за счет стабильности обучения VAE.

## Ограничения / слабости

- **Отсутствие физических ограничений:** Модель может генерировать «скольжение стоп» (foot sliding) или самопересечения скелета, так как не учитывает физику контактов с полом.
    
- **Ограниченный словарь:** Несмотря на использование DistilBERT, точность генерации падает на очень специфических спортивных терминах, не представленных в HumanML3D.
    
- **Генерация, а не анализ:** Модель не предназначена для распознавания или оценки качества.
    

## Релевантность SmartRep

**Оценка: 2.** Статья полезна для нашего модуля **NADEZHDA** (семантическая сегментация и open-vocabulary).

- Заимствование: Метод выравнивания текстовых эмбеддингов с временными последовательностями поз.
    
- Идея: Можно использовать предобученный Motion Encoder из TEMOS как «учителя» для нашего легкого Student-бэкбона, чтобы Student понимал семантику движения (например, «глубокий присед» vs «полуприсед»).
    

## Gap для нас

- **Не для Edge:** Трансформеры TEMOS избыточны для простой классификации фаз. Наша ниша — заменить их на SSM/Mamba.
    
- **Отсутствие Rep Counting:** TEMOS генерирует один клип, но не понимает структуру повторений.
    
- **AQA:** Модель не знает, как выглядит «неправильное» движение, она учится только на «правильных» (из датасета) примерах. Нам нужно уметь детектировать отклонения от биомеханической нормы.
    
- **Фазовая сегментация:** TEMOS не размечает границы концентрики/эксцентрики внутри последовательности.
    

## Ссылки на связанные статьи в литобзоре

- Семантическое выравнивание: [[MotionCLIP]].
    
- Датасеты: [[HumanML3D]], [[KIT-ML]].
    
- Сравнение бэкбонов: [[TimeSformer]], [[MambaVision]].
    

## Код / данные

- Repo: [https://github.com/MathieuPetrovich/TEMOS](https://www.google.com/search?q=https://github.com/MathieuPetrovich/TEMOS&authuser=1)
    
- Pretrained: Да.
    
- Отношение к нашим данным: Работает с 3D-позами. Потребуется подъем из наших 2D-координат (YOLO-Pose) в 3D (напр., через VideoPose3D).
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{petrovich22temos,
  title     = {{TEMOS}: Generating Diverse Human Motions from Textual Descriptions},
  author    = {Petrovich, Mathieu and Black, Michael J. and Varol, G{\"u}l},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year      = {2022}
}
```