---
title: "Motion-Augmented Long-Short Contrastive Learning for Few-Shot Action Recognition"
title_ru: "Контрастивное обучение с мотивационными долгосрочными/краткосрочными представлениями движения для распознавания действий (MoLo)"
authors: [Wang, Zhou, Tang, Li, Hua]
year: 2023
venue: "CVPR"
venue_tier: "A*"
doi: "10.1109/CVPR52729.2023.00563"
tags: [few_shot, action_recognition, motion, contrastive, long_short, video]
relevance_to_smartrep: 4
direction: "🅱"
---

# MoLo: Контрастивное обучение движения для few-shot action recognition

## TL;DR (≤3 предложения)

MoLo явно вводит motion-ориентированное представление в few-shot action recognition: optical flow и разность кадров как motion signal обучаются отдельным потоком, затем объединяются с appearance через long-short temporal contrastive learning. Long-short контраст: "длинный" вид — вся видеопоследовательность (appearance), "короткий" — локальные motion-патчи (dynamics). Прямо применим к SmartRep: в силовых упражнениях именно динамика (скорость опускания, ускорение подъёма) отличает правильное выполнение от неправильного.

## Проблема

Методы few-shot action recognition (TRX, HyRSM) работают с appearance features, слабо захватывая динамику движения. Два выполнения приседания могут выглядеть похоже в любом отдельном кадре, но принципиально отличаться по динамике — скорости, ускорению, паттерну движения центра масс.

## Гипотеза / вклад

- **Motion augmentation:** кроме RGB-кадров явно вычисляется motion signal (optical flow или frame difference).
- **Long-short контраст:** контрастивные пары строятся между "long view" (всё видео, appearance) и "short view" (локальный motion-патч, dynamics).
- **Motion-guided matching:** финальная метрика сходства учитывает оба потока — appearance + motion.

## Метод

Два потока от одного backbone:
- **Long view** $v_l$: temporal average pooling всей последовательности кадров.
- **Short view** $v_s^t$: motion-патч вокруг кадра $t$ (разность соседних кадров или flow).

Контрастивный loss (NCE-стиль):

$$\mathcal{L}_{LS} = -\log \frac{\exp(\text{sim}(v_l, v_s^+)/\tau)}{\sum_{v_s^-} \exp(\text{sim}(v_l, v_s^-)/\tau)}$$

где $v_s^+$ — short view из того же видео, $v_s^-$ — из других видео/классов.

Финальный few-shot matching: appearance-дистанция + motion-дистанция, взвешенные.

### Архитектура (Mermaid)

```
Video frames → Backbone → Long view v_l (appearance)
              ↓
Frame diffs → Motion encoder → Short views v_s (dynamics)
                                    ↓
              Long-Short contrastive loss L_LS
                                    ↓
Few-shot matching: dist(query, support) = α·appearance + β·motion
                                    ↓
Classification loss
```

## Датасеты

| Датасет | Задача | Метрика | Результат (5-way 5-shot) |
|---|---|---|---|
| Kinetics-100 | Action recognition | Accuracy | 97.7% |
| SSv2-100 | Action recognition | Accuracy | 66.0% |
| HMDB51 | Action recognition | Accuracy | 78.1% |
| UCF101 | Action recognition | Accuracy | 97.8% |

## Сравнение с SOTA

SOTA на SSv2-100 (+4% vs HyRSM) — что критично, т.к. SSv2 — именно motion-oriented датасет. На Kinetics разрыв меньше (appearance там достаточен).

## Ограничения / слабости

- Optical flow — вычислительно дорогой; frame difference — дешевле, но шумнее.
- Two-stream architecture увеличивает inference cost в ~2×.
- Не тестировался на скелетных данных.
- Нет компонента оценки качества движения.

## Релевантность SmartRep

- **Динамика как качественный признак 🅱:** acceleration profile опускания штанги или скорость подъёма в приседании — именно те long-short motion сигналы, которые отличают хорошую технику. MoLo прямо показывает: motion-поток критичен для тонких различий.
- **Скелетная адаптация:** frame difference в пространстве суставных углов = скорость и ускорение суставов — естественный скелетный аналог optical flow, вычислимый на edge без дорогого оптического потока.
- **Contrastive SSL:** long-short контраст может использоваться как SSL pretext-задача на нашем корпусе эталонных повторов — без разметки.

## Gap для нас

Optical flow дорог для edge. **Ниша SmartRep:** Angular Velocity Motion Stream — заменить оптический поток на разности угловых скоростей суставов (из скелетных координат). Это даёт motion signal бесплатно из BlazePose/MoveNet и в 10× легче оптического потока. Данная замена не была исследована ни в MoLo, ни в других few-shot видео-методах.

## Ссылки на связанные статьи

- [[HyRSM]] — предшественник без motion augmentation
- [[TRX]] — appearance-only baseline
- [[VideoMAE]] — SSL pretraining, который MoLo использует как init

## Код / данные

- Repo: github.com/alibaba-mmai-research/MoLo
- Pretrained: доступны веса

## Цитата (BibTeX)

```bibtex
@inproceedings{wang2023molo,
  title={Motion-Augmented Long-Short Contrastive Learning for Few-Shot Action Recognition},
  author={Wang, Xiang and Zhou, Shiwei and Tang, Zhiwu and Li, Yi and Hua, Xian-Sheng},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2023}
}
```
