---
title: "Hybrid Relation Guided Set Matching for Few-Shot Action Recognition"
title_ru: "Сопоставление множеств с гибридными реляционными связями для распознавания действий с малым числом примеров (HyRSM)"
authors: [Wang, Zhou, Tang, Hua, Zhao, Wu]
year: 2022
venue: "CVPR"
venue_tier: "A*"
doi: "10.1109/CVPR52688.2022.01017"
tags: [few_shot, action_recognition, set_matching, hybrid_relations, video, temporal]
relevance_to_smartrep: 3
direction: "🅱"
---

# HyRSM: Гибридное реляционное сопоставление множеств для few-shot action recognition

## TL;DR (≤3 предложения)

HyRSM объединяет внутриклассовые отношения (как support-примеры одного класса согласованы между собой) и межклассовые отношения (как query соотносится с разными классами) через гибридный relation module. Для финального сопоставления используется Bidirectional Mean Hausdorff Metric — мера расстояния между двумя множествами последовательностей. Превосходит TRX за счёт явного моделирования согласованности внутри support class.

## Проблема

TRX сравнивает query с каждым support-примером независимо, игнорируя тот факт, что K примеров одного класса должны быть согласованы. Например, 5 эталонных повторов приседания — не 5 независимых примеров, а 5 экземпляров одного и того же паттерна; их совместная структура несёт больше информации, чем каждый по отдельности.

## Гипотеза / вклад

- **Intra-class relation:** attention между K support-примерами одного класса усиливает общий прототип класса.
- **Inter-class relation:** query обусловлен всеми support-классами одновременно (не independently) — модель видит "контраст" между классами.
- **Bidirectional Mean Hausdorff Metric (BMHM):** $d(A, B) = \frac{1}{2}\left[\frac{1}{|A|}\sum_a \min_b d(a,b) + \frac{1}{|B|}\sum_b \min_a d(a,b)\right]$ — симметричная мера расстояния между множествами фреймов.

## Метод

1. Энкодер извлекает кадровые embedding'и всех видео.
2. **Intra-class module:** self-attention внутри K support-примеров класса → обогащённые embedding'и.
3. **Inter-class module:** cross-attention query ↔ все support-классы → контекстно-зависимый query.
4. **BMHM:** финальная метрика расстояния между query-последовательностью и каждым support-классом.

Loss — эпизодическая кросс-энтропия.

### Архитектура (Mermaid)

```
Support K videos (class k) → Encoder → Intra-class attention → enriched support
Query video               → Encoder → Inter-class attention  → context-aware query
                                           ↓
                     Bidirectional Mean Hausdorff Metric
                                           ↓
                     Distance to each support class → Classification
```

## Датасеты

| Датасет | Задача | Метрика | Результат (5-way 5-shot) |
|---|---|---|---|
| Kinetics-100 | Action recognition | Accuracy | 97.0% |
| SSv2-100 | Action recognition | Accuracy | 62.0% |
| HMDB51 | Action recognition | Accuracy | 76.0% |
| UCF101 | Action recognition | Accuracy | 97.7% |

## Сравнение с SOTA

Превзошёл TRX на SSv2 (+2.9%) — главный бенчмарк для темпоральных методов. Intra-class relation показал наибольший вклад в ablation.

## Ограничения / слабости

- Вычислительно дороже TRX из-за двойного attention (intra + inter).
- BMHM предполагает, что все кадры равнозначны — нет weighting ключевых фаз движения.
- Требует K≥2 support-примеров для intra-class attention; при K=1 fallback к простому matching.

## Релевантность SmartRep

- **K=5 эталонных повторов 🅱:** именно HyRSM-сценарий: 5 правильных повторов упражнения (intra-class согласованность) → оценка нового повтора.
- **Intra-class consistency как quality signal:** если эталонные повторы сильно расходятся по intra-class attention — возможно, эталоны некачественные (тренер делал непоследовательно).
- **BMHM как anomaly score:** расстояние Hausdorff query до support-множества = мера отклонения техники.

## Gap для нас

HyRSM работает на RGB, нет скелетной версии. **Ниша SmartRep:** Joint-level HyRSM — intra-class attention по 33 суставным координатам вместо кадровых пикселей, BMHM на углах суставов вместо RGB-embedding'ов. Позволяет интерпретировать отклонение: "плечи в данном кадре отклонились на X°".

## Ссылки на связанные статьи

- [[TRX]] — предшественник без intra-class module
- [[OTAM]] — базовый DTW-метод
- [[MoLo]] — следующее поколение, добавляет motion augmentation

## Код / данные

- Repo: github.com/alibaba-mmai-research/HyRSM
- Pretrained: доступны веса

## Цитата (BibTeX)

```bibtex
@inproceedings{wang2022hybrid,
  title={Hybrid Relation Guided Set Matching for Few-Shot Action Recognition},
  author={Wang, Xiang and Zhou, Shiwei and Tang, Zhiwu and Hua, Xian-Sheng and Zhao, Changchuan and Wu, Siliang},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2022}
}
```
