

YAML

```
---
title: "InfoGCN: Representation Learning for Human Skeleton-based Action Recognition"
title_ru: "InfoGCN: Обучение представлений для распознавания действий по человеческому скелету"
authors: [Chi, Ha, Chi, Lee, Huang, Ramani]
year: 2022
venue: "CVPR"
venue_tier: "A*"
doi: "10.1109/CVPR52688.2022.01955"
tags: [skeleton_gcn, motion_representation, biomech]
relevance_to_smartrep: 3
params: "~1.5M (один поток) / ~6M (ансамбль)"
flops: "~15 GFLOPs (один поток) / ~60 GFLOPs (ансамбль)"
---
```

# InfoGCN: Обучение представлений для распознавания действий по человеческому скелету

## TL;DR (≤3 предложения)

Статья предлагает архитектуру InfoGCN, которая применяет принцип информационного узкого горлышка (Information Bottleneck) для обучения максимально информативных, но компактных пространственно-временных представлений из скелетов. Для улучшения пространственного моделирования вводится модуль графовой свертки на основе self-attention (улавливающий контекстно-зависимую топологию). На момент публикации модель превзошла SOTA-решения (включая CTR-GCN) на основных бенчмарках, показав высокую устойчивость к шуму в позах.

## Проблема

Существующие GCN-модели склонны извлекать избыточные пространственные признаки, которые "загрязнены" шумом из-за ошибок предварительной оценки позы (pose estimation errors) или индивидуальных анатомических особенностей субъекта. Отсутствует внутренний механизм регуляризации, который заставлял бы модель "забывать" нерелевантную информацию (например, дрожание сустава, не участвующего в движении) и сохранять только паттерны, необходимые для распознавания конкретного действия.

## Гипотеза / вклад

- **Information Bottleneck (IB) для GCN:** В функцию потерь добавлен штраф на основе IB: минимизируется взаимная информация между сырым входом (зашумленными позами) и скрытым представлением, но максимизируется взаимная информация между представлением и меткой класса.
    
- **Self-Attention Graph Convolution (SA-GC):** Введен новый модуль графовой свертки, динамически генерирующий матрицу смежности для каждого кадра на основе механизма внимания.
    
- **Снижение влияния шума:** Доказано, что IB-регуляризация делает модель робастной к ошибкам детекторов позы.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Используется модуль Self-Attention Graph Convolution (SA-GC). Вместо использования фиксированной анатомической матрицы или поканальных эвристик, граф строится динамически. Механизм self-attention вычисляет коэффициенты связи между всеми суставами "на лету" (зависит от контекста конкретного движения), что позволяет соединять физически удаленные, но семантически связанные суставы.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Время моделируется с помощью многомасштабных 1D временных сверток (Multi-scale TCN), аналогичных тем, что применяются в CTR-GCN. Несколько параллельных ветвей 1D-сверток с разным dilation-фактором обрабатывают различные "частоты" движений (быстрые рывки и медленные плавные фазы).
    
3. **Как объединяются признаки?**
    
    На уровне временных сверток признаки с разных ветвей (различных временных масштабов) конкатенируются. На уровне всей системы используется многопотоковое слияние (Late Fusion) логитов от суставов, костей и их производных. Лосс-функция $L = L_{CE} + \beta L_{IB}$ управляет обучением, где $L_{IB}$ сжимает признаки, отсекая шум.
    

## Вычислительная сложность и Edge-потенциал

InfoGCN позиционируется как эффективная модель: один поток занимает всего **~1.5M параметров** и **~15 GFLOPs**, что вполне пригодно для работы на современных edge-устройствах (Jetson Orin Nano). Однако максимальные результаты в статье достигаются за счет тяжелого ансамбля из 4–6 потоков (~60–90 GFLOPs). Статья не рассматривает методы дистилляции ансамбля в легкую single-stream модель или TensorRT квантизацию.

## Датасеты и метрики

|**Датасет**|**Домен (Спорт/Общее)**|**Метрика (Top-1)**|**Результат модели (Ансамбль)**|
|---|---|---|---|
|NTU RGB+D 60|Общее|Cross-Subject|93.0%|
|NTU RGB+D 120|Общее|Cross-Subject|89.8%|
|NW-UCLA|Общее|Top-1|97.0%|

## Сравнение с SOTA

InfoGCN превзошла предыдущих лидеров — [[CTR-GCN]] и Shift-GCN. Прирост на датасете NTU RGB+D 120 (один из самых сложных на тот момент) составил около 1.5-2%. Основной выигрыш получен не за счет утяжеления сети, а благодаря очистке признаков от шума (IB) и более выразительному графу на основе внимания.

## Ограничения / слабости

- Зависимость от тяжелого многопотокового ансамбля для достижения SOTA.
    
- Моделирование времени по-прежнему опирается на окна сверток (локальное рецептивное поле), что уступает трансформерам в задачах с очень длинными долгосрочными зависимостями.
    
- Не умеет работать с непрерывным потоком видео (требует предварительно нарезанных клипов).
    

## Релевантность SmartRep

Идея **Information Bottleneck** крайне актуальна для нас. При трекинге упражнений (особенно с тяжелыми весами) руки или ноги часто перекрываются (окклюзии тренажером или дисками штанги), что вызывает дрожание (jitter) 2D/3D координат от детектора позы. Использование IB-лосса при обучении нашей модели может заставить ее автоматически "игнорировать" шумящие нерелевантные суставы и фокусироваться только на биомеханически важных углах.

## Gap для нас

- **Игнорируется сегментация специфичных силовых фаз:** Модель обучена на задачу Action Recognition (классификация действия "в целом"). Она не делает пофреймовых предсказаний фаз (эксцентрика, концентрика, изометрия).
    
- **Отсутствует AQA:** Модель не отличает "верное" выполнение упражнения от "неверного" в контексте правильной техники.
    
- **Модель только классифицирует, но не считает повторения:** Логика rep counting или поиска экстремумов на временном ряду не предусмотрена архитектурой.
    
- **Модель слишком тяжелая в ансамблевом виде:** Отсутствует дистилляция в легкую edge-модель.
    

## Ссылки на связанные статьи в литобзоре

- Конкурент/Предшественник (использует похожий temporal модуль): [[CTR-GCN]]
    
- Альтернативные механизмы внимания на графе: [[2s-AGCN]]
    

## Код / данные

- Repo: [https://github.com/stnoahl/infogcn](https://www.google.com/search?q=https://github.com/stnoahl/infogcn&authuser=1)
    
- Pretrained: Да.
    
- Отношение к нашим данным: Принимает на вход тензоры 2D/3D координат скелета + confidence score. Отлично совместима с пайплайнами на основе MediaPipe/YOLO-Pose.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{chi2022infogcn,
  title={Infogcn: Representation learning for human skeleton-based action recognition},
  author={Chi, Hao-Geng and Ha, Myoung Hoon and Chi, Seunggeun and Lee, Sang Wan and Huang, Qixing and Ramani, Karthik},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={20186--20196},
  year={2022}
}
```