

YAML

```
---
title: "Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition"
title_ru: "Графовая свертка с поканальным уточнением топологии для распознавания действий по скелету (CTR-GCN)"
authors: [Chen, Zhang, Yuan, Li, Deng, Hu]
year: 2021
venue: "ICCV"
venue_tier: "A*"
doi: "10.1109/ICCV48922.2021.01305"
tags: [skeleton_gcn, motion_representation, biomech]
relevance_to_smartrep: 4
params: "~1.46M (на один поток) / ~5.8M (4-stream ensemble)"
flops: "~17.5 GFLOPs (на один поток) / ~70 GFLOPs (4-stream ensemble)"
---
```

# Графовая свертка с поканальным уточнением топологии для распознавания действий по скелету

## TL;DR (≤3 предложения)

Статья предлагает архитектуру CTR-GCN, которая решает проблему унифицированной графовой топологии путем динамического изучения уникальных матриц смежности для каждого отдельного канала признаков. Это позволяет сети одновременно захватывать разные типы взаимосвязей между суставами (например, одни каналы могут фокусироваться на локальной биомеханике, а другие — на долгосрочных связях рук и ног). Модель достигла состояния SOTA на бенчмарках NTU RGB+D и NW-UCLA при сохранении небольшого числа параметров для одиночного потока.

## Проблема

Предыдущие адаптивные графовые сети (такие как 2s-AGCN) выучивают единую разделяемую топологию графа (матрицу смежности) для всех каналов признаков на конкретном слое. Авторы утверждают, что различные каналы (feature channels) кодируют разные типы движений и признаков, поэтому использование одной и той же топологии графа для всех каналов ограничивает репрезентативную способность сети (не хватает гибкости для одновременного захвата локальных и глобальных паттернов).

## Гипотеза / вклад

- **Поканальное уточнение топологии (Channel-wise Topology Refinement):** Предложен модуль CTR-GC, который динамически выводит уникальную топологию для каждого канала, объединяя общую априорную топологию и поканальные специфические смещения (inferred on-the-fly).
    
- **Снижение вычислительной сложности графа:** Разработан эффективный способ вычисления таких графов без колоссального роста параметров (через линейные трансформации признаков и поканальные корреляции).
    
- **Улучшенное моделирование времени:** Интеграция модуля в многомасштабную архитектуру (Multi-scale TCN), что позволило превзойти существующие SOTA-решения.
    

## Метод (Temporal Modeling)

Архитектура строится из блоков, где каждый содержит пространственный модуль (CTR-GC) и временной модуль (MS-TCN).

1. **Как кодируется пространственная информация (spatial)?**
    
    Пространственный граф строится динамически. Матрица смежности $A$ больше не является двумерной $N \times N$, она становится трехмерной $C \times N \times N$. Для экономии памяти она вычисляется как сумма обучаемой базовой топологии (shared prior) и специфичного для каждого канала уточнения (channel-specific refinement), которое генерируется из самих входных признаков с помощью MLP-подобных преобразований.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется Multi-scale Temporal Convolutional Network (MS-TCN). Вместо одной 1D-свертки с фиксированным окном $K_t$, применяются параллельные ветви 1D-сверток с разным расширением (dilation) и размерами ядер (например, $3 \times 1$, $5 \times 1$). Это позволяет одновременно захватывать и быстрые резкие движения, и медленные растянутые фазы.
    
3. **Как объединяются признаки?**
    
    Признаки с разных временных масштабов конкатенируются. На уровне всей сети применяется многопотоковый подход (Multi-stream): отдельно обучаются потоки для суставов (joints), костей (bones), скоростей суставов (joint motion) и скоростей костей (bone motion), после чего их логиты усредняются (Late Fusion).
    

## Вычислительная сложность и Edge-потенциал

Один поток (например, Joint stream) является достаточно легковесным: **~1.46M параметров** и **~17.5 GFLOPs**, что делает его отличным кандидатом для запуска на edge-устройствах (Jetson, мобильные NPU). Однако SOTA-результаты статьи получены благодаря ансамблю из 4 потоков (суставы, кости и их градиенты по времени), что увеличивает сложность в 4 раза (~70 GFLOPs) и выводит модель за рамки жесткого real-time на слабых чипах. Для SmartRep потребуется использовать только один-два потока или применить дистилляцию 4 потоков в один.

## Датасеты и метрики

|**Датасет**|**Домен (Спорт/Общее)**|**Метрика (Top-1)**|**Результат модели (4-stream)**|
|---|---|---|---|
|NTU RGB+D 60|Общее|Cross-Subject|90.3%|
|NTU RGB+D 60|Общее|Cross-View|95.8%|
|NTU RGB+D 120|Общее|Cross-Subject|84.9%|
|NW-UCLA|Общее|Top-1|96.5%|

## Сравнение с SOTA

CTR-GCN значительно превосходит базовые модели [[ST-GCN]] и адаптивные [[2s-AGCN]], а также конкурентов своего времени (ShiftGCN, MS-GCN). Прирост достигается не за счет "грубой силы" (параметров у одного потока CTR-GCN даже меньше, чем у 2s-AGCN), а за счет более выразительного пространственного графа (поканальная смежность) и многомасштабных временных сверток.

## Ограничения / слабости

- **Зависимость от ансамблей:** Максимальная точность сильно зависит от Late Fusion 4 потоков.
    
- **Ограниченный временной рецептивный пол:** Несмотря на MS-TCN, модель все еще использует свертки с локальными окнами, уступая трансформерам в моделировании очень длинных видео с разнесенными во времени зависимостями.
    
- Не работает с неразмеченными сырыми потоками (требует предварительно обрезанные клипы).
    

## Релевантность SmartRep

Архитектурная идея CTR-GCN — **высший пилотаж для пространственного экстрактора**. В биомеханике упражнений разные каналы сети могут "специализироваться" на разных группах мышц (одни каналы отслеживают углы коленей, другие — симметрию плеч). Можно взять их модуль CTR-GC как легкий spatial-бэкбон для нашей системы, заменив их громоздкую голову классификации на нашу логику подсчета повторений и фаз.

## Gap для нас

- **Модель слишком тяжелая в SOTA-виде:** Требуется 4 потока для максимальной точности. Отсутствует дистилляция этих знаний в единую легковесную edge-модель.
    
- **Игнорируется сегментация специфичных силовых фаз:** Модель выдает один класс на видеоклип. Нет механики пофреймового предсказания фаз (концентрика/эксцентрика).
    
- **Отсутствует AQA (оценка техники):** Модель только классифицирует действие (например, "приседание"), но не отличает правильное приседание от приседания с округленной спиной. Не решает задачу repetition counting.
    

## Ссылки на связанные статьи в литобзоре

- Базовые графы: [[ST-GCN]], [[2s-AGCN]]
    
- Альтернативные мощные GCN: InfoGCN (развитие идей CTR-GCN)
    
- Тяжелые трансформеры: [[VideoMAE]]
    

## Код / данные

- Repo: [https://github.com/Uason-Chen/CTR-GCN](https://github.com/Uason-Chen/CTR-GCN)
    
- Pretrained: Да.
    
- Отношение к нашим данным: Работает с 3D/2D координатами скелета, легко интегрируется поверх предсказаний YOLO-Pose или аналогичного детектора.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{chen2021channel,
  title={Channel-wise topology refinement graph convolution for skeleton-based action recognition},
  author={Chen, Yuxin and Zhang, Ziqi and Yuan, Chunfeng and Li, Bing and Deng, Ying and Hu, Weiming},
  booktitle={Proceedings of the IEEE/CVF international conference on computer vision},
  pages={13189--13198},
  year={2021}
}
```