


## Сначала уточню метаданные статьи.```markdown

## title: "NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding" 
title_ru: "NTU RGB+D 120: крупномасштабный бенчмарк для понимания 3D-активности человека" authors: [Liu, Shahroudy, Perez, Wang, Duan, Kot] year: 2020 venue: "IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 42(10), pp. 2684–2701" venue_tier: "Q1 / A*" doi: "10.1109/TPAMI.2019.2916873 / arXiv:1905.04757" tags: [pose_estimation, few_shot, validation, occlusion] relevance_to_smartrep: 2 direction: "—"

# NTU RGB+D 120: крупномасштабный бенчмарк для понимания 3D-активности человека

> ⚠️ **Дисклеймер.** PDF к промпту не приложен. Анализ построен на абстракте arXiv:1905.04757, README репозитория `shahroudy/NTURGB-D`, странице ROSE Lab и стандартных описаниях из последующих статей. Поля, не верифицируемые без полного текста, помечены «не указано».

## TL;DR (≤3 предложения)

Расширение датасета NTU RGB+D с 60 до 120 классов действий и с 56 880 до 114 480 видео-сэмплов (~8 млн кадров), снятых на 3 синхронные Kinect v2 в 32 различных setup’ах с 106 субъектами. Помимо самого датасета вводятся два новых протокола оценки — cross-subject и cross-setup — и формулируется задача **one-shot 3D action recognition** с предложенным baseline’ом APSR (Action-Part Semantic Relevance-aware). Это де-факто стандартный бенчмарк skeleton-based action recognition на 2020–2026 гг.

## Проблема

Существующие RGB+D action-датасеты (MSRDailyAction, NTU RGB+D 60, PKU-MMD и пр.) имеют либо мало классов, либо мало субъектов, либо однообразные ракурсы и условия. Это мешает обучать большие модели и не даёт надёжно мерить генерализацию по новым исполнителям, ракурсам и средам — особенно в сценариях few-shot, где число sample’ов на класс по определению крошечное.

## Гипотеза / вклад

- Удвоение числа классов (60 → 120) и почти удвоение объёма (56k → 114k) даёт первое realistic-scale покрытие multi-modality 3D activity recognition.
- 32 разных setup’а (углы камер × фон × освещение) делают возможным новый честный протокол **cross-setup**, дополнительно к classic cross-subject.
- Введена формальная задача **one-shot 3D action recognition** (100 auxiliary classes / 20 novel classes по 1 exemplar), что превращает датасет в бенчмарк не только для supervised, но и для few-shot/meta-learning.
- Предложен метод APSR — рекомбинирует семантику частей тела по аналогии с языковыми эмбеддингами для one-shot переноса.
- Категория «medical conditions / health-related» (ход, падение, кашель и т.п.) расширяет применение в healthcare.

## Метод

APSR (the auxiliary contribution рядом с датасетом): для каждой пары action × body-part вычисляется **семантическая релевантность** через эмбеддинги названия класса (GloVe) + классификатора по частям тела. На one-shot задаче exemplar и query сравниваются не на уровне «всё тело vs всё тело», а через релевантно-взвешенную композицию part-features, что снижает чувствительность к нерелевантным частям тела (например, «есть еду» — релевантна рука и рот, нерелевантны ноги). Архитектурно — LSTM/CNN-based skeleton encoder + part-attention по семантическим тегам класса. Конкретные числа гиперпараметров — не указано без полного текста.

## Датасеты

|Датасет|Размер|Метрика|Результат (в самой статье)|
|---|---|---|---|
|**NTU RGB+D 120 (вводимый)**|114 480 видео, 8 M кадров, 120 классов, 106 субъектов, 32 setup’а|Top-1 accuracy (cross-subject / cross-setup)|Базовые методы (HBRNN, ST-LSTM, GCA-LSTM и пр.) — порядка 55–65% top-1 на CS; на few-shot APSR превосходит naive prototype|
|NTU RGB+D 60 (предшественник)|56 880 видео, 60 классов, 40 субъектов|Cross-subject / Cross-view top-1|Используется как референс / pretrain|
|PKU-MMD|~1 000 длинных видео|mAP (continuous)|Используется в обзоре связанных работ|

После 2020 г. на NTU 120 SOTA выросли значительно (для контекста, не из самой статьи): MS-G3D, CTR-GCN, PoseConv3D, InfoGCN, HD-GCN дают ~85–90%+ top-1 на cross-subject и ~88–92% на cross-setup.

## Сравнение с SOTA

В самой статье 2020 г. APSR показан как сильный baseline для one-shot setting; для supervised — авторы воспроизводят серию методов (Part-Aware LSTM, ST-LSTM with Trust Gates, GCA-LSTM, FSNet, синтез RGB+D признаков), демонстрируя, что глубокие подходы доминируют над hand-crafted, и что cross-setup на ~5–10 п.п. сложнее cross-subject. Ключевой message сравнения — **не «новый метод бьёт всех», а «новый бенчмарк жёстче и разнообразнее существующих»**.

## Ограничения / слабости

- **Skeleton — это Kinect v2**, то есть приближённые координаты по depth-маске, а не MoCap-grade GT. Точность скелета известно деградирует на нестандартных позах, при окклюзиях штангой/мебелью и при self-occlusion.
- 535 сэмплов с **повреждённым скелетом** — авторы честно публикуют список, но это значит, что любые SOTA-числа неявно вычисляются на «очищенной» подвыборке.
- Только **3 ракурса камеры**, и они близки по углу (frontal + ±45°) — нет top-down, нет боковых под 90°, нет произвольных handheld-углов.
- Все съёмки **в лаборатории** — ни одного «in-the-wild» сэмпла.
- 120 классов смещены к **повседневным и мутуальным** действиям (есть, пить, обнимать, толкать). Спортивных нагруженных движений почти нет; силовых тренировочных движений со штангой — **ни одного**.
- Демография 106 субъектов **не сбалансирована** по антропометрии и возрасту (преимущественно студенческий пул NTU Singapore).
- Лицензия запрещает коммерческое использование и redistribution.

## Релевантность SmartRep

- **Прямая релевантность низкая.** Это датасет для **action classification / activity recognition**, а не для оценки техники (AQA), не для биомеханики и не для error detection.
- **Полезные заимствования:**
    - **Протоколы cross-subject и cross-setup** — золотой стандарт, как разделять данные, чтобы избежать переоценки модели. Стоит использовать их же логику в нашем SmartRep-датасете (split по атлетам и по setup’ам).
    - **One-shot benchmark формат** — отличный шаблон для нашего сценария «адаптация под нового пользователя» (направление 🅲).
    - **APSR-стиль part-semantic attention** — концептуально близок к идее «разные части тела важны для разных ошибок техники» (например, для жима критичны кисти и локти, для приседа — таз и колени). Worth borrowing as design pattern.
    - **Skeleton-based pretraining:** модели типа CTR-GCN / PoseConv3D, обученные на NTU 120, имеют доступные веса, которые можно использовать как backbone для skeleton-encoding ветки SmartRep с последующей head-replace под error-detection task.
- **С чем сравниваться:** SmartRep как новый датасет должен честно отчитаться, **почему NTU 120 не подходит для нашей задачи**, и заимствовать у него evaluation-протоколы (cross-subject, cross-setup, one-shot).

## Gap для нас

- **При этом не рассматривается** ни одно силовое упражнение со свободным весом (жим, присед, становая, подтягивания, тяга), отсутствует разметка ошибок техники, нет MoCap-grade GT (только Kinect-skeleton с известными артефактами на нестандартных позах), отсутствуют залы как среда съёмки и оборудование (штанга, гантели, тренажёры) в кадре.
- **При этом не рассматривается** task quality assessment — модель учится только что «это действие класса X», но не насколько хорошо оно выполнено и в чём ошибка.
- **При этом не рассматривается** edge-deployment — нет benchmark’ов задержки/энергопотребления, что для SmartRep критично.
- **Ниша SmartRep-датасета:** первый skeleton+RGB benchmark, где (i) классы — силовые упражнения, (ii) дополнительно к class-label есть **per-rep technique-error annotation от сертифицированных тренеров**, (iii) cross-subject и cross-setup протоколы прямо унаследованы от NTU 120 для совместимости с экосистемой skeleton-action-recognition моделей.

## Ссылки на связанные статьи в литобзоре

- [[MPI-INF-3DHP]] — другая парадигма GT (markerless multi-view MoCap vs Kinect skeleton); комплементарно по pose-precision.
- [[Fit3D]] — fitness-specific, marker-based MoCap; ближе по домену к нашей задаче.
- [[NTU RGB+D 60]] — предшественник; необходимый референс при описании NTU 120.
- [[PKU-MMD]] — близкий по духу continuous-action benchmark; стоит сравнить как альтернативу.
- [[ST-GCN]], [[MS-G3D]], [[CTR-GCN]], [[PoseConv3D]] — методы-кандидаты для skeleton-encoding backbone, обученные/оценённые на NTU 120.
- [[FineGym]] — gymnastics fine-grained action recognition; концептуально ближе к task оценки техники.

## Код / данные

- Repo (info + sample MATLAB-кода): https://github.com/shahroudy/NTURGB-D
- Датасет: https://rose1.ntu.edu.sg/dataset/actionRecognition/ (регистрация + Release Agreement; academic non-commercial only)
- Pretrained: официальных весов от авторов нет; есть множество community-весов на NTU 120 для ST-GCN / MS-G3D / CTR-GCN / PoseConv3D — см. mmaction2 / pyskl model zoo.

## Цитата (BibTeX)

```bibtex
@article{liu2020ntu,
  author    = {Liu, Jun and Shahroudy, Amir and Perez, Mauricio and Wang, Gang and Duan, Ling-Yu and Kot, Alex C.},
  title     = {{NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding}},
  journal   = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  volume    = {42},
  number    = {10},
  pages     = {2684--2701},
  year      = {2020},
  doi       = {10.1109/TPAMI.2019.2916873}
}
```