


## Уточню метаданные.```markdown

## title: "A Short Note on the Kinetics-700 Human Action Dataset" 
title_ru: "Краткая заметка о датасете действий человека Kinetics-700" authors: [Carreira, Noland, Hillier, Zisserman] year: 2019 venue: "arXiv preprint (DeepMind technical note)" venue_tier: "preprint" doi: "arXiv:1907.06987" tags: [validation] relevance_to_smartrep: 2 direction: "—"

# Краткая заметка о датасете действий человека Kinetics-700

> ⚠️ **Дисклеймер.** Эта статья — короткий tech-note (≈4 страницы), не conference paper. PDF к промпту не приложен; анализ построен на arXiv:1907.06987 (v1 2019, v2 2022 с дисклеймером о переобучении), последующей заметке Smaira et al. (Kinetics-700-2020, arXiv:2010.10864) и страницах cvdfoundation/kinetics-dataset и DeepMind Kinetics. Где детали статьи нельзя верифицировать без полного PDF, помечено «не указано».

## TL;DR (≤3 предложения)

Kinetics-700 — третья итерация флагманского DeepMind action recognition бенчмарка, расширяющая предшественника Kinetics-600 со 600 до **700 классов человеческих действий**, по ≥600 YouTube-клипов на класс, каждый ~10 с, итого порядка **600+ тысяч клипов**. Сама статья — **«Short Note»** на 4 страницы: документирует процесс расширения, изменения класс-таксономии и базовые результаты I3D, без новых архитектур или методов. Главное практическое значение датасета — он стал **де-факто стандартным pretraining-источником** для всех современных video-backbone’ов (I3D, SlowFast, TimeSformer, MViT, VideoMAE, V-JEPA и др.).

## Проблема

Coarse-grained сценарий: распознавание действий «в дикой природе» по короткому видео с YouTube. К моменту 2019 г. уже существовали Kinetics-400 (2017) и Kinetics-600 (2018), и стало понятно, что (а) бóльшее число классов даёт больший запас разнообразия для transfer learning, (б) тщательная классовая инженерия (разделение похожих, удаление шумных) важна для качества бенчмарка. Авторы не решают новой алгоритмической проблемы — они расширяют ресурс.

## Гипотеза / вклад

- **+100 новых action-классов** (с 600 до 700), отобранных так, чтобы покрыть слабо представленные домены (новые виды спорта, профессиональные/бытовые действия, человек-объект и человек-человек взаимодействия).
- Минимум **600 клипов на класс** (на момент v1; в Kinetics-700-2020 — минимум 700, среднее 926).
- Опубликована **полная статистика** по классам (распределения, длины, ratio train/val/test).
- Базовый baseline на **I3D** (Kinetics-стандартная архитектура от тех же авторов): фиксирует «нулевую отметку» производительности, относительно которой меряются все последующие архитектуры.
- **Critical note (добавлен в v2 2022):** прямо предупреждение о небезопасности кросс-евалюации между версиями — например, validation set от K400 в значительной мере **попал в train set K700**, что приводит к утечке данных и неверным оценкам генерализации.

## Метод

Не применимо в традиционном смысле — это датасет-extension, не алгоритм. Pipeline сбора (наследует Kay et al. 2017 и Carreira et al. 2018):

1. Составление списка кандидат-классов из таксономий, словарей, спортивных и профессиональных глоссариев.
2. Поиск по YouTube кандидат-видео под каждый класс.
3. Crowdsourced верификация коротких клипов (~10 с) — каждому клипу присваивается **один** action-класс по правилу «человек на этом клипе делает X».
4. De-duplication по URL и по перцептуальным хешам.
5. Стандартное разделение train/val/test (примерно 545k / 35k / 70k для K700).

## Датасеты

|Датасет|Размер|Метрика|Результат (в самой статье)|
|---|---|---|---|
|**Kinetics-700 (v1, 2019)**|700 классов; ≥600 клипов на класс; ~545k train / 35k val / ~70k test (грубо); клипы ~10 c, YouTube|Top-1 / Top-5 accuracy|I3D-RGB: **~58 / ~80**% (порядок; точные числа в Tab. 2 — не указано без PDF)|
|Kinetics-600 (предшественник)|600 классов|Top-1 / Top-5|I3D-RGB: ~71 / ~89% — **выше**, потому что классов меньше и они менее похожи|
|Kinetics-400|400 классов|Top-1 / Top-5|I3D-RGB: ~72 / ~90%|
|Kinetics-700-2020 (replenished)|700 классов; ≥700 клипов на класс|Top-1 / Top-5|Тот же датасет, дополненный новыми клипами для 123 редких классов|

## Сравнение с SOTA

В самом «Short Note» — сравнения с SOTA как такового нет, есть только I3D как самореференция. Однако **в широком сообществе** Kinetics-700 стал главным pretraining benchmark для video understanding. После 2020 г. на K700 получены: SlowFast (~79% top-1), TimeSformer (~80%), VideoMAE / V-JEPA (~80–84%), Internet-scale модели (~85%+). Главная методологическая ценность — в самом датасете как источнике весов, а не в баребоунах из этой статьи.

## Ограничения / слабости

- **Только тegи действий (one label per clip), без локализации, фаз, качества, ошибок** — это action recognition в самой простой формулировке.
- **Известная утечка данных** между версиями K400 / K600 / K700 (validation одной версии часто попадает в train следующей) — в v2 2022 авторы явно об этом предупреждают.
- **YouTube-link rot:** на момент 2020 г. порядка 5–15% клипов уже недоступны (удалены, приватизированы, заблокированы по гео); статья 2020-edition (Smaira et al.) специально посвящена этой проблеме.
- **Нет видео-файлов в составе релиза** — только URL’ы и временны́е интервалы; пользователь сам скачивает с YouTube, что **юридически и операционно проблемно**.
- **Сильный длинный хвост** (некоторые классы — 600 клипов, другие — 1000+), плюс заметная семантическая близость классов («yoga» vs «pilates», «squat» vs «lunge»).
- **Нет демографической, скелетной, depth-, MoCap-разметки**. Чисто RGB.
- **Нет видеостандартов:** разные клипы — разные разрешения, FPS, кодеки, аспект-ratio, степень pan/zoom, наложения логотипов соревнований.
- **Coarse классы**: «bench pressing», «deadlifting», «snatch weight lifting», «clean and jerk», «squat», «lunge», «pull ups», «push up», «situp» в Kinetics есть, но **только как метки** — без указания подхода, фазы, корректности, отягощения.

## Релевантность SmartRep

- **Прямой контентной релевантности почти нет** — это generic action recognition, не AQA, не error detection.
- **Главная роль для SmartRep — источник pretrained-весов** для video-backbone’а. Это **критично**: практически все современные video-модели для edge (MViT, MobileViViT, X3D, MoViNet) предобучаются на Kinetics-400/600/700, и эти веса — стандартный starting point.
- **Tangentially полезны Kinetics-классы силового тренинга** (`bench pressing`, `deadlifting`, `snatch`, `clean and jerk`, `squat`, `lunge`, `push up`, `pull ups`, `situp`, `front raises`) как **источник weak labels** для:
    - **pseudo-labeling** in-the-wild фитнес-видео;
    - sub-domain pretraining (взять только эти классы, до-pretrain backbone на «strength-relevant» подвыборке Kinetics перед fine-tune на SmartRep-данных);
    - **negative mining** — кадры из «не-силовых» классов как «not exercise» negatives для классификатора активности.
- **Чему стоит научиться у Kinetics:** прозрачность процесса сбора, документирование класс-таксономии, явное обсуждение data leakage между версиями (нам надо избегать утечек между фазами обучения SmartRep).
- **С чем сравниваться:** не для нашей основной задачи (там бессмысленно), но при выборе backbone — Kinetics-pretrained веса должны быть baseline’ом, который мы пытаемся либо использовать как есть, либо превзойти узкоспециальным fitness-pretrain.

## Gap для нас

- **При этом не рассматривается** ни оценка качества выполнения, ни типизация ошибок, ни фазовая сегментация повторений — только «what action is happening in this 10-second clip».
- **При этом не рассматривается** какая-либо modальность кроме RGB — нет skeleton, depth, IMU, MoCap, audio.
- **При этом не рассматривается** фитнес-домен на нужном уровне детализации: «bench pressing» это **один лейбл**, а не разметка под каждое повторение, фазу или ошибку техники.
- **При этом не рассматривается** edge-deployment: статья не даёт baseline’ов lightweight-моделей, не публикует latency / energy характеристик.
- **При этом не рассматривается** биомеханика, физические ограничения, антропометрия — это чистый CV-бенчмарк.
- **При этом не рассматривается** проблема демографических перекосов в YouTube-выборке (geo, gender, age, ethnicity баланс не анализировался автором).
- **Ниша SmartRep-датасета:** Kinetics — это **broad pretrain pool**, поверх которого мы строим **specific evaluation domain** для силовых упражнений с per-rep error annotation, multi-view съёмкой и edge-метриками. Наш датасет НЕ конкурирует с Kinetics, а **встраивается в pipeline после него**.

## Ссылки на связанные статьи в литобзоре

- [[Kinetics-400]] (Kay et al., 2017) — оригинальный датасет, основа всей серии.
- [[Kinetics-600]] (Carreira et al., 2018) — промежуточная версия.
- [[Kinetics-700-2020]] (Smaira et al., 2020) — replenished-версия, рекомендуемая для pretrain.
- [[I3D]] (Carreira & Zisserman, CVPR 2017) — родная архитектура серии Kinetics; бывший SOTA.
- [[AVA-Kinetics]] (Li et al., 2020) — расширение Kinetics с локализованной spatio-temporal action detection.
- [[Countix]] (Dwibedi et al., CVPR 2020) — repetition counting датасет, частично черпает из Kinetics; **прямо релевантен** счёту повторений в SmartRep.
- [[FineGym]] — anti-thesis: маленькое количество классов, но fine-grained и иерархия. Контраст по дизайну.
- [[NTU RGB+D 120]] — лабораторная альтернатива.
- [[VideoMAE]], [[V-JEPA]], [[MViT]], [[X3D]], [[MoViNet]] — video-backbone’ы, которые pretrained на Kinetics; кандидаты на backbone в SmartRep.

## Код / данные

- Repo: https://github.com/cvdfoundation/kinetics-dataset (URLs + сплиты, поддерживается CVDF)
- Датасет (URL’ы): https://www.deepmind.com/open-source/kinetics
- Pretrained: множество (см. mmaction2, pyskl, PyTorchVideo, transformers — для I3D / SlowFast / X3D / TimeSformer / VideoMAE / MViT / MoViNet и др.)
- Лицензия видео: каждое видео остаётся под YouTube-лицензией пользователя; аннотации DeepMind — **CC BY 4.0** (т.е. сами метки разрешены к коммерческому использованию, **но видео — нет** в общем случае). Для коммерческого продукта это означает, что **обучение на pretrained-весах с Kinetics — серая зона**: формального запрета у DeepMind нет, но source video — копирайтные.

## Цитата (BibTeX)

```bibtex
@article{carreira2019kinetics700,
  author    = {Carreira, Jo{\~a}o and Noland, Eric and Hillier, Chloe and Zisserman, Andrew},
  title     = {A Short Note on the {Kinetics-700} Human Action Dataset},
  journal   = {arXiv preprint arXiv:1907.06987},
  year      = {2019},
  doi       = {10.48550/arXiv.1907.06987}
}
```