

---

## title: "Point-level Repetition Counting for Video Action" title_ru: "Поточечный подсчет повторений для видео-действий (CountPR)" authors: [Zhang, Hu, Xu, Xiao] year: 2023 venue: "AAAI" venue_tier: "A" doi: "arXiv:2209.07693" tags: [rep_counting, motion_representation, edge, aqa] relevance_to_smartrep: 5 params: "~12M (без учета backbone)" flops: "не указано (зависит от входного разрешения и backbone)"

# Поточечный подсчет повторений для видео-действий (CountPR)

## TL;DR (≤3 предложения)

Статья предлагает метод CountPR, который переходит от классической регрессии плотности (density map) или матриц самоподобия к парадигме **поточечной локализации** (point-level localization) каждого повторения. Модель предсказывает центр каждого цикла движения и смещение до ближайшей точки интереса, что позволяет более точно считать повторы в видео с переменным темпом. Метод показал превосходство над SOTA (RepNet, TransRAC) на датасетах Countix и UCFRep.

## Проблема

Существующие подходы к подсчету повторений (напр. [[RepNet]], [[TransRAC]]) полагаются на глобальную или локальную периодичность. Однако в реальных условиях («in the wild») движения часто не являются строго периодическими: темп меняется, атлет делает паузы, а границы между повторами размыты. Регрессия карт плотности часто дает шумные результаты на границах, что приводит к накоплению ошибок при суммировании.

## Гипотеза / вклад

- **Поточечная аннотация:** Гипотеза о том, что локализация одного конкретного момента в повторении (например, пика сокращения мышцы) проще и точнее для модели, чем определение границ всего цикла.
    
- **Center-point Regression:** Предложен механизм регрессии расстояния до центральной точки повторения, вдохновленный объектными детекторами типа CenterNet, но примененный к временной оси.
    
- **Устойчивость к паузам:** Поскольку модель ищет «точки», она менее чувствительна к нерегулярным интервалам между повторениями по сравнению с методами на основе корреляционных матриц.
    

## Метод (Temporal Modeling)

1. **Как кодируется пространственная информация (spatial)?**
    
    Используется визуальный экстрактор признаков (Backbone), обычно **I3D** или **ResNet-50**, для получения векторов признаков кадров. На выходе имеем последовательность $F \in \mathbb{R}^{T \times C}$.
    
2. **Как моделируется время (temporal: GCN, Attention, 1D/3D Conv, SSM)?**
    
    Используется **Temporal Encoder** на основе временных сверток (1D CNN) или легковесного трансформера. Ключевой инновацией является **Point-level Head**, который для каждого кадра предсказывает два значения:
    
    - **Confidence Score ($s_t$):** Вероятность того, что кадр $t$ является «центральной точкой» повторения.
        
    - **Temporal Offset ($o_t$):** Относительное смещение до ближайшего центра повторения.
        
3. **Как объединяются признаки?**
    
    Предсказания со всех кадров агрегируются с помощью процедуры, похожей на Non-Maximum Suppression (NMS) во времени, чтобы избежать дублирования точек. Финальный счетчик — это просто количество детектированных «точек».
    

## Вычислительная сложность и Edge-потенциал

CountPR потенциально более эффективен для Edge, чем [[TransRAC]], так как не требует вычисления тяжелых матриц сходства $N \times N$.

- **Edge-потенциал:** Высокий. Если заменить тяжелый I3D backbone на нашу **SOFIA (DCN)**, то Point-level head добавит минимальную задержку.
    
- **Инференс:** Логика предсказания точек позволяет обрабатывать видео потоково, не дожидаясь окончания всего сета (online counting).
    
- **Jetson Orin NX:** Ожидаемая производительность при оптимизации — 30-50 FPS.
    

## Датасеты и метрики

|**Датасет**|**Домен**|**Метрика**|**Результат модели**|
|---|---|---|---|
|Countix|Фитнес / Общее|OBO (Off-By-One)|0.925|
|UCFRep|Спорт / Танцы|MAE|0.31|

## Сравнение с SOTA

CountPR превосходит [[RepNet]] и [[TransRAC]] за счет того, что не пытается «навязать» видео структуру периодичности там, где её нет (например, при рваном темпе). Локализация конкретных точек работает стабильнее в зашумленных видео.

## Ограничения / слабости

- **Выбор «точки»:** Требуется консистентность в данных — если в одном видео точка стоит на пике концентрики, а в другом — в начале движения, модель будет ошибаться.
    
- **Короткие видео:** На очень коротких клипах (1-2 повтора) метод может быть менее точным, чем классическая классификация.
    

## Релевантность SmartRep

**Оценка: 5.** Это критически важная концепция для нашего проекта.

- **Заимствование:** Мы можем использовать идею **поточечной детекции** для определения моментов перехода между фазами (например, момент максимального растяжения в приседе).
    
- **Применение:** Это позволяет нам не просто считать «1, 2, 3», а точно говорить пользователю: «Пик сокращения достигнут на 1.2 секунде».
    

## Gap для нас

- **Backbone Efficiency:** В статье все еще используются тяжелые 3D CNN. Наша ниша — внедрить эту логику в связку **SOFIA + MambaVision**.
    
- **Фазовая сегментация:** CountPR ищет одну точку. Нам же нужно **две точки** (начало концентрики и пик) для полноценной сегментации фаз.
    
- **AQA Integration:** Статья не учитывает качество. Нам нужно добавить анализ биомеханики в окрестности предсказанной «точки».
    
- **Многопоточность:** SmartRep должен считать несколько типов движений одновременно (напр. присед и наклон), CountPR обычно обучается на один поток.
    

## Ссылки на связанные статьи в литобзоре

- Прямые конкуренты: [[TransRAC]], [[RepNet]].
    
- Подход через позы: [[PoseRAC]].
    
- Архитектура backbone: [[I3D]], [[VideoSwin]].
    

## Код / данные

- Repo: [https://github.com/huxu033/CountPR](https://www.google.com/search?q=https://github.com/huxu033/CountPR&authuser=1)
    
- Pretrained: Да.
    
- Отношение к нашим данным: Работает с признаками видео. В SmartRep мы можем подавать на вход CountPR-головы признаки из нашей скелетной модели.
    

## Цитата (BibTeX)

Code snippet

```
@inproceedings{zhang2023point,
  title={Point-level Repetition Counting for Video Action},
  author={Zhang, Yan and Hu, Xu and Xu, Jianglong and Xiao, Zhen},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2023}
}
```