first commit

2026-05-04 09:49:45 +03:00
commit 8dda4328a7
273 changed files with 52880 additions and 0 deletions
--- a/SmartRep/0_prompts/prompt_pose_estimation.md
+++ b/SmartRep/0_prompts/prompt_pose_estimation.md
@@ -0,0 +1,363 @@
+
+
+
+# ПРОМПТ: Глубокий анализ статьи по Pose Estimation для проекта SmartRep
+
+````markdown
+Ты — старший научный рецензент с экспертизой в области human pose estimation, edge AI и спортивной биомеханики. Готовишь реферативную карточку статьи для литобзора проекта **SmartRep** (анализ техники силовых упражнений из монокулярного видео на edge-устройствах). Проведи глубокий структурированный анализ предоставленной статьи и выдай результат в формате, описанном ниже.
+
+## Контекст проекта SmartRep (для оценки релевантности)
+
+### Задача
+Автоматический анализ техники выполнения силовых упражнений (приседания, становая тяга, жим, тяга и т.п.) из видео, снятого на смартфон, с обратной связью пользователю в реальном времени.
+
+### Целевой пайплайн
+**Pose Estimation → Joint Angle Computation → Movement Phase Segmentation → Technique Assessment → Feedback Generation**
+
+### Жёсткие технические ограничения
+| Параметр | Значение |
+|----------|----------|
+| Платформа | Snapdragon 8 Gen 2 / Apple A16+ (CPU, без обязательного NPU) |
+| Latency | <10 мс на кадр для pose-блока |
+| FPS | ≥30 fps end-to-end |
+| Разрешение входа | 256–384 px (короткая сторона) |
+| Точность углов суставов | MAE ≤5° vs MoCap на фитнес-движениях |
+| Устойчивость к ракурсу | ±45° от фронтального |
+| Память модели | <30 MB |
+| Энергопотребление | важно (видео-сценарий тренировки 30+ мин) |
+
+### Архитектурные предпочтения
+- **2D pose** как основной канал, **3D lifting** как опциональный модуль для углов в сагиттальной/фронтальной плоскостях
+- Top-down пайплайн допустим (один человек в кадре — обычный сценарий тренировки)
+- Heatmap-based и regression-based — оба варианта рассматриваются
+- Temporal smoothing желателен (видео, не отдельные кадры)
+- SMPL-based подходы рассматриваются, но их вычислительная стоимость — обычно блокер
+
+### Критические свойства для фитнеса (отсутствуют в обычных бенчмарках)
+- **Устойчивость к самоокклюзиям**: руки перед корпусом (жим, тяга), ноги в приседе
+- **Нестандартные позы**: горизонтальное положение тела (планка, румынская тяга в нижней точке), инвертированные позы (мост)
+- **Высокая угловая точность** в нижних/верхних конечностях (≠ среднего PCK)
+- **Близкий ракурс**: значительная часть тела может быть обрезана (truncation)
+- **Снаряды в кадре**: гриф штанги, гантели, тренажёры — могут вводить в заблуждение модели, обученные на COCO
+- **Повторяющаяся циклическая активность** — потенциал для temporal priors
+
+### Ключевые датасеты, которые нас интересуют
+- **Fit3D** — фитнес-движения с MoCap (47 упражнений, 3D ground truth)
+- **MM-Fit** — мультимодальный фитнес-датасет
+- **Squat dataset, BarBend** — узкоспециализированные
+- **Human3.6M, MPI-INF-3DHP** — общие 3D бенчмарки
+- **COCO, MPII, CrowdPose** — общие 2D бенчмарки
+- **AIST++** — танцы (близкая к фитнесу динамика)
+
+### Базовые/конкурирующие модели
+- **Edge / mobile**: BlazePose, MoveNet (Lightning/Thunder), MovePose, RTMPose-Lite, Lite-HRNet, EfficientPose
+- **Heavy 2D**: HRNet, ViTPose, TokenPose, RTMPose
+- **3D monocular**: VideoPose3D, MeTRAbs, MotionBERT, PoseFormerV2, MotionAGFormer
+- **SMPL**: VIBE, PARE, CLIFF, SMPLer-X
+
+### Кандидатные направления новизны (🅰/🅱/🅲)
+- **🅰** — fitness-specific fine-tuning + edge-оптимизация (адаптация SOTA под фитнес при сохранении латентности)
+- **🅱** — temporal-aware pose estimation для циклических движений (использование periodicity priors)
+- **🅲** — биомеханически-информированная регуляризация (constraints на углы суставов из биомеханики)
+
+### Известные пробелы в литературе (gap analysis)
+- Edge-модели жертвуют accuracy ради speed; **нет** моделей, одновременно удовлетворяющих <10 мс на Snapdragon 8 Gen 2 CPU **И** MAE ≤5° по углам vs MoCap на фитнес-движениях
+- Fitness-специфичная адаптация pose estimators почти не исследована
+- Большинство работ валидируется на Human3.6M; **почти никто не использует Fit3D**
+- Окклюзия снарядами и self-occlusion в нестандартных позах — слабо изучены
+- Угловая точность редко используется как первичная метрика (доминируют MPJPE, PCK)
+
+---
+
+## Структура анализа
+
+Проведи анализ по разделам ниже. Результат выдай в виде Markdown-документа с YAML frontmatter в начале (формат финальной карточки описан в самом конце).
+
+### 1. МЕТАДАННЫЕ
+- Полное название (оригинал + перевод)
+- Все авторы и аффилиации
+- Год, venue, рейтинг venue (Q1/Q2/A*/A/B/workshop/preprint)
+- DOI / arXiv ID, ссылка на код
+- Цитирований (если известно)
+
+---
+
+### 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)
+В 3–5 предложениях:
+- Какую проблему решает статья?
+- Что предлагается? (метод/архитектура/датасет)
+- Принципиальная новизна vs предшественников?
+- Главная гипотеза?
+
+---
+
+### 3. АРХИТЕКТУРА И МЕТОД
+
+#### 3.1. Тип подхода
+Классифицируй по таксономии pose estimation:
+- **Размерность**: 2D / 3D / SMPL / 6DoF body
+- **Стратегия**: Top-down / Bottom-up / Single-stage / Two-stage lifting
+- **Регрессия**: Heatmap-based / Direct regression / Hybrid / Token-based
+- **Темпоральность**: Per-frame / Sliding window / Recurrent / Transformer-based temporal
+- **Backbone**: CNN (MobileNet, ResNet, HRNet) / ViT / Hybrid / SSM
+
+#### 3.2. Описание архитектуры
+- Общий pipeline и data flow (вход → backbone → head → выход)
+- Ключевые модули и их функции
+- Размерности тензоров на каждом этапе (если указано)
+- Размер модели, число параметров, FLOPs
+
+#### 3.3. Визуальные материалы из статьи
+
+**КРИТИЧЕСКИ ВАЖНО:** Используй рисунки и таблицы из статьи как основу для описания.
+
+**Если рисунки ЕСТЬ:**
+- Для каждого ключевого Figure: номер, название, что изображено, какую часть метода иллюстрирует, что можно понять из него (визуальные подсказки, отсутствующие в тексте)
+- Список всех рисунков/таблиц с краткой аннотацией
+
+**Если рисунков НЕТ или они неинформативны:**
+- Отметь как недостаток
+- Сгенерируй текстовую/ASCII/mermaid-диаграмму архитектуры на основе текста
+
+#### 3.4. Математическая формализация
+- Ключевые формулы (loss functions, heatmap formulation, decoding strategy, temporal aggregation)
+- В LaTeX-нотации
+- Комментарий по каждой формуле
+
+#### 3.5. Ключевые технические решения
+- Нестандартные приёмы (tricks)
+- Inference optimizations (quantization, pruning, distillation, NAS)
+- Augmentation strategies (особенно если фитнес-релевантны)
+
+---
+
+### 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
+
+#### 4.1. Датасеты
+| Датасет | Размер (train/val/test) | Тип (2D/3D/SMPL) | Разрешение | Домен (general/sport/fitness) | Public? |
+|---|---|---|---|---|---|
+
+#### 4.2. Метрики
+Какие метрики используются? Отметь:
+- **Координатные**: PCK@0.05/0.2, MPJPE, PA-MPJPE, AUC, OKS-mAP, NME
+- **Угловые**: MAE по joint angles, RMSE — **критично для нашей задачи!**
+- **Темпоральные**: MPJVE (velocity error), MPJAE (acceleration error)
+- **Деплоймент**: FLOPs, params, latency (на каком hw?), FPS, energy, memory footprint
+- **Робастность**: occlusion accuracy, cross-dataset generalization
+
+**Критически:** есть ли валидация на фитнес/спортивных датасетах? Используются ли угловые метрики?
+
+#### 4.3. Сравнительная таблица результатов
+Воспроизведи основную таблицу:
+
+| Метод | Backbone | Params | FLOPs | Latency (hw) | PCK / MPJPE | ... |
+|-------|----------|--------|-------|--------------|-------------|-----|
+
+- Жирным — лучший результат
+- Отметь: маргинальное / умеренное / существенное улучшение
+- Укажи нечестные сравнения (разный input size, дополнительные данные, другая инициализация)
+
+#### 4.4. Ablation Study
+- Какие компоненты аблированы?
+- Что критично, что даёт минимальный вклад?
+- Воспроизведи таблицу
+
+---
+
+### 5. RESULTS & DISCUSSION
+
+#### 5.1. Основные выводы
+- Подтверждается ли гипотеза?
+- Контринтуитивные результаты?
+
+#### 5.2. Качественный анализ
+- Визуализации предсказаний
+- Failure cases — особенно при окклюзии, нестандартных позах
+- Анализ ошибок
+
+#### 5.3. Edge-готовность (специально для SmartRep)
+| Параметр | Значение в статье | Соответствие SmartRep (<10 мс, <30 МБ, ≥30 fps) |
+|---|---|---|
+| Hardware (test platform) | | |
+| Latency per frame | | |
+| FPS | | |
+| Model size | | |
+| FLOPs | | |
+| Quantization support | | |
+| Mobile/embedded benchmarks | | |
+
+---
+
+### 6. ПРЕИМУЩЕСТВА ПОДХОДА
+- Архитектурные
+- В обучении
+- Практические (простота, переносимость, устойчивость)
+- По метрикам
+
+---
+
+### 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ
+- Архитектурные / методологические
+- Экспериментальные пробелы
+- Что авторы не обсудили
+- Проблемы при переносе в фитнес-домен
+
+---
+
+### 8. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
+
+Оцени по шкале 1–5 каждый аспект:
+
+| Аспект | Оценка (1–5) | Комментарий |
+|--------|:---:|---|
+| Edge-готовность (соответствие <10 мс, <30 МБ) | | |
+| Точность по угловым метрикам | | |
+| Устойчивость к самоокклюзии (руки/ноги перед корпусом) | | |
+| Работа с нестандартными позами (горизонтальные, инвертированные) | | |
+| Темпоральная стабильность (jitter в видео) | | |
+| Применимость к циклическим движениям | | |
+| Валидация на фитнес/спортивных датасетах | | |
+| Робастность к truncation (обрезке кадра) | | |
+| Возможность fine-tuning под наш домен | | |
+| Доступность кода и весов | | |
+
+**Конкретные элементы для заимствования:**
+- Что именно можно перенести в SmartRep?
+- Какие модификации потребуются?
+- Риски при адаптации?
+- Противоречит ли что-то нашим архитектурным решениям?
+
+**Привязка к направлению (🅰/🅱/🅲):** какое из наших кандидатных направлений новизны эта статья поддерживает или, наоборот, закрывает?
+
+---
+
+### 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ
+- Какие работы продолжает/расширяет?
+- Связь с ключевыми моделями: BlazePose, MoveNet, RTMPose, ViTPose, HRNet, MotionBERT, VideoPose3D, MeTRAbs
+- Связь с фитнес-специфичными работами (если таковые есть в нашем литобзоре)
+
+---
+
+### 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review)
+
+| Критерий | 1–10 | Комментарий |
+|---|:---:|---|
+| Новизна | | |
+| Техническая глубина | | |
+| Экспериментальная строгость | | |
+| Ясность изложения | | |
+| Воспроизводимость | | |
+| Значимость для community | | |
+| Релевантность edge-deployment | | |
+
+**Общая оценка:** Accept / Weak Accept / Borderline / Weak Reject / Reject
+
+---
+
+### 11. КЛЮЧЕВЫЕ ВЫВОДЫ
+1. Главный вклад статьи (1 предложение)
+2. Самое сильное техническое решение
+3. Главный недостаток
+4. Самый полезный элемент для SmartRep (с привязкой к компоненту: backbone / head / loss / decoder / temporal module / training trick)
+5. Что изучить дополнительно после этой статьи
+6. Приоритет для нашего исследования: ВЫСОКИЙ / СРЕДНИЙ / НИЗКИЙ
+7. Связанные статьи, которые стоит прочитать следом
+
+---
+
+## ИТОГОВАЯ КАРТОЧКА (выдать в самом конце)
+
+После развёрнутого анализа сформируй сжатую карточку для литобзора:
+
+```markdown
+---
+title: "<оригинальный заголовок>"
+title_ru: "<перевод на русский>"
+authors: [<фамилии через запятую>]
+year: <YYYY>
+venue: "<журнал/конференция>"
+venue_tier: "<Q1/Q2/Q3/Q4/A*/A/B/workshop/preprint>"
+doi: "<DOI или arXiv id>"
+tags: [pose_estimation, edge, aqa, ssl, few_shot, physics, biomech, occlusion, validation, commercial]
+pose_dim: "<2d|3d|smpl|hybrid>"
+strategy: "<top_down|bottom_up|single_stage|lifting>"
+backbone: "<тип бэкбона>"
+params_M: <число параметров в миллионах>
+flops_G: <FLOPs в гигафлопсах>
+latency_ms: <latency в мс, если указано>
+hw_tested: "<на чём тестировали>"
+relevance_to_smartrep: <1-5>
+direction: "<A|B|C|ABC|—>"
+priority: "<HIGH|MEDIUM|LOW>"
+---
+
+# <title_ru>
+
+## TL;DR (≤3 предложения)
+<...>
+
+## Проблема
+<...>
+
+## Гипотеза / вклад
+- <...>
+
+## Метод
+<краткий пересказ, не копировать>
+
+## Датасеты
+| Датасет | Размер | Метрика | Результат |
+|---|---|---|---|
+
+## Сравнение с SOTA
+<...>
+
+## Edge-метрики
+| Параметр | Значение | hw |
+|---|---|---|
+| Latency | | |
+| FPS | | |
+| Params | | |
+| FLOPs | | |
+
+## Ограничения / слабости
+<...>
+
+## Релевантность SmartRep
+<что заимствовать, с чем сравниваться>
+
+## Gap для нас
+<что эта статья НЕ решает — формулировка «… при этом не рассматривается X»>
+
+## Ссылки на связанные статьи
+<wikilinks на заметки в vault>
+
+## Код / данные
+- Repo: <ссылка или «нет»>
+- Pretrained: <ссылка или «нет»>
+- Датасет: <ссылка или «нет»>
+
+## BibTeX
+```bibtex
+@...{...}
+```
+```
+
+---
+
+## Правила вывода
+1. **Не выдумывай.** Если информации нет в статье — пиши «НЕ УКАЗАНО В СТАТЬЕ».
+2. Чётко разделяй факты из статьи и свои оценки. Свои комментарии маркируй как **[МОЙ КОММЕНТАРИЙ]**.
+3. При описании рисунков: сначала факт (что изображено), потом интерпретация.
+4. В `tags` используй **только** перечисленные значения: `pose_estimation, edge, aqa, ssl, few_shot, physics, biomech, occlusion, validation, commercial`.
+5. `relevance_to_smartrep`: ставь честно. **5** = прямо fitness/exercise pose estimation на edge. **4** = edge pose estimation general. **3** = pose estimation вообще. **2** = смежные задачи (action recognition, AQA). **1** = только косвенно (3D-реконструкция, generative).
+6. **`Gap для нас` — самое важное поле.** Конкретное «что НЕ сделали» в формулировке «… при этом не рассматривается X» или «… не валидируется на Y» или «… не достигает <условие>».
+7. Если статья — обзор: отметь в TL;DR, пропусти разделы 3.4 и 4.3, добавь раздел «Таксономия подходов».
+8. Если статья — датасет: акцент на статистику данных, разнообразие, лицензию, baseline-результаты.
+9. Формулы — в LaTeX (`$...$` для inline, `$$...$$` для display).
+10. Все таблицы — в Markdown.
+````
+
+---
+
+**Использование:** прикрепи PDF статьи или вставь её текст вместе с этим промптом. Ответ Claude будет содержать развёрнутый анализ по 11 секциям + сжатую карточку для вставки в Obsidian-vault.