first commit
This commit is contained in:
545
SmartRep/0_prompts/prompt_datasets.md
Normal file
545
SmartRep/0_prompts/prompt_datasets.md
Normal file
@@ -0,0 +1,545 @@
|
||||
|
||||
````markdown
|
||||
Ты — научный рецензент с экспертизой в области computer vision, human pose estimation,
|
||||
action quality assessment (AQA) и создания benchmark-датасетов. Проведи глубокий
|
||||
структурированный анализ приложенной статьи о датасете для проекта SmartRep — системы
|
||||
анализа техники силовых упражнений из видео на edge-устройствах.
|
||||
|
||||
## Контекст моего исследования (для оценки релевантности)
|
||||
|
||||
Я разрабатываю SmartRep — систему автоматической оценки техники силовых упражнений
|
||||
(жим лёжа, приседания, становая тяга, подтягивания, тяга в наклоне и т.д.) из
|
||||
монокулярного видео с возможностью развёртывания на мобильных и edge-устройствах.
|
||||
Цель: предоставлять пользователю feedback о конкретных ошибках техники в реальном
|
||||
времени.
|
||||
|
||||
### Научные направления (кандидатные проблемы)
|
||||
- 🅰 Fine-grained error detection: классификация конкретных ошибок техники
|
||||
(рука уходит внутрь, спина округляется, колени заваливаются) — не просто
|
||||
«правильно/неправильно», а локализация и типизация ошибки.
|
||||
- 🅱 Biomechanics-aware pose estimation: учёт физических ограничений суставов,
|
||||
межзвеньевых связей, нагрузок при анализе техники. Стандартные модели
|
||||
(HRNet, ViTPose) обучены на распределениях типа COCO и плохо переносятся
|
||||
на «скрюченные» позы в жиме и приседе.
|
||||
- 🅲 Few-shot / SSL adaptation: адаптация под специфичного пользователя
|
||||
(антропометрия, индивидуальный стиль движения) с минимальной разметкой.
|
||||
|
||||
### Критерии оценки датасета для SmartRep
|
||||
1. **Содержание**: силовые упражнения (free weights, resistance training) —
|
||||
критично. Йога, танцы, гимнастика — менее релевантно. Bodyweight training
|
||||
(приседания без штанги) — промежуточно.
|
||||
2. **Ground truth**: MoCap / multi-view / IMU — предпочтительно. Ручная разметка
|
||||
одним аннотатором — слабая позиция.
|
||||
3. **Ракурсы**: фронт + бок + 3/4 одновременно — идеально. Один ракурс — ограничение.
|
||||
4. **Антропометрическое разнообразие**: разные роста, вес, пол, раса, уровень
|
||||
подготовки. Часто датасеты смещены к молодым атлетичным мужчинам — это bias.
|
||||
5. **Разметка ошибок техники**: наличие экспертной (тренерской) разметки
|
||||
конкретных ошибок — редкая и самая ценная характеристика.
|
||||
6. **Разрешение и FPS**: ≥720p, ≥30 FPS — стандарт для анализа движения.
|
||||
Низкие разрешения допустимы, если это edge-benchmark.
|
||||
7. **Лицензия**: CC-BY / CC-BY-NC / research-only / требует MoU — влияет на
|
||||
практическую применимость.
|
||||
8. **Доступность**: открытая ссылка vs. запрос авторам vs. только по договору.
|
||||
|
||||
### Ключевые референсные датасеты (для сравнения)
|
||||
- Fit3D — fitness + MoCap, но ограниченный набор упражнений
|
||||
- FLAG3D — language-annotated fitness, 60 activities
|
||||
- Fitness-AQA — quality assessment для фитнеса
|
||||
- Human3.6M / 3DPW / AMASS — общий pose, не fitness
|
||||
- NTU RGB+D / FineGym — action recognition, не техника
|
||||
- MTL-AQA / AQA-7 / FineDiving — AQA, но спорт, не силовые
|
||||
|
||||
---
|
||||
|
||||
## Структура анализа
|
||||
|
||||
### 1. МЕТАДАННЫЕ ДАТАСЕТА
|
||||
|
||||
- Полное название датасета и акроним
|
||||
- Название сопровождающей статьи (dataset paper)
|
||||
- Авторы (все) и аффилиации
|
||||
- Год релиза, venue публикации, tier (Q1/Q2/A*/A/workshop/preprint)
|
||||
- DOI / arXiv ID
|
||||
- Количество цитирований (если известно)
|
||||
- Версии датасета (если обновлялся) и статус поддержки (активно развивается /
|
||||
заморожен / deprecated)
|
||||
|
||||
---
|
||||
|
||||
### 2. ПОЗИЦИОНИРОВАНИЕ ДАТАСЕТА
|
||||
|
||||
В 3–5 предложениях:
|
||||
- Какую задачу / пробел в литературе призван закрыть датасет?
|
||||
- Какие датасеты он замещает или дополняет?
|
||||
- В чём принципиальная новизна по сравнению с предшествующими? (размер,
|
||||
модальности, разметка, домен)
|
||||
- Какую гипотезу о «правильном» датасете защищают авторы?
|
||||
|
||||
---
|
||||
|
||||
### 3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
|
||||
|
||||
#### 3.1. Общая статистика
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Общее число субъектов | |
|
||||
| Распределение по полу | |
|
||||
| Распределение по возрасту | |
|
||||
| Антропометрия (рост/вес/BMI) | |
|
||||
| Уровень подготовки (novice/intermediate/expert) | |
|
||||
| Число классов упражнений / действий | |
|
||||
| Общее число видео / клипов | |
|
||||
| Общее число кадров | |
|
||||
| Общая длительность записи | |
|
||||
| Средняя длина клипа | |
|
||||
| Train / val / test split | |
|
||||
|
||||
#### 3.2. Модальности данных
|
||||
|
||||
Для каждой модальности укажи наличие, разрешение, частоту, формат:
|
||||
|
||||
| Модальность | Наличие | Разрешение / частота | Формат | Количество |
|
||||
|-------------|---------|----------------------|--------|------------|
|
||||
| RGB video | | | | |
|
||||
| Depth (Kinect / другая) | | | | |
|
||||
| IR | | | | |
|
||||
| 2D pose / keypoints | | | | |
|
||||
| 3D pose (MoCap) | | | | |
|
||||
| SMPL / SMPL-X параметры | | | | |
|
||||
| IMU данные | | | | |
|
||||
| EMG / physiological | | | | |
|
||||
| Текстовые описания / labels | | | | |
|
||||
| Аудио | | | | |
|
||||
|
||||
#### 3.3. Съёмочная установка
|
||||
|
||||
- Сколько камер? Их расположение относительно субъекта (фронт, бок, top-down,
|
||||
произвольные)?
|
||||
- Синхронизированы ли камеры? Как (hardware sync, software, timestamp)?
|
||||
- Калибровка: intrinsic + extrinsic? Включены ли параметры в датасет?
|
||||
- Фон: controlled (green screen, лаборатория) / semi-controlled / in-the-wild?
|
||||
- Освещение: постоянное / переменное?
|
||||
- MoCap-система: какая (Vicon, OptiTrack, Xsens, IMU-only)? Сколько маркеров?
|
||||
Какова заявленная точность?
|
||||
|
||||
#### 3.4. Визуальные материалы из статьи
|
||||
|
||||
**КРИТИЧЕСКИ ВАЖНО:** Используй рисунки из статьи как основу для описания
|
||||
устройства датасета.
|
||||
|
||||
**Если рисунки ЕСТЬ:**
|
||||
Для каждого ключевого рисунка:
|
||||
- Номер и название
|
||||
- Что изображено (съёмочная установка, примеры кадров, распределения, статистика)
|
||||
- Какую характеристику датасета иллюстрирует
|
||||
- Качество визуализации
|
||||
|
||||
Особенно обрати внимание на рисунки:
|
||||
- Диаграмма сбора (capture setup) — расположение камер, MoCap
|
||||
- Примеры кадров по классам действий
|
||||
- Распределения (pose space coverage, длины клипов, демография)
|
||||
- Примеры аннотаций (skeleton overlay, segmentation masks, quality scores)
|
||||
|
||||
**Если рисунков нет или они слабы:**
|
||||
- Отметь как серьёзный недостаток
|
||||
- Составь mermaid-диаграмму или ASCII-схему capture setup на основе текста
|
||||
- Предложи, какие визуализации следовало бы добавить
|
||||
|
||||
---
|
||||
|
||||
### 4. МЕТОДОЛОГИЯ СБОРА ДАННЫХ
|
||||
|
||||
Это ключевой раздел для датасет-пейпера — оцени строгость методологии.
|
||||
|
||||
#### 4.1. Рекрутинг субъектов
|
||||
- Как рекрутировали? (студенты университета / профессиональные атлеты /
|
||||
crowdsourcing / тренировочные залы)
|
||||
- Были ли критерии отбора / исключения?
|
||||
- Компенсация участникам?
|
||||
- Процедура информированного согласия (IRB / ethics board approval)?
|
||||
- Возможное смещение (selection bias) — какое и насколько критично?
|
||||
|
||||
#### 4.2. Протокол записи
|
||||
- Инструктаж субъектов: свободное исполнение / фиксированные инструкции /
|
||||
следование экспертной демонстрации?
|
||||
- Сколько повторений на упражнение?
|
||||
- Контроль нагрузки (для силовых): была ли штанга / вес? Какой?
|
||||
- Рандомизация порядка упражнений?
|
||||
- Варьирование условий (ракурс, скорость, стиль)?
|
||||
|
||||
#### 4.3. Качественный контроль
|
||||
- Отбраковывались ли записи с артефактами?
|
||||
- Процедура верификации MoCap (ручная коррекция, auto-cleaning)?
|
||||
- Процент забракованных / исправленных данных (если указан)?
|
||||
|
||||
---
|
||||
|
||||
### 5. ПРОТОКОЛ АННОТАЦИИ
|
||||
|
||||
#### 5.1. Типы меток
|
||||
Перечисли все уровни разметки:
|
||||
- Категориальные: класс упражнения / действия
|
||||
- Временные: фазовая сегментация (эксцентрика/концентрика/пауза),
|
||||
подсчёт повторений, начало/конец
|
||||
- Пространственные: bounding boxes, сегментационные маски
|
||||
- Pose: 2D/3D keypoints
|
||||
- Quality / AQA: численные оценки, ранжирование, ошибки техники
|
||||
- Текстовые: описания на естественном языке, теги ошибок
|
||||
|
||||
#### 5.2. Процедура разметки
|
||||
- Автоматическая (MoCap) / ручная / гибридная?
|
||||
- Кто аннотаторы? Их квалификация (обычные работники / студенты / сертифицированные
|
||||
тренеры / физиотерапевты)?
|
||||
- Сколько аннотаторов на образец? Межаннотаторское согласие
|
||||
(Cohen's κ, IoU, MPJPE)?
|
||||
- Инструкции аннотаторам — опубликованы ли? Насколько детальны?
|
||||
- Инструменты разметки (CVAT, VGG, проприетарные)?
|
||||
- Процедура разрешения конфликтов (majority vote / expert arbitration)?
|
||||
- Время на разметку одного образца (если указано)?
|
||||
|
||||
#### 5.3. Валидация разметки
|
||||
- Golden set / test probe?
|
||||
- Перекрёстная проверка экспертом?
|
||||
- Статистика ошибок разметки (если проводился аудит)?
|
||||
|
||||
---
|
||||
|
||||
### 6. ДОСТУПНОСТЬ И ЛИЦЕНЗИРОВАНИЕ
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Лицензия (CC-BY / CC-BY-NC / custom / research-only) | |
|
||||
| Коммерческое использование разрешено? | |
|
||||
| Необходимость подписания MoU / data use agreement | |
|
||||
| Способ получения (прямая ссылка / регистрация / запрос авторам) | |
|
||||
| Размер загрузки (GB/TB) | |
|
||||
| Хостинг (институциональный сервер / Zenodo / HuggingFace / GitHub) | |
|
||||
| Задокументирован ли процесс загрузки? | |
|
||||
| Есть ли API или dataloader на PyTorch / TF? | |
|
||||
| Актуальность ссылок (проверь, если возможно) | |
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Оцени практическую применимость: сколько времени реально
|
||||
потратить на получение и запуск датасета?
|
||||
|
||||
---
|
||||
|
||||
### 7. ДЕМОГРАФИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ ПЕРЕКОСЫ (BIASES)
|
||||
|
||||
#### 7.1. Демографические перекосы
|
||||
- Gender imbalance
|
||||
- Ethnic / geographic homogeneity
|
||||
- Возрастной диапазон
|
||||
- Антропометрический охват (BMI spread)
|
||||
- Физическая подготовленность (bias к фитнес-энтузиастам / профи)
|
||||
|
||||
#### 7.2. Съёмочные перекосы
|
||||
- Pose coverage: покрывает ли датасет распределение целевых поз?
|
||||
Какие позы недопредставлены?
|
||||
- Viewpoint coverage: какие ракурсы доминируют?
|
||||
- Environmental: только лаборатория / только залы / смесь?
|
||||
- Temporal: запись в один день / несколько сессий (fatigue effects)?
|
||||
|
||||
#### 7.3. Аннотационные перекосы
|
||||
- Class imbalance: распределение меток
|
||||
- Temporal imbalance: длина клипов по классам
|
||||
- Quality label distribution: есть ли перекос к «хорошим» / «плохим»
|
||||
исполнениям?
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Какие перекосы критичны для SmartRep (особенно
|
||||
антропометрическое и viewpoint покрытие)?
|
||||
|
||||
---
|
||||
|
||||
### 8. ИСПОЛЬЗОВАНИЕ В НАУЧНОМ СООБЩЕСТВЕ
|
||||
|
||||
#### 8.1. Модели, обученные на датасете
|
||||
- Перечисли известные SOTA-модели и их результаты
|
||||
- Существует ли официальный leaderboard? Где?
|
||||
- Воспроизведи таблицу сравнения методов в формате:
|
||||
|
||||
| Метод | Год | Архитектура | Метрика_1 | Метрика_2 | Примечание |
|
||||
|-------|-----|-------------|-----------|-----------|------------|
|
||||
| | | | | | |
|
||||
|
||||
#### 8.2. Метрики оценки
|
||||
- Стандартные метрики, принятые в сообществе для этого датасета
|
||||
- Адекватны ли они заявленной задаче?
|
||||
- Какие метрики отсутствуют, но следовало бы использовать?
|
||||
(например, per-class accuracy для оценки bias)
|
||||
|
||||
#### 8.3. Типичные ошибки SOTA на этом датасете
|
||||
- На каких подклассах / условиях методы проваливаются?
|
||||
- Есть ли известные «hard cases» / challenge subsets?
|
||||
- Опубликованы ли failure mode analyses?
|
||||
|
||||
---
|
||||
|
||||
### 9. СРАВНЕНИЕ С АЛЬТЕРНАТИВНЫМИ ДАТАСЕТАМИ
|
||||
|
||||
Построй сравнительную таблицу с 3–5 ближайшими датасетами:
|
||||
|
||||
| Параметр | Анализируемый | Fit3D | FLAG3D | Human3.6M | <другой> |
|
||||
|----------|---------------|-------|--------|-----------|----------|
|
||||
| Fitness-specific | | ✓/✗ | | | |
|
||||
| Число субъектов | | 29 | | | |
|
||||
| Число упражнений | | 47 | | | |
|
||||
| MoCap GT | | ✓ | | | |
|
||||
| Multi-view | | ✓ | | | |
|
||||
| Технические ошибки размечены | | ✗ | | | |
|
||||
| Лицензия | | research-only | | | |
|
||||
|
||||
---
|
||||
|
||||
### 10. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP
|
||||
|
||||
Оцени по шкале 1–5 каждый аспект:
|
||||
|
||||
| Аспект | Оценка (1–5) | Комментарий |
|
||||
|--------|:------------:|-------------|
|
||||
| Силовые упражнения представлены | | Какие именно? |
|
||||
| Multi-view покрытие | | Фронт+бок+3/4? |
|
||||
| Антропометрическое разнообразие | | BMI spread, диверсификация |
|
||||
| Экспертная разметка ошибок техники | | Ключевая редкая характеристика |
|
||||
| MoCap / IMU ground truth | | Для валидации pose моделей |
|
||||
| Достаточное разрешение (≥720p) | | |
|
||||
| Достаточная частота (≥30 FPS) | | |
|
||||
| Доступность / лицензия | | Реально ли получить? |
|
||||
| Совместимость с edge-pipeline | | Размер, формат, dataloaders |
|
||||
|
||||
**Для какого из направлений 🅰/🅱/🅲 датасет наиболее ценен?**
|
||||
|
||||
**Роль датасета в пайплайне SmartRep:**
|
||||
- Для предобучения? (веса на схожем домене)
|
||||
- Для fine-tuning? (адаптация к фитнесу)
|
||||
- Для evaluation? (бенчмарк для сравнения)
|
||||
- Для baseline training? (обучение референсных моделей)
|
||||
- Для pseudo-labeling? (источник pose GT для нашего сырого видео)
|
||||
|
||||
**Конкретные риски при использовании:**
|
||||
- Domain gap с целевым применением
|
||||
- Юридические / этические ограничения
|
||||
- Технические (несовместимые форматы, отсутствие dataloader-ов)
|
||||
|
||||
---
|
||||
|
||||
### 11. ПОТЕНЦИАЛ ДЛЯ DATA AUGMENTATION / SYNTHESIS [НОВОЕ]
|
||||
|
||||
Этот раздел оценивает, насколько датасет можно **расширить** синтетическими
|
||||
данными, а не только использовать «как есть». Для небольших датасетов с богатой
|
||||
модальной структурой (MoCap, multi-view) это часто превращает маргинально
|
||||
полезный ресурс в ключевой.
|
||||
|
||||
#### 11.1. Параметрические модели тела
|
||||
- Присутствуют ли SMPL / SMPL-X / SMPL-H параметры (β shape, θ pose)?
|
||||
- Если да — какая версия, gendered/neutral, насколько точно фитированы?
|
||||
- Возможно ли ре-рендеринг через SMPL renderer + произвольный текстуринг
|
||||
(одежда, освещение) для domain randomization?
|
||||
- Есть ли meshes / vertices в готовом виде?
|
||||
|
||||
#### 11.2. MoCap как источник ре-таргетинга
|
||||
- Формат MoCap: BVH / C3D / custom? Совместимость с AMASS-форматом?
|
||||
- Можно ли ре-таргетить MoCap на альтернативные скелеты (например, на
|
||||
антропометрически разнообразные модели) для расширения субъектного
|
||||
разнообразия?
|
||||
- Пригоден ли датасет для drive-ania синтетических аватаров в игровых движках
|
||||
(Unity / Unreal / Blender) с целью генерации синтетического видео в
|
||||
контролируемых условиях (освещение, фон, экипировка)?
|
||||
|
||||
#### 11.3. Multi-view novel view synthesis
|
||||
- Сколько камер и насколько плотное покрытие углов?
|
||||
- Есть ли калибровка, достаточная для NeRF / Gaussian Splatting на уровне
|
||||
субъекта?
|
||||
- Реалистично ли синтезировать промежуточные ракурсы для покрытия углов,
|
||||
отсутствующих в реальной съёмке?
|
||||
|
||||
#### 11.4. Композитные аугментации
|
||||
- Есть ли segmentation masks / alpha mattes для background replacement?
|
||||
- Green screen записи → свободная замена фона (спортзал vs. лаборатория)?
|
||||
- Depth / normals → relighting?
|
||||
- Домен-рандомизация: какие аспекты варьируемы (одежда, экипировка, фон,
|
||||
освещение)?
|
||||
|
||||
#### 11.5. Pseudo-labeling для внешних данных
|
||||
- Можно ли натренировать на датасете 2D/3D pose-модель, которая далее будет
|
||||
производить pseudo-labels для сырого in-the-wild видео (например,
|
||||
YouTube-фитнес-видео)?
|
||||
- Достаточно ли MoCap GT, чтобы доверять такой модели как «экспертному
|
||||
разметчику» для последующего самообучения SSL?
|
||||
- Есть ли уже готовые pretrained веса на этом датасете для такой задачи?
|
||||
|
||||
#### 11.6. Композиция с другими датасетами
|
||||
- Совместим ли датасет с AMASS (можно ли добавить в общий pool MoCap)?
|
||||
- Совместимы ли форматы аннотаций с Fit3D / FLAG3D для multi-dataset training?
|
||||
- Есть ли уже опубликованные работы, которые объединяют этот датасет с
|
||||
другими?
|
||||
|
||||
#### 11.7. Риски и ограничения синтеза
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Оцени:
|
||||
- Domain gap real→synthetic: насколько синтетический рендер будет отличаться
|
||||
от реального видео с фактурой одежды, тенью, motion blur?
|
||||
- Риск «утечки» MoCap-смещений: если оригинальный датасет смещён к молодым
|
||||
атлетам, синтетические аугментации унаследуют эти смещения (ре-таргетинг
|
||||
на «других» аватаров не добавляет реального движенческого разнообразия).
|
||||
- Потеря информации об экипировке: штанга, гантели, пояса критичны для
|
||||
SmartRep, а в SMPL-синтезе они отсутствуют.
|
||||
|
||||
**Итоговая оценка синтетического потенциала:** ВЫСОКИЙ / СРЕДНИЙ / НИЗКИЙ /
|
||||
ОТСУТСТВУЕТ + 1–2 предложения обоснования.
|
||||
|
||||
---
|
||||
|
||||
### 12. GAP-АНАЛИЗ ДЛЯ НАШЕГО ДАТАСЕТА [ИЗМЕНЕНО: бывшая секция 11]
|
||||
|
||||
Самая важная часть. Сформулируй максимально конкретно:
|
||||
|
||||
**Что этот датасет НЕ покрывает и что могло бы стать вкладом нашего датасета?**
|
||||
|
||||
Оси для анализа gap:
|
||||
1. **Упражнения**: какие силовые упражнения отсутствуют? (жим, присед,
|
||||
становая, подтягивания, тяга в наклоне, армейский жим, разведения)
|
||||
2. **Ошибки техники**: размечены ли конкретные типы ошибок? Если нет —
|
||||
это наш вклад.
|
||||
3. **Антропометрия**: есть ли представленность тех типажей, с которыми
|
||||
модель будет работать (не только молодые спортсмены)?
|
||||
4. **Условия съёмки**: реальные залы vs. лаборатория?
|
||||
5. **Экипировка**: штанги, гантели, тренажёры присутствуют?
|
||||
6. **Разметка от тренеров-экспертов**: есть ли она, и насколько
|
||||
квалифицированы эксперты?
|
||||
7. **Пост-аугментационный gap**: если учесть потенциал синтеза из секции 11,
|
||||
какие пробелы всё равно остаются неустранимыми? (например, синтез не
|
||||
способен закрыть отсутствие экспертной разметки ошибок техники)
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Сформулируй в стиле: «… при этом не рассматривается X,
|
||||
что открывает нишу для SmartRep-dataset: Y».
|
||||
|
||||
---
|
||||
|
||||
### 13. КРИТИЧЕСКАЯ ОЦЕНКА (DATASET PAPER PEER-REVIEW) [ИЗМЕНЕНО: бывшая секция 12]
|
||||
|
||||
#### 13.1. Transparency score [НОВОЕ]
|
||||
|
||||
Оцени полноту документирования датасета по 10 осям. Каждая ось:
|
||||
0 (отсутствует) / 1 (частично) / 2 (полно и верифицируемо).
|
||||
|
||||
Критерии опираются на фреймворк **Datasheets for Datasets** (Gebru et al.,
|
||||
CACM 2021), расширенный спецификой pose/AQA-датасетов.
|
||||
|
||||
| # | Ось транспарентности | Оценка (0/1/2) | Обоснование |
|
||||
|---|----------------------|:--------------:|-------------|
|
||||
| 1 | Collection protocol disclosed (рекрутинг, инструктаж, порядок записи) | | |
|
||||
| 2 | Capture setup specifications (камеры, MoCap, синхронизация, точность) | | |
|
||||
| 3 | Intrinsic/extrinsic калибровка камер опубликована | | |
|
||||
| 4 | Demographics breakdown (пол/возраст/BMI/этнос) | | |
|
||||
| 5 | Annotation instructions опубликованы и детализированы | | |
|
||||
| 6 | Inter-annotator agreement отчитан (κ, IoU, MPJPE и т.п.) | | |
|
||||
| 7 | Rejection / cleaning статистика указана (% отбракованных, причины) | | |
|
||||
| 8 | IRB / ethics approval явно упомянут | | |
|
||||
| 9 | Datasheet for Datasets (Gebru et al. 2021) или эквивалент приложен | | |
|
||||
| 10 | Known limitations / failure modes честно изложены авторами | | |
|
||||
|
||||
**Итоговый Transparency Score:** Σ / 20
|
||||
|
||||
**Интерпретация:**
|
||||
- 17–20: fully transparent (publication-grade documentation, можно
|
||||
воспроизвести и критически оценить)
|
||||
- 12–16: adequately documented (большинство критических вопросов отвечены,
|
||||
есть несколько пробелов)
|
||||
- 7–11: partially documented (существенные пробелы, use with caveats —
|
||||
при публикации результатов нужна осторожность и прямая переписка с
|
||||
авторами)
|
||||
- 0–6: opaque (датасет фактически «чёрный ящик», результаты на нём с трудом
|
||||
интерпретируемы, научная ценность под вопросом)
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ] Отдельно отметь, какие именно оси провалены и как это
|
||||
влияет на применимость к SmartRep. Например, отсутствие опубликованной
|
||||
калибровки камер блокирует multi-view экспериментирование; отсутствие
|
||||
inter-annotator agreement по ошибкам техники делает экспертную разметку
|
||||
непригодной для обучения error-detection моделей.
|
||||
|
||||
#### 13.2. Peer-review оценка по критериям
|
||||
|
||||
| Критерий | Оценка (1–10) | Комментарий |
|
||||
|----------|:-------------:|-------------|
|
||||
| Новизна / уникальность | | |
|
||||
| Размер и покрытие | | |
|
||||
| Качество разметки | | |
|
||||
| Методологическая строгость сбора | | |
|
||||
| Документация (согласовать с Transparency Score из 13.1) | | |
|
||||
| Воспроизводимость (могу ли я использовать?) | | |
|
||||
| Этическая строгость (IRB, consent, privacy) | | |
|
||||
| Отсутствие перекосов | | |
|
||||
| Полезность для сообщества (adoption) | | |
|
||||
| Синтетическая расширяемость (согласовать с секцией 11) | | |
|
||||
|
||||
**Общая рекомендация:** Adopt / Adopt with caveats / Reference only / Skip
|
||||
|
||||
---
|
||||
|
||||
### 14. EXECUTIVE SUMMARY [ИЗМЕНЕНО: бывшая секция 13, расширена до 10 пунктов]
|
||||
|
||||
В конце — краткое резюме из 10 пунктов:
|
||||
1. Датасет в одном предложении (что, для чего, уникальность)
|
||||
2. Самая сильная сторона (что делает его незаменимым)
|
||||
3. Самая слабая сторона (что дисквалифицирует или требует осторожности)
|
||||
4. Transparency Score (из 13.1) и его значение для практики
|
||||
5. Синтетический потенциал (из секции 11) — можно ли «дофармить» датасет
|
||||
аугментациями
|
||||
6. Роль в пайплайне SmartRep (pretrain / finetune / eval / baseline /
|
||||
pseudo-label / synthesis-source / не использовать)
|
||||
7. Главный gap, который оставляет для нашего датасета (конкретная ниша)
|
||||
8. Лицензионный статус в одной фразе (реально ли использовать?)
|
||||
9. Приоритет для SmartRep: ВЫСОКИЙ / СРЕДНИЙ / НИЗКИЙ / ОТКАЗ
|
||||
10. Связанные датасеты, которые стоит изучить следом (2–3 штуки)
|
||||
|
||||
---
|
||||
|
||||
## Формат вывода
|
||||
|
||||
- Используй заголовки, таблицы, сравнительные матрицы
|
||||
- Если информация отсутствует в статье — явно пиши «НЕ УКАЗАНО В СТАТЬЕ»
|
||||
- Не додумывай характеристики — если чего-то нет, так и отмечай
|
||||
- Разделяй факты из статьи и свои оценки: маркируй субъективное как
|
||||
[МОЙ КОММЕНТАРИЙ]
|
||||
- При описании рисунков — сначала факт (что изображено), потом интерпретация
|
||||
- Финальную YAML-frontmatter карточку (для Obsidian vault) добавь
|
||||
в начале ответа в следующем формате:
|
||||
|
||||
---
|
||||
|
||||
```yaml
|
||||
---
|
||||
dataset_name: "<название>"
|
||||
dataset_acronym: "<акроним>"
|
||||
paper_title: "<название статьи>"
|
||||
paper_title_ru: "<перевод>"
|
||||
authors: [<фамилии>]
|
||||
year: <YYYY>
|
||||
venue: "<venue>"
|
||||
venue_tier: "<Q1/A*/workshop/preprint>"
|
||||
doi: "<DOI / arXiv id>"
|
||||
domain: [fitness_specific | pose_3d | motion_generic | aqa_benchmarks |
|
||||
action_recognition]
|
||||
subjects_count: <N>
|
||||
exercises_count: <N>
|
||||
modalities: [rgb, mocap, imu, depth, text, smpl, ...]
|
||||
multi_view: <true/false>
|
||||
expert_error_annotation: <true/false>
|
||||
license: "<CC-BY / research-only / custom>"
|
||||
availability: "<open / request / mou>"
|
||||
url: "<ссылка>"
|
||||
relevance_to_smartrep: <1-5>
|
||||
direction: "<A|B|C|ABC|—>"
|
||||
role_in_pipeline: [pretrain | finetune | eval | baseline | pseudo_label |
|
||||
synthesis_source | skip]
|
||||
transparency_score: "<N>/20" # НОВОЕ: итог из секции 13.1
|
||||
synthesis_potential: [smpl_rerender, mocap_retarget_amass, nerf_novel_view,
|
||||
background_swap, pseudo_labeling_source, none] # НОВОЕ
|
||||
tags: [fitness, strength_training, pose_estimation, aqa, mocap, multi_view,
|
||||
expert_annotation, error_detection, commercial_friendly, edge]
|
||||
priority: "<HIGH | MEDIUM | LOW | REJECT>"
|
||||
---
|
||||
```
|
||||
````
|
||||
|
||||
Reference in New Issue
Block a user