first commit
This commit is contained in:
Azidaan
@@ -0,0 +1,154 @@
|
||||
## ВАРИАНТ B — Промпт для SSL backbone / pose / representation learning статей
|
||||
|
||||
````
|
||||
ПРОМПТ ДЛЯ АНАЛИЗА SSL-BACKBONE СТАТЬИ (paper_type: ssl_backbone)
|
||||
|
||||
Ты — старший научный рецензент с экспертизой в SSL для видео и скелетов,
|
||||
representation learning, masked modeling, contrastive learning. Твоя задача
|
||||
— подготовить разбор статьи для проекта SmartRep как кандидата на этап
|
||||
pretraining скелетного/видео-энкодера.
|
||||
|
||||
ВАЖНО: если статья ЯВНО про AQA / fine-grained errors / anomaly detection
|
||||
с готовой задачей — ОСТАНОВИСЬ и сообщи: «Эта статья AQA-типа, рекомендую
|
||||
AQA-промпт». Не пытайся натянуть SSL-нарратив на supervised AQA.
|
||||
|
||||
ВАЖНО-2: AQA-метрики (Spearman, AUROC, error breakdown) в SSL-статьях
|
||||
обычно ОТСУТСТВУЮТ. Это нормально и не повод для упрёка статье. Фиксируй
|
||||
факт «AQA-evaluation не проводится» в разделе 4 и переноси обсуждение
|
||||
применимости к AQA в раздел 6.
|
||||
|
||||
### 1. МЕТАДАННЫЕ (YAML)
|
||||
|
||||
```yaml
|
||||
title: "<оригинальный заголовок>"
|
||||
title_ru: "<перевод>"
|
||||
short_name: "<canonical акроним>"
|
||||
authors: [<фамилии>]
|
||||
year: <YYYY>
|
||||
venue: "<conference/journal>"
|
||||
venue_tier: "<A*/A/B/Q1/Q2>"
|
||||
doi: "<link>"
|
||||
code: "<github>"
|
||||
paper_type: "ssl_backbone" # обязательно
|
||||
tags: [<из фикс. словаря, минимум 3 — обязательно укажи парадигму, модальность и архитектуру>]
|
||||
relevance_to_smartrep: <1-5>
|
||||
direction: "<🅰 / 🅱 / 🅲>" # обязательно. Большинство SSL-статей — 🅲. Если иначе, обоснуй.
|
||||
status: "reviewed"
|
||||
```
|
||||
|
||||
### 2. CORE CONTRIBUTION (TL;DR)
|
||||
|
||||
3 предложения. **Первое** — какую SSL-задачу решает (masked recon,
|
||||
contrastive, predictive coding, cycle consistency, distillation).
|
||||
**Второе** — основной механизм + что нового относительно прямых
|
||||
предшественников. **Третье** — обоснование `direction`
|
||||
(почему именно 🅰/🅱/🅲 в нашем проекте).
|
||||
|
||||
### 3. АРХИТЕКТУРА И МЕТОД
|
||||
|
||||
- **SSL-задача:** что именно предсказывается / выравнивается / маскируется.
|
||||
Какова конструкция позитивов и негативов (если contrastive).
|
||||
- **Backbone:** ViT / ST-GCN / Mamba / CNN + специфические блоки для
|
||||
временной размерности.
|
||||
- **Аугментации:** перечисли все. Особо отметь те, что ломают:
|
||||
периодичность (rep counting), геометрию суставов (наша задача),
|
||||
биомеханику (направление 🅱).
|
||||
- **Loss-функции в LaTeX** с комментарием о геометрическом/информационном смысле.
|
||||
- **Двухстадийность / warm-up / curriculum** — есть ли? Какое условие
|
||||
переключения?
|
||||
- **Гиперпараметры обучения:** оптимизатор, batch, memory bank size, эпохи,
|
||||
K в top-K (если применимо).
|
||||
- **Mermaid-диаграмма:** Raw input → View generation → Encoders →
|
||||
Projector → SSL-Loss.
|
||||
|
||||
### 4. SSL-ЭКСПЕРИМЕНТЫ
|
||||
|
||||
- **Pretraining datasets:** NTU-60/120, Kinetics-400/700, ImageNet,
|
||||
собственные. Какова шкала?
|
||||
- **Downstream protocols:**
|
||||
- Linear evaluation (frozen encoder + FC)
|
||||
- Finetune (encoder + head обучаются end-to-end)
|
||||
- KNN evaluation
|
||||
- Few-label / semi-supervised (1% / 10% label fraction)
|
||||
- Transfer на out-of-distribution датасет
|
||||
- **Метрики downstream:** Top-1 / Top-5 accuracy, NMI / ARI для кластеризации,
|
||||
mAP для retrieval. **AQA-метрики обычно отсутствуют — это ожидаемо,
|
||||
отметь явно одной строкой.**
|
||||
- **SOTA-таблица:** воспроизведи основную, не все.
|
||||
- **Качественные результаты:** t-SNE / attention maps / cluster purity —
|
||||
если есть, прокомментируй что они показывают про геометрию пространства.
|
||||
- **Ablation:** какие компоненты критичны, какие косметические.
|
||||
|
||||
### 5. EDGE FEASIBILITY (для SmartRep)
|
||||
|
||||
| Параметр | Значение |
|
||||
|---|---|
|
||||
| Параметры энкодера на инференсе (M) | <число / НЕ УКАЗАНО> |
|
||||
| GFLOPs | <число / НЕ УКАЗАНО> |
|
||||
| Latency + железо | <число + device / НЕ УКАЗАНО> |
|
||||
| Квантизация / дистилляция | <обсуждается?> |
|
||||
| Edge / mobile deployment | <да/нет/не обсуждается> |
|
||||
| Memory bank / момент-копии на инференсе | <используются? обычно нет> |
|
||||
|
||||
**Качественный fallback (если ≥4 НЕ УКАЗАНО):** оценка backbone'а
|
||||
`lightweight / medium / heavy / unknown` + мотивация (тип, ширина,
|
||||
число параллельных веток). Особо отметь, что из SSL-инфраструктуры
|
||||
(memory bank, EMA-encoder, projector head) **не нужно** на инференсе.
|
||||
|
||||
### 6. РЕЛЕВАНТНОСТЬ ДЛЯ SMARTREP (как pretraining-кандидат)
|
||||
|
||||
- **Backbone reusability:** напрямую совместим со скелетным input'ом
|
||||
SmartRep (33-точечный COCO/MoveNet)? Какие переходы нужны
|
||||
(NTU-25 ↔ COCO-33, joint mapping)?
|
||||
- **Pretraining recipe transferability:** warm-up, аугментации, размер
|
||||
batch, memory bank — что переносится на наш малый датасет, что нет?
|
||||
- **Domain gap к силовому тренингу:** датасеты статьи (бытовые действия
|
||||
/ спорт / игры) ↔ штанговые упражнения. Насколько большой gap, что
|
||||
его смягчает (motion-stream? bone-stream?).
|
||||
- **Совместимость с downstream AQA-головами:** можно ли поверх этого
|
||||
энкодера навесить one-class anomaly head (PatchCore, KNN-distance,
|
||||
reconstruction error)? Не коллапсирует ли SSL-objective при подаче
|
||||
только эталонных подходов?
|
||||
- **LUPI-совместимость:** поддерживает ли фреймворк асимметричные
|
||||
потоки (Teacher с богатыми данными / Student с бедными), или все
|
||||
«views» — это симметричные преобразования одного входа?
|
||||
- **Periodicity-совместимость:** ломают ли аугментации цикличность
|
||||
(например, random crop с reflection padding ломает; phase-aware
|
||||
resampling сохраняет)?
|
||||
- **Чувствительность к мелким геометрическим отклонениям:**
|
||||
по построению objective статьи — он склеивает или различает
|
||||
сэмплы внутри одного класса? (Для нас критична внутриклассовая
|
||||
дискриминация: правильный присед vs присед с butt-wink.)
|
||||
|
||||
### 7. GAP ДЛЯ НАС (НИША НОВИЗНЫ — самое важное поле)
|
||||
|
||||
2–4 конкретных гэпа в формате:
|
||||
- **Гэп N:** [что не делает статья как pretraining-метод] → [конкретная
|
||||
модификация / расширение, которое мы можем заявить как вклад SmartRep].
|
||||
|
||||
Типичные формы для SSL-статей:
|
||||
- objective не чувствителен к ошибкам техники → ввести error-aware SSL signal
|
||||
- нет edge-бенчмарков → воспроизвести + INT8-квантизация
|
||||
- views симметричны → ввести настоящий LUPI с привилегированным учителем
|
||||
- аугментации ломают периодичность → phase-aware augmentations
|
||||
|
||||
### 8. ВЫВОД ДЛЯ ЛИТОБЗОРА
|
||||
|
||||
- Приоритет: **ВЫСОКИЙ / СРЕДНИЙ / НИЗКИЙ** + одна строка обоснования.
|
||||
- Место в SmartRep-pipeline: какой этап (pre-pretraining / pretraining /
|
||||
finetune-инициализация / baseline-сравнение).
|
||||
- Прямой вклад в направления (🅰 / 🅱 / 🅲) — обычно для SSL-backbone
|
||||
ненулевой вклад только в 🅲, нулевой в 🅰 и 🅱. Если иначе — обоснуй.
|
||||
- 3–5 связанных статей для следующего разбора с краткой ремаркой почему.
|
||||
|
||||
---
|
||||
|
||||
ИНСТРУКЦИИ AI:
|
||||
- Не выдумывай данные. «НЕ УКАЗАНО» — допустимый и частый ответ для
|
||||
edge-метрик в SSL-статьях.
|
||||
- Не натягивай AQA-нарратив. Если AQA-evaluation нет — фиксируй и идём дальше.
|
||||
- Разделяй факты и [КОММЕНТАРИЙ РЕЦЕНЗЕНТА].
|
||||
- Формулы — LaTeX.
|
||||
- Перед финальным артефактом — короткий блок структурных решений.
|
||||
- После артефакта — мета-комментарий о работе шаблона на этой статье.
|
||||
````
|
||||
Reference in New Issue
Block a user