2c6a00a4ca
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
132 lines
4.2 KiB
Markdown
132 lines
4.2 KiB
Markdown
# Совместное интеграционное задание
|
||
|
||
## 1. Цель
|
||
|
||
Собрать три fusion family в одну систему, исключить различия protocol и получить честное сравнение.
|
||
|
||
## 2. Общие компоненты
|
||
|
||
Команда должна иметь одну реализацию каждого компонента:
|
||
|
||
| Компонент | Один для всех variants |
|
||
|---|---:|
|
||
| GTA-UAV split | да |
|
||
| RGB transforms | да |
|
||
| Auxiliary loading | да |
|
||
| Text encoder | да |
|
||
| StripNet checkpoint | да |
|
||
| StripNet adaptation setting | да |
|
||
| Retrieval objective | да |
|
||
| Sampler | да |
|
||
| Optimizer/scheduler | да |
|
||
| Evaluation gallery | да |
|
||
| Metrics | да |
|
||
| Logging schema | да |
|
||
| Seed list | да |
|
||
|
||
Меняться должен только fusion module и его специфические гиперпараметры.
|
||
|
||
## 3. Integration checklist
|
||
|
||
### Data
|
||
|
||
- [ ] Sample IDs совпадают между RGB, captions и auxiliary files.
|
||
- [ ] Satellite получает CHM, UAV получает depth.
|
||
- [ ] Segmentation class mapping одинаковый.
|
||
- [ ] Validity masks присутствуют.
|
||
- [ ] Multi-match ground truth сохранён.
|
||
|
||
### Model
|
||
|
||
- [ ] Shared StripNet instance.
|
||
- [ ] Одинаковая projection dimension.
|
||
- [ ] Три variants создаются через registry.
|
||
- [ ] Output schema совпадает.
|
||
- [ ] Diagnostics keys имеют common prefix/schema.
|
||
|
||
### Training
|
||
|
||
- [ ] Один training loop.
|
||
- [ ] Один loss.
|
||
- [ ] Один sampler.
|
||
- [ ] Одинаковые augmentations.
|
||
- [ ] Одинаковый effective batch size.
|
||
- [ ] Одинаковые epochs и warmup.
|
||
- [ ] Checkpoints сохраняются атомарно.
|
||
|
||
### Evaluation
|
||
|
||
- [ ] Full gallery.
|
||
- [ ] Multi-positive matches.
|
||
- [ ] UAV-to-satellite и satellite-to-UAV.
|
||
- [ ] R@1/5/10, MRR, AP.
|
||
- [ ] Per-query predictions для paired statistics.
|
||
|
||
## 4. Common smoke suite
|
||
|
||
Каждый variant должен пройти:
|
||
|
||
1. CPU shape forward, если используемые операции поддерживают CPU.
|
||
2. GPU forward B=1.
|
||
3. GPU forward B=4.
|
||
4. One optimizer step.
|
||
5. 100-batch smoke train.
|
||
6. Small-gallery evaluation.
|
||
7. Full evaluation без обучения для checkpoint.
|
||
8. Latency warmup + measurement.
|
||
9. Peak VRAM measurement.
|
||
|
||
## 5. Experiment IDs
|
||
|
||
```text
|
||
FUS-B0-RGB-s42
|
||
FUS-A-COND-s42
|
||
FUS-B-TOKEN-s42
|
||
FUS-C-ROLE-s42
|
||
```
|
||
|
||
Ablation:
|
||
|
||
```text
|
||
FUS-A-COND-AAB3-s42
|
||
FUS-B-TOKEN-BAB1-s42
|
||
FUS-C-ROLE-CAB7-s42
|
||
```
|
||
|
||
## 6. Общая result table
|
||
|
||
| Variant | Seed | R@1 | R@5 | R@10 | MRR | Params M | VRAM GB | Latency ms | Notes |
|
||
|---|---:|---:|---:|---:|---:|---:|---:|---:|---|
|
||
|
||
После трёх seed:
|
||
|
||
| Variant | R@1 mean±std | Delta B0 | 95% CI | VRAM delta | Latency delta | Missing-modality OK | Verdict |
|
||
|---|---:|---:|---:|---:|---:|---|---|
|
||
|
||
Колонка «Missing-modality OK» заполняется по протоколу §13 (`03_EXPERIMENT_PROTOCOL_GTA_UAV.md`): well-posed при validity=0 для каждой aux-модальности.
|
||
|
||
## 7. Decision meeting
|
||
|
||
Каждый сотрудник до встречи отвечает письменно:
|
||
|
||
1. Какая часть его hypothesis подтверждена?
|
||
2. Какая часть опровергнута?
|
||
3. Что показывает вклад каждой modality?
|
||
4. Какой failure mode наиболее важен?
|
||
5. Как вариант ведёт себя при отсутствии каждой aux-модальности (validity=0)?
|
||
6. Какой вариант он рекомендует primary и почему?
|
||
7. Какой вариант должен остаться fallback?
|
||
8. Что в варианте придётся менять при переносе со StripNet stage maps на ViT token maps (DINOv3 Teacher)?
|
||
|
||
Решение записывается не по голосованию, а по заранее заданным метрикам и ограничениям.
|
||
|
||
## 8. Итоговые файлы
|
||
|
||
```text
|
||
reports/joint/FINAL_COMPARISON.md
|
||
reports/joint/DECISION_RECORD.md
|
||
experiments/experiment_registry.csv
|
||
results/summary.csv
|
||
results/statistical_tests.json
|
||
```
|