2c6a00a4ca
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
4.2 KiB
4.2 KiB
Совместное интеграционное задание
1. Цель
Собрать три fusion family в одну систему, исключить различия protocol и получить честное сравнение.
2. Общие компоненты
Команда должна иметь одну реализацию каждого компонента:
| Компонент | Один для всех variants |
|---|---|
| GTA-UAV split | да |
| RGB transforms | да |
| Auxiliary loading | да |
| Text encoder | да |
| StripNet checkpoint | да |
| StripNet adaptation setting | да |
| Retrieval objective | да |
| Sampler | да |
| Optimizer/scheduler | да |
| Evaluation gallery | да |
| Metrics | да |
| Logging schema | да |
| Seed list | да |
Меняться должен только fusion module и его специфические гиперпараметры.
3. Integration checklist
Data
- Sample IDs совпадают между RGB, captions и auxiliary files.
- Satellite получает CHM, UAV получает depth.
- Segmentation class mapping одинаковый.
- Validity masks присутствуют.
- Multi-match ground truth сохранён.
Model
- Shared StripNet instance.
- Одинаковая projection dimension.
- Три variants создаются через registry.
- Output schema совпадает.
- Diagnostics keys имеют common prefix/schema.
Training
- Один training loop.
- Один loss.
- Один sampler.
- Одинаковые augmentations.
- Одинаковый effective batch size.
- Одинаковые epochs и warmup.
- Checkpoints сохраняются атомарно.
Evaluation
- Full gallery.
- Multi-positive matches.
- UAV-to-satellite и satellite-to-UAV.
- R@1/5/10, MRR, AP.
- Per-query predictions для paired statistics.
4. Common smoke suite
Каждый variant должен пройти:
- CPU shape forward, если используемые операции поддерживают CPU.
- GPU forward B=1.
- GPU forward B=4.
- One optimizer step.
- 100-batch smoke train.
- Small-gallery evaluation.
- Full evaluation без обучения для checkpoint.
- Latency warmup + measurement.
- Peak VRAM measurement.
5. Experiment IDs
FUS-B0-RGB-s42
FUS-A-COND-s42
FUS-B-TOKEN-s42
FUS-C-ROLE-s42
Ablation:
FUS-A-COND-AAB3-s42
FUS-B-TOKEN-BAB1-s42
FUS-C-ROLE-CAB7-s42
6. Общая result table
| Variant | Seed | R@1 | R@5 | R@10 | MRR | Params M | VRAM GB | Latency ms | Notes |
|---|
После трёх seed:
| Variant | R@1 mean±std | Delta B0 | 95% CI | VRAM delta | Latency delta | Missing-modality OK | Verdict |
|---|
Колонка «Missing-modality OK» заполняется по протоколу §13 (03_EXPERIMENT_PROTOCOL_GTA_UAV.md): well-posed при validity=0 для каждой aux-модальности.
7. Decision meeting
Каждый сотрудник до встречи отвечает письменно:
- Какая часть его hypothesis подтверждена?
- Какая часть опровергнута?
- Что показывает вклад каждой modality?
- Какой failure mode наиболее важен?
- Как вариант ведёт себя при отсутствии каждой aux-модальности (validity=0)?
- Какой вариант он рекомендует primary и почему?
- Какой вариант должен остаться fallback?
- Что в варианте придётся менять при переносе со StripNet stage maps на ViT token maps (DINOv3 Teacher)?
Решение записывается не по голосованию, а по заранее заданным метрикам и ограничениям.
8. Итоговые файлы
reports/joint/FINAL_COMPARISON.md
reports/joint/DECISION_RECORD.md
experiments/experiment_registry.csv
results/summary.csv
results/statistical_tests.json