fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
This commit is contained in:
Pikaliov
131
docs/01_tasks/04_JOINT_INTEGRATION.md
Normal file
131
docs/01_tasks/04_JOINT_INTEGRATION.md
Normal file
@@ -0,0 +1,131 @@
|
||||
# Совместное интеграционное задание
|
||||
|
||||
## 1. Цель
|
||||
|
||||
Собрать три fusion family в одну систему, исключить различия protocol и получить честное сравнение.
|
||||
|
||||
## 2. Общие компоненты
|
||||
|
||||
Команда должна иметь одну реализацию каждого компонента:
|
||||
|
||||
| Компонент | Один для всех variants |
|
||||
|---|---:|
|
||||
| GTA-UAV split | да |
|
||||
| RGB transforms | да |
|
||||
| Auxiliary loading | да |
|
||||
| Text encoder | да |
|
||||
| StripNet checkpoint | да |
|
||||
| StripNet adaptation setting | да |
|
||||
| Retrieval objective | да |
|
||||
| Sampler | да |
|
||||
| Optimizer/scheduler | да |
|
||||
| Evaluation gallery | да |
|
||||
| Metrics | да |
|
||||
| Logging schema | да |
|
||||
| Seed list | да |
|
||||
|
||||
Меняться должен только fusion module и его специфические гиперпараметры.
|
||||
|
||||
## 3. Integration checklist
|
||||
|
||||
### Data
|
||||
|
||||
- [ ] Sample IDs совпадают между RGB, captions и auxiliary files.
|
||||
- [ ] Satellite получает CHM, UAV получает depth.
|
||||
- [ ] Segmentation class mapping одинаковый.
|
||||
- [ ] Validity masks присутствуют.
|
||||
- [ ] Multi-match ground truth сохранён.
|
||||
|
||||
### Model
|
||||
|
||||
- [ ] Shared StripNet instance.
|
||||
- [ ] Одинаковая projection dimension.
|
||||
- [ ] Три variants создаются через registry.
|
||||
- [ ] Output schema совпадает.
|
||||
- [ ] Diagnostics keys имеют common prefix/schema.
|
||||
|
||||
### Training
|
||||
|
||||
- [ ] Один training loop.
|
||||
- [ ] Один loss.
|
||||
- [ ] Один sampler.
|
||||
- [ ] Одинаковые augmentations.
|
||||
- [ ] Одинаковый effective batch size.
|
||||
- [ ] Одинаковые epochs и warmup.
|
||||
- [ ] Checkpoints сохраняются атомарно.
|
||||
|
||||
### Evaluation
|
||||
|
||||
- [ ] Full gallery.
|
||||
- [ ] Multi-positive matches.
|
||||
- [ ] UAV-to-satellite и satellite-to-UAV.
|
||||
- [ ] R@1/5/10, MRR, AP.
|
||||
- [ ] Per-query predictions для paired statistics.
|
||||
|
||||
## 4. Common smoke suite
|
||||
|
||||
Каждый variant должен пройти:
|
||||
|
||||
1. CPU shape forward, если используемые операции поддерживают CPU.
|
||||
2. GPU forward B=1.
|
||||
3. GPU forward B=4.
|
||||
4. One optimizer step.
|
||||
5. 100-batch smoke train.
|
||||
6. Small-gallery evaluation.
|
||||
7. Full evaluation без обучения для checkpoint.
|
||||
8. Latency warmup + measurement.
|
||||
9. Peak VRAM measurement.
|
||||
|
||||
## 5. Experiment IDs
|
||||
|
||||
```text
|
||||
FUS-B0-RGB-s42
|
||||
FUS-A-COND-s42
|
||||
FUS-B-TOKEN-s42
|
||||
FUS-C-ROLE-s42
|
||||
```
|
||||
|
||||
Ablation:
|
||||
|
||||
```text
|
||||
FUS-A-COND-AAB3-s42
|
||||
FUS-B-TOKEN-BAB1-s42
|
||||
FUS-C-ROLE-CAB7-s42
|
||||
```
|
||||
|
||||
## 6. Общая result table
|
||||
|
||||
| Variant | Seed | R@1 | R@5 | R@10 | MRR | Params M | VRAM GB | Latency ms | Notes |
|
||||
|---|---:|---:|---:|---:|---:|---:|---:|---:|---|
|
||||
|
||||
После трёх seed:
|
||||
|
||||
| Variant | R@1 mean±std | Delta B0 | 95% CI | VRAM delta | Latency delta | Missing-modality OK | Verdict |
|
||||
|---|---:|---:|---:|---:|---:|---|---|
|
||||
|
||||
Колонка «Missing-modality OK» заполняется по протоколу §13 (`03_EXPERIMENT_PROTOCOL_GTA_UAV.md`): well-posed при validity=0 для каждой aux-модальности.
|
||||
|
||||
## 7. Decision meeting
|
||||
|
||||
Каждый сотрудник до встречи отвечает письменно:
|
||||
|
||||
1. Какая часть его hypothesis подтверждена?
|
||||
2. Какая часть опровергнута?
|
||||
3. Что показывает вклад каждой modality?
|
||||
4. Какой failure mode наиболее важен?
|
||||
5. Как вариант ведёт себя при отсутствии каждой aux-модальности (validity=0)?
|
||||
6. Какой вариант он рекомендует primary и почему?
|
||||
7. Какой вариант должен остаться fallback?
|
||||
8. Что в варианте придётся менять при переносе со StripNet stage maps на ViT token maps (DINOv3 Teacher)?
|
||||
|
||||
Решение записывается не по голосованию, а по заранее заданным метрикам и ограничениям.
|
||||
|
||||
## 8. Итоговые файлы
|
||||
|
||||
```text
|
||||
reports/joint/FINAL_COMPARISON.md
|
||||
reports/joint/DECISION_RECORD.md
|
||||
experiments/experiment_registry.csv
|
||||
results/summary.csv
|
||||
results/statistical_tests.json
|
||||
```
|
||||
Reference in New Issue
Block a user