# Совместное интеграционное задание ## 1. Цель Собрать три fusion family в одну систему, исключить различия protocol и получить честное сравнение. ## 2. Общие компоненты Команда должна иметь одну реализацию каждого компонента: | Компонент | Один для всех variants | |---|---:| | GTA-UAV split | да | | RGB transforms | да | | Auxiliary loading | да | | Text encoder | да | | StripNet checkpoint | да | | StripNet adaptation setting | да | | Retrieval objective | да | | Sampler | да | | Optimizer/scheduler | да | | Evaluation gallery | да | | Metrics | да | | Logging schema | да | | Seed list | да | Меняться должен только fusion module и его специфические гиперпараметры. ## 3. Integration checklist ### Data - [ ] Sample IDs совпадают между RGB, captions и auxiliary files. - [ ] Satellite получает CHM, UAV получает depth. - [ ] Segmentation class mapping одинаковый. - [ ] Validity masks присутствуют. - [ ] Multi-match ground truth сохранён. ### Model - [ ] Shared StripNet instance. - [ ] Одинаковая projection dimension. - [ ] Три variants создаются через registry. - [ ] Output schema совпадает. - [ ] Diagnostics keys имеют common prefix/schema. ### Training - [ ] Один training loop. - [ ] Один loss. - [ ] Один sampler. - [ ] Одинаковые augmentations. - [ ] Одинаковый effective batch size. - [ ] Одинаковые epochs и warmup. - [ ] Checkpoints сохраняются атомарно. ### Evaluation - [ ] Full gallery. - [ ] Multi-positive matches. - [ ] UAV-to-satellite и satellite-to-UAV. - [ ] R@1/5/10, MRR, AP. - [ ] Per-query predictions для paired statistics. ## 4. Common smoke suite Каждый variant должен пройти: 1. CPU shape forward, если используемые операции поддерживают CPU. 2. GPU forward B=1. 3. GPU forward B=4. 4. One optimizer step. 5. 100-batch smoke train. 6. Small-gallery evaluation. 7. Full evaluation без обучения для checkpoint. 8. Latency warmup + measurement. 9. Peak VRAM measurement. ## 5. Experiment IDs ```text FUS-B0-RGB-s42 FUS-A-COND-s42 FUS-B-TOKEN-s42 FUS-C-ROLE-s42 ``` Ablation: ```text FUS-A-COND-AAB3-s42 FUS-B-TOKEN-BAB1-s42 FUS-C-ROLE-CAB7-s42 ``` ## 6. Общая result table | Variant | Seed | R@1 | R@5 | R@10 | MRR | Params M | VRAM GB | Latency ms | Notes | |---|---:|---:|---:|---:|---:|---:|---:|---:|---| После трёх seed: | Variant | R@1 mean±std | Delta B0 | 95% CI | VRAM delta | Latency delta | Missing-modality OK | Verdict | |---|---:|---:|---:|---:|---:|---|---| Колонка «Missing-modality OK» заполняется по протоколу §13 (`03_EXPERIMENT_PROTOCOL_GTA_UAV.md`): well-posed при validity=0 для каждой aux-модальности. ## 7. Decision meeting Каждый сотрудник до встречи отвечает письменно: 1. Какая часть его hypothesis подтверждена? 2. Какая часть опровергнута? 3. Что показывает вклад каждой modality? 4. Какой failure mode наиболее важен? 5. Как вариант ведёт себя при отсутствии каждой aux-модальности (validity=0)? 6. Какой вариант он рекомендует primary и почему? 7. Какой вариант должен остаться fallback? 8. Что в варианте придётся менять при переносе со StripNet stage maps на ViT token maps (DINOv3 Teacher)? Решение записывается не по голосованию, а по заранее заданным метрикам и ограничениям. ## 8. Итоговые файлы ```text reports/joint/FINAL_COMPARISON.md reports/joint/DECISION_RECORD.md experiments/experiment_registry.csv results/summary.csv results/statistical_tests.json ```