fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)

Multimodal fusion research on StripNet+GTA-UAV proxy:
- 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C)
- Shared interfaces, protocol, dataset audit, baseline benchmarks
- Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE)
- Personalized task plans and decision tables for each researcher
- 3 generated DOCX task assignment files with milestones and DoD checklist
- Full modality dropout diagnostics and missing-modality robustness requirements
- Data contract, benchmark registry, experiment tracking infrastructure

Operational documents:
- docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification
- docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration
- docs/02_references/: Core literature, version-chain bases, code maps
- docs/03_codebase_guides/: Existing code snapshots from vault
- scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure
- vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code
- reports/, results/, experiments/: Shared output structure for all 3 researchers

3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format):
- План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner)
- План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner)
- План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner)

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
This commit is contained in:
Pikaliov
2026-06-11 17:16:57 +03:00
commit 2c6a00a4ca
155 changed files with 39765 additions and 0 deletions

View File

@@ -0,0 +1,69 @@
# Паспорт проекта
## 1. Название
Совместное исследование мультимодального fusion для cross-view geo-localization на GTA-UAV-LR.
## 2. Проблема
RGB содержит основной визуальный сигнал, но cross-view matching осложняется различиями ракурса, масштаба, перспективы и визуального домена. Дополнительные модальности могут добавить:
| Модальность | Satellite | UAV | Потенциальный сигнал |
|---|---:|---:|---|
| RGB | да | да | текстура, форма, пространственная компоновка |
| Text | да | да | глобальная семантика и отличительные объекты |
| Segmentation | да | да | land-cover и пространственная семантика |
| Geometry | CHM | Depth | высота, рельеф, структура, масштабные признаки |
Задача не сводится к конкатенации. Нужно определить, как привести модальности к совместимому представлению, где включить их в StripNet и как не потерять retrieval-сигнал RGB.
## 3. Цель
Разработать, реализовать и сравнить три семейства fusion:
1. Condition-aware residual fusion.
2. Token/bottleneck aggregation.
3. Role-aware hierarchical fusion.
После сравнения выбрать:
- primary: лучший подтверждённый вариант;
- fallback: более простой или стабильный вариант;
- research-arm: перспективный вариант, требующий дальнейшей проверки.
## 4. Исследовательские вопросы
1. Какие модальности дают положительный вклад в cross-area R@1 поверх StripNet RGB-only?
2. Нужна ли fusion на нескольких stages или достаточно late fusion?
3. Следует ли segmentation, geometry и text обрабатывать разными операторами?
4. Улучшает ли content-aware управление вкладом модальностей результат относительно static weights?
5. Сохраняют ли bottleneck tokens достаточно spatial information?
6. Какие схемы дают лучший Pareto trade-off accuracy, VRAM, latency и число параметров?
7. Повторяется ли улучшение минимум на трёх seed?
## 5. Не является частью проекта
- Замена StripNet другим backbone.
- Обучение на World-UAV как primary dataset.
- Совместная обработка paired satellite и UAV до retrieval objective.
- Использование GPS, координат или имён локаций как признаков.
- Разработка нового caption generator.
- Разработка новой модели depth, CHM или segmentation.
- Случайное отключение модальностей как отдельная training-задача.
## 6. Итоговые артефакты
| Артефакт | Ответственный | Место |
|---|---|---|
| Общий API fusion | Павленко + вся команда | `src/fuse_proj/models/fusion/` |
| Condition-aware implementation | Павленко | тот же пакет |
| Token/bottleneck implementation | Близно | тот же пакет |
| Role-aware implementation | Мороз | тот же пакет |
| Единый dataloader contract | Мороз + вся команда | `src/fuse_proj/data/` |
| Benchmark runner и aggregation | Близно + вся команда | `scripts/`, `experiments/` |
| Общий comparative report | все | `reports/joint/` |
| Персональные design reports | каждый сотрудник | `reports/<surname>/` |
## 7. Критерий завершения
Проект завершён, когда три реализации проходят одинаковые тесты, обучены по единому protocol, оценены на одинаковом cross-area split и сведены в совместный отчёт с воспроизводимым выбором primary/fallback/research-arm.