forked from Pikaliov/fuze_task
2c6a00a4ca
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
70 lines
4.5 KiB
Markdown
70 lines
4.5 KiB
Markdown
# Паспорт проекта
|
||
|
||
## 1. Название
|
||
|
||
Совместное исследование мультимодального fusion для cross-view geo-localization на GTA-UAV-LR.
|
||
|
||
## 2. Проблема
|
||
|
||
RGB содержит основной визуальный сигнал, но cross-view matching осложняется различиями ракурса, масштаба, перспективы и визуального домена. Дополнительные модальности могут добавить:
|
||
|
||
| Модальность | Satellite | UAV | Потенциальный сигнал |
|
||
|---|---:|---:|---|
|
||
| RGB | да | да | текстура, форма, пространственная компоновка |
|
||
| Text | да | да | глобальная семантика и отличительные объекты |
|
||
| Segmentation | да | да | land-cover и пространственная семантика |
|
||
| Geometry | CHM | Depth | высота, рельеф, структура, масштабные признаки |
|
||
|
||
Задача не сводится к конкатенации. Нужно определить, как привести модальности к совместимому представлению, где включить их в StripNet и как не потерять retrieval-сигнал RGB.
|
||
|
||
## 3. Цель
|
||
|
||
Разработать, реализовать и сравнить три семейства fusion:
|
||
|
||
1. Condition-aware residual fusion.
|
||
2. Token/bottleneck aggregation.
|
||
3. Role-aware hierarchical fusion.
|
||
|
||
После сравнения выбрать:
|
||
|
||
- primary: лучший подтверждённый вариант;
|
||
- fallback: более простой или стабильный вариант;
|
||
- research-arm: перспективный вариант, требующий дальнейшей проверки.
|
||
|
||
## 4. Исследовательские вопросы
|
||
|
||
1. Какие модальности дают положительный вклад в cross-area R@1 поверх StripNet RGB-only?
|
||
2. Нужна ли fusion на нескольких stages или достаточно late fusion?
|
||
3. Следует ли segmentation, geometry и text обрабатывать разными операторами?
|
||
4. Улучшает ли content-aware управление вкладом модальностей результат относительно static weights?
|
||
5. Сохраняют ли bottleneck tokens достаточно spatial information?
|
||
6. Какие схемы дают лучший Pareto trade-off accuracy, VRAM, latency и число параметров?
|
||
7. Повторяется ли улучшение минимум на трёх seed?
|
||
|
||
## 5. Не является частью проекта
|
||
|
||
- Замена StripNet другим backbone.
|
||
- Обучение на World-UAV как primary dataset.
|
||
- Совместная обработка paired satellite и UAV до retrieval objective.
|
||
- Использование GPS, координат или имён локаций как признаков.
|
||
- Разработка нового caption generator.
|
||
- Разработка новой модели depth, CHM или segmentation.
|
||
- Случайное отключение модальностей как отдельная training-задача.
|
||
|
||
## 6. Итоговые артефакты
|
||
|
||
| Артефакт | Ответственный | Место |
|
||
|---|---|---|
|
||
| Общий API fusion | Павленко + вся команда | `src/fuse_proj/models/fusion/` |
|
||
| Condition-aware implementation | Павленко | тот же пакет |
|
||
| Token/bottleneck implementation | Близно | тот же пакет |
|
||
| Role-aware implementation | Мороз | тот же пакет |
|
||
| Единый dataloader contract | Мороз + вся команда | `src/fuse_proj/data/` |
|
||
| Benchmark runner и aggregation | Близно + вся команда | `scripts/`, `experiments/` |
|
||
| Общий comparative report | все | `reports/joint/` |
|
||
| Персональные design reports | каждый сотрудник | `reports/<surname>/` |
|
||
|
||
## 7. Критерий завершения
|
||
|
||
Проект завершён, когда три реализации проходят одинаковые тесты, обучены по единому protocol, оценены на одинаковом cross-area split и сведены в совместный отчёт с воспроизводимым выбором primary/fallback/research-arm.
|