# Паспорт проекта

## 1. Название

Совместное исследование мультимодального fusion для cross-view geo-localization на GTA-UAV-LR.

## 2. Проблема

RGB содержит основной визуальный сигнал, но cross-view matching осложняется различиями ракурса, масштаба, перспективы и визуального домена. Дополнительные модальности могут добавить:

| Модальность | Satellite | UAV | Потенциальный сигнал |
|---|---:|---:|---|
| RGB | да | да | текстура, форма, пространственная компоновка |
| Text | да | да | глобальная семантика и отличительные объекты |
| Segmentation | да | да | land-cover и пространственная семантика |
| Geometry | CHM | Depth | высота, рельеф, структура, масштабные признаки |

Задача не сводится к конкатенации. Нужно определить, как привести модальности к совместимому представлению, где включить их в StripNet и как не потерять retrieval-сигнал RGB.

## 3. Цель

Разработать, реализовать и сравнить три семейства fusion:

1. Condition-aware residual fusion.
2. Token/bottleneck aggregation.
3. Role-aware hierarchical fusion.

После сравнения выбрать:

- primary: лучший подтверждённый вариант;
- fallback: более простой или стабильный вариант;
- research-arm: перспективный вариант, требующий дальнейшей проверки.

## 4. Исследовательские вопросы

1. Какие модальности дают положительный вклад в cross-area R@1 поверх StripNet RGB-only?
2. Нужна ли fusion на нескольких stages или достаточно late fusion?
3. Следует ли segmentation, geometry и text обрабатывать разными операторами?
4. Улучшает ли content-aware управление вкладом модальностей результат относительно static weights?
5. Сохраняют ли bottleneck tokens достаточно spatial information?
6. Какие схемы дают лучший Pareto trade-off accuracy, VRAM, latency и число параметров?
7. Повторяется ли улучшение минимум на трёх seed?

## 5. Не является частью проекта

- Замена StripNet другим backbone.
- Обучение на World-UAV как primary dataset.
- Совместная обработка paired satellite и UAV до retrieval objective.
- Использование GPS, координат или имён локаций как признаков.
- Разработка нового caption generator.
- Разработка новой модели depth, CHM или segmentation.
- Случайное отключение модальностей как отдельная training-задача.

## 6. Итоговые артефакты

| Артефакт | Ответственный | Место |
|---|---|---|
| Общий API fusion | Павленко + вся команда | `src/fuse_proj/models/fusion/` |
| Condition-aware implementation | Павленко | тот же пакет |
| Token/bottleneck implementation | Близно | тот же пакет |
| Role-aware implementation | Мороз | тот же пакет |
| Единый dataloader contract | Мороз + вся команда | `src/fuse_proj/data/` |
| Benchmark runner и aggregation | Близно + вся команда | `scripts/`, `experiments/` |
| Общий comparative report | все | `reports/joint/` |
| Персональные design reports | каждый сотрудник | `reports/<surname>/` |

## 7. Критерий завершения

Проект завершён, когда три реализации проходят одинаковые тесты, обучены по единому protocol, оценены на одинаковом cross-area split и сведены в совместный отчёт с воспроизводимым выбором primary/fallback/research-arm.