2c6a00a4ca
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
4.5 KiB
4.5 KiB
Паспорт проекта
1. Название
Совместное исследование мультимодального fusion для cross-view geo-localization на GTA-UAV-LR.
2. Проблема
RGB содержит основной визуальный сигнал, но cross-view matching осложняется различиями ракурса, масштаба, перспективы и визуального домена. Дополнительные модальности могут добавить:
| Модальность | Satellite | UAV | Потенциальный сигнал |
|---|---|---|---|
| RGB | да | да | текстура, форма, пространственная компоновка |
| Text | да | да | глобальная семантика и отличительные объекты |
| Segmentation | да | да | land-cover и пространственная семантика |
| Geometry | CHM | Depth | высота, рельеф, структура, масштабные признаки |
Задача не сводится к конкатенации. Нужно определить, как привести модальности к совместимому представлению, где включить их в StripNet и как не потерять retrieval-сигнал RGB.
3. Цель
Разработать, реализовать и сравнить три семейства fusion:
- Condition-aware residual fusion.
- Token/bottleneck aggregation.
- Role-aware hierarchical fusion.
После сравнения выбрать:
- primary: лучший подтверждённый вариант;
- fallback: более простой или стабильный вариант;
- research-arm: перспективный вариант, требующий дальнейшей проверки.
4. Исследовательские вопросы
- Какие модальности дают положительный вклад в cross-area R@1 поверх StripNet RGB-only?
- Нужна ли fusion на нескольких stages или достаточно late fusion?
- Следует ли segmentation, geometry и text обрабатывать разными операторами?
- Улучшает ли content-aware управление вкладом модальностей результат относительно static weights?
- Сохраняют ли bottleneck tokens достаточно spatial information?
- Какие схемы дают лучший Pareto trade-off accuracy, VRAM, latency и число параметров?
- Повторяется ли улучшение минимум на трёх seed?
5. Не является частью проекта
- Замена StripNet другим backbone.
- Обучение на World-UAV как primary dataset.
- Совместная обработка paired satellite и UAV до retrieval objective.
- Использование GPS, координат или имён локаций как признаков.
- Разработка нового caption generator.
- Разработка новой модели depth, CHM или segmentation.
- Случайное отключение модальностей как отдельная training-задача.
6. Итоговые артефакты
| Артефакт | Ответственный | Место |
|---|---|---|
| Общий API fusion | Павленко + вся команда | src/fuse_proj/models/fusion/ |
| Condition-aware implementation | Павленко | тот же пакет |
| Token/bottleneck implementation | Близно | тот же пакет |
| Role-aware implementation | Мороз | тот же пакет |
| Единый dataloader contract | Мороз + вся команда | src/fuse_proj/data/ |
| Benchmark runner и aggregation | Близно + вся команда | scripts/, experiments/ |
| Общий comparative report | все | reports/joint/ |
| Персональные design reports | каждый сотрудник | reports/<surname>/ |
7. Критерий завершения
Проект завершён, когда три реализации проходят одинаковые тесты, обучены по единому protocol, оценены на одинаковом cross-area split и сведены в совместный отчёт с воспроизводимым выбором primary/fallback/research-arm.