fuze_task/docs/00_project/06_MERIDIAN_CONTEXT.md

Контекст: место проекта в системе MERIDIAN

Этот документ объясняет, частью какой большой системы является fuse_proj, почему эксперимент поставлен именно на StripNet и GTA-UAV и что произойдёт с победившей архитектурой дальше. Понимание этого контекста обязательно для всех трёх сотрудников: оно определяет вторичные критерии выбора архитектуры.

1. Большая система: MERIDIAN

MERIDIAN — асимметричная Teacher–Student система кросс-видовой геолокализации БПЛА (UAV ↔ satellite) с привилегированными модальностями (LUPI/KD) и лёгким edge-инференсом.

• Задача: Cross-View Geo-Localization (CVGL) — поиск satellite tile, соответствующего UAV-снимку, без GPS.
• Teacher (cloud, training-time): frozen DINOv3-L + дополнительные модальности (depth, CHM, segmentation, text) от готовых foundation-моделей. Teacher видит всё, его задача — построить максимально информативный fused-эмбеддинг.
• Student (edge, inference-time): компактный RGB-only backbone (SOFIA), Jetson Orin NX, INT8 TensorRT, <50 мс. Student видит только RGB sat + RGB UAV и учится у Teacher через feature-KD.

═══ Training-time (cloud) ════════════════════════════════════════
Teacher (multimodal, frozen):
  T_main      DINOv3-L                                 🔵 готовый
  T_depth     Depth-Anything-V3                        🔵 готовый
  T_chm       CHMv2 (canopy height map)                🔵 готовый
  T_seg       SegEarth / SegFormer                     🔵 готовый
  T_text      DGTRS-CLIP / RemoteCLIP                  🔵 готовый
  Fusion      ??? ← ПРЕДМЕТ ЭТОГО ПРОЕКТА              🟢 наш
                 ↓ fused privileged embedding
  KD bridge → Student (RGB-only, edge)
═══════════════════════════════════════════════════════════════════

Граница «готовое / своё»: foundation-модели используются как есть и не модифицируются. Наша зона проектирования — fusion-механизм, объединяющий их выходы.

2. Восемь входных потоков Teacher

#	Поток	View	Источник	Природа сигнала
1	RGB satellite	sat	датасет	основной визуальный якорь
2	Text caption satellite	sat	VLM (Qwen3-VL)	глобальная семантика сцены
3	CHM satellite	sat	CHMv2	высота растительности/структура
4	Segmentation satellite	sat	SegFormer, 17 классов	land-cover semantics
5	RGB UAV	uav	датасет	основной визуальный якорь
6	Text caption UAV	uav	VLM (Qwen3-VL)	глобальная семантика сцены
7	Relative depth UAV	uav	Depth Anything	геометрия/структура сцены
8	Segmentation UAV	uav	SegFormer, 17 классов	spatial semantics

Геометрия асимметрична намеренно: CHM-модель обучена на nadir-снимках и работает только для satellite; metric depth на UAV ненадёжен, поэтому UAV получает relative depth. Это не дефект данных, а инвариант системы.

3. Зачем нужен этот проект (fuse_proj)

Прямой перебор fusion-архитектур на полном Teacher (DINOv3-L, ~300M+ params) слишком дорог: один полный прогон занимает часы и съедает всю VRAM. Поэтому архитектурный поиск выполняется на быстром прокси:

Компонент	Полная система (цель)	Прокси (этот проект)
Visual backbone	DINOv3-L frozen + адаптеры	StripNet-small frozen + Conv-MONA
Датасет	World-UAV / реальные данные	GTA-UAV-LR (синтетика, полная разметка)
Модальности	те же 8 потоков	те же 8 потоков
Выход ветки	fused embedding	L2-нормированный descriptor [B, 1024]
Вопрос	—	какой КЛАСС fusion работает и почему

Прокси сохраняет главное: frozen visual anchor + лёгкие обучаемые модули, те же модальности, тот же retrieval-протокол. Вывод «какой класс fusion-операторов выигрывает и за счёт чего» переносится; конкретные гиперпараметры — нет, и это нормально.

4. Что произойдёт с результатом

1. Победившее семейство (primary) + fallback фиксируются в decision record.
2. Primary-механизм переносится на Teacher DINOv3 (адаптация: CNN stage maps → ViT token maps) и входит в спецификацию fusion MERIDIAN.
3. Fused-эмбеддинг Teacher становится KD-таргетом для RGB-only Student.
4. Ваши diagnostics (вклад модальностей, gate statistics) станут инструментами анализа Teacher.

5. Вторичный критерий: устойчивость к отсутствию модальности

В production Teacher модальности могут отсутствовать или быть деградированными (нет caption у ~55% satellite tiles уже сейчас; depth/CHM могут быть зашумлены). Кроме того, на следующем этапе MERIDIAN планируется обучение с modality dropout (стохастическое отключение модальностей) — оно НЕ входит в ваше задание, но накладывает требование на архитектуру:

Fusion-оператор обязан оставаться well-posed, когда любая дополнительная модальность отсутствует (validity mask = 0): выход определён, конечен и осмыслен, RGB-путь не искажается.

Сводка по классам операторов (из свежего аудита литературы, 2026-06):

Класс	Поведение при отсутствии модальности	Вердикт
Cross-attention над пулом модальных токенов	softmax перенормируется на оставшиеся токены	безопасен by construction
FiLM / gating с zero-init (identity-at-init)	выпавшая модальность даёт identity	безопасен при корректной init
Gated additive residual	residual = 0 → чистый RGB-путь	безопасен при корректной init
Чисто multiplicative gating (выход = RGB × f(aux))	near-zero aux уничтожает RGB-сигнал	опасен, требует additive-ветки
Differential conditioning (f(Xi − Xj))	теряет смысл при отсутствии одного из Xi	опасен
SSM/Mamba cross-state fusion	состояние дестабилизируется	research-arm, не primary

Практическое следствие для всех трёх треков: тест «отключи модальность через validity mask и проверь, что descriptor конечен и близок к RGB-only» входит в обязательные unit-тесты, а поведение при missing modality — в decision table финального сравнения.

6. Каноническая терминология

Термин	Значение в проекте
View	satellite или uav; кодируются независимо
Modality	rgb / text / segmentation / geometry (CHM или depth)
Anchor	RGB-путь StripNet, который нельзя терять
Validity mask	булева маска «модальность присутствует и валидна»
Identity-at-init	при инициализации fusion-модуль эквивалентен RGB-only
Modality collapse	descriptor фактически зависит от одной модальности
Shortcut	модальность выигрывает метрику нечестным путём (утечка, артефакт данных)
LUPI	learning using privileged information: модальности доступны при обучении, недоступны на inference Student
Primary / fallback / research-arm	роли вариантов в итоговом решении

7. Чего в этом проекте сознательно нет

• Никакого modality dropout в training loop (это следующий этап MERIDIAN, отдельная задача).
• Никакой дистилляции в Student (KD-мост строится после выбора fusion).
• Никакой замены StripNet или обучения собственных моделей depth/seg/CHM/captions.
• Никакого использования GPS, координат, имён локаций и paired-view признаков.