diff --git a/reports/02_fusion_core_персональный.md b/reports/02_fusion_core_персональный.md new file mode 100644 index 0000000..cf86865 --- /dev/null +++ b/reports/02_fusion_core_персональный.md @@ -0,0 +1,183 @@ +[[02_fusion_core_общий]] +# CONDITION-AWARE + +## Primary + +### F39_FU_2025_CAFuser + +| Поле | Вопрос | +| ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | +| Task | condition-aware семантическая сегментация в неблагоприятных условиях (погода/освещение), автономное вождение (MUSES). | +| Inputs | RGB + сенсорные модальности (lidar/event/radar), per-modality feature maps + env-descriptor (condition). | +| Fusion level | mid-network (per-modality адаптеры, модулируемые condition-токеном). | +| Operator | condition token → модуляция вклада адаптеров (условный гейтинг, FiLM-подобный над адаптерами). | +| Direction | симметрично | +| Identity path | Напрямую нет | +| Missing-modality | отключение адаптера соответствующей модальности | +| Compute | Число параметров при добавлении адаптера на новую модальность | +| Evidence | MUSES PQ baselines меньше, чем с применением метода;
Driving results:
Уменьшение числа параметров при использовании адаптеров в сравнении с baseline и 4 раздельными бэкбонами | +| Transfer | condition token = ваш контроллер `c_v`;
env-descriptor → замена на content-summary + quality + `e_view`;
shared backbone = StripNet `shared=True` | +| Risk | Что будет при неинформативном погодном сигнале? Нужно включить оценку его качества? | +| Decision | Использовать + адаптировать (вторичный механизм с адаптерами) | +### F37_FU_2024_AsymFormer + +| Поле | Вопрос | +| ---------------- | ------------------------------------------------------------------------------- | +| Task | асимметричная RT RGB-D семантическая сегментация | +| Inputs | RGB (heavy backbone) + Depth (light backbone) | +| Fusion level | mid (cross-modal attention модули). | +| Operator | асимметричное cross-modal attention
(LAFS + CMA) | +| Direction | асимметричная | +| Identity path | До финального слияния | +| Missing-modality | - | +| Compute | - | +| Evidence | real-time RGB-D seg; FP16 | +| Transfer | Идея основного якорного RGB и более легких aux | +| Risk | cross-attention растёт с токенами; FP16-only, нет INT8; домен seg, не retrieval | +| Decision | адаптировать или отклонить | +### F43_FU_2024_Robust_PEFT_SSF + +| Поле | Вопрос | +| ---------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Task | робастное мультимодальное обучение при отсутствующих модальностях через PEFT | +| Inputs | мультимодальные фичи; per-channel `γ,β` | +| Fusion level | mid | +| Operator | FiLM, PEFT <1% params | +| Direction | Симметричная | +| Identity path | При `γ=1, β=0` | +| Missing-modality | Modulation учитывает absence → adapts other modalities to compensate | +| Compute | params overhead < 1% | +| Evidence | **NYUDv2 mIoU 44.77%** > TokenFusion 43.08% (+1.69pp); MFNet RGB+Thermal 53.06% > CRM SOTA 52.90%; **NTU RGB+D 92.91%** > UMDR 92.23%; **Food-101 avg 79.83%** > Input Prompts 78.54%; CMU-MOSEI F1 58.75% | +| Transfer | Missing modality handling pattern — modulation учитывает modality availability mask; | +| Risk | Без доп. адаптации чистый FiLM хуже Dynamic gate | +| Decision | адаптировать, якорь | +### F47_FU_2026_TacFiLM + +| Поле | Вопрос | +| ---------------- | ----------------------------------------------------------------------------------- | +| Task | добавление тактильной модальности к pretrained мультимодальной VLA (post-training). | +| Inputs | visual feartures; tactile features | +| Fusion level | mid | +| Operator | FiLM с **zero-init β** | +| Direction | асимметричная | +| Identity path | **zero-init β = identity при init** | +| Missing-modality | zero-init β → отсутствующая модальность вносит ноль. | +| Compute | Число параметров на модальность | +| Evidence | Какой experimental result подтверждает механизм? | +| Transfer | Pretrained representations of tactile signals;
identity-path концепт; | +| Risk | **Низкая прямая релевантность** — robotic tactile sensing ≠ aerial CVGL retrieval | +| Decision | принять и адаптировать zero-init b | +### F40_M³amba (CLIP-driven Mamba RS) + +| Поле | Вопрос | +| ---------------- | ------------------------------------------------------------------------------------------------------------------------------------- | +| Task | мультимодальная классификация в remote sensing (hyperspectral + LiDAR/SAR), pixel-level. | +| Inputs | две RS-модальности `X1,X2 [h,w,c]` | +| Fusion level | mid | +| Operator | CLIP-driven per-modality адаптеры + **Cross-SS2D** (кросс-модальный скан: `As_f=(As1+As2)/2`, обмен `Bs1↔Bs2`). | +| Direction | симметрично | +| Identity path | - | +| Missing-modality | синтез прямо помечает ⚠ «assumes all modalities present»); усреднение `As` и обмен `B` требуют обеих. | +| Compute | линейная (Mamba) | +| Evidence | **+5.98%** в среднем над SOTA в мультимодальной HSI-классификации; RS-домен. | +| Transfer | **топология = ваш сетап** — frozen backbone (CLIP ↔ ваш frozen StripNet/DINOv3) + per-modality лёгкие адаптеры, минимальное обучение. | +| Risk | (п) SSM skip `D` есть, но Cross-SS2D усреднение перемешивает → нет чистого anchor; ломается при validity=0 | +| Decision | отклонить | + +### F44_Fusion-Mamba (Cross-mod Detection) + +| Поле | Вопрос | +| ---------------- | --------------------------------------------------------------------------------------------------------------------- | +| Task | cross-modality object detection (RGB+IR). | +| Inputs | RGB + IR feature maps; SSM-состояния. | +| Fusion level | multi-level | +| Operator | SSM cross-state + **mul+add** гейтинг (`y'_R = y_R·z_R + z_R·y_IR`). | +| Direction | симметрично | +| Identity path | - | +| Missing-modality | Отсутствие ЛОМАЕТ обработку в SSM-cross-gate | +| Compute | Стоимость SSM | +| Evidence | **+5.9% mAP M³FD, +4.9% FLIR** (TMM peer-review). | +| Transfer | - | +| Risk | При отсутствии модальности mul-компонент потеряет информацию;
При дропауте модальности ненадежно + mixed precision | +| Decision | адаптировать DSSF | +### F68 RemoteDet-Mamba + +| Поле | Вопрос | +| ---------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Task | мультимодальная детекция объектов на **БПЛА-снимках RS** (DroneVehicle, RGB+TIR детекция и подсчёт машин) | +| Inputs | RGB + TIR (инфракрасное) [840, 840, 3] | +| Fusion level | mid | +| Operator | **Cross-modal Fusion Mamba (CFM)** — однослойный four-directional SS2D-скан на patch-уровне над суммой `f^FUS = f^R + f^IR` | +| Direction | Симметричная | +| Identity path | **ДА, структурно** — `F̂^i = F^i + Linear(...)`: при `Linear≈0` выход = вход | +| Missing-modality | При отсутствии текста неприменимо в силу архитектуры метода | +| Compute | Выч. стоимость внимания, тяжелая MLLM | +| Evidence | DroneVehicle mAP@0.5 **81.8%**, +1.2% над DMM. Но решающее — **ablation**: TIR-only **69.4 → простой Add 80.8 (+11.4 pp) → Bid-scan 81.1 → CFM 81.8 (всего +1.0 над Add)**. То есть **простое поэлементное сложение даёт +11.4 pp, а весь Mamba-оператор поверх — лишь +1.0 pp**. | +| Transfer | **ADD-first свидетельство** — сильнейшее во всём корпусе доказательство, что additive residual забирает почти весь выигрыш, а сложный оператор дает малый прирост | +| Risk | CFM = SSM cross-state над `f^R+f^IR` → хрупок под validity=0; | +| Decision | Адаптировать идею residual, но отклонить метод т.к. CFM лишь +1.0 над Add (факт); маржа не переживёт multi-seed; SSM хрупок при validity=0 | +### F4_FU_2025_EarthMind + +| Поле | Вопрос | +| ---------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Task | cross-sensor мультимодальная LLM для EO (QA/grounding). | +| Inputs | optical + SAR + text query | +| Fusion level | mid (hierarchical cross-modal attention) | +| Operator | Hierarchical Cross-modal Attention (HCA) | +| Direction | Симметричная на стадии1 и асимметричная на стадии 2 | +| Identity path | Нет | +| Missing-modality | При отсутствии текста неприменимо в силу архитектуры метода | +| Compute | Выч. стоимость внимания, тяжелая MLLM | +| Evidence | Earth observation benchmarks | +| Transfer | per-token adaptive weighting для баланса модальностей? | +| Risk | поведение при отсутствии text, т.к. в работе он является основным cond. signal;
преимущество экономии квадратичной стоимости проявляется для пары модальностей, а не при произв. их числе;
оценки только на собственном бенчмарке; | +| Decision | отклонить | + +## Extra + +### B14_StripNet + +[[NOTES#^ead71b]] +### F14_WeatherPrompt + +[[NOTES#^e9be0c]] + +| Поле | Вопрос | +| :--------------- | :-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Task | Cross-view geo-localization с адаптацией к условиям съёмки (день/ночь, погода, сезон). | +| Inputs | RGB (UAV / спутник) + text prompt (условия съёмки: освещение, погода). | +| Fusion level | Mid — FiLM встраивается в последние 1/3 блоков visual backbone (Feature Pyramid, Late Layers). | +| Operator | FiLM (Feature-wise Linear Modulation): $F_{out} = \gamma \odot F_{in} + \beta$; генераторы $f_\gamma, f_\beta$ — 2-Layer MLP из text_embed (768-d → 256 → C). | +| Direction | Однонаправленная: text → visual. Текст модулирует RGB-ветку, обратной связи нет. | +| Identity path | Да — zero-init последнего слоя $f_\gamma$ + $\exp(\cdot)$: на старте $\gamma=1.0$, $\beta=0.0$ (identity mapping, pre-trained веса не разрушаются). | +| Missing-modality | При отсутствии text prompt — graceful degradation к identity ($\gamma=1, \beta=0$). Архитектурно безопасно. | +| Compute | Лёгкая: два `MLP (768→256→C)` на inference. INT8-совместимо полностью. | +| Evidence | CVGL Night R@1 +13.37% vs baseline; FiLM > Cross-Attention > Concat на ночной кросс-видовой задаче. | +| Transfer | Расширение до 5 модальностей через Privileged Context Vector (PCV):
`PCV = [DepthEmb ⊕ EdgeEmb ⊕ TextEmb]`
`(768-d)` → единый $f_\gamma, f_\beta$. | +| Risk | SSF (**F43** TPAMI) генерирует статичные $\gamma, \beta$ per-task — уступает WeatherPrompt в data-driven адаптации; PCV-конкатенация может размыть вклад отдельных модальностей при несбалансированных эмбеддингах. Two-Speed LR обязателен (LR_FiLM × 100 vs LR_Backbone). | +| Decision | **Принять** **как архитектурный паттерн Multi-FiLM-Fusion для Teacher-ветки MERIDIAN. PCV-формула — canonical источник для TextFiLM в SOFIA UAVHead/SatHead.** | +### C5 + +| Поле | Вопрос | +| ---------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Task | cross-sensor мультимодальная LLM для EO (QA/grounding). | +| Inputs | optical + SAR + text query | +| Fusion level | mid (hierarchical cross-modal attention) | +| Operator | Hierarchical Cross-modal Attention (HCA) | +| Direction | Симметричная на стадии1 и асимметричная на стадии 2 | +| Identity path | Нет | +| Missing-modality | При отсутствии текста неприменимо в силу архитектуры метода | +| Compute | Выч. стоимость внимания, тяжелая MLLM | +| Evidence | Earth observation benchmarks | +| Transfer | per-token adaptive weighting для баланса модальностей? | +| Risk | поведение при отсутствии text, т.к. в работе он является основным cond. signal;
преимущество экономии квадратичной стоимости проявляется для пары модальностей, а не при произв. их числе;
оценки только на собственном бенчмарке; | +| Decision | отклонить | +### Канонические опоры (проверенные выводы из vault, использовать в evidence matrix) + +| Источник | Факт | Следствие для трека A | +| ----------------------------------------------- | -------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | +| **C5** WeatherPrompt (NeurIPS 2025), `05_text/` | Dynamic Gate 80.20 > Concat 78.90 > Static gate 78.45 | веса fusion должны быть instance-conditioned — прямой аргумент за controller | +| **F14** WeatherPrompt deep dive | FiLM 73.37% > CrossAttn 68.10% > Concat 62.50%; спецификация text→FiLM MLP: zero-init, two-speed LR, EMA | готовый рецепт text-пути и инициализации | +| Flamingo (NeurIPS 2022, см. **TRIAGE §1**) | zero-init tanh(α)-gated cross-attention: при α=0 модель ≡ frozen base | корень линии identity-at-init; цитировать как первоисточник | +| **F39** CAFuser (RA-L 2025) | condition token строится из RGB и управляет fusion остальных модальностей | каноничный шаблон трека | +| **TRIAGE §6a**, вывод 1 | gated additive residual — dropout-safe; чисто multiplicative gating ломается при near-zero aux | residual-форма обязательна для primary | diff --git a/reports/EVIDENCE MATRIX.md b/reports/EVIDENCE MATRIX.md new file mode 100644 index 0000000..c583059 --- /dev/null +++ b/reports/EVIDENCE MATRIX.md @@ -0,0 +1,25 @@ + +[[02_fusion_core_персональный]] + +# EVIDENCE MATRIX + +# Канонические опоры fusion — разбор по 9 источникам (для evidence matrix, Трек A) + +| Source | Original task | Fusion operator | Conditioning signal | Identity path | Transfer to StripNet | Risk | +| -------------------------------------- | ------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------ | --------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------- | +| **F39 CAFuser** (RA-L 2025) | condition-aware сегментация в неблагопр. условиях (MUSES, вождение) | condition token модулирует per-modality адаптеры (FiLM-подоб.); shared backbone + adapters | condition token из RGB/сцены (env-condition) | (п) → identity при zero-init адаптеров; в статье не RGB-residual | condition token = ваш `c_v`; env → content+quality+`e_view`; shared backbone = StripNet `shared=True` | в CVGL нет env-сигнала → при неинформативном condition гейты схлопываются в static | +| **F37 AsymFormer** (CVPR-WS 2024) | real-time асимметр. RGB-D сегментация | асимметр. cross-modal attention (LAFS + CMA) | нет (feature-driven); RGB-heavy / depth-light | RGB тяжёлый primary, aux лёгкий модулирует; (п) RGB сохраняется ёмкостной асимметрией, не явным residual | = ваш RGB-anchor + лёгкие aux-проекторы (3.3); подтверждает aux-light/RGB-heavy | cross-attention растёт с токенами; FP16-only, нет INT8; домен seg, не retrieval | +| **F43 SSF / Robust PEFT** (TPAMI 2024) | робастность к missing modalities через PEFT | FiLM `γ⊙x+β` per-channel, PEFT <1% params | per-channel scale/shift; learnable, **не** instance-conditioned | `γ=1,β=0` → identity; small-variance init | ядро A-C2; <1% overhead в бюджет лёгких адаптеров | статичен без ACF-обёртки; чистый FiLM < dynamic gate (73.37 < 80.20) | +| **F47 TacFiLM** (2026) | добавление тактильной модальности к frozen VLA (post-training) | FiLM с **zero-init β** | tactile features → `γ,β` | **zero-init β = identity при init** (явно в статье) | zero-init β = ваш identity-at-init (3.5, тест 4.2); aux к frozen StripNet = ровно ваш сетап | zero-init → медленное обучение без two-speed LR | +| **F40 M³amba** (2025) | мультимод. RS-классификация (HSI + LiDAR) | frozen CLIP + per-modality adapters + **Cross-SS2D** (SSM: `As` усред., `B` обмен) | CLIP semantic features направляют fusion | (п) SSM skip `D` есть, но Cross-SS2D усреднение перемешивает → нет чистого anchor | топология frozen-backbone + per-modality adapters = ваш 3.3; RS domain-match. Оператор Cross-SS2D **не** переносим | **⚠ предполагает все модальности присутствующими** (факт); (п) Cross-SS2D ломается при validity=0 | +| **F44 Fusion-Mamba** (TMM 2025) | cross-modality detection (RGB+IR) | SSM cross-state (SSCS) + **DSSF gating** (mul+add: `y_R·z_R + z_R·y_IR`) | гейт из кросс-модальных состояний (нет внешнего condition) | (п) нет; mul-член ломает identity | DSSF mul+add — ближайший к FiLM примитив; но SSM-scan нет в StripNet | +5.9% mAP через gating (факт); mul-член убивает инфо при validity=0; SSM нестабилен под dropout | +| **F68 RemoteDet-Mamba** (2024) | мультимод. **UAV** RS-детекция (DroneVehicle RGB+TIR) | element-wise **Add** + однослойный 4-напр. SS2D (CFM); residual `F̂=F+Linear(fused)` | нет (feature-driven scan) | residual `F̂=F+Linear(Y_fus)` → identity при `Linear≈0` (структурно, факт) | residual = скелет A-C1; **ADD-first ablation (Add +11.4 vs CFM +1.0) = ваш falsification-якорь**; ближайший UAV-домен | CFM лишь +1.0 над Add (факт); маржа не переживёт multi-seed; SSM хрупок при validity=0 | +| **F4 EarthMind** (2025) | cross-sensor мультимод. LLM для EO (QA/grounding) | hierarchical cross-modal attention (HCA) + per-token softmax gating | text query + **MAS-диагностика баланса модальностей** | (п) нет RGB-residual; attention-based | **MAS modality-balance → ваши diagnostics (4.3)**; per-token gating как концепт; но требует text query | требует text-query на inference → ломается в query-free retrieval; тяжёлая mLLM | +| **B14 StripNet** (Strip R-CNN) | RS oriented object detection (полосовые свёртки); здесь — прокси виз-энкодер (~28M, ImageNet-1K) | N/A — это backbone, **не** fusion-оператор (fusion строится поверх) | N/A | (п) даёт `X_rgb`-якорь, identity тривиальна; Stage-4 `[B,512,h,w]`→GAP→`[B,512]`→Linear→`[B,1024]` | это **и есть** StripNet (факт): frozen + Conv-MONA last-2 stages, `shared=True`, retrieval-dim 1024 | frozen capability floor — слабый backbone ⇒ потолок fusion-выигрыша; strip-ядра под detection, не retrieval (domain risk) | + +## Сквозной вывод + +По столбцу **Identity path** явная identity подтверждена в статьях только у **F43, F47 и F68** (три независимых источника) — это опорная триада для теста identity-at-init (4.2). У F39 / F40 / F44 / F4 identity либо предположение, либо отсутствует, что отделяет «легальные для primary» операторы от «только-research-arm». + + + diff --git a/reports/Fusion RGB MM full v1.md b/reports/Fusion RGB MM full v1.md new file mode 100644 index 0000000..d142f09 --- /dev/null +++ b/reports/Fusion RGB MM full v1.md @@ -0,0 +1,138 @@ + +# 1. Резюме (Master) + +Full multi-modal fusion в MERIDIAN — **холистический pipeline** для Triple-Teacher (DINOv3-L SAT/Web-LVD/7B, frozen, ~356M+) объединяющий **5 modalities × 2 views = 10 channels** через 10 категорий fusion-парадигм. Master synthesis 4 sub-pair reviews + general fusion review. + +``` +DINOv3-L backbone (frozen): ~356M +Per-modality adapters (×5): ~500K (5 × 100K, light) +Multi-FiLM γ,β projections (×5): ~50K (5 × ~10K) +KARMMA tokens (5 modalities): ~100K (5 × 20K) +Θ-Average: 0 (parameter-free) +───────────────────────────────────────── +Total trainable params: ~650K (~0.2% backbone) +``` + +### Master Outcomes + +1. **Primary fusion mechanism:** Multi-FiLM-Fusion (F43 SSF TPAMI 2024 anchor + F47 zero-init β) — **<1% params overhead, INT8-compatible** +2. **Secondary mechanism:** ACF Condition Token (F39 CAFuser RA-L 2025) — **-54% params vs separate backbones** +3. **Parallel-arm research:** Fusion-Mamba (F44 TMM 2025) — **+5.9% mAP detection benchmark** +4. **Critical ablations (F88 KARMMA):** + - Two-token missing-modality strategy + - Θ-Average FB reduction (-81.45% memory) + - Modality dropout 50% canonical +5. **Missing modality handling** convergent evidence (4 sources): F45 + F88 + F89 + F90 → **dropout p=0.5 canonical** +6. **Production-ready INT8 stack** confirmed (AUDIT_N6 v2: ~0-2 ms fusion overhead) + +### Per-Pair Contribution Summary + +|Pair|Modality|Expected R@1 gain|Status| +|:-:|:--|:-:|:--| +|**A**|Segmentation|+2-4% (L_seg aux)|Primary aux| +|**B**|Depth + Normals|+2-4% (geometric)|Primary geometric| +|**C**|CHM|+0.5-1.5% (vegetation scenes)|Optional niche| +|**D**|Text|+0.5-1% (visually-ambiguous)|Secondary| +|**Edges**|Edges|+1-2% (with depth synergy)|Supporting| +|**Combined**|Full 5-modal|**+3-5% R@1 total**|Triple-Teacher| +### Top-5 Critical Reads (Master) + +| # | Paper | Venue | Year | Role | +| :-: | :------------------------ | :-------------------- | :--: | :----------------------------------------------- | +| 1 | **F43 SSF (Robust PEFT)** | **IEEE TPAMI** | 2024 | Multi-FiLM anchor (<1% overhead) | +| 2 | **F39 CAFuser** | **IEEE RA-L** | 2025 | ACF canonical (-54% params) | +| 3 | **F88 KARMMA** | arXiv | 2026 | 3 critical ablations (two-token, Θ-Avg, dropout) | +| 4 | **F44 Fusion-Mamba** | **IEEE TMM** | 2025 | Parallel-arm (+5.9% mAP) | +| 5 | **F45 Flex-MoE** | **NeurIPS Spotlight** | 2024 | Missing modality bank | +# 2. MERIDIAN Triple-Teacher Architecture + +``` +INPUT (5 modalities × 2 views = 10 channels): +┌──────────────────────────────────────────────────────────┐ +│ ├── RGB sat ┌── RGB UAV │ +│ ├── Depth (DepthAny v2) ├── Depth │ +│ ├── Edges (Canny/HED) ├── Edges │ +│ ├── Segmentation (SAM) ├── Segmentation │ +│ ├── CHM (Lidar/M11 ML) ├── CHM │ +│ └── Text caption (VLM) └── Text caption │ +└──────────────────────────────────────────────────────────┘ + ↓ +DINOv3-L BACKBONE (frozen, ~356M+): +┌──────────────────────────────────────────────────────────┐ +│ ├── DINOv3-L SAT-493M (satellite-specialized) │ +│ ├── DINOv3-L Web-LVD (web-scale) │ +│ └── DINOv3-L ViT-7B (large general) │ +└──────────────────────────────────────────────────────────┘ + ↓ +FUSION MECHANISM (10 categories, primary: Multi-FiLM-Fusion): +┌──────────────────────────────────────────────────────────┐ +│ Per-modality adapters (F39 CAFuser pattern, light): │ +│ ├── edge_adapter (light Conv → FiLM) │ +│ ├── depth_adapter (light Conv → FiLM) │ +│ ├── seg_adapter (light Conv → FiLM) │ +│ ├── chm_adapter (light Conv → FiLM) │ +│ └── text_adapter (CLIP encoder → FiLM) │ +│ │ +│ Multi-FiLM-Fusion (F43 SSF pattern): │ +│ F_fused = F_rgb │ +│ F_fused = film_edge(F_fused, F_edge) │ +│ F_fused = film_depth(F_fused, F_depth) │ +│ F_fused = film_seg(F_fused, F_seg) │ +│ F_fused = film_chm(F_fused, F_chm) ← when avail │ +│ F_fused = film_text(F_fused, F_text) ← when avail │ +│ │ +│ Modality dropout p=0.5 (F88+F45+F89+F90 convergent): │ +│ - Two-token KARMMA для каждой modality │ +│ - Gradual schedule (F90 sigmoid warmup) │ +│ │ +│ Θ-Average FB reduction (F88, -81.45% memory): │ +│ Output Teacher embedding compressed │ +└──────────────────────────────────────────────────────────┘ + ↓ +OUTPUT: 512-dim Teacher embedding per view (+ optional 64-token queries) + ↓ + KD signal (E2-E primary, см. ОБЗОР_KD_detailed_v1) + ↓ +STUDENT SOFIA v7.6 (edge, ~5M Tiny): +┌──────────────────────────────────────────────────────────┐ +│ ├── Input: RGB sat + RGB UAV (always) │ +│ ├── Backbone (Variant-A/E/Q) │ +│ ├── Asymmetric Heads (SatHead GGeM + UAVHead CHP) │ +│ └── Optional TextFiLM caption-aware │ +│ │ +│ Latency target: <50 ms Jetson Orin NX INT8 │ +└──────────────────────────────────────────────────────────┘ +``` + +### Hybrid Pattern (Multi-FiLM + ACF combined) + +**MERIDIAN architecture combines:** + +1. **Shared backbone (F39 CAFuser pattern):** DINOv3-L processes RGB primary +2. **Per-modality lightweight adapters** (per F39): edge_adapter, depth_adapter, seg_adapter, chm_adapter, text_adapter +3. **Multi-FiLM modulation per stage (F43 SSF):** Each modality contributes γ⊙F + β +4. **Modality dropout p=0.5** training (F88+F45 convergent) +5. **F88 KARMMA two-token** для missing-modality (each modality) +6. **Θ-Average FB reduction** (F88, -81.45% memory) + +### Critical Design Choices + +| Decision | Rationale | Source | +| :--------------------------------------- | :---------------------------- | :--------------------- | +| Shared backbone + adapters | -54% params vs separate | **F39** CAFuser | +| Multi-FiLM modulation | <1% overhead PEFT | **F43** SSF TPAMI | +| Zero-init β identity при init | Graceful warmup | **F47** TacFiLM | +| Two-token missing-modality | +43% Epic-Kitchens evidence | **F88** KARMMA | +| Θ-Average FB reduction | -81.45% memory parameter-free | **F88** KARMMA | +| Modality dropout p=0.5 | 4-source convergent | **F45+F88+F89+F90** | +| Element-wise gating only | INT8 compatible | **F44** DSSF | +| Cached Tensors Era | No on-device modality compute | **F8** SegEarth-R1 | +| Per-modality adapters light (~100K each) | Param budget | **F43** PEFT principle | +### Tier-1 (immediate — E1 Teacher fusion benchmark) + +1. **Multi-FiLM-Fusion (F43 + F47)** — primary mechanism +2. **ACF (F39 CAFuser) Condition Token** — secondary for ablation +3. **Fusion-Mamba (F44)** — parallel-arm benchmark +4. **Per-modality light adapters** — F39 pattern (-54% params vs separate) +5. **Modality dropout p=0.5** — canonical (4-source convergent) +6. **Θ-Average FB reduction (F88)** — -81.45% memory, INT8-trivial \ No newline at end of file diff --git a/reports/NOTES.md b/reports/NOTES.md new file mode 100644 index 0000000..fcdbbc3 --- /dev/null +++ b/reports/NOTES.md @@ -0,0 +1,102 @@ +# FusionCore Personal + +[[02_fusion_core_персональный]] + +## B14_StripNet + +^ead71b + +### 3.1. Описание архитектуры + +- **Общая структура:** Strip R-CNN базируется на фреймворке O-RCNN. Она включает новый бэкбон (StripNet) и новую голову детектирования (Strip Head). +- **StripNet Backbone:** Состоит из базовых блоков, каждый из которых имеет strip-подблок и подблок feed-forward сети (FFN). +- **Strip Module:** Включает стандартную свертку `5×5` за которой следуют две последовательные полосовые свертки (горизонтальная и вертикальная, например, `1×19` и `19×1`) и point-wise свертка. +- **Strip Head:** Разделяет предсказание локализации и угла. Модуль локализации усилен полосовыми свертками для захвата дальнодействующих пространственных зависимостей, в то время как классификация и предсказание угла делят общие полносвязные (FC) слои. +### 3.2. Визуальные материалы из статьи + +- **Figure 1:** Статистика датасета DOTA и падение точности существующих SOTA методов при увеличении соотношения сторон объектов. Показывает критичность проблемы. +- **Figure 3:** Структурное сравнение модуля авторов с LSKNet и PKINet. Демонстрирует, что Strip R-CNN использует последовательную (strip-sequential) парадигму, в то время как PKINet — параллельную (strip-parallel), что делает Strip R-CNN более легковесным. +- **Figure 4:** Структура базового блока Strip Module. Иллюстрирует поток данных через квадратную свертку, горизонтальную/вертикальную strip-свертки и умножение признаков. +- **Figure 5, 6, 7:** Архитектура Strip Head и тепловые карты пространственной чувствительности. Показывают, что предсказание угла фокусируется на границах объекта, а классификация — на центре, что оправдывает их частичное слияние. +### 3.3. Математическая формализация + +- **Feature Reweighing (Внимание):** + `Y^=X⋅Y` _Комментарий:_ `X` — входной тензор, `Y` — выход point-wise свертки, действующий как карта весов внимания (element-wise умножение). +- **Loss Function:** + `L=Lc​+Ll​+La​`  + _Комментарий:_ Сумма кросс-энтропии для классификации (`Lc`​) и Smooth L1 для локализации (`Ll`​) и угла (`La`​). Формула стандартна для rotated bounding box детекторов +### 3.4. Ключевые технические решения + +- **Последовательные свертки:** Использование горизонтальной свертки перед вертикальной (или наоборот) работает одинаково хорошо и не требует сложных механизмов слияния, присущих параллельным ветвям. +- **Ядро размером 19:** Экспериментально установлено, что размер ядра 19 во всех стадиях бэкбона дает оптимальный результат для вытянутых объектов. + +### ПРЕИМУЩЕСТВА ПОДХОДА + +- **Вычислительная эффективность:** Отказ от параллельных heavy-сверток в пользу последовательных strip-сверток снижает FLOPs и количество параметров, обходя конкурентов (PKINet). +- **Архитектурная элегантность:** Отсутствие сложных модулей внимания. Векторное внимание реализуется простой point-wise сверткой. +- **Универсальность:** Замена классического detection head на Strip Head повышает метрики даже в старых фреймворках. + +## F14_WeatherPrompt + +^e9be0c + +### 1. Контекст  + +F14 решает критическую проблему Visual Geo-Localization: катастрофическое падение точности при смене освещения (день/ночь) или погоды (лето/зима). Модель использует механизм FiLM (Feature-wise Linear Modulation) для модуляции визуальных признаков на основе текстового промпта (например: "Снимок сделан глубокой ночью в тумане").  +### 2. Значимость для MERIDIAN + +Это прямой источник архитектурного паттерна Multi-FiLM-Fusion для Teacher-ветки. Понимание, как именно генерируются параметры `γ` и `β`, необходимо для правильной балансировки 5 модальностей (RGB, Depth, Edges, Seg, Text). + +==В F14 WeatherPrompt параметры масштаба (γ) и сдвига (β) генерируются динамически из текстового эмбеддинга (text_embed):== + +- **text_embed:** Вектор размерности 768 (выход CLIP/BERT). +- **Генераторы fγ, fβ​:** Это **НЕ линейные слои**, а **2-Layer MLPs** (Многослойные перцептроны). + - `Linear(768, 256) -> GELU -> Dropout(0.1) -> Linear(256, C)` + - Где `C` — количество каналов в Feature Map на конкретном уровне визуальной сети (например, C=1024C=1024 для DINOv3). +- _Особенность инициализации:_ Последний слой в `fγ` инициализируется нулями, а выход оборачивается в экспоненту: `γ=exp⁡(fγ(text))`. Это гарантирует, что на старте обучения `γ=1.0 и β=0.0` (Identity mapping, не разрушающий pre-trained веса). +### 3. Размещение в пирамиде признаков (Feature Pyramid) + +F14 доказывает, что применять FiLM ко всем слоям подряд — избыточно и ведет к over-fitting. + +- **Early Layers (до Block 1/2):** Не модулируются. Они извлекают низкоуровневые края и градиенты, которые инвариантны к тексту. +- **Middle Layers (Blocks 2, 3):** Слегка модулируются. +- **Late Layers (Block 4 / Последние 3 блока Transformer):** Интенсивно модулируются. Именно здесь сеть принимает семантические решения ("Это снег или белая крыша?"). +- **Вывод:** FiLM встраивается исключительно в последние 1/31/3 архитектуры Teacher'а. +### 4. Как работает Dynamic Adaptation? + +Динамическая адаптация означает, что каналы визуальной сети перевзвешиваются в реальном времени: + +1. При промпте _"Bright sunny day"_: γγ усиливает цветовые фильтры и текстурные детекторные каналы. +2. При промпте _"Midnight, low light"_: γγ обнуляет каналы, зависящие от цвета, и усиливает $edges$-каналы и угловые детекторы (которые работают даже при плохом освещении). +3. При промпте _"Snowy terrain"_: Сбрасывает детекторы травы/листьев. + +### 5. ## Протокол обучения (Learning Rate и EMA) + +Так как визуальный backbone загружен весами Foundation Model (DINOv2/v3), а `fγ,fβ`​ инициализируются с нуля, требуется **Two-Speed Learning Rate**: + +- `LR_Backbone` = 1e-5 (или заморожен на ранних этапах). +- `LR_FiLM_MLP` = 1e-3 (в 100 раз больше!). Оптимизатору нужно быстро научиться генерировать правильные γ,β. +- **EMA (Exponential Moving Average):** Для всех весов визуальной сети используется momentum m=0.999, чтобы обучение FiLM-модуляторов не расшатало основную геометрию пространства признаков. + +## 6. Сравнение с SSF (Scale and Shift Features, TPAMI) + +- **SSF:** К каждому слою сети добавляются обучаемые векторы `γtask` и `βtask`. Они **статичны** для конкретной задачи (например, один набор для Semantic Seg, другой для Depth). +- **WeatherPrompt (FiLM):** Векторы `γ` и `β` генерируются **на лету** для каждого отдельного изображения в зависимости от текста. +- **Вердикт:** SSF великолепен для Transfer Learning (Task Adaptation), но FiLM — абсолютный победитель для **Data-driven / Context-aware** адаптации. + +## 7. Расширение до 5-modal FiLM для MERIDIAN Teacher + +В проекте MERIDIAN ветка Teacher (спутник) имеет доступ не только к RGB и Тексту, но и к Глубине (Depth), Границам (Edges) и Семантике (Seg). Как использовать формулы F14, чтобы слить 5 модальностей воедино? + +**Решение: Концепт Privileged Context Vector (PCV)** Вместо того чтобы делать независимые FiLM слои для каждой модальности, мы сливаем все Privileged-данные в единый вектор, который управляет модуляцией главного ствола (RGB DINOv3): + +1. Прогоняем Depth через легкую CNN-ветку →→ `Depth_Embed (256-d)` +2. Прогоняем Edges через легкую CNN-ветку →→ `Edge_Embed (256-d)` +3. Получаем текст из VLM →→ `Text_Embed (256-d)` +4. Конкатенируем: PCV=`[Depth_Embed,Edge_Embed,Text_Embed]PCV=[Depth_Embed,Edge_Embed,Text_Embed]` (размерность 768). +5. Подаем PCVPCV в `fγ,fβ` MLP-генераторы. + +**Итоговое уравнение Multi-modal FiLM для MERIDIAN:** + +![[Pasted image 20260625162506.png|697]] +