12 KiB
12 KiB
EVIDENCE MATRIX
Канонические опоры fusion — разбор по 9 источникам (для evidence matrix, Трек A)
| Source | Original task | Fusion operator | Conditioning signal | Identity path | Transfer to StripNet | Risk |
|---|---|---|---|---|---|---|
| F39 CAFuser (RA-L 2025) | condition-aware сегментация в неблагопр. условиях (MUSES, вождение) | condition token модулирует per-modality адаптеры (FiLM-подоб.); shared backbone + adapters | condition token из RGB/сцены (env-condition) | (п) → identity при zero-init адаптеров; в статье не RGB-residual | condition token = ваш c_v; env → content+quality+e_view; shared backbone = StripNet shared=True |
в CVGL нет env-сигнала → при неинформативном condition гейты схлопываются в static |
| F37 AsymFormer (CVPR-WS 2024) | real-time асимметр. RGB-D сегментация | асимметр. cross-modal attention (LAFS + CMA) | нет (feature-driven); RGB-heavy / depth-light | RGB тяжёлый primary, aux лёгкий модулирует; (п) RGB сохраняется ёмкостной асимметрией, не явным residual | = ваш RGB-anchor + лёгкие aux-проекторы (3.3); подтверждает aux-light/RGB-heavy | cross-attention растёт с токенами; FP16-only, нет INT8; домен seg, не retrieval |
| F43 SSF / Robust PEFT (TPAMI 2024) | робастность к missing modalities через PEFT | FiLM γ⊙x+β per-channel, PEFT <1% params |
per-channel scale/shift; learnable, не instance-conditioned | γ=1,β=0 → identity; small-variance init |
ядро A-C2; <1% overhead в бюджет лёгких адаптеров | статичен без ACF-обёртки; чистый FiLM < dynamic gate (73.37 < 80.20) |
| F47 TacFiLM (2026) | добавление тактильной модальности к frozen VLA (post-training) | FiLM с zero-init β | tactile features → γ,β |
zero-init β = identity при init (явно в статье) | zero-init β = ваш identity-at-init (3.5, тест 4.2); aux к frozen StripNet = ровно ваш сетап | zero-init → медленное обучение без two-speed LR |
| F40 M³amba (2025) | мультимод. RS-классификация (HSI + LiDAR) | frozen CLIP + per-modality adapters + Cross-SS2D (SSM: As усред., B обмен) |
CLIP semantic features направляют fusion | (п) SSM skip D есть, но Cross-SS2D усреднение перемешивает → нет чистого anchor |
топология frozen-backbone + per-modality adapters = ваш 3.3; RS domain-match. Оператор Cross-SS2D не переносим | ⚠ предполагает все модальности присутствующими (факт); (п) Cross-SS2D ломается при validity=0 |
| F44 Fusion-Mamba (TMM 2025) | cross-modality detection (RGB+IR) | SSM cross-state (SSCS) + DSSF gating (mul+add: y_R·z_R + z_R·y_IR) |
гейт из кросс-модальных состояний (нет внешнего condition) | (п) нет; mul-член ломает identity | DSSF mul+add — ближайший к FiLM примитив; но SSM-scan нет в StripNet | +5.9% mAP через gating (факт); mul-член убивает инфо при validity=0; SSM нестабилен под dropout |
| F68 RemoteDet-Mamba (2024) | мультимод. UAV RS-детекция (DroneVehicle RGB+TIR) | element-wise Add + однослойный 4-напр. SS2D (CFM); residual F̂=F+Linear(fused) |
нет (feature-driven scan) | residual F̂=F+Linear(Y_fus) → identity при Linear≈0 (структурно, факт) |
residual = скелет A-C1; ADD-first ablation (Add +11.4 vs CFM +1.0) = ваш falsification-якорь; ближайший UAV-домен | CFM лишь +1.0 над Add (факт); маржа не переживёт multi-seed; SSM хрупок при validity=0 |
| F4 EarthMind (2025) | cross-sensor мультимод. LLM для EO (QA/grounding) | hierarchical cross-modal attention (HCA) + per-token softmax gating | text query + MAS-диагностика баланса модальностей | (п) нет RGB-residual; attention-based | MAS modality-balance → ваши diagnostics (4.3); per-token gating как концепт; но требует text query | требует text-query на inference → ломается в query-free retrieval; тяжёлая mLLM |
| B14 StripNet (Strip R-CNN) | RS oriented object detection (полосовые свёртки); здесь — прокси виз-энкодер (~28M, ImageNet-1K) | N/A — это backbone, не fusion-оператор (fusion строится поверх) | N/A | (п) даёт X_rgb-якорь, identity тривиальна; Stage-4 [B,512,h,w]→GAP→[B,512]→Linear→[B,1024] |
это и есть StripNet (факт): frozen + Conv-MONA last-2 stages, shared=True, retrieval-dim 1024 |
frozen capability floor — слабый backbone ⇒ потолок fusion-выигрыша; strip-ядра под detection, не retrieval (domain risk) |
| F14_WeatherPrompt | Решение критической проблемы CVGL с падением точности при смене освещения, погоды и сезона | FiLM с динамической генерацией γ β из текстового эмбеддинга |
Текстовый эмбеддинг | - Особенность инициализации: Последний слой в fγ инициализируется нулями, а выход оборачивается в экспоненту: γ=exp(fγ(text)). Это гарантирует, что на старте обучения γ=1.0, и β=0.0 (Identity mapping, не разрушающий pre-trained веса). |
Возможность получить Privileged Context Vector (PCV) из конкатенации D, E, Txt embs (768) и подать в генераторы | Необходим достаточно релевантный текстовый промпт |
Сквозной вывод
По столбцу Identity path явная identity подтверждена в статьях только у F43, F47 и F68 (три независимых источника) — это опорная триада для теста identity-at-init (4.2). У F39 / F40 / F44 / F4 identity либо предположение, либо отсутствует, что отделяет «легальные для primary» операторы от «только-research-arm».