Files
fuze_task/reports/EVIDENCE MATRIX.md
bogdanpavl ec7586b68d Загрузить файлы в «reports»
П. 1.1. Конспект по пункту 
П. 1.2. Разбор personal_package, заметки, Evidence matrix (≥8 источников)
2026-06-25 14:05:26 +00:00

26 lines
8.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
[[02_fusion_core_персональный]]
# EVIDENCE MATRIX
# Канонические опоры fusion — разбор по 9 источникам (для evidence matrix, Трек A)
| Source | Original task | Fusion operator | Conditioning signal | Identity path | Transfer to StripNet | Risk |
| -------------------------------------- | ------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------ | --------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------- |
| **F39 CAFuser** (RA-L 2025) | condition-aware сегментация в неблагопр. условиях (MUSES, вождение) | condition token модулирует per-modality адаптеры (FiLM-подоб.); shared backbone + adapters | condition token из RGB/сцены (env-condition) | (п) → identity при zero-init адаптеров; в статье не RGB-residual | condition token = ваш `c_v`; env → content+quality+`e_view`; shared backbone = StripNet `shared=True` | в CVGL нет env-сигнала → при неинформативном condition гейты схлопываются в static |
| **F37 AsymFormer** (CVPR-WS 2024) | real-time асимметр. RGB-D сегментация | асимметр. cross-modal attention (LAFS + CMA) | нет (feature-driven); RGB-heavy / depth-light | RGB тяжёлый primary, aux лёгкий модулирует; (п) RGB сохраняется ёмкостной асимметрией, не явным residual | = ваш RGB-anchor + лёгкие aux-проекторы (3.3); подтверждает aux-light/RGB-heavy | cross-attention растёт с токенами; FP16-only, нет INT8; домен seg, не retrieval |
| **F43 SSF / Robust PEFT** (TPAMI 2024) | робастность к missing modalities через PEFT | FiLM `γ⊙x+β` per-channel, PEFT <1% params | per-channel scale/shift; learnable, **не** instance-conditioned | `γ=1,β=0` → identity; small-variance init | ядро A-C2; <1% overhead в бюджет лёгких адаптеров | статичен без ACF-обёртки; чистый FiLM < dynamic gate (73.37 < 80.20) |
| **F47 TacFiLM** (2026) | добавление тактильной модальности к frozen VLA (post-training) | FiLM с **zero-init β** | tactile features → `γ,β` | **zero-init β = identity при init** (явно в статье) | zero-init β = ваш identity-at-init (3.5, тест 4.2); aux к frozen StripNet = ровно ваш сетап | zero-init → медленное обучение без two-speed LR |
| **F40 M³amba** (2025) | мультимод. RS-классификация (HSI + LiDAR) | frozen CLIP + per-modality adapters + **Cross-SS2D** (SSM: `As` усред., `B` обмен) | CLIP semantic features направляют fusion | (п) SSM skip `D` есть, но Cross-SS2D усреднение перемешивает → нет чистого anchor | топология frozen-backbone + per-modality adapters = ваш 3.3; RS domain-match. Оператор Cross-SS2D **не** переносим | **⚠ предполагает все модальности присутствующими** (факт); (п) Cross-SS2D ломается при validity=0 |
| **F44 Fusion-Mamba** (TMM 2025) | cross-modality detection (RGB+IR) | SSM cross-state (SSCS) + **DSSF gating** (mul+add: `y_R·z_R + z_R·y_IR`) | гейт из кросс-модальных состояний (нет внешнего condition) | (п) нет; mul-член ломает identity | DSSF mul+add — ближайший к FiLM примитив; но SSM-scan нет в StripNet | +5.9% mAP через gating (факт); mul-член убивает инфо при validity=0; SSM нестабилен под dropout |
| **F68 RemoteDet-Mamba** (2024) | мультимод. **UAV** RS-детекция (DroneVehicle RGB+TIR) | element-wise **Add** + однослойный 4-напр. SS2D (CFM); residual `F̂=F+Linear(fused)` | нет (feature-driven scan) | residual `F̂=F+Linear(Y_fus)` → identity при `Linear≈0` (структурно, факт) | residual = скелет A-C1; **ADD-first ablation (Add +11.4 vs CFM +1.0) = ваш falsification-якорь**; ближайший UAV-домен | CFM лишь +1.0 над Add (факт); маржа не переживёт multi-seed; SSM хрупок при validity=0 |
| **F4 EarthMind** (2025) | cross-sensor мультимод. LLM для EO (QA/grounding) | hierarchical cross-modal attention (HCA) + per-token softmax gating | text query + **MAS-диагностика баланса модальностей** | (п) нет RGB-residual; attention-based | **MAS modality-balance → ваши diagnostics (4.3)**; per-token gating как концепт; но требует text query | требует text-query на inference → ломается в query-free retrieval; тяжёлая mLLM |
| **B14 StripNet** (Strip R-CNN) | RS oriented object detection (полосовые свёртки); здесь — прокси виз-энкодер (~28M, ImageNet-1K) | N/A — это backbone, **не** fusion-оператор (fusion строится поверх) | N/A | (п) даёт `X_rgb`-якорь, identity тривиальна; Stage-4 `[B,512,h,w]`→GAP→`[B,512]`→Linear→`[B,1024]` | это **и есть** StripNet (факт): frozen + Conv-MONA last-2 stages, `shared=True`, retrieval-dim 1024 | frozen capability floor — слабый backbone ⇒ потолок fusion-выигрыша; strip-ядра под detection, не retrieval (domain risk) |
## Сквозной вывод
По столбцу **Identity path** явная identity подтверждена в статьях только у **F43, F47 и F68** (три независимых источника) — это опорная триада для теста identity-at-init (4.2). У F39 / F40 / F44 / F4 identity либо предположение, либо отсутствует, что отделяет «легальные для primary» операторы от «только-research-arm».