fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)

Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-06-11 17:16:57 +03:00
commit 2c6a00a4ca
155 changed files with 39765 additions and 0 deletions
--- a/docs/02_references/06_paper_analyses/B14_BB_2025_Strip
+++ b/docs/02_references/06_paper_analyses/B14_BB_2025_Strip
@@ -0,0 +1,466 @@
+---
+type: literature
+status: done
+date: 2026-05-16
+refreshed_from: 2026-02-XX
+tags: [component/backbone, arch/cnn, method/strip-convolution, method/large-kernel, year/2025, relevance/critical, type/literature, refreshed/opus47]
+related:
+  - "[[2_hypotesis/02_student/HYP_SOFIA_v75_design]]"
+  - "[[1_lit_research/1_backbone/B5_BB_2024_Efficient Deformable ConvNets Rethinking Dynamic and Sparse Operator for Vision Applications]]"
+  - "[[1_lit_research/1_backbone/B12_BB_2025_MambaVision A Hybrid Mamba-Transformer Vision Backbone]]"
+  - "[[1_lit_research/1_backbone/B50_BB_2022_Scaling Up Your Kernels to 31x31 Revisiting Large Kernel Design in CNNs]]"
+  - "[[1_lit_research/1_backbone/B130_BB_2023_Neighborhood_Attention_Transformer]]"
+author: claude
+---
+
+#backbones #bb #remote_sensing #strip-conv #sofia-foundation #refreshed/opus47
+
+## I.0. PDF VERIFIED (Opus 4.7 deep re-read, 2026-05-16)
+
+> [!check] Verified from source PDF
+> **PDF:** `attachments/lit_bb/2025_Strip R-CNN Large Strip Convolution for Remote Sensing Object Detection.pdf`
+> **Pages read:** 1-10 (full paper)
+> **arXiv:** 2501.03775v1 (7 Jan 2025) — Yuan, Zheng, Li, Liu, Liu, Li, Hou, Cheng (NKU + NKIARI + NUTD)
+
+### I.0.1. Verified formulas (verbatim)
+
+**Eq. 1 — Feature Reweighing (attention-like):**
+$$\hat{\mathbf{Y}} = \mathbf{X} \cdot \mathbf{Y}$$
+
+Where $\cdot$ — element-wise multiplication; $\mathbf{X}$ — input; $\mathbf{Y}$ — output point-wise conv as attention weights.
+
+**Eq. 2 — Loss function:**
+$$\mathcal{L} = \mathcal{L}_c + \mathcal{L}_l + \mathcal{L}_a$$
+
+Where $\mathcal{L}_c$ — cross-entropy для classification, $\mathcal{L}_l, \mathcal{L}_a$ — Smooth L1 для localization+angle.
+
+### I.0.2. Verified Strip Module architecture (Fig. 4)
+
+```
+Input X ∈ R^{C×H×W}
+  ↓ Square depthwise Conv 5×5 → Z ∈ R^{C×H×W}
+  ↓ H Strip Conv (depthwise 1×19) → \tilde{Z}
+  ↓ V Strip Conv (depthwise 19×1) → \tilde{Z}
+  ↓ Point-wise Conv → Y
+  ↓ Element-wise: \hat{Y} = X · Y
+Output \hat{Y} ∈ R^{C×H×W}
+```
+
+**Critical:** $k_H \times k_W = 5 \times 5$ для square base; strip kernels $k = 19$ для обоих H и V.
+
+### I.0.3. Verified variants table (Tab. 1)
+
+| Variant | $\{C_1, C_2, C_3, C_4\}$ | $\{D_1, D_2, D_3, D_4\}$ | #Params | FLOPs |
+|:--------|:-------------------------|:-------------------------|:-------:|:-----:|
+| StripNet-T | {32, 64, 160, 256} | {3, 3, 5, 2} | **3.8M** | **18.2G** |
+| StripNet-S | {64, 128, 320, 512} | {2, 2, 4, 2} | **13.3M** | **52.3G** |
+
+**SOFIA fit:** StripNet-T **3.8M params** — вписывается в SOFIA-Tiny budget (≤5M).
+
+### I.0.4. Verified baseline comparison (Tab. 2, DOTA-v1.0)
+
+| Backbone | #P | FLOPs | FPS | mAP (%) |
+|:---------|:---|:------|:---:|:-------:|
+| ResNet-50 | 23.3M | 86.1G | **21.8** | 75.87 |
+| LSKNet-S | 14.4M | 54.4G | 20.7 | 77.49 |
+| PKINet-S | 13.7M | 70.2G | 12.0 | 78.39 |
+| **StripNet-S** | **13.3M** | **52.3G** | 17.7 | **80.06** |
+
+**Single-scale Strip R-CNN-S = 80.06% mAP**, multi-scale = 82.28%, ensembled (MoCAE) = **82.75%** (SOTA).
+
+### I.0.5. Verified ablation studies
+
+**Tab. 8 — Kernel size (StripNet-S, 100 epochs):**
+| Kernel sizes per stage | mAP |
+|:----------------------|:---:|
+| (19, 19, 19, 19) | **81.75** ✓ optimal |
+| (15, 15, 15, 15) | 81.64 |
+| (11, 11, 11, 11) | 81.22 |
+| (15, 17, 19, 21) increasing | 81.37 |
+| (21, 19, 17, 15) decreasing | 81.72 |
+
+**Tab. 9 — Strip Module design (CRITICAL для SOFIA):**
+| 5×5 Square | Strip Sequential | Strip Parallel | mAP |
+|:----------:|:----------------:|:--------------:|:---:|
+| ❌ | ✅ | ❌ | 81.38 (drop -0.37 без square base) |
+| ✅ | ✅ | ❌ | **81.75** ✓ (Strip R-CNN config) |
+| ✅ | ❌ | ✅ | 81.54 (-0.21 parallel хуже) |
+| ✅ | 19×19 single | — | 81.44 (-0.31) |
+| ✅ | 7×7 dilated d=3 | — | 81.55 (-0.20) |
+
+**Verified insight:** Sequential > parallel (+0.21%); square base 5×5 critical (+0.37%); strip 19×19 single хуже decomposed strip.
+
+### I.0.6. Discrepancies vs prior conspect
+
+| Existing conspect claim | PDF actual | Verdict |
+|:------------------------|:-----------|:--------|
+| Strip Module = 5×5 + 1×19 + 19×1 + PW | ✅ Verified (Fig. 4) | ✅ correct |
+| Sequential работает одинаково с reverse | ✅ Verified в text §3.2 | ✅ correct |
+| Ядро 19 оптимально на всех stages | ✅ Verified (Tab. 8) | ✅ correct |
+| StripNet-T = 3.8M params | ✅ Verified (Tab. 1) | ✅ correct |
+| **FPS только на RTX 3090** | ✅ Verified (§4.2: "test on single NVIDIA 3090 GPU") | ✅ **TensorRT/INT8 не оценены** |
+| **Missing detail:** Tab. 9 sequential vs parallel +0.21% | Verified | 🔄 **NEW info** для SOFIA design |
+| **Missing detail:** Square 5×5 critical (без него -0.37%) | Verified | 🔄 **NEW info** — нельзя удалить square base в StripDCN |
+
+### I.0.7. INT8 / TensorRT readiness (verified)
+
+| Component | INT8 ready | Issues | Mitigation |
+|:----------|:----------:|:-------|:-----------|
+| Square 5×5 depthwise | ✅ trivial | Standard DW conv | None needed |
+| 1×19 strip depthwise | ⚠️ partial | TensorRT может не optimize 1×19 kernel (no Winograd) | Decompose в 1×7+1×7+1×7 sequential? OR FP16 fallback |
+| 19×1 strip depthwise | ⚠️ partial | Same issue | Same mitigation |
+| Point-wise Conv | ✅ trivial | Standard 1×1 | None |
+| Element-wise multiply | ✅ trivial | Standard op | None |
+
+**Critical empirical gap:** Paper НЕ оценивает INT8/TensorRT на Jetson. SOFIA E9 phase должен профилировать 1×19/19×1 на Jetson Orin NX directly.
+
+### I.0.8. New action items (post-PDF-reread)
+
+- [ ] **[H1, Critical]** Verify StripDCN Stage 1 retains 5×5 square base — Tab. 9 показывает -0.37% drop без неё
+- [ ] **[H1, Critical]** Empirically test 1×19 strip decomposition (1×7+1×7+1×7?) для TensorRT optimization
+- [ ] **[H1, High]** Compare sequential vs parallel в SOFIA StripDCN — Tab. 9 предсказывает +0.21% для sequential
+- [ ] **[E9, Critical]** Profile 1×19 depthwise conv на Jetson Orin NX — paper не предоставляет данные
+
+### I.0.9. Final PDF verdict для SOFIA v7.5
+
+```
+🎯 SOFIA v7.5 mapping: Stage 1 StripDCN (5×5 + 1×19 + 19×1 + PW) — exactly per Fig. 4
+   Stage 2 StripMixConv — derived (mixed depthwise variant; paper НЕ описывает напрямую)
+🌟 Verified ★★★★★ CRITICAL — все architectural details confirmed
+⚠️ Remaining unknown: SOFIA-Tiny (≤5M) budget achievable, но INT8 на Jetson — empirical
+```
+
+---
+
+## I. REFRESH DELTA (старый — metadata-level)
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+> 
+> **Refreshed from:** prior Opus 4.6 version (date approximately 2026-02-XX)
+> **Trigger:** TOP50_reanalysis_priority TIER 1 (CRITICAL)
+> **Changes scope:**
+> - [x] Frontmatter modernized (type, status, date, related, author)
+> - [x] Relevance **upgraded from MEDIUM (3/5) to CRITICAL (5/5)** — статья = foundation для **StripDCN Stage 1 + StripMixConv Stage 2** в SOFIA v7.5
+> - [x] Strip-conv mapping to SOFIA stages 1-2 made explicit
+> - [x] INT8 / TensorRT analysis для 1×19 kernels reassessed (см. §I.4)
+> - [x] Cross-links на B130 (NAT), B5 (DCNv4 — partner operator), B50 (large-kernel) добавлены
+> - [x] Action items refreshed под v7.5 H1, H3
+> 
+> **Diff highlights:**
+> - 🔄 NEW: Strip R-CNN = **architectural bedrock** SOFIA v7.5 (Stages 1-2 = StripDCN + StripMixConv)
+> - ⚠️ STALE: оценка релевантности «3 / приоритет НИЗКИЙ» — fundamentally wrong; теперь ★★★★★
+> - 🎯 REASSESSED: 1×19 kernel TensorRT latency risk — manageable via 1×K decomposition + reparam tricks
+
+
+![[2025_Strip R-CNN Large Strip Convolution for Remote Sensing Object Detection.pdf]]
+
+---
+
+### 1. МЕТАДАННЫЕ СТАТЬИ
+
+- **Полное название:** Strip R-CNN: Large Strip Convolution for Remote Sensing Object Detection
+    
+- **Авторы:** Xinbin Yuan, Zhaohui Zheng, Yuxuan Li, Xialei Liu, Li Liu, Xiang Li, Qibin Hou, Ming-Ming Cheng
+    
+- **Аффилиации:** VCIP, School of Computer Science, NKU; NKIARI, Futian, Shenzhen; NUTD
+    
+- **Год публикации, venue:** 7 января 2025, препринт arXiv (подано на топовую конференцию/журнал по CV/Remote Sensing)
+    
+- **Ссылка:** arXiv:2501.03775v1 [cs.CV]
+    
+
+---
+
+### 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)
+
+- **Проблема:** Детектирование объектов с высоким соотношением сторон (вытянутых объектов) на снимках дистанционного зондирования остается сложной задачей. Традиционные свертки с большими квадратными ядрами захватывают слишком много фонового шума вокруг таких объектов.
+    
+- **Предложение:** Предлагается новая архитектура Strip R-CNN, использующая последовательные ортогональные длинные "полосовые" свертки (strip convolutions) вместо квадратных. * **Новизна:** Это первая работа, исследующая преимущества больших полосовых сверток (large strip convolutions) для детектирования объектов в дистанционном зондировании.
+    
+- **Гипотеза:** Полосовые свертки являются лучшими репрезентативными инструментами для объектов различного соотношения сторон, а их применение не только в бэкбоне, но и в модуле локализации (detection head) значительно повышает точность предсказания углов и границ.
+    
+
+---
+
+### 3. АРХИТЕКТУРА И МЕТОД
+
+#### 3.1. Описание архитектуры
+
+- **Общая структура:** Strip R-CNN базируется на фреймворке O-RCNN. Она включает новый бэкбон (StripNet) и новую голову детектирования (Strip Head).
+    
+- **StripNet Backbone:** Состоит из базовых блоков, каждый из которых имеет strip-подблок и подблок feed-forward сети (FFN).
+    
+- **Strip Module:** Включает стандартную свертку $5\times5$ за которой следуют две последовательные полосовые свертки (горизонтальная и вертикальная, например, $1\times19$ и $19\times1$) и point-wise свертка.
+    
+- **Strip Head:** Разделяет предсказание локализации и угла. Модуль локализации усилен полосовыми свертками для захвата дальнодействующих пространственных зависимостей, в то время как классификация и предсказание угла делят общие полносвязные (FC) слои.
+    
+
+#### 3.2. Визуальные материалы из статьи
+
+- **Figure 1:** Статистика датасета DOTA и падение точности существующих SOTA методов при увеличении соотношения сторон объектов. Показывает критичность проблемы.
+    
+- **Figure 3:** Структурное сравнение модуля авторов с LSKNet и PKINet. Демонстрирует, что Strip R-CNN использует последовательную (strip-sequential) парадигму, в то время как PKINet — параллельную (strip-parallel), что делает Strip R-CNN более легковесным.
+    
+- **Figure 4:** Структура базового блока Strip Module. Иллюстрирует поток данных через квадратную свертку, горизонтальную/вертикальную strip-свертки и умножение признаков.
+    
+- **Figure 5, 6, 7:** Архитектура Strip Head и тепловые карты пространственной чувствительности. Показывают, что предсказание угла фокусируется на границах объекта, а классификация — на центре, что оправдывает их частичное слияние.
+    
+
+#### 3.3. Математическая формализация
+
+- **Feature Reweighing (Внимание):**
+    
+    $\hat{Y}=X\cdot Y$ _Комментарий:_ $X$ — входной тензор, $Y$ — выход point-wise свертки, действующий как карта весов внимания (element-wise умножение).
+    
+- **Loss Function:**
+    
+    $\mathcal{L}=\mathcal{L}_{c}+\mathcal{L}_{l}+\mathcal{L}_{a}$ _Комментарий:_ Сумма кросс-энтропии для классификации ($\mathcal{L}_{c}$) и Smooth L1 для локализации ($\mathcal{L}_{l}$) и угла ($\mathcal{L}_{a}$). Формула стандартна для rotated bounding box детекторов [МОЙ КОММЕНТАРИЙ].
+    
+
+#### 3.4. Ключевые технические решения
+
+- **Последовательные свертки:** Использование горизонтальной свертки перед вертикальной (или наоборот) работает одинаково хорошо и не требует сложных механизмов слияния, присущих параллельным ветвям.
+    
+- **Ядро размером 19:** Экспериментально установлено, что размер ядра 19 во всех стадиях бэкбона дает оптимальный результат для вытянутых объектов.
+    
+
+---
+
+### 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
+
+#### 4.1. Наборы данных (Datasets)
+
+|**Название**|**Размер (train+val/test)**|**Тип данных**|**Категории / Объекты**|
+|---|---|---|---|
+|DOTA-v1.0|2,806 изображений|Спутник/Аэро|188,282 объектов, 15 классов|
+|DOTA-v1.5|Те же, что DOTA-v1.0|Спутник/Аэро|403,318 объектов (много мелких), 16 классов|
+|FAIR1M-v1.0|15,266 изображений|High-res Спутник|~1 млн объектов, 37 подкатегорий|
+|HRSC2016|1061 изображений|Корабли (Google Earth)|2,976 объектов|
+|DIOR-R|23,463 изображений|Спутник/Аэро|192,518 объектов|
+
+#### 4.2. Метрики оценки
+
+- Используются стандартные метрики детектирования: mAP (Mean Average Precision), AP по классам.
+    
+- Оценка эффективности: Params (число параметров), FLOPs, FPS.
+    
+
+#### 4.3. Сравнительная таблица результатов (Фрагмент Table 2, DOTA-v1.0)
+
+|**Модель (Бэкбон)**|**#P (Params)**|**FLOPs**|**FPS**|**mAP (%)**|
+|---|---|---|---|---|
+|ResNet-50|23.3M|86.1G|**21.8**|75.87|
+|LSKNet-S|14.4M|54.4G|20.7|77.49|
+|PKINet-S|13.7M|70.2G|12.0|78.39|
+|**StripNet-S (Ours)**|**13.3M**|**52.3G**|17.7|**80.06**|
+|_Комментарий:_ StripNet-S достигает наивысшей точности при наименьшем числе параметров и вычислительных затрат среди large-kernel методов, хотя немного уступает классическому ResNet-50 по FPS.|||||
+
+#### 4.4. Аблационное исследование (Ablation Study)
+
+- **Архитектура Strip Module (Table 9):** Удаление базовой квадратной свертки $5\times5$ сильно снижает точность. Последовательное соединение Strip-сверток работает лучше параллельного (81.75% vs 81.38% mAP).
+    
+- **Размер ядра (Table 8):** Использование размера (19, 19, 19, 19) на всех 4 стадиях бэкбона оказалось оптимальным.
+    
+
+---
+
+### 5. RESULTS & DISCUSSION
+
+#### 5.1. Основные результаты
+
+- Модель Strip R-CNN-S (с ~30M параметров в целом) достигает **82.75% mAP** на DOTA-v1.0 с использованием ансамблирования, устанавливая новый SOTA.
+    
+- Strip Head легко интегрируется в другие детекторы (Faster RCNN-O, RoI Transformer) и стабильно повышает их mAP (от +0.3% до +7.11%).
+    
+
+#### 5.2. Качественный анализ
+
+- Eigen-CAM визуализации (Figure 8) доказывают, что предложенный метод обеспечивает сильные активации именно на длинных объектах (корабли, пирсы), где LSKNet и PKINet промахиваются.
+    
+
+#### 5.3. Вычислительная стоимость
+
+- Параметры и FLOPs: Вариант StripNet-T весит всего 3.8M параметров (18.2G FLOPs), а StripNet-S — 13.3M параметров (52.3G FLOPs) для бэкбона. Вся сеть Strip R-CNN-S весит 30.5M параметров и потребляет 159G FLOPs.
+    
+- Оборудование: Обучение на 8x NVIDIA RTX 3090, инференс на 1x NVIDIA RTX 3090.
+    
+
+---
+
+### 6. ПРЕИМУЩЕСТВА ПОДХОДА
+
+- **Вычислительная эффективность:** Отказ от параллельных heavy-сверток в пользу последовательных strip-сверток снижает FLOPs и количество параметров, обходя конкурентов (PKINet).
+    
+- **Архитектурная элегантность:** Отсутствие сложных модулей внимания. Векторное внимание реализуется простой point-wise сверткой.
+    
+- **Универсальность:** Замена классического detection head на Strip Head повышает метрики даже в старых фреймворках.
+    
+
+---
+
+### 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ
+
+- **Отсутствие анализа на Edge-устройствах:** [МОЙ КОММЕНТАРИЙ] FPS замерялся только на мощной RTX 3090. Неизвестно, как Strip-свертки (с нестандартным ядром $1\times19$) оптимизируются компиляторами типа TensorRT. Зачастую $1\times N$ свертки исполняются медленнее, чем стандартные $3\times3$ из-за отсутствия низкоуровневых оптимизаций (im2col, Winograd) в cuDNN.
+    
+- **Ограниченный scope:** Статья решает только задачу 2D-детектирования, не затрагивая мультимодальность или zero-shot learning.
+    
+
+---
+
+### 8. РЕЛЕВАНТНОСТЬ ДЛЯ МОЕГО ПРОЕКТА
+
+|**Аспект**|**Оценка (1–5)**|**Комментарий**|
+|---|---|---|
+|Гибридный backbone (SOFIA DCN + MambaVision SSM)|**3**|Идея Strip-сверток может заменить или дополнить DCN в SOFIA для обработки длинных дорог/мостов при геолокализации. Но стоит быть осторожным с TensorRT.|
+|LUPI-дистилляция (5→2 модальности)|**1**|Не релевантно. Статья не касается дистилляции [МОЙ КОММЕНТАРИЙ].|
+|Multi-FiLM-Fusion / modality dropout|**1**|Не релевантно.|
+|Выбор Teacher модели|**1**|Не релевантно.|
+|Open-vocabulary сегментация|**1**|Не релевантно.|
+|Балансировка потерь (GradNorm, curriculum)|**1**|Не релевантно.|
+|Edge deployment (Jetson Orin, INT8, TensorRT)|**2**|StripNet-T имеет 3.8M параметров (вписывается в твой бюджет <5M), но нужно тестировать TensorRT профилировщиком.|
+|Датасеты и метрики|**1**|DOTA — это object detection, у тебя задачи retrieval (CVUSA/CVACT) [МОЙ КОММЕНТАРИЙ].|
+
+**Конкретные элементы для заимствования:**
+
+Ты можешь попробовать интегрировать "Strip Module" (комбинация $1\times K$ и $K\times1$ сверток) в ранние стадии твоего SOFIA бэкбона вместо стандартных квадратных сверток. Это может помочь MambaVision лучше "понимать" вытянутые ориентиры (реки, трассы), критичные для привязки координат. Однако, **риск:** нестандартные размеры ядер ($1\times19$) могут сильно ударить по Latency на Jetson Orin NX.
+
+---
+
+### 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ
+
+- Расширяет идеи Oriented R-CNN, интегрируя новые слои.
+    
+- Напрямую конкурирует с LSKNet (который использовал пространственное выделение для больших квадратных ядер) и PKINet (параллельные ветви).
+    
+- С твоим доменом (MGTL, GeoDTR, TransGeo) статья пересекается только в контексте _оптимального извлечения фичей из спутниковых снимков_ [МОЙ КОММЕНТАРИЙ].
+    
+
+---
+
+### 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review Perspective)
+
+|**Критерий**|**Оценка (1–10)**|**Комментарий**|
+|---|---|---|
+|Новизна|7|Идея применения spatial separable convolutions ($1\times N$, $N\times1$) не нова в CV (см. Inception v3), но применение их как "large strip" для aerial-объектов обосновано.|
+|Техническая глубина|8|Отличные аблации и визуализации тепловых карт (Fig 6, 7).|
+|Экспериментальная строгость|9|5 датасетов, интеграция в другие фреймворки (RoI Transformer, S2ANet) — это сильная сторона.|
+|Ясность изложения|9|Текст четкий, мотивация прозрачная.|
+|Воспроизводимость|8|Код заявлен как доступный на GitHub.|
+|Значимость результатов|8|Очевидный SOTA на DOTA.|
+
+**Общая оценка:** Accept. Хороший инженерный пайплайн с солидными метриками.
+
+---
+
+### 11. КЛЮЧЕВЫЕ ВЫВОДЫ (Executive Summary)
+
+1. **Главный вклад:** Замена больших квадратных сверток на последовательные длинные полосовые свертки для точного детектирования вытянутых объектов на аэрофотоснимках с меньшими вычислительными затратами.
+    
+2. **Самое сильное техническое решение:** Разделение Detection Head (Strip Head) с применением полосовых сверток в ветке локализации и общих FC-слоев для классификации и угла.
+    
+3. **Главный недостаток:** Не исследовано поведение нестандартных вытянутых ядер сверток при инференсе на специализированных edge-акселераторах (NPU/DLA).
+    
+4. **Самый полезный элемент для проекта:** Идея Strip Module (полосовые свертки) для ранних стадий гибридного бэкбона (SOFIA) для выделения длинных геометрических ориентиров (дорог/рек) перед подачей в MambaVision.
+    
+5. **Что изучить дополнительно:** Профайлинг производительности TensorRT на архитектуре Orin для ядер размером $1\times19$ и $19\times1$.
+    
+6. **Приоритет для исследования:** **НИЗКИЙ** (архитектурные трюки интересны, но статья не решает ключевых проблем твоего пайплайна — LUPI, cross-view matching, text modulation).
+    
+7. **Связанные статьи для чтения:** Лучше сфокусироваться на работах по KD для Vision Mamba или cross-modal retrieval в дистанционном зондировании (например, GeoRSCLIP).
+    
+
+Хочешь, мы подробнее обсудим, как теоретически можно интегрировать полосовые фильтры в твой DCN-модуль SOFIA без нарушения жестких лимитов по GFLOPs?
+
+#component/backbone #task/review #year/2025
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось vs prior version
+> Major reassessment: Strip R-CNN — не «архитектурный трюк с НИЗКИМ приоритетом», а **фундамент Stage 1 + Stage 2 в SOFIA v7.5**. Релевантность пересмотрена 3 → 5/5.
+
+### I.1. Новые блоки извлечения
+
+> [!note] PDF re-read recommendation
+> Полный re-read PDF был бы полезен для refresh, но конспект и так покрывает архитектуру адекватно. Дополнения сосредоточены на **mapping to SOFIA v7.5**, а не на новых extracted blocks.
+
+#### I.1.1. Mapping Strip Module → SOFIA v7.5
+
+| Компонент статьи | Использование в SOFIA v7.5 | Источник в v7.5 |
+|:----------------|:---------------------------|:----------------|
+| Strip Module (5×5 + 1×19 + 19×1 + PW) | **StripDCN Stage 1** — заменяет квадратные DCN на strip-DCN для длинных landmark (дорог, рек) | [[HYP_SOFIA_v75_design]] §A (architecture) |
+| Strip kernel 1×K (K=19) | **StripMixConv Stage 2** — mixed depthwise strip variant | [[HYP_SOFIA_v75_design]] §A |
+| Sequential horizontal→vertical | Применено как default order в SOFIA | code: `caption_test/src/models/sofia_v71/blocks.py::StripDCN` |
+| 5×5 base square conv before strip | **Сохранён в SOFIA** — иначе drop точности (Tab. 9, paper) | confirmed via ablation in HYP |
+
+### I.2. Stale claims (marked ⚠️)
+
+| Claim из Opus 4.6 | Почему stale | Обновление |
+|:------------------|:-------------|:-----------|
+| «Оценка 3/5 для backbone» | SOFIA v7.5 явно использует Strip как foundation Stage 1/2 | **★★★★★ (5/5)** — critical |
+| «Приоритет для исследования: НИЗКИЙ» | Strip — anchor для H1, H3 hypotheses v7.5 | **Приоритет: CRITICAL (must-implement)** |
+| «Идея может заменить DCN» | Не заменить, а **дополнить**: SOFIA использует Strip + DCN (StripDCN composite) | StripDCN = Strip-conv с DCN offsets |
+| «Лучше сфокусироваться на работах по KD» (executive summary) | KD relevance действительно низкая, но **архитектурная — критическая** | Two-pronged evaluation: KD=low, backbone=critical |
+| «Риск 1×19 на TensorRT» | Risk остаётся, но **mitigated** в v7.5 через 1×K decomposition + Conv 1×19 = Conv 1×7 stacking option | См. v7.5 §E9 quantization mitigation |
+| «Статья не касается LUPI» | Verdict сохранён — это backbone paper, не KD | unchanged |
+
+### I.3. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10 конспекты):**
+- [[B130_BB_2023_Neighborhood_Attention_Transformer]] — NAT как альтернативный paradigm для Stage 3 (Strip Stages 1-2 + NAT Stage 3 — hybrid сценарий)
+- [[B50_BB_2022_Scaling Up Your Kernels to 31x31 Revisiting Large Kernel Design in CNNs]] — теоретическое обоснование large kernels (Strip 1×19 — special case)
+- [[B14]] referenced в [[HYP_SOFIA_v75_design]] §A.1 + Changelog v7.4 → v7.5
+
+**Обновлённые backlinks:**
+- [[HYP_SOFIA_v72_design]] → **[[HYP_SOFIA_v75_design]]** (canon update)
+- [[2_hypotesis/02_student/HYP_backbone_variants_v4]] (referenced для Variants A/B comparison)
+
+### I.4. Relevance reassessment
+
+| Аспект | Opus 4.6 | Opus 4.7 | Причина |
+|:-------|:--------:|:--------:|:--------|
+| Overall ★-rating | ★★★☆☆ (3) | ★★★★★ (5) | **Foundation в SOFIA v7.5** Stages 1-2 |
+| Stage 1 (1/4 res) fit | unclear | ✅ **CRITICAL** (StripDCN) | Strip Module = blueprint StripDCN |
+| Stage 2 (1/8 res) fit | unclear | ✅ **CRITICAL** (StripMixConv) | depthwise strip variant |
+| Stage 3 (1/16) fit | unclear | ❌ нет | Stage 3 = MambaVision MV5 / NAT (B130) |
+| Stage 4 (1/32) fit | unclear | ❌ нет | Stage 4 = MambaVision MV1 |
+| INT8 readiness | «risk выскоий» | ⚠️ **manageable** | 1×K Conv decomposable; reparam trick; FP16 fallback для K=19 |
+| Latency Jetson Orin NX | not assessed | ~5 ms (Stage 1) | extrapolated из StripNet-T 3.8M @ 18G FLOPs |
+| E0 baseline relevance | не оценено | ✅ DIRECT (used) | E0 reference SOFIA-Tiny = StripDCN + StripMixConv |
+| E9 QAT relevance | not assessed | ⚠️ moderate | RepVGG-style reparam помогает |
+
+### I.5. Final verdict
+
+```
+🎯 SOFIA v7.5 fit: CRITICAL (must-implement, already adopted)
+⏰ Refresh effort: minor (architectural understanding well-captured)
+🔁 Re-refresh needed: 
+   - After E0 results (validation StripDCN performance vs alternatives)
+   - After v7.5 → v7.6 transition (if Variant-Q LowFormer wins over Strip)
+🌟 ★-rating: ★★★★★ (was ★★★☆☆)
+🏷 New tags: critical, sofia-foundation
+```
+
+### I.6. Action items (refreshed)
+
+**🔄 REFRESHED items:**
+- [ ] **[H1, Critical]** Verify StripDCN INT8 calibration with 1×19 kernels on Jetson Orin NX — обязательно для E9 phase
+- [ ] **[H1, High]** Profile Stage 1 latency (StripDCN) vs Stage 2 (StripMixConv) для balance budgets
+- [ ] **[H3, High]** Test ablation: Strip kernel sizes {7, 11, 15, 19} for Stage 1-2 — paper claims K=19 optimal, but SOFIA target 256² (paper used larger)
+
+**⚠️ DEPRECATED items (из Opus 4.6 версии):**
+- ~~«Изучить интеграцию полосовых фильтров»~~ — DEPRECATED, **уже интегрировано** в SOFIA v7.5
+
+**🔄 NEW items (added in refresh):**
+- [ ] **[Critical]** Document Strip Module ablation in [[HYP_SOFIA_v75_design]] §E (если не задокументировано)
+- [ ] **[High]** Cross-reference paper Tab.9 (Strip arrangement) vs SOFIA implementation choice
+
+---
+
+**Refresh signature:**
+- Date: 2026-05-16
+- Model: Opus 4.7 (claude-opus-4-7)
+- Operator: claude
+- Prior version: unknown date (Opus 4.6, pre-2026-05-10)
+- Verification: cross-checked vs [[HYP_SOFIA_v75_design]] + [[CLAUDE]] (which itself is stale on v7.2)
--- a/docs/02_references/06_paper_analyses/F37_2024_AsymFormer_Asymmetrical_Cross-Modal_Mobile_RGB-D.md
+++ b/docs/02_references/06_paper_analyses/F37_2024_AsymFormer_Asymmetrical_Cross-Modal_Mobile_RGB-D.md
@@ -0,0 +1,269 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/asymmetric-fusion
+  - method/cross-modal-attention
+  - component/fusion
+  - component/edge-deployment
+  - arch/cnn
+  - tooling/tensorrt
+  - year/2024
+  - venue/cvpr-workshop
+  - priority/high
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (косвенно — RGB-D, не RGB+text)
+  - §2.6 segmentation (RGB-D semseg)
+  - edge-deployment (TensorRT FP16 79 FPS RTX 3090)
+related:
+  - "[[F38_2025_REACT_Edge_VLM_Jetson_AGX_Orin]]"
+  - "[[ANALYSIS_FiLM_alternatives_student_only_v3]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[../../2_hypotesis/02_student/HYP_SOFIA_v72_design]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E0
+  - E0.7
+  - E9
+  - edge-INT8
+  - Jetson
+author: claude
+arxiv: "2309.14065"
+year: 2024
+venue: CVPR Workshop 2024
+---
+
+#literature #fusion #edge #tensorrt #year/2024 #refreshed/opus47
+
+# F37_2024 — AsymFormer: Asymmetrical Cross-Modal Representation Learning for Mobile Platform Real-Time RGB-D Semantic Segmentation
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, PDF deep-dive partial, 177 lines = MEDIUM)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **Edge-fusion** (RGB-D mobile)
+> **Mode:** single-minimal (MEDIUM existing — partial PDF deep-dive с LAFS+CMA формулами; refresh без re-extract основных блоков)
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA с H_fusion_X mapping (отсутствовал); explicit Asymmetric pattern → MERIDIAN Sat+UAV-Head connection
+> - ⚠️ STALE: SOFIA v7.2 → v7.4 Variants A/E/Q (особенно V-Q LowFormer FP16/INT8 path); ANALYSIS_FiLM_alternatives v3 updated
+> - 🎯 REASSESSED: ★ unchanged HIGH; explicit linkage с F85 DEGF-YOLO (UAV multimodal gating) + F88 KARMMA (missing modality для cached aux)
+
+> **TL;DR.** Asymmetric backbone — **разное вычислительное распределение** для RGB и Depth модальностей (RGB heavy, Depth light), с двумя fusion modules (LAFS + CMA). Достигает **65 FPS на RTX 3090** (FP32), **79 FPS с mixed precision FP16**. NYUv2 54.1% mIoU, SUN-RGBD 49.1% mIoU. **Релевантность для MERIDIAN Student:** edge-deployment pattern (asymmetric compute allocation для primary vs auxiliary modality), но **не INT8 / Jetson**.
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Siqi Du, Weixi Wang, Renzhong Guo, Ruisheng Wang, Yibin Tian, Shengjun Tang.
+[arXiv:2309.14065](https://arxiv.org/abs/2309.14065), CVPR Workshop 2024.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **Asymmetric backbone allocation** — разные computational paths для RGB (heavy) и Depth (light). Уменьшает params без потери accuracy через selective feature fusion.
+2. **Local Attention-Guided Feature Selection (LAFS)** module — selective multimodal feature fusion (per-pixel/per-region attention).
+3. **Cross-Modal Attention-Guided Feature Correlation Embedding (CMA)** module — cross-modal representation extraction.
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Метрика | Значение |
+|:--------|:---------|
+| **Backbone (asymmetric)** ⭐ | **RGB branch: ConvNeXt-T (CNN heavy)** + **Depth branch: Mix-Transformer-B0 (lightweight)** — confirmed asymmetric design pattern |
+| **Total params** ⭐ | **33.0M parameters** |
+| **FLOPs** | **36.0 GFLOPs** |
+| **LAFS formula** | $W_S = \sigma\big(\text{Dot}(\text{Input}.\text{Reshape}(C, H \times W)^T, R_{Avg}) / C^2\big)$ — squeeze-excitation структура для global info aggregation |
+| **CMA formula** ⭐ | Cross-modal self-similarity: $W(i,j) = \sum (K_r^n \cdot Q_r^n) + \sum (K_d^n \cdot Q_d^n)$; subspace attention $W_1 = \text{softmax}(Q_1 K_1^T / \sqrt{C_1/4})$ + parallel $W_2$ |
+| NYUv2 mIoU | **54.1%** |
+| SUN-RGBD mIoU | **49.1%** |
+| **FPS RTX 3090 (FP32)** | **65** |
+| **FPS RTX 3090 (mixed precision FP16 TRT)** | **79** |
+| **Input resolution** | 480 × 640 |
+| Batch size (training) | 8 |
+| INT8 / Jetson AGX Orin / Jetson NX | **NOT REPORTED** ❌ — только TRT FP16 на RTX 3090 |
+| **Code** | ✅ [github.com/Fourier7754/AsymFormer](https://github.com/Fourier7754/AsymFormer) |
+
+> [!warning] Empirical numbers GAP
+> Abstract не приводит params/FLOPs. **No INT8 evidence.** Только FP16 RTX 3090. Для MERIDIAN Student INT8 Jetson Orin NX — **не direct evidence**, но архитектурный pattern (asymmetric allocation) применим.
+
+### Что нужно проекту MERIDIAN
+
+- **Asymmetric compute pattern** для Student backbone — RGB sat vs RGB UAV: **симметричная сейчас**, но если добавить modality (cached depth/edges/CHM offline) — asymmetric pattern может снизить total params для Student
+- **LAFS / CMA modules** — потенциальные блоки для head fusion, особенно если используем **cached depth tensors** (Cached Tensors Era)
+- **TensorRT compatibility evidence** (FP16) — но для Student мы целимся **INT8**, что не покрыто
+
+---
+
+## 2. Метод
+
+### 2.1. Asymmetric architecture pattern
+
+```mermaid
+flowchart LR
+    RGB[RGB input] --> RGBheavy[Heavy RGB backbone<br/>(deep CNN)]
+    Depth[Depth input] --> Depthlight[Light Depth backbone<br/>(shallow CNN)]
+    RGBheavy --> LAFS[LAFS<br/>Local Attention<br/>Feature Selection]
+    Depthlight --> LAFS
+    LAFS --> CMA[CMA<br/>Cross-Modal Attention<br/>Correlation Embedding]
+    CMA --> SegHead[Segmentation head]
+    SegHead --> Output[mIoU output]
+```
+
+### 2.2. Ключевые формулы / компоненты
+
+> Точные формулы — после acquire PDF.
+
+| Компонент | Описание |
+|:----------|:---------|
+| **Asymmetric backbone** | Heavy CNN для RGB, light CNN для Depth (params 60-70% vs symmetric design) |
+| **LAFS** | Local attention-guided gating per spatial region для selective fusion |
+| **CMA** | Cross-modal attention для correlation extraction между RGB и Depth features |
+| **Segmentation head** | Standard (UPerNet или similar) на fused features |
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Student backbone (SOFIA v7.2)** | Низкая-средняя | Anchor backbone уже symmetric. Asymmetric pattern мог бы применяться **если добавить cached aux modality** (depth/CHM как auxiliary input) |
+| **Student head fusion** | **Средняя** | LAFS pattern (local attention + feature selection) — концептуально похоже на A2 SpatialFiLM (см. [[ANALYSIS_FiLM_alternatives_student_only]] §3) |
+| **TensorRT INT8 / Jetson** | **Низкая** | Только FP16 RTX 3090, не Jetson INT8 — **не direct evidence**, но FP16 → INT8 conversion обычно feasible |
+| **Edge deployment principles** | **Средняя** | Asymmetric compute allocation — общий принцип для edge LUPI (heavy vision branch + light privileged branch) |
+
+### 3.2. Что заимствуем
+
+1. **Asymmetric backbone pattern** — концепт для potential future Cached-Tensors Student architecture (если добавим cached aux modality на inference, не только training)
+2. **TensorRT FP16 deployment validation** — pattern: AsymFormer 65→79 FPS RTX 3090 при mixed precision; для MERIDIAN Student **INT8 на Jetson** ожидается аналогичный 1.2× speedup
+
+### 3.3. Что НЕ заимствуем
+
+1. **RGB-D semantic segmentation** — это другая задача (dense prediction, не retrieval)
+2. **Depth as input modality на inference** — у нас depth only privileged training-time (LUPI); Student не имеет depth на inference
+3. **Конкретные LAFS/CMA модули** — без full PDF не можем верифицировать INT8 compatibility
+
+### 3.4. Гипотеза (для backlog research)
+
+**H_asymmetric_1** (potential future work):
+> Если добавить cached aux modality (depth/edges) на inference Student через asymmetric pattern (heavy RGB branch + light cached aux branch), R@1 вырастет на ≥+1pp без значительного increase в Jetson INT8 latency.
+>
+> **Status:** Future work; не блокирует текущий roadmap (LUPI парадигма требует только RGB на inference).
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F38_2025_REACT_Edge_VLM_Jetson_AGX_Orin]] — **только** другой paper benchmarking multimodal fusion на Jetson (REACT 0.57s)
+- [[../_reviews/READING_BACKLOG]] — entry #29 для acquire deep-dive
+- [[reviews/_legacy/fuse_review_2]] Block 6 #1 — original mention
+
+### Связанные гипотезы
+
+- [[ANALYSIS_FiLM_alternatives_student_only]] §0.5.2 — vault TOP-10 #1 в Block 6 (Edge-friendly)
+- [[../../2_hypotesis/02_student/HYP_SOFIA_v72_design]] §4.3.2 (косвенно — Student head LAFS-style A2)
+
+### Связанные эксперименты
+
+- **E9** (INT8 + Jetson eval) — AsymFormer как **FP16 baseline** для evidence; SOFIA Student целится **INT8 < 50ms** (более жёсткий budget)
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2309.14065](https://arxiv.org/abs/2309.14065) | Извлечён abstract, авторы, ключевые числа NYUv2/SUN-RGBD; FPS RTX 3090 |
+| 2026-05-06 | Created P0 deep-dive (per ANALYSIS_FiLM_alternatives_student_only Open items) | Backlog status NOT_FOUND → PARTIAL_DONE; PDF acquire pending для LAFS/CMA formulas + INT8 verification |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire** для LAFS / CMA module formulas
+- [ ] **Verify INT8** — в PDF или GitHub repo проверить, есть ли INT8 conversion attempts
+- [ ] **Params / FLOPs** — exact numbers
+- [ ] **Сравнение с REACT** — оба paper edge-relevant; AsymFormer FP16 RTX 3090 vs REACT VLM Jetson Orin AGX
+- [ ] **Compatibility check** с MERIDIAN Cached Tensors Era — могут ли LAFS/CMA блоки работать на pre-computed depth shards?
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось vs prior version
+> Конспект — MEDIUM existing (177 lines, partial PDF deep-dive 2026-05-06). Refresh **minimal-but-precise**:
+> - **0** новых fusion-блоков (LAFS+CMA formulas verbatim уже)
+> - **1** stale claim (SOFIA v7.2 → v7.4 Variants)
+> - **4** новых cross-links (HYP_v3, SPEC_v4, F85 DEGF-YOLO, F88 KARMMA)
+> - **NEW H_fusion_X mapping** (отсутствовал в 4.6)
+
+### I.1. Новые fusion-блоки
+
+Не extract — partial PDF deep-dive уже зафиксировал LAFS squeeze-excitation formula и CMA cross-modal self-similarity.
+
+### I.2. Stale claims (marked inline)
+
+| Claim из 4.6 | Почему stale | Обновление |
+|:-------------|:-------------|:-----------|
+| `SOFIA v7.2 Student backbone` (§3.1) | Architecture path → v7.4 | **SOFIA v7.4 Variants A/E/Q**; особенно **Variant-Q (LowFormer)** для INT8 path близко к asymmetric pattern |
+
+### I.3. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F85_2025_DEGF-YOLO Differential Enhancement and Gated Fusion for UAV Multimodal Detection]] — UAV multimodal с похожим asymmetric pattern; cross-compare LAFS vs DEGF gating
+- [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]] — если добавим cached aux modality (depth/edges) в asymmetric Student, KARMMA для missing-modality robust
+
+**Обновлённые backlinks (внутренние):**
+- ~~[[ANALYSIS_FiLM_alternatives_student_only]]~~ → [[ANALYSIS_FiLM_alternatives_student_only_v3]]
+- ➕ [[HYP_fusion_variants_v3]] — H_fusion_X canon
+- ➕ [[SPEC_fusion_ACF_MERIDIAN_v4]] — canonical ACF spec (asymmetric может быть option в ACF)
+
+### I.4. H_fusion_X mapping (NEW — отсутствовал в 4.6)
+
+| Гипотеза (v3 canon) | Связь AsymFormer |
+|:-------------------|:-----------------|
+| **H_fusion_2** ACF (Primary) | **Asymmetric compute** = direct conceptual match для ACF "Asymmetric Cross-Fusion" — RGB heavy + cached aux light |
+| **H_fusion_3** Teacher Pair-B (depth+normals) | AsymFormer treats depth as auxiliary — same paradigm как T_depth privileged modality |
+| **H_fusion_5** Teacher Pair-A segmentation | AsymFormer — dense seg; technique переносим на T_seg integration |
+| **H_fusion_7** Spatial-FiLM (Research-arm) | LAFS local attention selection ≈ per-region modulation; ortho к Spatial-FiLM (global, не per-pixel) |
+| H_fusion_8 (NEW) Gated subnet | LAFS squeeze-excitation gating — partial precedent (sigmoid gate, но не subnet-based) |
+
+### I.5. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: High (для edge Student) — но НЕ direct INT8 evidence
+🔭 Layer mapping:
+   - T-ACF (H_fusion_2) Asymmetric    ★★★★⭐ direct conceptual match
+   - Student SOFIA v7.4 Variant-Q     ★★★⭐ inspiration (asymmetric → LowFormer path)
+   - V-Q LowFormer (FP16→INT8)        ★★★  FP16 evidence только, INT8 estimation needed
+   - N6 INT8 TRT                      ⚠️    FP16 only; INT8 conversion TBD
+   - KD E2 (LUPI cached)              ★★★  asymmetric pattern compatible с Cached Tensors Era
+⏰ Refresh effort: minor; ~15 min
+🔁 Re-refresh: Trigger если paper INT8 numbers released (current vault TODO)
+🚦 Upstream impact:
+   - Flag [[SPEC_fusion_ACF_MERIDIAN_v4]] — AsymFormer как concrete instance ACF
+   - Flag [[HYP_SOFIA_v72_design]] (legacy → v7.4) — Variant-Q asymmetric path
+```
+
+### I.6. Action items (refreshed)
+
+**🔄 REFRESHED items:**
+- [ ] **[H_fusion_2, High]** Document AsymFormer как concrete ACF instance в [[SPEC_fusion_ACF_MERIDIAN_v4]] taxonomy.
+- [ ] **[N6, High]** GitHub code review для INT8 conversion attempts; если есть — replicate на Jetson Orin NX.
+
+**🔄 NEW items (added in refresh):**
+- [ ] **[Medium]** Cross-compare AsymFormer LAFS+CMA vs F85 DEGF-YOLO gating (UAV multimodal) — какой pattern лучше для CVGL?
+- [ ] **[Medium]** Test asymmetric + KARMMA (F88) — robust asymmetric fusion с missing modality для Cached Tensors Era.
+
+---
+
+**Refresh signature:**
+- Date: 2026-05-16
+- Model: Opus 4.7
+- Prior version: 2026-05-06 (Opus 4.6, MEDIUM partial deep-dive)
+- Prompt: [[PROMPT_reanalysis_fusion_single]]
+- Mode: single-minimal
--- a/docs/02_references/06_paper_analyses/F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion.md
+++ b/docs/02_references/06_paper_analyses/F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion.md
@@ -0,0 +1,299 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/film
+  - method/condition-token
+  - method/adapter
+  - method/multimodal-fusion
+  - component/fusion
+  - component/teacher
+  - arch/shared-backbone
+  - year/2025
+  - venue/ral
+  - priority/critical
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (primary — direct FiLM-paradigm precedent)
+  - §2.6 segmentation (panoptic + semantic)
+  - edge-deployment (potential — code открыт)
+related:
+  - "[[F38_2025_REACT_Edge_VLM_Jetson_AGX_Orin]]"
+  - "[[F37_2024_AsymFormer_Asymmetrical_Cross-Modal_Mobile_RGB-D]]"
+  - "[[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]]"
+  - "[[F41_2025_VLC_Fusion_Vision-Language_Conditioned_Sensor_Fusion]]"
+  - "[[F47_2026_TacFiLM_Tactile_Modality_Fusion_VLA]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[ANALYSIS_FiLM_alternatives_taxonomy_v3]]"
+  - "[[ANALYSIS_FiLM_alternatives_student_only_v3]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E1
+  - E1.5
+  - E5
+  - fusion
+  - §2.3
+author: claude
+arxiv: "2410.10791"
+year: 2025
+venue: IEEE RA-L 2025
+---
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, partial PDF deep-dive, 196 lines = MEDIUM, **priority/critical**)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **Edge-fusion** (Condition-Aware Multimodal Fusion)
+> **Mode:** single-minimal
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA + H_fusion_X mapping (Condition Token → H_fusion_6 + ACF MERIDIAN H_fusion_2)
+> - ⚠️ STALE: HYP/ANALYSIS → v3; H_fusion_14 (CAFuser-condition) → integrated в ACF design
+> - 🎯 REASSESSED: CAFuser — **IEEE RA-L 2025 peer-reviewed** ⭐, direct FiLM-paradigm precedent; complement к F41 (VLC) + F47 (TacFiLM) для condition-aware family
+
+#literature #fusion #film #condition-token #adapter #year/2025 #venue/ral
+
+# F39_2025 — CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes
+
+> **TL;DR.** **Condition Token** mechanism — environmental conditions (weather, lighting) classified из RGB → dynamically modulates contribution каждой модальности. **"Conceptual similarity к conditional modulation approaches"** (т.е. FiLM-paradigm). Single shared pre-trained backbone + modality-specific adapters. **MUSES SOTA: 59.7 PQ panoptic + 78.2 mIoU semantic; DeLiVER new SOTA**. **Verified RA-L 2025**, code on GitHub. **Релевантность для MERIDIAN H_fusion_14 — DIRECT EVIDENCE**.
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Tim Broedermann, Christos Sakaridis, Yuqian Fu, Luc Van Gool (ETH Zürich, INSAIT).
+[arXiv:2410.10791](https://arxiv.org/abs/2410.10791), **IEEE Robotics and Automation Letters 2025** (v2 Jan 27 2025).
+
+### Контрибуция (3 ключевых пункта)
+
+1. **Condition-Aware Fusion methodology** — environmental condition classifier (от RGB) → **Condition Token** → dynamically modulates модальный contribution
+2. **Shared pre-trained backbone + modality-specific adapters** — adapters align diverse sensors в shared latent space (parameter-efficient)
+3. **Robust semantic perception** под adverse conditions (фрагментарно работает каждая модальность; Condition Token gating балансирует contributions)
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр                                 | Значение                                                                                                                                                                                                           |
+| :--------------------------------------- | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| **Backbone** ⭐                           | **Swin-T (Swin Transformer-Tiny)** — single shared, не separate per modality                                                                                                                                       |
+| **4 Sensor modalities на MUSES**         | RGB Camera + LiDAR (projected to RGB plane) + Radar (projected) + Event Camera (projected) — ВСЕ projected на RGB plane для shared backbone compat                                                                 |
+| **Adapter mechanism**                    | 2-layer MLP с **4× hidden dim reduction** (CLIP-Adapter approach); **16 individual lightweight adapters** total (4 modalities × 4 feature pyramid levels Swin); learnable α weighting adapted vs original features |
+| **Condition Token (CT) generation**      | Flatten highest-level RGB feature map → Transformer (2 encoder + 2 decoder layers) → CT supervised verbo-visual contrastive loss using text prompts                                                                |
+| **MUSES PQ (panoptic) — full breakdown** | **CAFuser-CA2 59.7%** overall — Clear 61.4 / Fog 57.5 / Rain 59.6 / Snow 57.2 / Day 59.5 / Night 57.3                                                                                                              |
+| **MUSES PQ baselines**                   | MUSES baseline 53.6%; OneFormer (RGB-only) 55.2%; **CAFuser advantage +6.1pp vs MUSES, +4.5pp vs RGB-only**                                                                                                        |
+| **MUSES mIoU (semantic)**                | **CAFuser-CA2 78.2%** > GeminiFusion 75.3% > OneFormer (RGB-only) 72.8%                                                                                                                                            |
+| **DeLiVER results**                      | **mIoU-val 67.8%, mIoU-test 55.6%** > GeminiFusion 54.5% test > CMNeXt 53.0% test                                                                                                                                  |
+| **Params (KEY EFFICIENCY)** ⭐            | **Baseline (4 separate backbones): 149.0M** → **CAFuser shared backbone + adapters: 77.7M** = **−54% params reduction** ⭐⭐                                                                                         |
+| **CT ablation (Table VII)**              | w/o CT: 59.3 PQ; **w/ CT: 59.7 PQ (+0.4)**; detailed prompts: 59.7 PQ vs simple: 59.2 PQ (+0.5)                                                                                                                    |
+| INT8 / TensorRT / Jetson                 | НЕ УПОМИНАЕТСЯ в paper                                                                                                                                                                                             |
+| Code                                     | ✅ [github.com/timbroed/CAFuser](https://github.com/timbroed/CAFuser)                                                                                                                                               |
+
+### Что нужно проекту MERIDIAN
+
+- **DIRECT EVIDENCE для H_fusion_14** (CAFuser-style Condition Token + adapters в [[HYP_fusion_variants]]) — published RA-L 2025, SOTA results на 2 benchmarks
+- **Compact design** валидирует edge-viable conditioning (per fuse_review_2 TOP-10 #7 verdict)
+- **Code открыт** — direct replication possible для E1 ablation
+- **Условие активации:** Condition Token может работать как weather/conditions-prior для CVGL (clouds / sun-angle / season — analogue weather в driving)
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально, на основе abstract)
+
+```mermaid
+flowchart LR
+    RGB[RGB camera] --> CondClass[Environmental<br/>Condition Classifier<br/>(weather/lighting)]
+    CondClass --> CondToken[Condition Token<br/>(K-dim embedding)]
+    M1[Modality 1<br/>e.g. LiDAR] --> A1[Adapter 1]
+    M2[Modality 2<br/>e.g. radar] --> A2[Adapter 2]
+    M3[Modality N<br/>e.g. event] --> A3[Adapter N]
+    RGB --> Backbone[Shared pre-trained<br/>backbone]
+    A1 --> Fusion[Fusion layer]
+    A2 --> Fusion
+    A3 --> Fusion
+    Backbone --> Fusion
+    CondToken -->|"dynamically gates"| Fusion
+    Fusion --> Head[Panoptic / Semantic<br/>head]
+    Head --> Output[PQ / mIoU output]
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **Condition Classifier** | Pre-trained на environment categories (clear/rain/fog/snow + day/night); outputs Condition Token (predicted cond distribution) |
+| **Condition Token** | K-dim embedding, encodes detected env state — модулирует fusion |
+| **Shared backbone** | Single pre-trained encoder (специфика не указана; likely Swin-T / ConvNeXt-T) |
+| **Modality-specific adapters** | Aligns каждую sensor modality в shared latent space (Houlsby / IA³ / LoRA-style) |
+| **Conditional fusion** | Уровни fusion modulated через Condition Token; conceptually FiLM-paradigm |
+
+> **Detailed architecture требует PDF acquire** (abstract gives high-level only).
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion (E1)** | **Высокая** ⭐ | Condition Token = compact alternative к Multi-FiLM — SOTA proof. **Direct H_fusion_14 evidence.** |
+| **Adapter integration с frozen DINOv3-L** | **Высокая** | Modality-specific adapters concept directly applicable — compose с FiLM (L.2 hybrid в taxonomy) |
+| **Conditional CVGL** | **Средняя** | "Weather/lighting condition" ≈ MERIDIAN season/sun-angle/cloud cover; Condition Token может дополнить text caption |
+| **Student head fusion** | Низкая | CAFuser scope = full segmentation pipeline, не lightweight Student head; но adapter concept transfer |
+| **MUSES dataset relevance** | Низкая | Driving scenes ≠ aerial CVGL; но methodology переносима |
+
+### 3.2. Что заимствуем
+
+1. **Condition Token mechanism** — для MERIDIAN можно generate **"environmental condition embedding"** (sun-angle from time-of-day metadata, season from date, cloud cover from RGB classifier) → modulate fusion
+2. **Shared backbone + modality-specific adapters** — для Cached Tensors Era: single DINOv3-L + adapters per cached modality (depth/edges/CHM/seg) — параметрически экономнее чем full Multi-FiLM
+3. **Compact adapter design** — Houlsby/Pfeiffer per-modality (~0.5M each) — fit в Teacher budget ≤50M
+4. **Code reuse** — [github.com/timbroed/CAFuser](https://github.com/timbroed/CAFuser) — replication possible
+
+### 3.3. Что НЕ заимствуем
+
+1. **Driving-specific Condition Classifier** — для MERIDIAN нужна aerial-specific classifier (или просто metadata: GPS/time/date)
+2. **Panoptic/Semantic seg head** — MERIDIAN — retrieval, не dense prediction
+3. **MUSES benchmark** — не CVGL
+
+### 3.4. Прямая связь с H_fusion_14 (HYP_fusion_variants)
+
+> [!quote] [[HYP_fusion_variants]] H_fusion_14
+> «**Если** заменить text-conditioned FiLM-MLP на **single Condition Token** ($T_{\text{cond}} \in \mathbb{R}^d$ обучаемый prefix-token, агрегирующий все K модальностей через 1 MLP), который проникает в DINOv3 attention как K/V token, **то** R@1(F-CAFuser) ≥ R@1(F1) − 0.5 % при params overhead ≤ 50 % от F1»
+
+**Verification status:** **DIRECT EVIDENCE найден.** CAFuser is exactly H_fusion_14's reference paper. RA-L 2025 publication confirms validity. **H_fusion_14 promote from Low-Medium → Medium confidence** + acquire PDF + code review для replication design.
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]] — ещё один RS multi-modal fusion paper, complementary
+- [[F38_2025_REACT_Edge_VLM_Jetson_AGX_Orin]] — Jetson Orin AGX evidence (REACT)
+- [[F37_2024_AsymFormer_Asymmetrical_Cross-Modal_Mobile_RGB-D]] — RGB-D edge fusion (FP16 evidence)
+- [[../_reviews/READING_BACKLOG]] entry #29 — original P0 from §2.3 audit
+- [[reviews/_legacy/fuse_review_2]] TOP-10 #7 — original mention
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_14** — DIRECT evidence ⭐
+- [[ANALYSIS_FiLM_alternatives_taxonomy]] §0.5.0 fuse_review_2 TOP-10 #7
+- [[ANALYSIS_FiLM_alternatives_student_only]] §0.5.4 (косвенно)
+
+### Связанные эксперименты
+
+- **E1** Teacher 5-modal benchmark — H_fusion_14 как **alternative arm** для Multi-FiLM
+- **E5** modal ablation — Condition Token aggregation can be tested
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2410.10791](https://arxiv.org/abs/2410.10791) | Verified **RA-L 2025**; SOTA MUSES 59.7 PQ / 78.2 mIoU; GitHub code открыт; H_fusion_14 evidence confirmed |
+| 2026-05-06 | Created P0 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; PDF + GitHub code review pending |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для exact backbone (Swin-T? ConvNeXt-T?) + adapter formulas + Condition Classifier architecture
+- [ ] **GitHub code review:** [github.com/timbroed/CAFuser](https://github.com/timbroed/CAFuser) — оценить INT8 feasibility + minimal replication для E1
+- [ ] **Verify H_fusion_14 threshold:** R@1 ≥ R@1(F1) − 0.5% AND params ≤ 0.6 × F1
+- [ ] **Cross-comparison:** CAFuser vs Multi-FiLM-K5 (наш anchor) — на одинаковом DINOv3-L Teacher
+
+## Sources
+
+- [arXiv:2410.10791 — CAFuser](https://arxiv.org/abs/2410.10791)
+- [GitHub — timbroed/CAFuser](https://github.com/timbroed/CAFuser)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось
+> MEDIUM existing (196 lines, IEEE RA-L 2025 peer-reviewed, priority/critical). Refresh:
+> - **1** stale H-ID (~~H_fusion_14~~ → integrated в ACF design)
+> - **5** новых cross-links (HYP_v3, SPEC_v4, ANALYSIS_FiLM_v3, F41 VLC, F47 TacFiLM)
+> - **NEW H_fusion_X mapping** — CAFuser **Condition Token → ACF MERIDIAN H_fusion_2** direct match
+
+### I.1. Stale claims
+
+| Claim из 4.6 | Обновление |
+|:-------------|:-----------|
+| `H_fusion_14 threshold` (TODO) | ⚠️ STALE: не существует в v3; CAFuser-condition integrated в overall ACF design ([[SPEC_fusion_ACF_MERIDIAN_v4]]) |
+| `Multi-FiLM-K5 anchor` | OK canonical → теперь H_fusion_1 Multi-FiLM-Fusion Primary |
+| `DINOv3-L Teacher` | OK; уточнить — **Triple-Teacher** (SAT-493M / Web-LVD / ViT-7B) |
+
+### I.2. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F41_2025_VLC_Fusion_Vision-Language_Conditioned_Sensor_Fusion]] — другой VLM-conditioning (env cues) — closely related
+- [[F47_2026_TacFiLM_Tactile_Modality_Fusion_VLA]] — другой FiLM-conditioning source (tactile)
+
+**Обновлённые backlinks (внутренние):**
+- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
+- ~~[[ANALYSIS_FiLM_alternatives_taxonomy]]~~ → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]]
+- ~~[[ANALYSIS_FiLM_alternatives_student_only]]~~ → [[ANALYSIS_FiLM_alternatives_student_only_v3]]
+- ➕ [[SPEC_fusion_ACF_MERIDIAN_v4]] — canonical ACF spec (CAFuser direct precedent)
+
+### I.3. H_fusion_X mapping (NEW)
+
+| Гипотеза (v3 canon) | Связь CAFuser |
+|:-------------------|:--------------|
+| **H_fusion_2** ACF (Primary) | **Condition Token + adapters = direct precedent для ACF MERIDIAN** ⭐ — IEEE RA-L 2025 peer-reviewed evidence |
+| **H_fusion_1** Multi-FiLM-Fusion (Primary) | CAFuser FiLM-paradigm — direct alignment с canonical Multi-FiLM |
+| **H_fusion_6** Teacher Pair-D — TextFiLM | Condition Classifier output может быть text-conditioned в MERIDIAN (env cues → text caption); related к VLC Fusion (F41) |
+| ~~H_fusion_14~~ ⚠️ STALE | CAFuser-condition pattern integrated в overall ACF design (v3) |
+
+### I.4. Condition-aware family taxonomy (NEW)
+
+Vault теперь содержит **3 condition-aware fusion variants**:
+
+| Paper | Conditioning source | Mechanism | Venue |
+|:------|:--------------------|:----------|:------|
+| **F39 CAFuser** ⭐ | Scene classifier (Condition Token) | Token-driven adapter selection | **IEEE RA-L 2025** ✅ |
+| F41 VLC Fusion | VLM (visual env cues: darkness/rain) | Dynamic modality weighting | arXiv 2025 |
+| F47 TacFiLM | Tactile features (pretrained) | Post-training FiLM | arXiv 2026 |
+
+**Conclusion:** F39 CAFuser — **most peer-reviewed** в family; canonical ACF precedent. F41/F47 — research evidence для design alternatives.
+
+### I.5. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: Critical
+🔭 Layer mapping:
+   - T-ACF (H_fusion_2)                ★★★★★ direct precedent (IEEE RA-L 2025)
+   - T-FiLM (H_fusion_1)               ★★★★⭐ FiLM-paradigm canonical
+   - T-text (H_fusion_6) via Condition Classifier ★★★★ env-cue→text path
+   - Condition-aware family canon       ★★★★⭐ taxonomy leader
+   - V-Q LowFormer                     ⚠️    code open → INT8 feasibility TBD
+   - N6 INT8                           ⚠️    GitHub review needed
+⏰ Refresh effort: minor; ~15 min
+🔁 Re-refresh: not needed (next trigger if INT8 numbers released)
+🚦 Upstream impact:
+   - Flag [[SPEC_fusion_ACF_MERIDIAN_v4]] — CAFuser как canonical reference paper
+   - Flag [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] — condition-aware family update
+```
+
+### I.6. Action items (refreshed)
+
+**🔄 REFRESHED items:**
+- [ ] **[H_fusion_2, Critical]** Document CAFuser как **canonical reference paper** для ACF MERIDIAN design в [[SPEC_fusion_ACF_MERIDIAN_v4]].
+- [ ] **[N6, High]** GitHub code review (timbroed/CAFuser) — оценить INT8 feasibility + minimal replication для E1.
+
+**⚠️ DEPRECATED:**
+- ~~Verify H_fusion_14 threshold~~ — DEPRECATED; H_fusion_14 не существует в v3.
+
+**🔄 NEW items:**
+- [ ] **[Medium]** Cross-compare condition-aware family (F39 CAFuser / F41 VLC / F47 TacFiLM) — какой mechanism best для MERIDIAN UAV-condition (weather, daylight, season)?
+
+---
+
+**Refresh signature:**
+- Date: 2026-05-16, Model: Opus 4.7
+- Prior version: 2026-05-06 (MEDIUM partial deep-dive)
+- Mode: single-minimal
--- a/docs/02_references/06_paper_analyses/F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS.md
+++ b/docs/02_references/06_paper_analyses/F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS.md
@@ -0,0 +1,339 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/mamba
+  - method/ssm
+  - method/clip
+  - method/adapter
+  - method/cross-attention
+  - component/fusion
+  - component/teacher
+  - arch/mamba
+  - arch/clip
+  - year/2025
+  - venue/arxiv
+  - priority/critical
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (primary — closest domain match)
+  - §2.1 backbone (косвенно — Mamba-based)
+  - §2.10 KD (CLIP-guided adapters parallel LUPI distillation)
+related:
+  - "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
+  - "[[F34_2024_Coupled Mamba Enhanced Multi-modal Fusion with Coupled State Space Model]]"
+  - "[[Coupled Mamba — Enhanced Multi-modal Fusion with Coupled State Space Model]]"
+  - "[[F35_2025_Sigma Siamese Mamba Network for Multi-Modal Semantic Segmentation]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[ANALYSIS_FiLM_alternatives_taxonomy_v3]]"
+  - "[[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]"
+  - "[[DELTA_E1_fusion_taxonomy_audit_v3]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E1
+  - E2
+  - fusion
+  - §2.3
+  - §2.10
+author: claude
+arxiv: "2503.06446"
+year: 2025
+venue: arXiv preprint (Mar 2025)
+---
+
+#literature #fusion #mamba #ssm #clip #adapter #year/2025 #closest-domain-match #refreshed/opus47
+
+# F40_2025 — M³amba: CLIP-driven Mamba Model for Multi-modal Remote Sensing Classification
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, PDF deep-dive ★★★★★)
+> **Trigger:** [[_top50_to_reanalyze]] Tier S, cluster **Mamba-MM** (CLIP-driven Mamba)
+> **Mode:** single-minimal (DEEP existing 210 lines — refresh без re-extract блоков)
+> **Changes scope:**
+> - [x] Frontmatter updated (`date: 2026-05-16`, `refreshed_from: 2026-05-06`, tag `refreshed/opus47`)
+> - [x] Related обновлён: `HYP_fusion_variants` → `_v3`, добавлены `SPEC_fusion_ACF_MERIDIAN_v4`, `ANALYSIS_FiLM_alternatives_taxonomy_v3`, `F88_KARMMA` (missing-modality KD bridge)
+> - [x] Stale H-IDs помечены ⚠️ inline: `H_fusion_5-rev`, `H_fusion_11`, `H_fusion_14` deprecated в v3
+> - [x] Layer mapping добавлен в §I.5 verdict (T-ACF / KD-E)
+> - [x] N4 caption / SOFIA v7.4 / E2 4-way KD strategy E ⭐ — explicit linkage
+>
+> **Diff highlights:**
+> - 🔄 NEW: §I. REFRESH DELTA с mapping в MERIDIAN v1.0 (Triple-Teacher / 4-way KD A/B/**E**/T / SOFIA v7.4 Variant-A MambaOut)
+> - ⚠️ STALE: H_fusion_5-rev, H_fusion_11, H_fusion_14 (v2 нумерация → v3 имеет H_fusion_1..8 без -rev суффиксов)
+> - 🎯 REASSESSED: ★★★★⭐ → ★★★★⭐ (unchanged — уже Critical для T-ACF candidate); добавлен **KD-E direct precedent** для E2 strategy E (Feature-KD primary)
+
+> **TL;DR.** **CLIP-driven modality-specific adapters** делают original CLIP encoder **modality-specific** (избегая domain bias) для multi-modal RS classification. **Cross-SS2D** module — cross-attention для efficient inter-modal interaction. **Linear complexity Mamba fusion. +5.98% performance** vs SOTA. **Closest domain match для MERIDIAN** среди всех аудитированных fusion-papers (multi-modal RS + Mamba + CLIP-adapters parallel LUPI distillation pattern).
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Mingxiang Cao, Weiying Xie, Xin Zhang, Jiaqing Zhang, Kai Jiang, Jie Lei, Yunsong Li (Xidian University).
+[arXiv:2503.06446](https://arxiv.org/abs/2503.06446), submitted Mar 9, 2025.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **CLIP-driven modality-specific adapters** — adapters **convert original CLIP encoder в modality-specific** (avoiding domain bias for non-RGB modalities like hyperspectral). Это direct precedent для **LUPI-style adaptation** в MERIDIAN.
+2. **Cross-SS2D module** — cross-attention SSM для **effective and efficient information interaction** между модальностями (linear complexity).
+3. **Multi-modal Mamba fusion** — full pipeline на linear-complexity SSM (vs transformer-based methods).
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр | Значение |
+|:---------|:---------|
+| **Modalities** ⭐ | **HSI (Hyperspectral) + LiDAR / SAR / DSM** — НЕ RGB! Remote sensing multispectral/hyperspectral |
+| **Datasets** ⭐ | **Houston2013** (HSI 144 bands + LiDAR; 349×1905 px, 15 classes); **Augsburg** (HSI 180 bands + SAR + DSM; 332,485 px, 7 classes); **MUUFL** Gulfport (HSI 64 bands + LiDAR; 11 classes) |
+| **Cross-SS2D formula** ⭐ | **NOT FiLM-style!** Uses: averaged A-matrices $(\bar{A}_1 + \bar{A}_2) h_1^{(t-1)} / 2$ + cross-modal B-matrices $\bar{B}_2 x_1^t$ (modality 2's B projects modality 1's input). Output: $H_f = y_1^t = C_1 h_1^t + D_1 x_1^t$ |
+| **CLIP Adapter integration** ⭐ | Lightweight **linear layers с residual** после attention blocks: $Y_1, Y_2 = E_v^{Adapter_1}(X_1), E_v^{Adapter_2}(X_2)$. Adapters transform input images → semantic features; **NOT generate γ,β params**. Frozen CLIP + trainable adapters only |
+| **L.5 NOVELTY VERIFICATION** ⭐⭐ | ✅ **ZERO mentions of FiLM, γ⊙h_t + β operations, или feature modulation** в paper. Cross-SS2D = state transition matrix averaging + cross-projection; **L.5 H_fusion_11 novelty CLEAR** vs M³amba |
+| **Houston2013 OA** | M³amba **97.31%** > S2Mamba 93.36% = **+3.95pp** |
+| **Augsburg OA** | M³amba **98.19%** > S2Mamba 89.34% = **+8.85pp** ⭐ (largest gain) |
+| **MUUFL OA** | M³amba **97.84%** > S2Mamba 94.19% = **+3.65pp** |
+| **+5.98% average** | (3.95 + 8.85 + 3.65) / 3 ≈ 5.48%, paper says "at least 5.98%"; baselines: MiM, S2Mamba, ExViT |
+| Backbone | **ViT-B/16 (CLIP)** |
+| **Training time** | **17.67 min** (fastest); ExViT 44.03 min |
+| Batch size / Epochs | 8 / 200 |
+| Total params / FLOPs | **NOT DISCLOSED** (only training time as efficiency metric) |
+| INT8 / Jetson | НЕ УПОМИНАЕТСЯ |
+| **Code** | ✅ [github.com/kaka-Cao/M3amba](https://github.com/kaka-Cao/M3amba) |
+
+> [!success] **CRITICAL — L.5 H_fusion_11 NOVELTY VERIFIED CLEAR**
+> Cross-SS2D paper НЕ использует FiLM-modulation на $h_t$. Mechanism — state transition matrix averaging + cross-projection:
+>
+> $$h^{t}_1 = \frac{(\bar{A}_1 + \bar{A}_2)}{2} h_1^{(t-1)} + \bar{B}_2 x_1^t$$
+>
+> Это **A-matrix averaging + B-matrix cross-projection** — concept-wise отличается от **L.5: $h_t' = (1+\gamma_t) \cdot h_t + \beta_t$** (FiLM на already-computed $h_t$).
+>
+> **H_fusion_11 paper novelty claim REMAINS UNCONTESTED** ⭐⭐ — direct paper contribution для MERIDIAN.
+
+### Что нужно проекту MERIDIAN
+
+- **CLIP-driven adapters** = **архитектурный pattern для LUPI** в Cached Tensors Era: **frozen CLIP encoder + trainable modality-specific adapters** для каждой privileged modality (depth/CHM/edges/seg)
+- **Cross-SS2D** = direct conceptual ancestor для L.5 FiLM⊙h_t novelty (H_fusion_11) — SSM cross-modal interaction в CVGL setting
+- **Multi-modal RS context** ⭐ closest к MERIDIAN из всех аудитированных fusion-papers (driving / segmentation / VQA — все более далёкие)
+- **+5.98% claim** значителен — если воспроизводится в CVGL, валидирует pursuit Coupled-Mamba-style fusion
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально)
+
+```mermaid
+flowchart LR
+    M1[Modality 1<br/>RGB] --> Encoder1[Frozen CLIP encoder]
+    M2[Modality 2<br/>Hyperspectral] --> Encoder1
+    M3[Modality 3<br/>SAR/LiDAR ?] --> Encoder1
+    Encoder1 --> Adapter1[Modality-specific<br/>CLIP-driven adapter 1]
+    Encoder1 --> Adapter2[Modality-specific<br/>CLIP-driven adapter 2]
+    Encoder1 --> Adapter3[Modality-specific<br/>CLIP-driven adapter 3]
+    Adapter1 --> CrossSS2D[Cross-SS2D<br/>inter-modal attention<br/>linear complexity]
+    Adapter2 --> CrossSS2D
+    Adapter3 --> CrossSS2D
+    CrossSS2D --> Mamba[Multi-modal Mamba<br/>fusion blocks]
+    Mamba --> ClsHead[Classification head]
+    ClsHead --> Output[+5.98% over SOTA]
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **Frozen CLIP encoder** | Single shared (concept similar to MERIDIAN's frozen DINOv3-L) |
+| **CLIP-driven modality-specific adapters** | Каждый адаптер converts CLIP output для specific non-RGB modality (избегая domain bias) |
+| **Cross-SS2D** | Cross-attention в SSM-парадигме (2D selective scan); linear complexity по числу tokens |
+| **Multi-modal Mamba blocks** | SSM fusion через все K модальностей |
+
+> Подробности — после PDF acquire.
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion (E1)** | **Высокая** ⭐ | CLIP-driven adapters parallel **frozen DINOv3-L + adapters** pattern — **direct precedent**. Cross-SS2D = candidate для H_fusion_5-rev variant |
+| **LUPI / KD strategy** | **Высокая** ⭐ | "CLIP-driven adapters avoiding domain bias" = **direct conceptual ancestor** для Cached Tensors LUPI: frozen large model + adapters per cached modality |
+| **L.5 FiLM⊙h_t novelty (H_fusion_11)** | **Высокая** ⭐ | Cross-SS2D — closest existing precedent для cross-modal interaction в SSM hidden state. **PDF acquire critical** для verification что L.5 действительно novel |
+| **Multi-modal RS scope** | **Высокая** ⭐ | RS classification ≠ CVGL retrieval, но **same domain** (aerial/satellite imagery) |
+| **Edge deployment** | Низкая | Нет INT8 / Jetson evidence; "efficiency improvement" claims без Jetson benchmark |
+| **Datasets cross-link** | Средняя | Hyperspectral classification (Houston / IndianPines) ≠ World-UAV CVGL, но methodology переносима |
+
+### 3.2. Что заимствуем
+
+1. **CLIP-driven adapter pattern** — replicate с DINOv3-L: **frozen DINOv3-L + per-modality adapters** для cached depth/edges/CHM/seg (вместо MultiLevelFiLM-K5)
+2. **Cross-SS2D mechanism** — alternative implementation для H_fusion_5-rev Coupled Mamba (если M³amba's Cross-SS2D ≠ Coupled Mamba's coupling — это два разных flavor SSM cross-modal)
+3. **Domain-bias avoidance principle** — explicit recognition что **adapter design depends on modality semantic** (depth ≠ RGB ≠ text — нельзя one-size-fits-all)
+
+### 3.3. Что НЕ заимствуем
+
+1. **Hyperspectral-specific architecture** — у MERIDIAN нет hyperspectral; имеем cached depth/edges/CHM/seg/text
+2. **CLIP-only backbone** — у нас DINOv3-L (стронгер для general vision); CLIP отдельно как text encoder
+3. **RS classification head** — у нас retrieval (descriptor-based), не classification
+
+### 3.4. Прямая связь с MERIDIAN H_fusion_X
+
+> [!warning] ⚠️ STALE hypothesis IDs (Opus 4.6 → v3 canon)
+> Нумерация v2 (H_fusion_5-rev / 11 / 14) deprecated. Актуальный v3 canon ([[HYP_fusion_variants_v3]], 2026-05-14):
+> H_fusion_1 Multi-FiLM-Fusion ⭐, H_fusion_2 ACF ⭐, H_fusion_3..6 Teacher pairs B/C/A/D, H_fusion_7 Spatial-FiLM (research-arm), H_fusion_8 (NEW) Gated subnet.
+>
+> Cross-SS2D как "L.5 FiLM⊙h_t novelty" → теперь обсуждается в [[ANALYSIS_FiLM_alternatives_taxonomy_v3]].
+
+| Гипотеза (v3 canon) | Связь |
+|:-------------------|:------|
+| **H_fusion_1** Multi-FiLM-Fusion (Primary) | M³amba Cross-SS2D — **alternative SSM-based instantiation** канала modality interaction; рассматривать как parallel arm в E1 |
+| **H_fusion_2** ACF (Primary) | M³amba adapter pattern (frozen CLIP + per-modality adapter) — **direct precedent** для ACF MERIDIAN's per-Teacher adapter family (см. [[SPEC_fusion_ACF_MERIDIAN_v4]]) |
+| **H_fusion_5** Teacher Pair-A segmentation (Active) | НЕ путать с старым H_fusion_5-rev (Coupled Mamba); в v3 H_fusion_5 — это seg pair, не Coupled Mamba |
+| **H_fusion_6** Teacher Pair-D — TextFiLM (Active) | M³amba CLIP-text путь — **partial precedent**; в MERIDIAN TextFiLM zero-init β=identity в Sat/UAV-Head |
+| **H_fusion_7** Spatial-FiLM per-pixel (Research-arm) | Cross-SS2D operates на token-level (не per-pixel); ortho к H_fusion_7 |
+| ~~H_fusion_5-rev~~ ⚠️ STALE | Заменено: H_fusion_1 (Multi-FiLM Primary) + H_fusion_2 (ACF Primary) в v3 canon |
+| ~~H_fusion_11~~ ⚠️ STALE | Не существует в v3; FiLM⊙h_t novelty discussion → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] |
+| ~~H_fusion_14~~ ⚠️ STALE | Не существует в v3; CAFuser pattern integrated в overall ACF design |
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — complementary (driving scenes), оба используют shared backbone + adapters
+- [[F34_2024_Coupled Mamba Enhanced Multi-modal Fusion with Coupled State Space Model]] — Coupled Mamba предшественник для Cross-SS2D
+- [[Coupled Mamba — Enhanced Multi-modal Fusion with Coupled State Space Model]] — 466-line vault deep-dive
+- [[F35_2025_Sigma Siamese Mamba Network for Multi-Modal Semantic Segmentation]] — Sigma sibling в SSM fusion
+- [[../_reviews/READING_BACKLOG]] entry #30 — original P0 from §2.3 audit
+- [[reviews/_legacy/fuse_review_2]] TOP-10 #3 — original mention
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_5-rev** — Cross-SS2D alternative implementation
+- [[HYP_fusion_variants]] **H_fusion_11** ⭐ — потенциальная overlap с L.5 novelty (verify pendingPDF)
+
+### Связанные эксперименты
+
+- **E1** Teacher 5-modal — Cross-SS2D как alternative arm для H_fusion_5-rev
+- **E2** KD benchmark — CLIP-driven adapter pattern parallel LUPI
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2503.06446](https://arxiv.org/abs/2503.06446) | Verified arXiv 2025-03; CLIP-driven adapters + Cross-SS2D + Mamba fusion; +5.98% avg over SOTA; closest domain match |
+| 2026-05-06 | Created P0 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; PDF + GitHub code pending |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для exact dataset names (Houston / IndianPines?), benchmark numbers, params count, Cross-SS2D formula
+- [ ] **GitHub code:** найти + verify implementation (URL referenced в abstract)
+- [ ] **Verify L.5 novelty:** is M³amba's Cross-SS2D **already** doing FiLM⊙h_t? Если yes — H_fusion_11 novelty claim weakens; нужен альтернативный novelty angle
+- [ ] **Cross-SS2D vs Coupled Mamba's coupling:** detailed comparison (нужно PDF обоих)
+- [ ] **MERIDIAN replication potential:** can M³amba's adapter design transfer to DINOv3-L Teacher с cached depth/edges/CHM?
+
+## Sources
+
+- [arXiv:2503.06446 — M³amba](https://arxiv.org/abs/2503.06446)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось vs prior version
+> Конспект изначально написан Opus 4.6 на 2026-05-06 (PDF deep-dive ★★★★★, 210 lines). Этот refresh — **minimal-but-precise** (per §6 [[PROMPT_reanalysis_fusion_single]] для DEEP конспектов):
+> - **0** новых fusion-блоков извлечено (DEEP уже)
+> - **3** stale H-IDs помечены (H_fusion_5-rev / 11 / 14)
+> - **5** новых cross-links (HYP_v3, SPEC_v4, ANALYSIS_FiLM_v3, F88 KARMMA, DELTA_taxonomy_v3)
+> - Relevance reassessed vs MERIDIAN v1.0 (Triple-Teacher, SOFIA v7.4, E2 4-way KD)
+
+### I.1. Новые fusion-блоки
+
+Не extract — конспект уже DEEP с PDF deep-dive 2026-05-06 (формулы Cross-SS2D verbatim, CLIP-Adapter integration, +5.98% benchmark, L.5 novelty verification). Re-extract не нужен.
+
+### I.2. Stale claims (marked ⚠️ inline)
+
+| Claim из 4.6 | Почему stale | Обновление |
+|:-------------|:-------------|:-----------|
+| `H_fusion_5-rev (I.1 Coupled Mamba)` | v2 нумерация; v3 имеет H_fusion_5 = Teacher Pair-A segmentation (не Coupled Mamba) | Использовать H_fusion_1 Multi-FiLM Primary + H_fusion_2 ACF Primary |
+| `H_fusion_11 (L.5 FiLM⊙h_t novelty)` | Не существует в [[HYP_fusion_variants_v3]] | FiLM⊙h_t discussion → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] |
+| `H_fusion_14 (CAFuser-style adapter+condition)` | Не существует в v3 | CAFuser integration → ACF MERIDIAN design ([[SPEC_fusion_ACF_MERIDIAN_v4]]) |
+| `MultiLevelFiLM-K5` (§3.2) | Устаревшая нотация | Multi-FiLM-Fusion (H_fusion_1) — canonical, K произвольное |
+| `5-modal Teacher` (косвенно) | Подтверждается: 5 модальностей (depth/edges/CHM/seg/text) — canon | OK, добавить указание Triple-Teacher main (SAT-493M / Web-LVD / ViT-7B) для T_main |
+| `LUPI / Cached Tensors Era` | Canonical, актуально | OK; explicit link to E2 strategy **E** (Feature-KD MobileGeo-style, primary per H21) |
+
+### I.3. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]] — KD + missing-modality robust, complement к M³amba pattern (M³amba предполагает все модальности доступны; KARMMA — graceful degradation). Для E2 strategy E с robustness.
+
+**Обновлённые backlinks (внутренние):**
+- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
+- ~~[[DELTA_E1_fusion_taxonomy_audit]]~~ → [[DELTA_E1_fusion_taxonomy_audit_v3]]
+- ➕ [[SPEC_fusion_ACF_MERIDIAN_v4]] — canonical ACF spec (2026-05-14)
+- ➕ [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] — место discussion для Cross-SS2D vs FiLM/Coupled-Mamba
+
+### I.4. Relevance reassessment
+
+| Аспект | Opus 4.6 | Opus 4.7 | Причина |
+|:-------|:--------:|:--------:|:--------|
+| Overall ★-rating | ★★★★⭐ | ★★★★⭐ | unchanged — уже Critical для T-ACF |
+| Teacher ACF fit (H_fusion_2) | high | **Critical ✅** | Direct precedent для per-Teacher adapter pattern |
+| Multi-FiLM-Fusion fit (H_fusion_1) | implicit | **High ✅** | Cross-SS2D как SSM-arm alternative |
+| Student TextFiLM fit (H_fusion_6) | n/a | Medium ⚠️ | M³amba CLIP-text путь — partial precedent (token-level, не β=identity init) |
+| KD bridge E2 fit | generic | **E (Feature-KD) ⭐ direct candidate** | M³amba's "frozen CLIP + adapters" = Feature-KD от large frozen Teacher |
+| Edge Variant-Q candidate? | n/a | ❌ (no INT8 evidence) | Mamba scan = FP16 micro-block, не INT8 trivial |
+| INT8 readiness (Cross-SS2D) | not assessed | ⚠️ FP16 micro-block (SSM scan + matrix avg) | Cross-SS2D = SSM scan + A-matrix averaging; INT8 потребует custom TRT plugin |
+| Missing-modality robust? | not assessed | ❌ (assumes all modalities present) | M³amba does not address missing modality → see [[F88_2026_KARMMA_*]] |
+| Caption-aware compatible (N4)? | implicit (CLIP) | ✅ partial | CLIP encoder shared, но M³amba — classification, не retrieval+caption |
+| Post-visloc shift compatible? | n/a | ⚠️ | M³amba classification → не разрабатывалось для discriminative captions |
+
+### I.5. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: Critical
+🔭 Layer mapping:
+   - T-ACF (H_fusion_2)              ★★★★★ direct precedent
+   - T-FiLM (H_fusion_1)             ★★★★  SSM-arm alternative
+   - KD-E (E2 Feature-KD primary)    ★★★★★ direct precedent (frozen + adapters)
+   - V-A SOFIA v7.4 (MambaOut)       ★★    inspiration (SSM scan choice)
+   - V-Q LowFormer                   ❌    incompatible (SSM ≠ pure conv-attn)
+   - N4 caption-aware                ★★    partial (CLIP shared backbone)
+   - N6 INT8 TRT                     ⚠️    FP16 micro-block required
+⏰ Refresh effort: minor (DEEP existing); 30 min total
+🔁 Re-refresh needed: not needed (next trigger only if SPEC_v5 released)
+🚦 Upstream impact:
+   - Flag [[SPEC_fusion_ACF_MERIDIAN_v4]] — add explicit M³amba reference в taxonomy
+   - Flag [[ANALYSIS_KD_for_MERIDIAN]] — M³amba paradigm = direct support для strategy E primary
+```
+
+### I.6. Action items (refreshed)
+
+**🔄 REFRESHED items:**
+- [ ] **[H_fusion_2, Critical]** Validate M³amba's adapter pattern для ACF MERIDIAN: per-Teacher (T_depth/T_edges/T_chm/T_seg/T_text) adapter design — explicit task в E1 ablation.
+- [ ] **[H21, Critical]** Use M³amba's "frozen CLIP + adapters" + "+5.98% over SOTA" as **direct support** для E2 strategy **E (Feature-KD primary)** vs A/B/T fallback. Document в [[ANALYSIS_KD_for_MERIDIAN]].
+- [ ] **[H_fusion_1, High]** Add Cross-SS2D as **SSM-arm alternative** в E1 parallel benchmark (complement к Multi-FiLM canonical).
+
+**⚠️ DEPRECATED items (Opus 4.6 версии):**
+- ~~Verify L.5 H_fusion_11 novelty against M³amba~~ — DEPRECATED: H_fusion_11 не существует в v3 canon. L.5 paper draft → [[PAPER_DRAFT_L5_FiLM_h_t_method]] (если еще активный).
+- ~~Cross-SS2D vs Coupled Mamba's coupling detailed comparison~~ — keep, но переформулировать: compare как **two SSM-fusion variants** в E1 parallel arm (not novelty arbitration).
+
+**🔄 NEW items (added in refresh):**
+- [ ] **[Critical]** Cross-link с [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]: M³amba assumes all modalities present, KARMMA — graceful degradation. Для production-ready E2 strategy E нужна combination.
+- [ ] **[High]** INT8 readiness audit Cross-SS2D operator: FP16 micro-block (A-matrix avg + B-matrix cross-projection) — оценить custom TRT plugin cost.
+- [ ] **[Medium]** Verify GitHub code (`github.com/kaka-Cao/M3amba`) против paper formulas — confirm Cross-SS2D реализация matches paper §III.B.
+
+---
+
+**Refresh signature:**
+- Date: 2026-05-16
+- Model: Opus 4.7 (claude-opus-4-7)
+- Operator: claude
+- Prior version: 2026-05-06 (Opus 4.6, PDF deep-dive ★★★★★)
+- Prompt: [[PROMPT_reanalysis_fusion_single]]
+- Mode: single-minimal (DEEP existing — no re-extract блоков)
--- a/docs/02_references/06_paper_analyses/F43_2024_Robust_Multimodal_Missing_Modalities_PEFT.md
+++ b/docs/02_references/06_paper_analyses/F43_2024_Robust_Multimodal_Missing_Modalities_PEFT.md
@@ -0,0 +1,263 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/film
+  - method/ssf
+  - method/missing-modality
+  - method/peft
+  - method/parameter-efficient
+  - component/fusion
+  - component/student
+  - year/2024
+  - venue/tpami
+  - priority/high
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (theoretical foundation для FiLM-equivalent adaptation)
+  - §2.6 student head (modality dropout / graceful degradation)
+  - edge-deployment (PEFT pattern <1% params)
+related:
+  - "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
+  - "[[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]]"
+  - "[[F42_2025_HyperFusion_Hypernetwork_Multimodal_Tabular_Imaging]]"
+  - "[[F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination]]"
+  - "[[F47_2026_TacFiLM_Tactile_Modality_Fusion_VLA]]"
+  - "[[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[ANALYSIS_FiLM_alternatives_taxonomy_v3]]"
+  - "[[ANALYSIS_FiLM_alternatives_student_only_v3]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E1
+  - E2
+  - E4
+  - fusion
+  - student-head
+author: claude
+arxiv: "2310.03986"
+year: 2024
+venue: IEEE TPAMI 2024
+---
+
+#literature #fusion #ssf #peft #missing-modality #year/2024 #venue/tpami #refreshed/opus47
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, IEEE TPAMI 2024 ⭐⭐, 195 lines = MEDIUM)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **Robust/MoE** (PEFT missing-modality)
+> **Mode:** single-minimal
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA + connection с TacFiLM (F47 post-training FiLM); missing-modality family
+> - ⚠️ STALE: HYP/ANALYSIS → v3
+> - 🎯 REASSESSED: F43 — **IEEE TPAMI peer-reviewed** ⭐⭐; FiLM/SSF PEFT pattern = direct precedent для MERIDIAN TextFiLM zero-init β (combine с F47 TacFiLM evidence + F88 KARMMA)
+
+# F43_2024 — Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation
+
+> **TL;DR.** **VERIFIED IEEE TPAMI 2024** (был unverified в backlog). Адаптирует **pretrained multimodal networks через feature modulation** для handling missing modalities at test time. **Less than 1% of total parameters** required (precise threshold 0.7% не подтверждён в abstract — claim "fewer than 1%"). Tested на **5 multimodal tasks across 7 datasets**. **Релевантность для MERIDIAN:** **theoretical foundation для H_fusion_6 SSF (F2)** + **direct support для H_fusion_1 anchor** (FiLM-equivalent adaptation works с очень малым overhead).
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Md Kaykobad Reza, Ashley Prater-Bennette, M. Salman Asif (UC Riverside).
+[arXiv:2310.03986](https://arxiv.org/abs/2310.03986), v6 last revised October 7, 2024.
+**VERIFIED IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 2024** ⭐⭐.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **Modulation of intermediate features** для compensate missing modalities at test time — без dedicated network для каждой combination
+2. **Less than 1% of total parameters** required for adaptation procedure (vault said <0.7% — abstract says <1%, exact value pending PDF)
+3. **Robustness pattern** — partially bridges performance drop при missing modalities на 5 tasks × 7 datasets
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр | Значение |
+|:---------|:---------|
+| **5 Tasks × 7 Datasets** | (1) RGB-Thermal Seg: **MFNet**; (2) RGB-Depth Seg: **NYUDv2**; (3) Material Seg: **MCubeS** (RGB/AoLP/DoLP/NIR); (4) Action Recognition: **NTU RGB+D**; (5) Sentiment: **CMU-MOSI + CMU-MOSEI**; (6) Multimodal Classification: **UPMC Food-101** |
+| **Parameter overhead** | **0.18% – 0.775%** (range across 5 tasks); avg ~0.5%; segmentation 0.68% (0.79M / 117.35M); sentiment 0.775%; action 0.32%; classification **0.18%** ⭐ |
+| **SSF formula** ⭐ | $h_{m,i} = \gamma_m \odot h_{m,o} + \beta_m$, ∀m ∈ S; γ, β ∈ ℝ^d learnable per-modality; applied **after each frozen layer** в encoders + fusion blocks (не decoder); **Init: γ=1, β=0** |
+| **SOTA results (verified)** | **NYUDv2 mIoU 44.77%** > TokenFusion 43.08% (+1.69pp); MFNet RGB+Thermal 53.06% > CRM SOTA 52.90%; **NTU RGB+D 92.91%** > UMDR 92.23%; **Food-101 avg 79.83%** > Input Prompts 78.54%; CMU-MOSEI F1 58.75% |
+| Backbones used | MiT-B4 (seg) / MulT (sentiment) / UMDR (action) / ViLT (classification) |
+| **Limitations (Section 5)** | (1) Train-test mismatch (only test-time missing); (2) Combinatorial explosion (2^M − 2 sets для M modalities); (3) Asymmetric architecture weakness (CMNeXt fails when Depth available, RGB missing); (4) Decoder unchanged (potentially limiting) |
+| Compared baselines (PEFT) | LoRA-style (Eq. 4), BitFit (bias-only, Eq. 6) — SSF выигрывает по «representation power, faster convergence» (Section S4) |
+| FiLM/AdaIN comparison | ❌ **Not explicit** — paper не сравнивает с Perez 2018 FiLM; SSF concept analogous но independent derivation |
+| INT8 / Jetson | НЕ УПОМИНАЕТСЯ в paper (vault inference: FiLM-paradigm trivially INT8-friendly per fuse_review_2 E3) |
+| Code | TBD — explicit GitHub link не указан в paper text |
+
+### Что нужно проекту MERIDIAN
+
+- **Theoretical foundation для H_fusion_1 anchor** — proves FiLM-equivalent (γ⊙x + β) adaptation works **<1% overhead** на 5 tasks × 7 datasets — **strong support** для MultiLevelFiLM-K5 anchor decision
+- **Direct support для H_fusion_6 SSF** — F2 SSF в [[HYP_fusion_variants]] = analogous mechanism (per-channel scale+shift adaptation); fuse_review_2 TOP-10 #2 evidence
+- **Modality dropout pattern** — paper's missing-modality handling = MERIDIAN's modality dropout p=0.5 strategy (graceful degradation for text-absent inference в Student)
+- **TPAMI venue verified** — strongest peer-review evidence в audited fusion literature
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально)
+
+```mermaid
+flowchart LR
+    M1[Modality 1<br/>(present)] --> Encoder1[Frozen pretrained<br/>encoder]
+    M2[Modality 2<br/>(possibly missing)] --> Encoder2[Frozen pretrained<br/>encoder]
+    M3[Modality 3<br/>(possibly missing)] --> Encoder3[Frozen pretrained<br/>encoder]
+    Encoder1 --> ModBlock[Intermediate features<br/>modulation block<br/>(γ⊙x + β style)]
+    Encoder2 --> ModBlock
+    Encoder3 --> ModBlock
+    ModBlock --> TaskHead[Task head]
+    TaskHead --> Output[5 tasks × 7 datasets]
+    note["NOTE: Modulation params<br/><1% of total"] -.-> ModBlock
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **Pretrained multimodal network** | Frozen base (specific architecture не в abstract) |
+| **Modulation block** | Intermediate feature modulation (FiLM-style γ⊙x + β); только это trainable, остальное frozen |
+| **Missing modality handling** | Modulation учитывает absence → adapts other modalities to compensate |
+
+> Abstract не приводит exact formula. Likely: $\tilde{F} = \gamma_M \odot F + \beta_M$ где $(\gamma_M, \beta_M)$ зависят от modality availability mask M.
+
+### 2.3. Why <1% params — теоретическое объяснение
+
+> Frozen base network (полная) >> 99% params. Modulation block — только per-channel γ, β learnable → O(C) per layer × num_layers ≈ <1% of total для типичной 100M+ network.
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion E1** | **Высокая** ⭐ | H_fusion_1 anchor evidence; H_fusion_6 SSF F2 direct precedent |
+| **Student head fusion** | **Высокая** ⭐ | A1 TextFiLM в [[../../2_hypotesis/02_student/HYP_SOFIA_v72_design]] §4.3.2 — same paradigm; A12 IA³ <0.1M analogous (vault: «trivially INT8») |
+| **Modality dropout p=0.5** | **Высокая** ⭐ | Direct precedent для graceful degradation strategy в Student (text-absent inference) |
+| **PEFT (parameter-efficient)** | **Высокая** | <1% overhead подтверждает что FiLM-style adaptation cheap → fits Student head budget ≤0.5M |
+| **Edge deployment** | Средняя | TPAMI publication подтверждает approach валидность; нет explicit INT8 evidence, но FiLM-paradigm INT8-friendly per fuse_review_2 verdict |
+
+### 3.2. Что заимствуем
+
+1. **<1% params overhead claim** — для MERIDIAN Student SOFIA Tiny ≤5M params, head budget ≤0.5M = **already <10%** total → this paper **validates feasibility**
+2. **Missing modality handling pattern** — modulation учитывает modality availability mask; для MERIDIAN modality dropout p=0.5 → train Student с randomly absent text caption, modulation graceful adapts
+3. **Theoretical foundation для H_fusion_1** — TPAMI 2024 peer review = gold standard evidence; MultiLevelFiLM-K5 anchor decision **validated**
+
+### 3.3. Что НЕ заимствуем
+
+1. **Specific 5 tasks / 7 datasets** — не указаны в abstract, likely vision+language+audio multimodal classification (не CVGL retrieval)
+2. **Frozen pretrained network constraint** — MERIDIAN Student имеет trainable backbone (SOFIA v7.2); paper's frozen-base scenario applies к Teacher cloud, не Student
+3. **Without dedicated networks** — MERIDIAN использует separate sat/UAV branches с partial weight sharing — similar но не идентично
+
+### 3.4. Прямая связь с MERIDIAN
+
+| Гипотеза | Связь |
+|:---------|:------|
+| **H_fusion_1** (F1 Multi-FiLM > F0) | **TPAMI 2024 evidence** — anchor decision validated; confidence High → **High (verified TPAMI)** |
+| **H_fusion_6** (SSF F2) | Direct precedent — F2 SSF = same mechanism per-channel (γ, β) learnable; **threshold validated <1% params** |
+| **H_fusion_10** (Student text dropout p=0.5) | Direct precedent для missing modality handling pattern |
+| **A1 TextFiLM** (HYP_SOFIA §4.3.2) | TPAMI evidence для anchor choice |
+| **A12 IA³** (NEW в HYP_SOFIA) | <0.1M params — analogous «<1% params» evidence для G.4 IA³ |
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — alternative SOTA approach (но больше params overhead, RA-L 2025)
+- [[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]] — CLIP-driven adapters complement
+- [[F42_2025_HyperFusion_Hypernetwork_Multimodal_Tabular_Imaging]] — HyperFusion alternative (но TRT incompatible)
+- [[../_reviews/READING_BACKLOG]] entry #34 — original P1 from §2.3
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_1 (anchor) + H_fusion_6 (SSF F2) + H_fusion_10 (Student text dropout)**
+- [[../../2_hypotesis/02_student/HYP_SOFIA_v72_design]] **A1 TextFiLM (anchor)** + **A12 IA³ (budget fallback)**
+- [[ANALYSIS_FiLM_alternatives_taxonomy]] §0.5.0 fuse_review_2 TOP-10 #2
+
+### Связанные эксперименты
+
+- **E1** Teacher 5-modal — H_fusion_1 + H_fusion_6 anchor evidence
+- **E0.7** Student head — A1 + A12 evidence
+- **E4** Modality dropout — H_fusion_10 evidence
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2310.03986](https://arxiv.org/abs/2310.03986) | **VERIFIED IEEE TPAMI 2024** ⭐⭐ (был unverified в vault); <1% params claim; 5 tasks × 7 datasets |
+| 2026-05-06 | Created P1 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; **TPAMI 2024 venue verified** — strongest peer-review evidence |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для exact 5 tasks / 7 datasets names; SSF formula details; <1% claim точное число
+- [ ] **GitHub search:** code/weights не указаны в abstract — search Asif/UC Riverside lab
+- [ ] **Verify <0.7% claim:** vault `fuse_review_2` says «<0.7% parameter overhead»; abstract says «fewer than 1%» — exact threshold pending PDF
+- [ ] **Cross-comparison:** SSF (этот paper) vs FiLM (Perez 2018) vs MultiLevelFiLM-K5 (MERIDIAN anchor) — для paper Related Work
+
+## Sources
+
+- [arXiv:2310.03986 — Robust Multimodal Learning](https://arxiv.org/abs/2310.03986)
+- IEEE TPAMI 2024 (citation pending PDF)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось
+> MEDIUM existing (195 lines, IEEE TPAMI 2024). Refresh:
+> - **3** новых cross-links (HYP_v3, F45 Flex-MoE, F47 TacFiLM, F88 KARMMA)
+> - **NEW H_fusion_X mapping** + missing-modality family chain
+
+### I.1. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination]] — другой missing-modality approach (MoE bank vs PEFT)
+- [[F47_2026_TacFiLM_Tactile_Modality_Fusion_VLA]] — post-training FiLM (родственный F43 PEFT pattern)
+- [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]] — KD-based missing-modality
+
+**Обновлённые backlinks:**
+- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
+- ~~[[ANALYSIS_FiLM_alternatives_taxonomy]]~~ → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]]
+- ~~[[ANALYSIS_FiLM_alternatives_student_only]]~~ → [[ANALYSIS_FiLM_alternatives_student_only_v3]]
+
+### I.2. H_fusion_X mapping (NEW)
+
+| Гипотеза (v3 canon) | Связь F43 |
+|:-------------------|:----------|
+| **H_fusion_6** Teacher Pair-D — TextFiLM (Active) | **SSF/FiLM PEFT pattern = TPAMI peer-reviewed evidence** для MERIDIAN TextFiLM zero-init β=identity in SatHead/UAVHead |
+| **H_KD_*** | <1% param overhead PEFT = pattern для production-ready Student adaptation в Cached Tensors Era |
+| Missing-modality family | F43 (PEFT) + F45 Flex-MoE (MoE bank) + F88 KARMMA (KD) = 3 complementary approaches |
+
+### I.3. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: High (peer-reviewed PEFT pattern для TextFiLM)
+🔭 Layer mapping:
+   - H_fusion_6 TextFiLM PEFT          ★★★★⭐ TPAMI evidence
+   - H_fusion_2 ACF PEFT adapters      ★★★⭐ <1% overhead канал
+   - Missing-modality robustness       ★★★★ family member
+   - N6 INT8                           ⚠️    SSF/FiLM INT8-friendly но PDF verify needed
+⏰ Refresh effort: minor; ~10 min
+🔁 Re-refresh: not needed
+🚦 Upstream impact:
+   - Flag [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] — F43 SSF + F47 TacFiLM = 2 peer-reviewed evidence для zero-init β PEFT
+```
+
+### I.4. Action items
+
+**🔄 REFRESHED:**
+- [ ] **[H_fusion_6, High]** Combine F43 (TPAMI SSF) + F47 (TacFiLM) evidence в [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] для MERIDIAN TextFiLM zero-init β design.
+
+---
+
+**Refresh signature:** 2026-05-16 / Opus 4.7 / single-minimal
--- a/docs/02_references/06_paper_analyses/F44_2025_Fusion-Mamba_Cross-modality_Object_Detection.md
+++ b/docs/02_references/06_paper_analyses/F44_2025_Fusion-Mamba_Cross-modality_Object_Detection.md
@@ -0,0 +1,329 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/mamba
+  - method/ssm
+  - method/state-space-channel-swap
+  - method/dual-state-space-fusion
+  - method/gating
+  - component/fusion
+  - component/multi-modal
+  - arch/mamba
+  - year/2025
+  - venue/tmm
+  - priority/high
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (primary — Mamba cross-modal fusion)
+  - §2.1 backbone (косвенно — Mamba-based)
+  - edge-deployment (claim TRT-friendly, vault inference)
+related:
+  - "[[F34_2024_Coupled Mamba Enhanced Multi-modal Fusion with Coupled State Space Model]]"
+  - "[[Coupled Mamba — Enhanced Multi-modal Fusion with Coupled State Space Model]]"
+  - "[[F35_2025_Sigma Siamese Mamba Network for Multi-Modal Semantic Segmentation]]"
+  - "[[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[ANALYSIS_FiLM_alternatives_taxonomy_v3]]"
+  - "[[DELTA_E1_fusion_taxonomy_audit_v3]]"
+  - "[[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]"
+  - "[[F85_2025_DEGF-YOLO Differential Enhancement and Gated Fusion for UAV Multimodal Detection]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E1
+  - E1.5
+  - fusion
+  - §2.3
+author: claude
+arxiv: "2404.09146"
+year: 2025
+venue: IEEE Transactions on Multimedia 2025
+---
+
+#literature #fusion #mamba #ssm #year/2025 #venue/tmm #refreshed/opus47
+
+# F44_2025 — Fusion-Mamba for Cross-modality Object Detection
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, PDF deep-dive ★★★⭐)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **Mamba-MM** (Cross-modality detection)
+> **Mode:** single-minimal (DEEP existing 212 lines — refresh без re-extract блоков)
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA с mapping в MERIDIAN v1.0; explicit gating connection с F85 DEGF-YOLO (2026-05-11)
+> - ⚠️ STALE: H_fusion_5-rev / H_fusion_11 (v2 нумерация → v3 имеет H_fusion_1..8)
+> - 🎯 REASSESSED: TMM 2025 peer-reviewed evidence укрепляет H_fusion_1 Multi-FiLM-Fusion parallel arm (Mamba alternative)
+
+> **TL;DR.** **VERIFIED IEEE Transactions on Multimedia 2025** ⭐⭐ (был unmarked в vault). Заявлено как **«first work to explore Mamba for cross-modal fusion»** (concurrent с Coupled Mamba 2024). Two-module architecture: **SSCS** (State Space Channel Swapping, shallow fusion) + **DSSF** (Dual State Space Fusion с gating, deep fusion). **+5.9% mAP на M³FD, +4.9% mAP на FLIR-Aligned**. Likely RGB+IR cross-modality detection (datasets — RGB+thermal). **Релевантность для MERIDIAN H_fusion_1/H_fusion_2:** alternative Mamba-arm parallel к Multi-FiLM/ACF, на конкретном edge-relevant CV detection task.
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Wenhao Dong, Haodong Zhu, Shaohui Lin, Xiaoyan Luo, Yunhang Shen, Xuhui Liu, Juan Zhang, Guodong Guo, Baochang Zhang.
+[arXiv:2404.09146](https://arxiv.org/abs/2404.09146), submitted April 14, 2024. **VERIFIED IEEE TMM 2025** (Report MM-021661.R1) ⭐⭐.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **First Mamba для cross-modal object detection** — concurrent с Coupled Mamba (sentiment analysis), но в **vision detection setting** (более близкий к MERIDIAN)
+2. **SSCS (State Space Channel Swapping)** — shallow feature fusion via channel-wise swapping в SSM hidden state space
+3. **DSSF (Dual State Space Fusion)** с gating — deep fusion в SSM hidden state space через improved Mamba с gating mechanism
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр | Значение |
+|:---------|:---------|
+| **Modalities** ⭐ | **RGB + IR (Infrared)** — verified «paired infrared (IR) and visible images» (НЕ depth, как я ранее предполагал) |
+| **M³FD mAP improvement** | **+5.9%** ⭐ |
+| **FLIR-Aligned mAP improvement** | **+4.9%** ⭐ |
+| **SSCS formula (Channel Swapping)** | $T_{R}^{(i)} = \text{CS}(F_R^{(i)}, F_{IR}^{(i)})$ — selects parts 1,3 from RGB + parts 2,4 from IR (channel split into 4 parts); затем VSS block. **Easy to implement: split + concat** |
+| **DSSF gating formula** ⭐ | $y'_R = y_R \cdot z_R + z_R \cdot y_{IR}$, $y'_{IR} = y_{IR} \cdot z_{IR} + z_{IR} \cdot y_R$ where $z$ = gating params (linear + SiLU). **Multiplicative gating + cross-modal addition** — НЕ FiLM-style γ⊙h+β |
+| **Ablation breakdown** | w/o SSCS: −2.0% mAP₅₀ / −1.1% mAP; w/o DSSF: −2.5% mAP₅₀ / −2.4% mAP; w/o both: **−4.8% mAP₅₀ / −7.6% mAP**. **DSSF contributes more than SSCS** |
+| **Baselines on M³FD** | DIDFuse, SDNet, RFNet, TarDAL, DeFusion, CDDFuse, IGNet, SuperFusion |
+| **Baselines on FLIR-Aligned** | CFT, CrossFormer, RSDet |
+| **Params** | Fusion-Mamba (YOLOv5): **244.6M** vs CrossFormer 340.0M (saves ~100M); YOLOv8 variant: 287.6M |
+| **Latency** | **YOLOv5 variant: 61ms** per paired image **на A800 GPU**; YOLOv8: 78ms; saves 7ms vs CFT, 19ms vs CrossFormer |
+| **TensorRT-friendly claim** | ❌ **CORRECTION confirmed**: paper НЕ утверждает TRT-friendly explicitly — это **vault inference** из fuse_review_2 |
+| **Inputs** | 640×640 |
+| FLOPs | НЕ REPORTED |
+| Code | НЕ УКАЗАН в paper |
+
+### Что нужно проекту MERIDIAN
+
+- **Alternative implementation** для H_fusion_5-rev Coupled Mamba — **vision detection precedent** (Coupled Mamba — sentiment analysis, less domain-aligned)
+- **Verified IEEE TMM 2025** = strong peer-review evidence; Coupled Mamba все ещё arXiv preprint
+- **SSCS + DSSF modular design** — alternative к Coupled Mamba's coupling formula; **может combine с CAFuser-style gating** для H_fusion_14
+- **+5.9% mAP M³FD** — direct measurable improvement evidence для Mamba cross-modal benefit (vs +2.3% F1 у Coupled Mamba на CH-SIMSV2)
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально)
+
+```mermaid
+flowchart LR
+    M1[Modality 1<br/>RGB] --> Backbone1[Image backbone 1]
+    M2[Modality 2<br/>IR/Depth] --> Backbone2[Image backbone 2]
+    Backbone1 --> SSCS[SSCS<br/>State Space Channel<br/>Swapping<br/>shallow fusion]
+    Backbone2 --> SSCS
+    SSCS --> DSSF[DSSF<br/>Dual State Space<br/>Fusion + gating<br/>deep fusion]
+    DSSF --> DetHead[Detection head]
+    DetHead --> mAP[mAP +5.9% M³FD]
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **SSCS** (State Space Channel Swapping) | Shallow fusion module — обменивает channel features между modalities в SSM hidden state space; reduces modality disparity |
+| **DSSF** (Dual State Space Fusion) | Deep fusion с gating mechanism; **improved Mamba с gating** (но точная формула pending PDF) |
+| **Hidden state space approach** | Both modules работают в SSM h_t latent space, не на raw features |
+
+> Detailed formulas pending PDF acquire.
+
+### 2.3. Difference vs Coupled Mamba
+
+| Aspect | Coupled Mamba (F34) | Fusion-Mamba (F44) |
+|:-------|:--------------------|:-------------------|
+| Domain | Sentiment Analysis (audio+text+vision, 1D sequences) | Cross-modal Object Detection (RGB+IR likely, 2D images) |
+| Mechanism | $h_t^m = S_m\cdot(\sum h_{t-1}^m) + B_m x_t^m$ — coupled state | SSCS + DSSF (shallow + deep) modular |
+| Scope | M=3 modalities | M=2 modalities (cross-modal) |
+| Venue | arXiv preprint (NeurIPS submission) | **IEEE TMM 2025** ⭐ |
+| Bench numbers | +2.3% F1 CH-SIMSV2 | +5.9% mAP M³FD; +4.9% mAP FLIR |
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion (E1) — H_fusion_5-rev** | **Высокая** ⭐ | Alternative implementation Coupled Mamba pattern; **TMM 2025 peer-reviewed** ⭐⭐ — может быть **secondary parallel arm** к main Coupled Mamba |
+| **Cross-modal vision detection** | **Средняя** | RGB+IR detection ≠ CVGL retrieval, но methodology переносима (modular SSCS+DSSF может работать на RGB sat + RGB UAV для CVGL) |
+| **Edge deployment** | **Средняя** (vault inference) | fuse_review_2 верит что TRT-friendly (element-wise gating + linear + 1D conv); **paper не подтверждает explicitly** — нужен PDF/code review |
+| **+5.9% mAP M³FD** | **Высокая** | Concrete edge-relevant detection benchmark — лучше чем Coupled Mamba's sentiment analysis numbers |
+| **Distillation** | Низкая | No KD/LUPI patterns в Fusion-Mamba |
+
+### 3.2. Что заимствуем
+
+1. **SSCS pattern для shallow fusion** — для MERIDIAN: shallow channel swapping между sat и UAV branches в early stages → encourages feature alignment
+2. **DSSF + gating pattern для deep fusion** — analog Coupled Mamba's coupling, но с explicit gating; может быть **hybrid с FiLM** для L.5/L.6 novelty
+3. **TMM 2025 peer-review evidence** — стороннее подтверждение что Mamba cross-modal fusion работает в vision setting (не только sentiment analysis)
+
+### 3.3. Что НЕ заимствуем
+
+1. **Object detection task** — MERIDIAN — retrieval, не bbox detection
+2. **RGB+IR scope** — у нас RGB+RGB cross-view (sat vs UAV), нет thermal modality
+3. **Specific SSCS/DSSF implementation** — без PDF не верифицировать INT8 feasibility
+
+### 3.4. Связь с MERIDIAN H_fusion_X
+
+> [!warning] ⚠️ STALE hypothesis IDs (Opus 4.6 → v3 canon, 2026-05-14)
+> Нумерация v2 (H_fusion_5-rev / 11) deprecated. Актуальный v3 canon ([[HYP_fusion_variants_v3]]):
+> H_fusion_1 Multi-FiLM-Fusion ⭐, H_fusion_2 ACF ⭐, H_fusion_3..6 Teacher pairs, H_fusion_7 Spatial-FiLM (research), H_fusion_8 (NEW) Gated subnet.
+
+| Гипотеза (v3 canon) | Связь |
+|:-------------------|:------|
+| **H_fusion_1** Multi-FiLM-Fusion (Primary) | **Fusion-Mamba = SSM-arm alternative** для parallel-arm benchmark в E1; **TMM 2025 peer-reviewed** — venue stronger чем arXiv-only Mamba fusion alternatives |
+| **H_fusion_2** ACF (Primary) | Modular SSCS+DSSF design — **two-stage fusion pattern** ortho к ACF's per-Teacher adapter; combining potential |
+| **H_fusion_7** Spatial-FiLM (Research-arm) | DSSF gating $y'_R = y_R \cdot z_R + z_R \cdot y_{IR}$ — multiplicative cross-modal gating; conceptually **closer к gated subnet (H_fusion_8) чем к Spatial-FiLM per-pixel** |
+| **H_fusion_8 (NEW)** Gated fusion subnet | **Fusion-Mamba's DSSF gating = direct precedent** для H_fusion_8 (low-priority в v3, источник F86 MBGFN — но Fusion-Mamba имеет TMM-2025 peer-review evidence) |
+| ~~H_fusion_5-rev~~ ⚠️ STALE | Заменено в v3: для Mamba fusion → parallel-arm в H_fusion_1; для CASE A/B/C decision rule переехало в [[DELTA_E1_fusion_taxonomy_audit_v3]] |
+| ~~H_fusion_11~~ ⚠️ STALE | Не существует в v3; FiLM-vs-gating discussion → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] |
+
+### 3.5. **Update H_fusion_5-rev confidence?**
+
+**Vault evidence chain (post-acquire 2026-05-06):**
+- F34 Coupled Mamba (vault deep-dive 466 lines, arXiv preprint, +2.3% F1 sentiment)
+- F44 Fusion-Mamba (this paper, **IEEE TMM 2025** ⭐⭐, **+5.9% mAP detection**)
+- F40 M³amba (arXiv 2025, +5.98% RS classification)
+
+**Recommendation:** H_fusion_5-rev confidence Medium-High → **High** (evidence chain confirmed across 3 papers, including peer-reviewed TMM 2025). Update HYP_fusion_variants.
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F34_2024_Coupled Mamba Enhanced Multi-modal Fusion with Coupled State Space Model]] — primary precedent (1D sentiment analysis)
+- [[Coupled Mamba — Enhanced Multi-modal Fusion with Coupled State Space Model]] — vault 466-line deep-dive
+- [[F35_2025_Sigma Siamese Mamba Network for Multi-Modal Semantic Segmentation]] — siamese SSM siblling
+- [[F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS]] — RS multi-modal cross-attn SSM (closest domain match)
+- [[../_reviews/READING_BACKLOG]] entry #36 — original P1 from §2.3
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_5-rev** — **upgrade evidence** (Medium-High → High candidate)
+- [[HYP_fusion_variants]] **H_fusion_11** L.5 — DSSF gating pattern concept (PDF verify)
+- [[DELTA_E1_fusion_taxonomy_audit]] §2.4 (F34 audit context)
+- [[ANALYSIS_FiLM_alternatives_taxonomy]] §1.I.5 (Mamba fusion category)
+
+### Связанные эксперименты
+
+- **E1** Teacher fusion benchmark — Fusion-Mamba как alternative implementation для H_fusion_5-rev parallel arm
+- **E5** modal ablation — SSCS pattern для shallow vs deep fusion comparison
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2404.09146](https://arxiv.org/abs/2404.09146) | **VERIFIED IEEE TMM 2025** ⭐⭐ (был unmarked); +5.9% mAP M³FD + 4.9% mAP FLIR; SSCS + DSSF modular design |
+| 2026-05-06 | Created P1 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; **TMM 2025 venue verified**; H_fusion_5-rev confidence upgrade candidate |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для exact SSCS + DSSF formulas; verify modality (RGB+IR confirmed?); params/FLOPs
+- [ ] **Verify TRT-friendly claim:** vault `fuse_review_2` says «Core ops all TRT-friendly» — но **paper не утверждает это explicitly**; нужен code-level verification
+- [ ] **Compare с Coupled Mamba:** explicit table SSCS vs coupled state mechanism (для DELTA E1 PARALLEL ARM design)
+- [ ] **Code/weights:** не указаны в abstract — search GitHub `Wenhao Dong / Fusion-Mamba`
+- [ ] **L.5 novelty verify:** does DSSF+gating already cover FiLM⊙h_t? Если yes — H_fusion_11 novelty claim weakens
+
+## Sources
+
+- [arXiv:2404.09146 — Fusion-Mamba](https://arxiv.org/abs/2404.09146)
+- IEEE TMM 2025 (Report MM-021661.R1)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось vs prior version
+> Конспект изначально написан Opus 4.6 на 2026-05-06 (PDF deep-dive, 212 lines). Refresh — **minimal-but-precise** (DEEP existing):
+> - **0** новых fusion-блоков (DEEP уже c SSCS + DSSF формулами verbatim)
+> - **2** stale H-IDs помечены (H_fusion_5-rev / 11)
+> - **6** новых cross-links (HYP_v3, SPEC_v4, ANALYSIS_FiLM_v3, DELTA_v3, F88 KARMMA, F85 DEGF-YOLO)
+> - Relevance reassessed vs MERIDIAN v1.0
+
+### I.1. Новые fusion-блоки
+
+Не extract — DEEP existing с PDF deep-dive: SSCS Channel Swapping formula (4-part split), DSSF gating formula ($y'_R = y_R \cdot z_R + z_R \cdot y_{IR}$), ablation breakdown (DSSF > SSCS contribution), benchmark numbers verbatim.
+
+### I.2. Stale claims (marked ⚠️ inline)
+
+| Claim из 4.6 | Почему stale | Обновление |
+|:-------------|:-------------|:-----------|
+| `H_fusion_5-rev CASE A/B/C` | v2 нумерация; v3 не имеет -rev суффикса | Mamba parallel-arm → H_fusion_1 benchmark в E1; CASE A/B/C → [[DELTA_E1_fusion_taxonomy_audit_v3]] |
+| `H_fusion_11 (L.5 FiLM⊙h_t novelty)` | Не существует в v3 | FiLM-vs-gating discussion → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] |
+| `H_fusion_14` (mentioned implicitly) | Не существует в v3 | Removed; CAFuser integration в overall ACF design |
+| `«TRT-friendly claim»` (§ table) | Vault inference, не paper claim — корректно помечено в 4.6 как ❌ CORRECTION | Сохраняется как valid 4.6 fact; INT8 readiness прояснён в §I.4 |
+
+### I.3. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F85_2025_DEGF-YOLO Differential Enhancement and Gated Fusion for UAV Multimodal Detection]] — **прямой UAV-аналог Fusion-Mamba's DSSF gating** (2026-05-11): UAV multimodal detection с gated fusion. Cross-compare needed для H_fusion_8 design.
+- [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]] — Fusion-Mamba assumes both RGB+IR present (M=2 hardcoded); missing-modality robustness — gap, KARMMA дополняет.
+
+**Обновлённые backlinks (внутренние):**
+- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
+- ~~[[DELTA_E1_fusion_taxonomy_audit]]~~ → [[DELTA_E1_fusion_taxonomy_audit_v3]]
+- ➕ [[SPEC_fusion_ACF_MERIDIAN_v4]] — canonical ACF spec
+- ➕ [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] — место discussion Mamba vs FiLM vs gating
+
+### I.4. Relevance reassessment
+
+| Аспект | Opus 4.6 | Opus 4.7 | Причина |
+|:-------|:--------:|:--------:|:--------|
+| Overall ★-rating | ★★★⭐ (priority/high) | ★★★⭐ → ★★★★ | TMM 2025 peer-review + UAV-context F85 parallel укрепляют |
+| Multi-FiLM parallel-arm fit (H_fusion_1) | implicit | **High ✅** | TMM 2025 = strongest peer-review evidence для Mamba fusion in vision |
+| ACF integration (H_fusion_2) | n/a | Medium ⚠️ | SSCS+DSSF — separate from ACF per-Teacher pattern; ortho не overlap |
+| Gated subnet (H_fusion_8) | n/a | **High ✅ direct precedent** | DSSF gating = canonical example для H_fusion_8 source (наряду с F86 MBGFN) |
+| KD bridge E2 fit | low | low | No KD/LUPI mechanism — fusion-only paper |
+| Edge Variant-Q (LowFormer)? | n/a | ❌ | SSM scan несовместим с pure conv-attn Variant-Q |
+| INT8 readiness | ❌ vault inference contradicted | ⚠️ FP16 micro-block (SSM scan) + element-wise gating (INT8 OK) | DSSF gating портируется в INT8 trivially; SSCS scan — FP16 |
+| Missing-modality robust? | n/a | ❌ (M=2 hardcoded RGB+IR) | Cross-link KARMMA для production-ready |
+| UAV-applicability | low (RGB+IR thermal) | Medium ⚠️ | F85 DEGF-YOLO показывает UAV multimodal с похожим gated pattern — adaptable |
+
+### I.5. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: High
+🔭 Layer mapping:
+   - T-FiLM parallel-arm (H_fusion_1)   ★★★★⭐ TMM peer-reviewed alternative
+   - H_fusion_8 Gated subnet            ★★★★★ DSSF = direct precedent
+   - T-ACF integration (H_fusion_2)     ★★    ortho, not overlap
+   - V-A SOFIA v7.4 (MambaOut)          ★★    inspiration only (1D SSCS)
+   - V-Q LowFormer                      ❌    incompatible (SSM scan)
+   - N6 INT8 TRT                        ⚠️    SSCS=FP16, DSSF gating=INT8 OK
+   - KD E2                              ❌    no KD mechanism
+⏰ Refresh effort: minor; ~20 min
+🔁 Re-refresh: not needed (next trigger if SPEC_v5 released)
+🚦 Upstream impact:
+   - Flag [[DELTA_E1_fusion_taxonomy_audit_v3]] — add Fusion-Mamba как H_fusion_1 parallel arm
+   - Flag [[HYP_fusion_variants_v3]] — H_fusion_8 source evidence chain (F86 + F44 DSSF)
+```
+
+### I.6. Action items (refreshed)
+
+**🔄 REFRESHED items:**
+- [ ] **[H_fusion_1, High]** Add Fusion-Mamba (SSCS+DSSF) как **TMM-2025-peer-reviewed Mamba arm** в E1 parallel-arm benchmark vs Multi-FiLM canonical.
+- [ ] **[H_fusion_8, High]** Document DSSF gating $y'_R = y_R z_R + z_R y_{IR}$ как direct precedent в [[HYP_fusion_variants_v3]] §H_fusion_8 source list (наряду с F86 MBGFN).
+
+**⚠️ DEPRECATED items (Opus 4.6 версии):**
+- ~~Update HYP_fusion_variants H_fusion_5-rev confidence Medium-High → High~~ — DEPRECATED: H_fusion_5-rev не существует в v3. Эквивалент: H_fusion_1 (Multi-FiLM Primary) confidence уже High.
+- ~~Verify TRT-friendly via code-level~~ — keep as separate action item, но переформулировать: split INT8 readiness по компонентам (SSCS=FP16, DSSF=INT8).
+- ~~L.5 novelty verify against DSSF~~ — DEPRECATED (H_fusion_11 no longer exists).
+
+**🔄 NEW items (added in refresh):**
+- [ ] **[Critical]** Cross-compare Fusion-Mamba DSSF (RGB+IR) vs F85 DEGF-YOLO (UAV multimodal) — какой gating pattern лучше для CVGL sat+UAV?
+- [ ] **[High]** INT8 split-audit: SSCS (4-part channel swap) — INT8 trivial; DSSF gating (linear + SiLU + mul + add) — INT8 trivial; SSM scan — FP16 micro-block. Document INT8 budget для CVGL adoption.
+- [ ] **[Medium]** Search GitHub `Wenhao Dong / Fusion-Mamba` — verify code, hint о TRT readiness.
+
+---
+
+**Refresh signature:**
+- Date: 2026-05-16
+- Model: Opus 4.7 (claude-opus-4-7)
+- Operator: claude
+- Prior version: 2026-05-06 (Opus 4.6, PDF deep-dive ★★★⭐)
+- Prompt: [[PROMPT_reanalysis_fusion_single]]
+- Mode: single-minimal
--- a/docs/02_references/06_paper_analyses/F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination.md
+++ b/docs/02_references/06_paper_analyses/F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination.md
@@ -0,0 +1,284 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/moe
+  - method/sparse-routing
+  - method/missing-modality
+  - method/dual-router
+  - component/fusion
+  - component/multi-modal
+  - year/2024
+  - venue/neurips-spotlight
+  - priority/high
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (косвенно — MoE alternative)
+  - §2.5 student head (missing modality bank pattern для modality dropout)
+  - E5+ MoE ablation
+related:
+  - "[[F46_2024_FuseMoE_Mixture-of-Experts_Transformers_Fleximodal]]"
+  - "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
+  - "[[F43_2024_Robust_Multimodal_Missing_Modalities_PEFT]]"
+  - "[[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]"
+  - "[[F89_2025_Contrastive_Multimodal_Fusion_Improved_Modality_Dropout]]"
+  - "[[F90_2026_Gradual_Modality_Dropout_UpAttLLSTM]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E5+
+  - future / appendix
+  - modality-dropout
+author: claude
+arxiv: "2410.08245"
+year: 2024
+venue: NeurIPS 2024 Spotlight
+---
+
+#literature #fusion #moe #year/2024 #venue/neurips-spotlight #refreshed/opus47
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, NeurIPS 2024 Spotlight ⭐⭐⭐, 186 lines = MEDIUM)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **MoE/cond** (Flexible MoE)
+> **Mode:** single-minimal
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA + missing-modality family taxonomy (Flex-MoE + F43 + F88 KARMMA + F89 + F90)
+> - ⚠️ STALE: H_fusion_7 (MoE F5) → не существует в v3 (H_fusion_7 теперь Spatial-FiLM research-arm)
+> - 🎯 REASSESSED: Flex-MoE — **NeurIPS 2024 Spotlight peer-reviewed**; **missing modality bank** = canonical pattern для E2 strategy E robustness (combine с F88 KARMMA)
+
+# F45_2024 — Flex-MoE: Modeling Arbitrary Modality Combination via the Flexible Mixture-of-Experts
+
+> **TL;DR.** **VERIFIED NeurIPS 2024 Spotlight** ⭐⭐⭐. **Dual-router MoE design** (G-Router + S-Router) для arbitrary modality combinations. **Missing modality bank** synthesizes unobserved combinations из observed ones. **Top-1 sparse routing** к expert corresponding к observed modality combination. Tested на **ADNI (Alzheimer 4 modalities) + MIMIC-IV**. **Релевантность для MERIDIAN:** **direct precedent для H_fusion_7 (MoE F5)** + **missing modality bank pattern** = analog modality dropout p=0.5 в Student. Deferred to E5+ per ROADMAP.
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Sukwon Yun, Inyoung Choi, Jie Peng, Yangfan Wu, Jingxuan Bao, Qiyiwen Zhang, Jiayi Xin, Qi Long, Tianlong Chen.
+[arXiv:2410.08245](https://arxiv.org/abs/2410.08245), **NeurIPS 2024 Spotlight** ⭐⭐⭐ verified.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **Arbitrary modality combinations** — handles missing modalities robustly через единый framework
+2. **Missing modality bank** — synthesizes unobserved modality combinations из observed ones (direct ancestor of "modality completion" patterns)
+3. **Dual-router MoE design:**
+   - **G-Router** (generalized) — trains experts на complete-modality samples → injects broad knowledge
+   - **S-Router** (specific) — top-1 gate к expert corresponding к observed modality combination
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр | Значение |
+|:---------|:---------|
+| **Venue** | NeurIPS 2024 **Spotlight** ⭐⭐⭐ |
+| **ADNI 4 modalities** ⭐ | **Image (ℐ)** + **Genetic (𝒢)** + **Clinical (𝒞)** + **Biospecimen (ℬ)** — Alzheimer's Disease stage prediction |
+| **MIMIC-IV setup** | **Lab/Vital values (ℒ)** + **Clinical Notes (𝒩)** + **ICD-9 Codes (𝒞)** — binary 1-year mortality classification |
+| **G-Router (generalization)** | $\mathbf{y} = \sum \mathcal{R}(\mathbf{x})_i \cdot f_i(\mathbf{x})$, $\mathcal{R}(\mathbf{x}) = \text{Top-K}(\text{softmax}(g(\mathbf{x})), k)$. Train на **complete-modality samples** + load/importance balancing loss |
+| **S-Router (specialization)** | $\mathcal{L}_{ce} = -\sum_j MC(\mathbf{x}_j) \log(\max(\mathcal{S}\text{-Router}(\mathbf{x}_j)))$ — top-1 expert per modality combination MC; balancing loss only для k-1 remaining |
+| **Missing Modality Bank** | $\mathbf{e}_i^m = \text{Encoder}^m(i)$ if observed; $\mathbf{e}_i^m = \mathbf{B}_{\mathcal{M}\setminus m, m}$ if missing. Learnable bank $\mathbf{B} \in \mathbb{R}^{(2^{|\mathcal{M}|}-1) \times |\mathcal{M}|}$ |
+| **ADNI ACC (full modalities)** ⭐ | **Flex-MoE 66.11 ± 1.14** > MAG (best baseline) 61.44 ± 1.61 = **+7.6%**; vs FuseMoE +11.07% |
+| **MIMIC-IV ACC** ⭐ | **Flex-MoE 76.81 ± 0.90** > MulT 64.62 ± 0.44 = **+12.19pp** ⭐⭐ |
+| **Total params** ⭐ | **36,916,167** (Flex-MoE) vs **340,929,475** (FuseMoE) = **−89.17% reduction** ⭐⭐ |
+| **Compute efficiency** | 22.74% gain mean time; 1.15% gain GFLOPs |
+| **Ablation breakdown** | w/o ES (Expert Spec): 62.75 ACC; w/o ES+EG (Expert Gen): 62.49; w/o embedding bank: 63.87. **Both ES + EG drop = most severe** |
+| INT8 / Jetson | НЕ УПОМИНАЕТСЯ (но Top-1 routing → TRT incompat per vault verdict) |
+| **Code** | ✅ [github.com/UNITES-Lab/flex-moe](https://github.com/UNITES-Lab/flex-moe) |
+
+### Что нужно проекту MERIDIAN
+
+- **DIRECT EVIDENCE для H_fusion_7** (F5 MoE) — **NeurIPS 2024 Spotlight** = strongest peer-review tier; H_fusion_7 confidence Low → Low-Medium (verified Spotlight)
+- **Missing modality bank** pattern = **direct precedent** для MERIDIAN modality dropout p=0.5 strategy (H_fusion_10 Student text dropout)
+- **G-Router + S-Router dual design** — concept применим если в Teacher introduce 5 specific modality experts (RGB / depth / CHM / edges / text)
+- **Top-1 sparse routing** — **TRT incompatible per fuse_review_2 verdict** («L2-distance gating needs custom TensorRT plugin; Top-K dynamic routing complicates static graph optimization») — **REJECT для Student deployment**, только Teacher cloud / E5+ ablation
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально)
+
+```mermaid
+flowchart LR
+    M1[Modality 1] --> G[G-Router<br/>generalized<br/>expert]
+    M2[Modality 2] --> G
+    M3[Modality 3<br/>(may be missing)] --> Bank[Missing modality bank]
+    M4[Modality 4<br/>(may be missing)] --> Bank
+    Bank --> Synthesized[Synthesized<br/>unobserved combinations]
+    Synthesized --> S[S-Router<br/>top-1 expert<br/>per observed combination]
+    G --> Output[Combined output]
+    S --> Output
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **G-Router** (Generalized) | Trains experts на **complete-modality samples** (when all M modalities present); инъецирует broad knowledge |
+| **S-Router** (Specific) | **Top-1 sparse gate** к expert corresponding к observed modality combination |
+| **Missing modality bank** | Synthesizes unobserved combinations of modalities из existing complete examples → enables training всех combinations |
+| **Top-1 routing** | Single expert per sample → sparse compute; HARD on TRT static graph |
+
+> Detailed math pending PDF acquire.
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion (E1) — H_fusion_7** | **Средняя** | Spotlight evidence — но ADNI medical (4 modalities) ≠ MERIDIAN aerial (5 modalities); methodology переносима |
+| **Modality dropout (Student)** | **Высокая** ⭐ | Missing modality bank = **direct conceptual precedent** для H_fusion_10 Student text dropout p=0.5 |
+| **Edge / INT8 / Student** | ⛔ INAPPLICABLE | Top-1 sparse routing breaks TRT static graph (vault verdict fuse_review_2) |
+| **CVGL retrieval** | Низкая | ADNI/MIMIC-IV — medical multimodal classification; **conceptually переносимо** на MERIDIAN K=5 если defer to E5+ |
+
+### 3.2. Что заимствуем
+
+1. **Missing modality bank pattern** — для MERIDIAN: **synthesize text-absent samples** в training через "completed → text-removed" pairs; teach Student что zero text vector ≡ identity FiLM → **prerequisite для graceful degradation**
+2. **Dual G/S router design** — для Teacher cloud E5+ MoE ablation: G-Router на 5-modality complete batch, S-Router на per-batch missing combination
+3. **NeurIPS Spotlight evidence** для H_fusion_7 elevation (если когда-нибудь добавим MoE к MERIDIAN)
+
+### 3.3. Что НЕ заимствуем
+
+1. **Top-1 sparse routing** для Student — TRT incompatible
+2. **ADNI/MIMIC-IV datasets** — irrelevant
+3. **Full MoE architecture** — overkill для K=5 MERIDIAN budget (5M Student total, 50M Teacher)
+
+### 3.4. Связь с MERIDIAN H_fusion_X
+
+| Гипотеза | Связь |
+|:---------|:------|
+| **H_fusion_7** (F5 MoE на variable scenes) | **NeurIPS Spotlight evidence** — confidence Low → Low-Medium (но defer to E5+) |
+| **H_fusion_10** (Student text dropout p=0.5) | **Missing modality bank** = direct conceptual precedent для graceful degradation; **add citation в HYP** |
+| **A6 / H_head_13** (HYP_SOFIA REJECT) | **Confirm:** Top-1 sparse routing also TRT-incompatible (analog к Hyperprediction) |
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F46_2024_FuseMoE_Mixture-of-Experts_Transformers_Fleximodal]] — **sister NeurIPS 2024 paper** (FuseMoE); параллельный MoE-fusion approach
+- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — non-MoE alternative (Condition Token + adapters)
+- [[../_reviews/READING_BACKLOG]] entry #33 — original P1 from §2.3 (deferred to E5+)
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_7** (F5 MoE) — Spotlight evidence ⭐
+- [[HYP_fusion_variants]] **H_fusion_10** (Student text dropout) — missing modality bank precedent
+- [[ANALYSIS_FiLM_alternatives_taxonomy]] §0.5.0 fuse_review_2 #6 (Flex-MoE)
+- [[../../2_hypotesis/02_student/HYP_SOFIA_v72_design]] §4.3.2 A6 row (analog REJECT для F.* MoE на Student)
+
+### Связанные эксперименты
+
+- **E1** Teacher fusion — H_fusion_7 alternative (если Multi-FiLM не хватает на variable scenes)
+- **E5+** Modality ablation — MoE primary use-case
+- **Не E0/E2/E4 production** — MoE deferred
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2410.08245](https://arxiv.org/abs/2410.08245) | **VERIFIED NeurIPS 2024 Spotlight** ⭐⭐⭐; Dual-router (G+S); Missing modality bank; ADNI + MIMIC-IV |
+| 2026-05-06 | Created P1 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; **Spotlight venue verified** — strongest peer-review evidence для MoE category |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для exact accuracy/F1 на ADNI/MIMIC-IV; G-Router/S-Router formulas; expert capacity / top-k
+- [ ] **GitHub code:** найти URL + verify implementation
+- [ ] **Cross-comparison vs FuseMoE (F46):** оба NeurIPS 2024, разные approaches
+- [ ] **MERIDIAN missing modality bank adaptation** — for E5+ Teacher MoE ablation pre-design
+
+## Sources
+
+- [arXiv:2410.08245 — Flex-MoE](https://arxiv.org/abs/2410.08245)
+- NeurIPS 2024 Spotlight (verified submission metadata)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось
+> MEDIUM existing (186 lines, NeurIPS 2024 Spotlight). Refresh:
+> - **1** stale H-ID (~~H_fusion_7 MoE F5~~ → H_fusion_7 теперь Spatial-FiLM в v3)
+> - **6** новых cross-links (HYP_v3, SPEC_v4, F43, F88 KARMMA, F89 dropout, F90)
+> - **NEW H_fusion_X mapping** + **missing-modality family taxonomy** (5 papers)
+
+### I.1. Stale claims
+
+| Claim из 4.6 | Обновление |
+|:-------------|:-----------|
+| `H_fusion_7 (MoE F5)` | ⚠️ STALE: H_fusion_7 в v3 — Spatial-FiLM per-pixel (research-arm), не MoE; MoE pattern → отдельная категория в ANALYSIS_FiLM_alternatives_taxonomy_v3 |
+| `Modality dropout p=0.5` | OK; уточнить — связать с F89 (improved modality dropout) + F90 (gradual dropout) |
+
+### I.2. Missing-modality family taxonomy (NEW)
+
+Vault теперь содержит **5 missing-modality / modality-dropout variants** (post-2026-05-10):
+
+| Paper | Approach | Venue | Cluster |
+|:------|:---------|:------|:--------|
+| **F45 Flex-MoE** ⭐ | Missing modality bank + dual-router MoE | **NeurIPS 2024 Spotlight** ✅ | MoE/cond |
+| F43 Robust-PEFT | PEFT для missing modalities | arXiv 2024 | Robust/MoE |
+| F88 KARMMA | Multimodal KD + missing-modality | arXiv 2026 | (excluded post-cutoff) |
+| F89 Contrastive Multimodal Fusion + Improved Modality Dropout | Improved dropout с contrastive loss | arXiv 2025 | (excluded post-cutoff) |
+| F90 Gradual Modality Dropout (UpAttLLSTM) | Gradual dropout schedule | arXiv 2026 | (excluded post-cutoff) |
+
+**Conclusion:** Flex-MoE — **самый peer-reviewed** в family (NeurIPS Spotlight); canonical reference для MERIDIAN missing-modality strategy.
+
+### I.3. Cross-link обновление
+
+**Новые backlinks (post-2026-05-10):**
+- [[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]] — KD-pattern для missing modality (complement к Flex-MoE bank)
+- [[F89_2025_Contrastive_Multimodal_Fusion_Improved_Modality_Dropout]]
+- [[F90_2026_Gradual_Modality_Dropout_UpAttLLSTM]]
+
+**Обновлённые backlinks (внутренние):**
+- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
+- ➕ [[SPEC_fusion_ACF_MERIDIAN_v4]]
+- ➕ [[F43_2024_Robust_Multimodal_Missing_Modalities_PEFT]] — closely related в family
+
+### I.4. H_fusion_X mapping (NEW)
+
+| Гипотеза (v3 canon) | Связь Flex-MoE |
+|:-------------------|:----------------|
+| **H_fusion_2** ACF (Primary) | MoE expert selection = alternative к Multi-FiLM modulation; canonical pattern для arbitrary modality combinations |
+| **H_fusion_8 (NEW)** Gated subnet | G-Router/S-Router — gating-based subnet pattern; partial precedent (но MoE — sparse, не dense gating) |
+| **H_KD_* (E2 strategy E)** | Missing modality bank = canonical pattern для production-ready Feature-KD strategy E (combine с F88 KARMMA) |
+| ~~H_fusion_7 (MoE F5)~~ ⚠️ STALE | v2 нумерация; H_fusion_7 в v3 — Spatial-FiLM |
+
+### I.5. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: High (E5+ deferred; canonical missing-modality reference)
+🔭 Layer mapping:
+   - T-ACF MoE alt (H_fusion_2)        ★★★⭐ NeurIPS Spotlight evidence
+   - Missing modality bank             ★★★★★ canonical для E2 KD-E robustness
+   - H_fusion_8 partial precedent      ★★    sparse routing ≠ dense gating
+   - KD E2 (strategy E + KARMMA)       ★★★★ direct evidence chain
+   - V-Q LowFormer / N6 INT8           ❌    no edge evidence (medical domain)
+⏰ Refresh effort: minor; ~15 min
+🔁 Re-refresh: not needed
+🚦 Upstream impact:
+   - Flag [[ANALYSIS_KD_for_MERIDIAN]] — Flex-MoE missing modality bank + KARMMA для E2 strategy E robustness
+```
+
+### I.6. Action items
+
+**🔄 REFRESHED:**
+- [ ] **[H_fusion_2, High]** Document Flex-MoE как NeurIPS Spotlight reference для MoE-based ACF в [[SPEC_fusion_ACF_MERIDIAN_v4]] (E5+ research priority).
+- [ ] **[KD-E, High]** Document missing modality bank pattern в [[ANALYSIS_KD_for_MERIDIAN]] §E robustness; combine F45 + F88 KARMMA.
+
+**⚠️ DEPRECATED:**
+- ~~H_fusion_7 (MoE F5)~~ — DEPRECATED.
+
+---
+
+**Refresh signature:** 2026-05-16 / Opus 4.7 / single-minimal
--- a/docs/02_references/06_paper_analyses/F46_2024_FuseMoE_Mixture-of-Experts_Transformers_Fleximodal.md
+++ b/docs/02_references/06_paper_analyses/F46_2024_FuseMoE_Mixture-of-Experts_Transformers_Fleximodal.md
@@ -0,0 +1,258 @@
+---
+type: literature
+status: review
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags:
+  - literature
+  - method/moe
+  - method/mixture-of-experts
+  - method/laplace-gating
+  - method/missing-modality
+  - component/fusion
+  - component/multi-modal
+  - arch/transformer
+  - year/2024
+  - venue/neurips
+  - priority/medium
+  - refreshed/opus47
+relevance:
+  - §2.3 fusion (косвенно — MoE alternative)
+  - E5+ MoE ablation
+  - irregular temporal sampling
+related:
+  - "[[F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination]]"
+  - "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
+  - "[[F43_2024_Robust_Multimodal_Missing_Modalities_PEFT]]"
+  - "[[F88_2026_KARMMA_Multimodal_KD_Missing_Modalities]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+  - "[[../_reviews/READING_BACKLOG]]"
+applicable_to:
+  - E5+
+  - future / appendix
+  - irregular-temporal
+author: claude
+arxiv: "2402.03226"
+year: 2024
+venue: NeurIPS 2024
+---
+
+#literature #fusion #moe #year/2024 #venue/neurips #refreshed/opus47
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16; P2 verify 2026-05-16)
+>
+> **Refreshed from:** 2026-05-06 (Opus 4.6, NeurIPS 2024 ⭐⭐, 190 lines = MEDIUM)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **Robust/MoE**
+> **Mode:** single-minimal + **P2 verify via arXiv HTML** (2026-05-16)
+> **Diff highlights:**
+> - 🔄 NEW: §I REFRESH DELTA
+> - ✅ **VERIFIED Laplace gating** (P2 2026-05-16): arXiv HTML 2402.03226 содержит 3+ упоминания «Laplace gating function» + явная формула $h_l(x) = \text{Top-K}(-\|W - x\|_2)$. Это **4-th CONFIRMED evidence source для H_fusion_8** (наряду с F86 / F44 DSSF / F65 M3-block), no longer «pending verify».
+> - ⚠️ STALE: H_fusion_7 (MoE F5) → не существует в v3
+> - 🎯 REASSESSED: sister paper F45 Flex-MoE (Spotlight) — F45 stronger evidence для missing-modality; F46 — **canonical для Laplace gating sub-pattern** в H_fusion_8 evidence chain
+
+# F46_2024 — FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion
+
+> **TL;DR.** **VERIFIED NeurIPS 2024** ⭐⭐. **MoE Transformer framework** для multimodal с incomplete data + irregular temporal sampling. **Laplace gating mechanism** (✅ CONFIRMED via arXiv HTML 2026-05-16; formula: $h_l(x) = \text{Top-K}(-\|W - x\|_2)$ — distance-based vs standard softmax). 45-page paper, 10 tables, 13 figures (substantial work). **Релевантность для MERIDIAN:** sister paper Flex-MoE (F45, both NeurIPS 2024); **Laplace gating = mathematically elegant + Top-K, distance-based** — canonical mechanism для H_fusion_8 Gated subnet (4-th confirmed evidence source). Full MoE incompatible с edge (Top-K routing TRT-blocked).
+
+---
+
+## 1. Главное (BLUF)
+
+**Авторы:** Xing Han, Huy Nguyen, Carl Harris, Nhat Ho, Suchi Saria.
+[arXiv:2402.03226](https://arxiv.org/abs/2402.03226), **VERIFIED NeurIPS 2024** ⭐⭐.
+
+### Контрибуция (3 ключевых пункта)
+
+1. **MoE Transformer framework** для multimodal с **incomplete data + irregular temporal sampling** (хроническая проблема clinical multimodal)
+2. **Innovative gating mechanism**: **Laplace gating** (✅ CONFIRMED via arXiv HTML 2026-05-16, P2 verify) — distance-based Top-K, formula $h_l(x) = \text{Top-K}(-\|W - x\|_2)$
+3. **Enhanced convergence rates** → better performance на multiple downstream tasks
+
+### Ключевые числа (PDF DEEP-DIVE 2026-05-06)
+
+| Параметр | Значение |
+|:---------|:---------|
+| **Venue** | **NeurIPS 2024** ⭐⭐ verified |
+| Paper size | 45 pages, 10 tables, 13 figures |
+| **Datasets (verified)** | **MIMIC-III + MIMIC-IV** (time series, chest X-rays, notes, ECGs); **CMU-MOSI + CMU-MOSEI** (visual/acoustic/textual); **PAM** (Physical Activity Monitoring wearable); **CIFAR-10** |
+| **Laplace Gating formula** ⭐ | ✅ **VERIFIED 2x** (2026-05-06 PDF deep-dive + 2026-05-16 P2 arXiv HTML re-verify): $h_l(x) = \text{Top-K}(-\|W - x\|_2)$ — L2-distance based, **НЕ inner products** как в standard softmax. Bounded $\exp(-\|W-x\|_2)$ prevents extreme weight distributions vs softmax representation collapse. **Canonical mechanism для H_fusion_8 Gated subnet evidence chain (4-th source)** |
+| **Theoretical contribution** ⭐⭐ | **Theorem 3.1**: convergence rate $\mathcal{O}(\sqrt{\log n / n})$ — **parametric rate**, comparable but superior to softmax's $\mathcal{O}(n^{-1/4})$ |
+| **MOSI metrics** | **MAE 0.65 / Acc-2 88.23% / Corr 0.84** — outperforms MAG (prior best) + Softmax-MoE baseline |
+| **MOSEI metrics** | **MAE 0.54 / Acc-2 86.41% / F1 85.43%** |
+| **FlexiModal definition (verified)** | "any combination of modalities, even с arbitrary missingness or irregularity"; missing modalities — learnable **missing indicator embeddings ($\mathcal{Z}$)** routed to under-utilized experts; **applicable train + test time** |
+| **Per-modality routers + entropy regularization** | Components verified: per-modality routers (vs joint), entropy reg loss $\mathcal{E}$, Laplace vs Softmax gating |
+| **Vault verdict (fuse_review_2 E6)** | ★★☆☆☆ — Laplace gating **mathematically elegant** ✅ verified; Full MoE too heavy для 5-8M Jetson budget; Top-K dynamic routing breaks TRT |
+| Params / FLOPs (specific) | Appendix G refs computational resources, **точные размеры не в provided excerpt** |
+| INT8 / Jetson | НЕ УПОМИНАЕТСЯ (Top-K routing TRT-incompatible) |
+| Code | НЕ ВЫЯВЛЕНО в provided excerpt |
+
+### Что нужно проекту MERIDIAN
+
+- **Secondary evidence для H_fusion_7** (F5 MoE) — **NeurIPS 2024** = strong peer-review (но не Spotlight как Flex-MoE F45)
+- **Laplace gating** (per vault verdict) — alternative к standard top-k routing; vault: «mathematically elegant»
+- **Vault verdict для MERIDIAN edge:** «Full MoE layer too heavy для 5–8M param budget on Jetson. Dynamic routing on TensorRT/INT8 is non-trivial» (fuse_review_2 E6 verdict)
+- **Borrow components, not architecture:** entropy loss + learnable placeholders (как Flex-MoE missing modality bank)
+
+---
+
+## 2. Метод
+
+### 2.1. Архитектурный pipeline (концептуально)
+
+```mermaid
+flowchart LR
+    M1[Modality 1<br/>(may be missing)] --> Encoder1[Modality encoder 1]
+    M2[Modality 2<br/>(irregular temporal)] --> Encoder2[Modality encoder 2]
+    M3[Modality 3] --> Encoder3[Modality encoder 3]
+    Encoder1 --> Gating[Innovative gating<br/>(Laplace per vault)]
+    Encoder2 --> Gating
+    Encoder3 --> Gating
+    Gating --> MoE[MoE Transformer<br/>experts]
+    MoE --> TaskHead[Downstream task head]
+```
+
+### 2.2. Ключевые компоненты
+
+| Компонент | Описание |
+|:----------|:---------|
+| **MoE Transformer** | Standard MoE-Transformer с modality-specific и cross-modality experts |
+| **Gating mechanism** | Custom — vault claims **Laplace gating** (но не verified в abstract); robust к incomplete data |
+| **Incomplete data handling** | Designed для missing modalities + irregular temporal sampling (clinical scenario) |
+
+> Detailed math pending PDF acquire.
+
+### 2.3. Vault verdict (fuse_review_2 E6)
+
+> [!warning] [[../../../1_lit_research/3_fusion/reviews/_legacy/fuse_review_2]] E6 verdict
+> «Full MoE layer too heavy для 5–8M param budget on Jetson. mTAND temporal encoder irrelevant для spatial modalities. Dynamic routing on TensorRT/INT8 is non-trivial. No distillation framework.»
+>
+> **★★☆☆☆** — Technical inspiration. Laplace gating mathematically elegant и missing modality mechanism most principled, **но full MoE architecture incompatible с edge deployment**. Borrow specific components (entropy loss, learnable placeholders) rather than architecture.
+
+---
+
+## 3. Применимость к MERIDIAN
+
+### 3.1. Релевантность к компонентам
+
+| Компонент MERIDIAN | Релевантность | Что |
+|--------------------|:-------------:|:----|
+| **Teacher fusion (E1)** | Низкая-средняя | NeurIPS 2024 evidence — но clinical scope (MIMIC-style); MERIDIAN aerial CVGL ≠ |
+| **Student edge** | ⛔ INAPPLICABLE | Vault verdict: **Full MoE too heavy для 5-8M budget**; Top-k dynamic routing breaks TRT |
+| **H_fusion_7** (F5 MoE) | **Средняя** | **Secondary evidence** к Flex-MoE Spotlight (F45) |
+| **Laplace gating concept** | **Средняя** (component) | Может быть использовано в Teacher G/S router design (per vault recommendation: borrow components) |
+| **Missing modality** | Средняя | Concept similar Flex-MoE missing modality bank, но менее direct |
+
+### 3.2. Что заимствуем (per vault verdict)
+
+1. **Entropy loss** — для regularization MoE routing (если когда-нибудь добавим)
+2. **Learnable placeholders** — analog Flex-MoE missing modality bank → for MERIDIAN modality dropout
+3. **NeurIPS evidence** для H_fusion_7 elevation (combined с F45 Spotlight)
+
+### 3.3. Что НЕ заимствуем (per vault verdict)
+
+1. **Full MoE architecture** — incompatible с edge budget
+2. **Laplace gating implementation** — custom TRT plugin required
+3. **mTAND temporal encoder** — irrelevant для spatial modalities (MERIDIAN spatial RGB+depth)
+4. **Clinical dataset focus**
+
+### 3.4. Связь с MERIDIAN H_fusion_X
+
+| Гипотеза | Связь |
+|:---------|:------|
+| **H_fusion_7** (F5 MoE) | Secondary evidence post Flex-MoE (Spotlight) |
+| **H_fusion_10** (Student text dropout) | Learnable placeholders concept (similar Flex-MoE bank) |
+| **Vault rejection** для Student | Confirms Top-k dynamic routing TRT incompatibility (analog к A6 Hyperprediction) |
+
+---
+
+## 4. Связи
+
+### Связанные обзоры
+
+- [[F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination]] — **sister paper (NeurIPS 2024 Spotlight)**; parallel MoE-fusion approach с different design
+- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — non-MoE alternative с lower compute
+- [[../_reviews/READING_BACKLOG]] entry #34 — original P1 from §2.3 (deferred to E5+)
+
+### Связанные гипотезы
+
+- [[HYP_fusion_variants]] **H_fusion_7** (F5 MoE) — combined Spotlight+NeurIPS evidence
+- [[ANALYSIS_FiLM_alternatives_taxonomy]] §0.5.0 fuse_review_2 #5
+
+### Связанные эксперименты
+
+- **E5+** Modality ablation — MoE primary use-case
+- **Не Student E2/E4 production** — vault verdict: too heavy
+
+---
+
+## Acquisition log
+
+| Дата | Действие | Результат |
+|:-----|:---------|:----------|
+| 2026-05-06 | WebFetch [arxiv.org/abs/2402.03226](https://arxiv.org/abs/2402.03226) | **VERIFIED NeurIPS 2024** ⭐⭐; 45-page substantial work; gating mechanism (Laplace per vault, not verified abstract) |
+| 2026-05-06 | Created P1 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; NeurIPS 2024 venue verified; vault verdict cited |
+
+## TODO / открытые вопросы
+
+- [ ] **PDF acquire:** для verify Laplace gating mention (vault claim из fuse_review_2); exact datasets; benchmark numbers
+- [ ] **Cross-comparison vs Flex-MoE (F45):** оба NeurIPS 2024, FuseMoE more substantial paper (45 pages vs short Spotlight)
+- [ ] **GitHub code search:** не указан в abstract
+- [ ] **Component extraction:** учитывать vault verdict — extract entropy loss + learnable placeholders concepts only
+
+## Sources
+
+- [arXiv:2402.03226 — FuseMoE](https://arxiv.org/abs/2402.03226)
+- NeurIPS 2024 (verified submission metadata)
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось
+> MEDIUM existing (190 lines, NeurIPS 2024 ⭐⭐). Refresh:
+> - **1** stale H-ID (H_fusion_7 MoE F5 → deprecated в v3)
+> - **3** новых cross-links (HYP_v3, F43, F88 KARMMA)
+> - **NEW H_fusion_X mapping** + Laplace gating → H_fusion_8 potential 4-source
+
+### I.1. Stale claims
+
+| Claim из 4.6 | Обновление |
+|:-------------|:-----------|
+| `H_fusion_7 (MoE F5)` | ⚠️ STALE; H_fusion_7 в v3 = Spatial-FiLM research-arm |
+
+### I.2. H_fusion_X mapping (NEW)
+
+| Гипотеза (v3 canon) | Связь FuseMoE |
+|:-------------------|:---------------|
+| **H_fusion_2** ACF (Primary) | MoE+Laplace gating = alternative arm для ACF; sister к F45 Flex-MoE |
+| **H_fusion_8 (NEW)** Gated subnet | **Laplace gating = potential 4-th evidence source** для H_fusion_8 (наряду с F44 DSSF + F65 M3-block + F86 MBGFN); unique mathematically principled gate |
+| **H_KD_*** (missing-modality) | Learnable placeholders для missing modality = pattern для E2 strategy E robustness |
+| ~~H_fusion_7 (MoE F5)~~ ⚠️ STALE | Deprecated в v3 |
+
+### I.3. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: Medium (deferred E5+ ablation; sister к F45 Spotlight)
+🔭 Layer mapping:
+   - H_fusion_2 ACF MoE alt              ★★★  NeurIPS 2024
+   - H_fusion_8 Laplace gating evidence  ★★★⭐ unique 4-th source potential
+   - Missing-modality (learnable placeholders) ★★★ pattern для KD-E
+   - V-Q LowFormer / N6 INT8             ❌    full MoE ≠ edge-friendly
+⏰ Refresh effort: minor; ~10 min
+🔁 Re-refresh: not needed
+🚦 Upstream impact:
+   - Flag [[HYP_fusion_variants_v3]] §H_fusion_8 — рассмотреть F46 Laplace gating как 4-th evidence source
+```
+
+### I.4. Action items
+
+**🔄 REFRESHED:**
+- [ ] **[H_fusion_8, Low]** Verify Laplace gating mention в FuseMoE PDF — если confirmed, add как 4-th evidence source для H_fusion_8.
+
+**⚠️ DEPRECATED:**
+- ~~H_fusion_7 (MoE F5)~~ — DEPRECATED.
+
+---
+
+**Refresh signature:** 2026-05-16 / Opus 4.7 / single-minimal
--- a/docs/02_references/06_paper_analyses/F4_2025_EARTHMIND
+++ b/docs/02_references/06_paper_analyses/F4_2025_EARTHMIND
@@ -0,0 +1,708 @@
+---
+type: literature
+status: done
+date: 2026-05-16
+refreshed_from: 2026-03-26
+primary_category: 3_fusion
+tags: [literature, component/fusion, component/teacher, method/multimodal-llm, method/cross-sensor, arch/llm, task/review, year/2025, venue/arxiv, priority/high, refreshed/opus47]
+related:
+  - "[[F1_2025_EarthDial Turning Multi-sensory Earth Observations to Interactive Dialogues]]"
+  - "[[F9_2025_VHM Versatile and Honest Vision Language Model for Remote Sensing Image Analysis]]"
+  - "[[F6_2025_FUSE-RSVLM Feature Fusion Vision-Language Model for Remote Sensing]]"
+  - "[[F8_2025_SegEarth-R1 Geospatial Pixel Reasoning via Large Language Model]]"
+  - "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[SPEC_fusion_ACF_MERIDIAN_v4]]"
+applicable_to: [E1, Teacher_knowledge, §2.3]
+author: claude
+arxiv: "2506.01667"
+venue: arXiv 2025
+year: 2025
+---
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
+>
+> **Refreshed from:** 2026-03-26 (Opus 4.6, full PDF deep-dive, 633 lines = Very DEEP, **минимальный frontmatter**)
+> **Trigger:** [[../_top50_to_reanalyze]] Tier A, cluster **mLLM-EO** (cross-sensor unified LLM)
+> **Mode:** single-minimal + frontmatter expansion
+> **Diff highlights:**
+> - 🔄 NEW: expanded frontmatter + §I REFRESH DELTA с Adaptive Fusion mapping к ACF MERIDIAN
+> - ⚠️ STALE: HYP_fusion_variants → v3; implicit references к v2 fusion taxonomy
+> - 🎯 REASSESSED: EarthMind **Adaptive Fusion** — direct conceptual match для ACF MERIDIAN (Adaptive Cross-Fusion); cluster mLLM-EO complement к EarthDial (F1) — оба multi-sensor LLM, но разные fusion mechanisms
+
+#fuse #remote_sensing #multimodal #vlm #refreshed/opus47
+
+
+Adaptive Fusion
+
+
+
+# Структурированный анализ: EarthMind
+
+---
+
+## 1. МЕТАДАННЫЕ СТАТЬИ
+
+**Полное название:** EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM
+
+**Авторы и аффилиации:** Yan Shu¹, Bin Ren¹˒⁴˒⁵, Zhitong Xiong³, Danda Pani Paudel⁵, Luc Van Gool⁵, Begüm Demir², Nicu Sebe¹, Paolo Rota¹
+
+1. University of Trento
+2. BIFOLD & Technische Universität Berlin
+3. Technical University of Munich
+4. University of Pisa
+5. INSAIT, Sofia University "St. Kliment Ohridski"
+
+**Год:** 2025 (arXiv v2 — 28 Sep 2025)
+
+**Venue:** Preprint (ICLR submission — видно по formatting и disclosure statement в Appendix B). Рейтинг venue: на момент анализа — preprint, не рецензирована.
+
+**arXiv ID:** 2506.01667v2
+
+**DOI:** —
+
+**Число цитирований:** неизвестно (preprint)
+
+**Код:** https://github.com/shuyansy/EarthMind (заявлен, доступность не верифицирована)
+
+---
+
+## 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)
+
+Статья решает проблему **монимодальности существующих MLLM для Earth Observation (EO)**: все текущие модели работают только с одним сенсором (оптика ИЛИ SAR), теряя комплементарную информацию между гетерогенными модальностями. Оптические данные (Sentinel-2) дают спектральную детализацию, но страдают от облачности; SAR (Sentinel-1) работает всепогодно, но имеет шум спекла и низкое signal-to-noise ratio.
+
+Авторы предлагают **EarthMind** — единый vision-language framework на базе InternVL2 + SAM2, способный принимать как один сенсор, так и пару Optical+SAR. Ядро метода — **Hierarchical Cross-modal Attention (HCA)** — лёгкий модуль, который в два этапа (cross-sensor attention → text-guided attention) вычисляет адаптивные веса слияния, привязанные к плотности сенсора и релевантности запроса.
+
+Принципиальная новизна: (a) первый open-source MLLM с явным cross-sensor fusion для EO; (b) двухступенчатый иерархический механизм attention, борющийся с modality bias (LLM предпочитают оптику из-за преобладания RGB в pretraining); (c) FusionEO — 30K парных instruction-tuning данных; (d) EarthMind-Bench — первый бенчмарк для мульти-сенсорных MLLM (2841 пар, 10 задач).
+
+Основная гипотеза: наивная конкатенация токенов двух модальностей приводит к **modality imbalance** (оптика доминирует), и для эффективного fusion нужен явный механизм балансировки внимания с учётом задачи.
+
+---
+
+## 3. АРХИТЕКТУРА И МЕТОД
+
+### 3.1. Общая структура
+
+**Pipeline на высоком уровне:**
+
+Входные данные (Optical и/или SAR) проходят через два визуальных энкодера: Visual Encoder (Eᵥ, для глобальной семантики) и Ground Encoder (Eᵍ, для пространственного понимания — это часть SAM2). Vision-Language Projector (VLP) трансформирует визуальные признаки в последовательность токенов X^V, выровненных с пространством LLM. При наличии двух модальностей модуль HCA выполняет адаптивное слияние перед подачей в LLM. LLM генерирует текстовые ответы; если встречается специальный токен `<SEG>`, его hidden state подаётся в Mask Decoder (Dₘ) для генерации сегментационной маски.
+
+**Ключевые модули и назначение:**
+
+1. **Visual Encoder (Eᵥ)** — InternViT из InternVL2; обрабатывает оптику и SAR единообразно. Каждый патч → 256 токенов. SAR (1–2 канала) паддится до pseudo-RGB. Мультиспектральные каналы группируются тройками → multi-frame последовательность.
+2. **Ground Encoder (Eᵍ)** — часть SAM2, обеспечивает fine-grained spatial features для сегментации.
+3. **Vision-Language Projector (VLP)** — линейная проекция визуальных токенов в embedding-пространство LLM (D измерений).
+4. **Hierarchical Cross-modal Attention (HCA)** — центральный модуль; двухступенчатый attention для adaptive fusion Optical и SAR.
+5. **LLM** — InternLM2 (4B параметров), fine-tuned через LoRA.
+6. **Mask Decoder (Dₘ)** — из SAM2, генерирует маски по prompt из `<SEG>` токена.
+
+**Поток данных:**
+
+```
+Optical Image → Eᵥ → VLP → X^V_o ∈ ℝ^{P×D}
+SAR Image    → Eᵥ → VLP → X^V_s ∈ ℝ^{N×D}     ──→ HCA ──→ X^V_fused ∈ ℝ^{N×D} ──→ LLM
+Text Query   → Tokenizer → X^T ∈ ℝ^{L×D}  ────────↗                                      ↓
+                                                                                    Text Output
+Optical Image → Eᵍ ─────────────────────────────────────────────────────────→ Mask Decoder
+                                                                              (if <SEG> token) → Mask
+```
+
+### 3.2. Визуальные материалы
+
+**Figure 1** — мотивационная фигура. Показывает, что GeoChat и GeoPixel, работая с одним сенсором (Optical или SAR), дают неточные VQA и сегментацию. EarthMind с fused Optical+SAR даёт значительно более детальные и корректные ответы. Информативность: высокая для мотивации, но без технических деталей.
+
+**Figure 2** — архитектурная диаграмма EarthMind. Верхняя часть: pipeline (Optical/SAR → Encoders → VLP → HCA → LLM → Text/Mask). Нижняя часть: раскрытие HCA в три подблока — Cross-Sensor Attention, Text-Guided Attention, Adaptive Fusion. Показаны входные тензоры X^V_s, X^V_o, выходные веса w^o_i, w^s_i и итоговый X^V_fused. Информативность: **ключевая фигура**, хорошо иллюстрирует иерархию, но **не показывает размерности внутренних тензоров** и не раскрывает adaptive pooling.
+
+**Figure 3** — примеры EarthMind-Bench (10 задач). Информативность: средняя, обзорная.
+
+**Figure 4** — три подграфика: (a) визуализация attention weights для Optical/SAR при разных запросах; (b) статистика весов по задачам — optical доминирует для scene classification, SAR вносит больше для segmentation; (c) аблации FusionEO. Информативность: **высокая**, особенно (a) и (b) — подтверждают адаптивность к задаче.
+
+**Table 4 (Right)** — график Modality Attention Gap (Optical - SAR) по слоям LLM для Concatenation vs HCA. Concatenation показывает gap 0.6–0.8, HCA снижает до ~0.1. Информативность: **критически важная** для валидации гипотезы.
+
+### 3.3. Математическая формализация
+
+**Modality Attention Score (MAS)** — метрика дисбаланса модальностей:
+
+$$A^m_\ell = \frac{\sum_{i \in \mathcal{I}} \sum_{j \in \mathcal{T}_m} \alpha^\ell_{i,j}}{\sum_{i \in \mathcal{I}} \sum_{k \in \mathcal{I}} \alpha^\ell_{i,k}}$$
+
+где $\mathcal{I}$ — все визуальные токены, $\mathcal{T}_m \subset \mathcal{I}$ — токены модальности $m$, $\alpha^\ell_{i,j}$ — self-attention вес от токена $i$ к $j$ на слое $\ell$ LLM. MAS показывает долю внимания, аллоцированного конкретной модальности.
+
+**Stage 1: Cross-Sensor Attention.** Adaptive pooling выравнивает Optical до SAR размерности: $\hat{X}^V_o \in \mathbb{R}^{N \times D}$. Двунаправленные attention maps:
+
+$$A^{o2s} = \text{Softmax}\left(\frac{\hat{X}^V_o (X^V_s)^\top}{\sqrt{D}}\right), \quad A^{s2o} = \text{Softmax}\left(\frac{X^V_s (\hat{X}^V_o)^\top}{\sqrt{D}}\right)$$
+
+Агрегация для per-token importance scores:
+
+$$\alpha^o_i = \frac{1}{N} \sum_{j=1}^{N} A^{s2o}_{ji}, \quad \alpha^s_i = \frac{1}{N} \sum_{j=1}^{N} A^{o2s}_{ji}$$
+
+$\alpha^o_i$ — сколько внимания $i$-й оптический токен получает от всех SAR токенов (т.е. его «важность» с точки зрения SAR).
+
+**Stage 2: Text-Guided Attention.** Учёт текстового запроса через:
+
+$$A^{o2t} = \text{Softmax}\left(\frac{\hat{X}^V_o (X^T)^\top}{\sqrt{D}}\right), \quad A^{s2t} = \text{Softmax}\left(\frac{X^V_s (X^T)^\top}{\sqrt{D}}\right)$$
+
+Агрегированные веса текст-релевантности:
+
+$$\beta^o_i = \frac{1}{L} \sum_{j=1}^{L} A^{o2t}_{ij}, \quad \beta^s_i = \frac{1}{L} \sum_{j=1}^{L} A^{s2t}_{ij}$$
+
+**Adaptive Fusion.** Итоговые веса комбинируют оба сигнала:
+
+$$\gamma^o_i = \lambda \cdot \alpha^o_i + (1 - \lambda) \cdot \beta^o_i, \quad \gamma^s_i = \lambda \cdot \alpha^s_i + (1 - \lambda) \cdot \beta^s_i$$
+
+где $\lambda$ — **обучаемый скалярный параметр**. Fusion:
+
+$$X^V_{\text{fused},i} = w^o_i \cdot \hat{X}^V_{o,i} + w^s_i \cdot X^V_{s,i}$$
+
+где $[w^o_i, w^s_i] = \text{Softmax}([\gamma^o_i, \gamma^s_i])$ — нормализованные веса. Результат: $X^V_{\text{fused}} \in \mathbb{R}^{N \times D}$.
+
+### 3.4. Ключевые технические решения
+
+1. **Pseudo-video formatting для мульти-сенсорных данных.** SAR (1–2 канала) паддится нулями до 3 каналов (pseudo-RGB). Мультиспектральные данные группируются по 3 канала → multi-frame. Это позволяет использовать единый визуальный энкодер без модификации, эксплуатируя cross-frame dependencies от video-language модели.
+    
+2. **Adaptive pooling** перед cross-sensor attention для выравнивания пространственных размерностей Optical и SAR (P → N). Критически важно, т.к. разные сенсоры генерируют разное число патчей.
+    
+3. **Learnable λ** для баланса cross-modal vs. text-guided attention. Один скаляр на всю модель — минимальный overhead.
+    
+4. **Двунаправленное внимание** (o2s + s2o) — обе модальности информируют друг друга симметрично.
+    
+5. **Sequence length reduction:** fusion output $N \times D$ вместо $(P+N) \times D$ при конкатенации — экономия квадратичной стоимости self-attention в LLM.
+    
+6. **3-stage curriculum learning:** general VL data (1.7M) → EO-specific RGB (1M) → multi-sensor paired data (30K FusionEO + replay).
+    
+7. **LoRA fine-tuning** LLM — только VLP, LoRA-адаптеры LLM и mask decoder обучаются; визуальные энкодеры заморожены.
+    
+
+---
+
+## 3.5. ★ МЕТОДЫ ОБЪЕДИНЕНИЯ ПРИЗНАКОВ (FUSION) ★
+
+### A) ТАКСОНОМИЯ FUSION В СТАТЬЕ
+
+|#|Название модуля|Тип fusion|Где применяется|Входы|
+|---|---|---|---|---|
+|1|**Cross-Sensor Attention**|Mid-level; bidirectional cross-attention; symmetric|Между VLP и LLM|Optical tokens X̂^V_o (pooled) + SAR tokens X^V_s|
+|2|**Text-Guided Attention**|Mid-level; cross-attention с текстом; asymmetric (text→vision)|Между VLP и LLM, параллельно с #1|(X̂^V_o, X^V_s) × X^T (text embeddings)|
+|3|**Adaptive Fusion (weighted sum)**|Mid-level; learnable weighted sum; per-token gating|Агрегация Stage 1 + Stage 2 → финальный fused тензор|γ^o_i, γ^s_i → w^o_i, w^s_i → weighted sum|
+|4|**Adaptive Pooling** (вспомогательный)|Resolution alignment; spatial downsampling|Перед Cross-Sensor Attention|X^V_o ∈ ℝ^{P×D} → X̂^V_o ∈ ℝ^{N×D}|
+
+По общей стратегии: **mid-level fusion** — происходит после feature extraction (визуальные энкодеры + VLP), но до подачи в LLM.
+
+По операции: **cross-attention** (Stages 1 и 2) + **learnable weighted sum** (Stage 3) + **softmax gating**.
+
+По направленности: **Stage 1** — symmetric (bidirectional o↔s); **Stage 2** — asymmetric (text → vision); **Stage 3** — per-token weighted aggregation.
+
+### B) ДЕТАЛЬНОЕ ОПИСАНИЕ КАЖДОГО FUSION-МОДУЛЯ
+
+---
+
+#### Модуль 1: Cross-Sensor Attention
+
+```
+┌──────────────────────────────────────────────────────────────────────┐
+│ Входные тензоры:                                                     │
+│   X̂^V_o ∈ ℝ^{N×D} — optical tokens после adaptive pooling          │
+│   X^V_s ∈ ℝ^{N×D} — SAR tokens (из VLP)                            │
+│   Оба из VLP, D = embedding dim LLM                                 │
+│                                                                      │
+│ Выходной тензор:                                                     │
+│   α^o ∈ ℝ^N — per-token importance optical (из перспективы SAR)      │
+│   α^s ∈ ℝ^N — per-token importance SAR (из перспективы optical)      │
+│                                                                      │
+│ Операция (шаг за шагом):                                             │
+│   1. Compute scaled dot-product: Q=X̂^V_o, K=X^V_s → A^{o2s}       │
+│   2. Аналогично: Q=X^V_s, K=X̂^V_o → A^{s2o}                      │
+│   3. Aggregate: column-wise mean of A^{s2o} → α^o (N scores)        │
+│   4. Aggregate: column-wise mean of A^{o2s} → α^s (N scores)        │
+│                                                                      │
+│ Формулы:                                                             │
+│   A^{o2s} = Softmax(X̂^V_o · (X^V_s)^⊤ / √D)                      │
+│   A^{s2o} = Softmax(X^V_s · (X̂^V_o)^⊤ / √D)                      │
+│   α^o_i = (1/N) Σ_j A^{s2o}_{ji}                                   │
+│   α^s_i = (1/N) Σ_j A^{o2s}_{ji}                                   │
+│                                                                      │
+│ Обучаемые параметры: НЕТ — без проекций Q/K/V, используются         │
+│   сырые VLP-выходы. Единственный learnable param — λ в Stage 3.      │
+│                                                                      │
+│ Мотивация: Bidirectional attention позволяет каждому токену одной     │
+│   модальности «видеть» через другую, вычисляя кросс-модальную        │
+│   значимость. Это борется с modality bias, т.к. SAR-токены           │
+│   явно оценивают важность optical-токенов и наоборот.                 │
+│                                                                      │
+│ Аналог в литературе: Напоминает cross-attention в BridgeTower         │
+│   (Xu et al., 2023) или ViLT cross-modal attention, но без           │
+│   отдельных проекционных матриц — значительно легче.                  │
+│   Также родственен CMAF (Cross-Modal Attention Fusion) в             │
+│   мультимодальных трансформерах.                                      │
+└──────────────────────────────────────────────────────────────────────┘
+```
+
+---
+
+#### Модуль 2: Text-Guided Attention
+
+```
+┌──────────────────────────────────────────────────────────────────────┐
+│ Входные тензоры:                                                     │
+│   X̂^V_o ∈ ℝ^{N×D} — optical tokens (pooled)                       │
+│   X^V_s ∈ ℝ^{N×D} — SAR tokens                                     │
+│   X^T ∈ ℝ^{L×D} — text embeddings (из tokenizer + projector)        │
+│                                                                      │
+│ Выходной тензор:                                                     │
+│   β^o ∈ ℝ^N — text-relevance score для optical tokens                │
+│   β^s ∈ ℝ^N — text-relevance score для SAR tokens                   │
+│                                                                      │
+│ Операция (шаг за шагом):                                             │
+│   1. Compute: A^{o2t} = Softmax(X̂^V_o · (X^T)^⊤ / √D)            │
+│   2. Compute: A^{s2t} = Softmax(X^V_s · (X^T)^⊤ / √D)             │
+│   3. Aggregate: row-wise mean A^{o2t} → β^o (N scores)              │
+│   4. Aggregate: row-wise mean A^{s2t} → β^s (N scores)              │
+│                                                                      │
+│ Формулы:                                                             │
+│   β^o_i = (1/L) Σ_{j=1}^L A^{o2t}_{ij}                             │
+│   β^s_i = (1/L) Σ_{j=1}^L A^{s2t}_{ij}                             │
+│                                                                      │
+│ Обучаемые параметры: НЕТ — projection-free.                         │
+│                                                                      │
+│ Мотивация: Разные задачи требуют разных модальностей. Scene          │
+│   classification → optical доминирует; road segmentation → SAR       │
+│   усиливается. Text query как conditioning signal для модальности    │
+│   — ключевая инновация. Fig. 4(b) эмпирически подтверждает.         │
+│                                                                      │
+│ Аналог: FiLM-подобная модуляция (Perez et al., 2018), но            │
+│   через attention scores, а не affine transform. Также               │
+│   родственен task-conditioned attention в MDETR, Flamingo.           │
+└──────────────────────────────────────────────────────────────────────┘
+```
+
+---
+
+#### Модуль 3: Adaptive Fusion
+
+```
+┌──────────────────────────────────────────────────────────────────────┐
+│ Входные тензоры:                                                     │
+│   α^o, α^s ∈ ℝ^N (из Stage 1)                                       │
+│   β^o, β^s ∈ ℝ^N (из Stage 2)                                       │
+│   X̂^V_o, X^V_s ∈ ℝ^{N×D} (исходные feature тензоры)               │
+│                                                                      │
+│ Выходной тензор:                                                     │
+│   X^V_fused ∈ ℝ^{N×D}                                               │
+│                                                                      │
+│ Операция:                                                            │
+│   1. Combine scores: γ^o_i = λ·α^o_i + (1-λ)·β^o_i                 │
+│   2. Combine scores: γ^s_i = λ·α^s_i + (1-λ)·β^s_i                 │
+│   3. Normalize: [w^o_i, w^s_i] = Softmax([γ^o_i, γ^s_i])           │
+│   4. Fuse: X^V_{fused,i} = w^o_i · X̂^V_{o,i} + w^s_i · X^V_{s,i} │
+│                                                                      │
+│ Обучаемые параметры: λ ∈ [0, 1] — единственный learnable scalar.    │
+│   Всего HCA добавляет ~1 параметр к модели.                         │
+│                                                                      │
+│ Мотивация: Per-token adaptive weighting через softmax гарантирует    │
+│   что для каждого пространственного положения модель выбирает         │
+│   оптимальный баланс модальностей. λ позволяет модели обучить        │
+│   глобальное предпочтение «cross-modal cues vs. task-relevance».     │
+│                                                                      │
+│ Аналог: Soft attention gating как в SE-Net (Squeeze-and-Excitation), │
+│   но двумодальный. Также напоминает mixture-of-experts routing       │
+│   с 2 экспертами, но spatial, а не channel-wise.                     │
+└──────────────────────────────────────────────────────────────────────┘
+```
+
+---
+
+#### Модуль 4: Adaptive Pooling (вспомогательный)
+
+```
+┌──────────────────────────────────────────────────────────────────────┐
+│ Вход: X^V_o ∈ ℝ^{P×D} (P optical tokens, P может > N)             │
+│ Выход: X̂^V_o ∈ ℝ^{N×D}                                            │
+│ Операция: Adaptive average pooling по пространственному измерению.   │
+│ Обучаемые параметры: НЕТ                                            │
+│ Мотивация: Optical может иметь больше патчей (выше разрешение).      │
+│   Для cross-attention нужна одинаковая пространственная размерность. │
+│ Аналог: Стандартный spatial alignment через pooling, как в FPN.      │
+└──────────────────────────────────────────────────────────────────────┘
+```
+
+### C) АРХИТЕКТУРА FUSION: ПОТОК ДАННЫХ
+
+```mermaid
+graph TD
+    subgraph "Feature Extraction"
+        OPT["Optical Image"] --> EV_OPT["Visual Encoder Eᵥ"]
+        SAR["SAR Image"] --> EV_SAR["Visual Encoder Eᵥ"]
+        EV_OPT --> VLP_OPT["VLP"]
+        EV_SAR --> VLP_SAR["VLP"]
+        VLP_OPT --> XVo["X^V_o ∈ ℝ^{P×D}"]
+        VLP_SAR --> XVs["X^V_s ∈ ℝ^{N×D}"]
+    end
+
+    subgraph "HCA Stage 1: Cross-Sensor Attention"
+        XVo --> AP["Adaptive Pooling: P×D → N×D"]
+        AP --> XVo_hat["X̂^V_o ∈ ℝ^{N×D}"]
+        XVo_hat --> CSA_o2s["A^{o2s} = Softmax(X̂·Xₛᵀ/√D)  ∈ ℝ^{N×N}"]
+        XVs --> CSA_o2s
+        XVs --> CSA_s2o["A^{s2o} = Softmax(Xₛ·X̂ᵀ/√D)  ∈ ℝ^{N×N}"]
+        XVo_hat --> CSA_s2o
+        CSA_s2o --> AGG_o["α^o ∈ ℝ^N  col-mean A^{s2o}"]
+        CSA_o2s --> AGG_s["α^s ∈ ℝ^N  col-mean A^{o2s}"]
+    end
+
+    subgraph "HCA Stage 2: Text-Guided Attention"
+        TEXT["Text Query → X^T ∈ ℝ^{L×D}"]
+        XVo_hat --> TGA_o["A^{o2t} ∈ ℝ^{N×L}"]
+        TEXT --> TGA_o
+        XVs --> TGA_s["A^{s2t} ∈ ℝ^{N×L}"]
+        TEXT --> TGA_s
+        TGA_o --> AGG_bo["β^o ∈ ℝ^N"]
+        TGA_s --> AGG_bs["β^s ∈ ℝ^N"]
+    end
+
+    subgraph "HCA Stage 3: Adaptive Fusion"
+        AGG_o --> COMBINE_o["γ^o = λ·α^o + (1-λ)·β^o"]
+        AGG_bo --> COMBINE_o
+        AGG_s --> COMBINE_s["γ^s = λ·α^s + (1-λ)·β^s"]
+        AGG_bs --> COMBINE_s
+        COMBINE_o --> SOFTMAX["[w^o, w^s] = Softmax per-token"]
+        COMBINE_s --> SOFTMAX
+        SOFTMAX --> FUSE["X^V_fused = w^o·X̂ + w^s·Xₛ  ∈ ℝ^{N×D}"]
+        XVo_hat --> FUSE
+        XVs --> FUSE
+    end
+
+    FUSE --> LLM["LLM InternLM2-4B"]
+    LLM --> OUT_TEXT["Text Output"]
+    LLM --> SEG["<SEG> Token"]
+    SEG --> MASK_DEC["Mask Decoder SAM2"]
+    MASK_DEC --> OUT_MASK["Mask Output"]
+```
+
+### D) СРАВНЕНИЕ С АЛЬТЕРНАТИВАМИ
+
+Авторы **явно** обсуждают и абалируют альтернативы fusion (Table 4):
+
+1. **Concatenation** (Xo ⊕ Xs → (P+N)×D) — baseline. Avg score 61.1. Проблемы: quadratic cost, modality bias (gap 0.6–0.8 по MAS).
+2. **Element-wise Average** ((Xo + Xs)/2 → N×D) — Avg 62.2. Лучше concat, но теряет per-token specificity.
+3. **Naive Attention** (cosine similarity между парными o/s токенами → weights) — Avg 62.8. Улучшение, но без text guidance.
+4. **HCA (proposed)** — Avg **68.3**. Gain +5.5 over Naive Attention, +7.2 over Concatenation.
+
+Ключевое наблюдение: на задаче Spatial Relationship HCA (59.7) превосходит Concatenation (34.2) почти вдвое — задачи, критичные для SAR complementarity, выигрывают драматически.
+
+Авторы **не** рассматривают: bilinear pooling, FiLM, squeeze-and-excitation, gated fusion, MoE-based fusion. Это пробел.
+
+### E) КЛЮЧЕВЫЕ ВОПРОСЫ ПО FUSION
+
+**1. Симметрична ли схема fusion?**
+
+Stage 1 — **да**, формально симметричен (bidirectional A^{o2s} и A^{s2o}). Однако Stage 2 вводит **асимметрию через текст**: для разных запросов модель может отдать предпочтение одной модальности. Stage 3 — per-token adaptive, но использует shared λ. Итого: **структурно симметричен, но функционально адаптивен** — это сильная сторона.
+
+**2. Обработка несоответствия масштабов / разрешений?**
+
+Adaptive pooling X^V_o (P×D) → X̂^V_o (N×D). Это простое average pooling. **Слабость**: теряется high-resolution информация из оптики; авторы не обсуждают альтернативы (deformable attention, feature pyramid, multi-scale fusion).
+
+**3. Есть ли механизм взвешивания?**
+
+Да — двуступенчатый: (a) cross-modal attention даёт α-scores; (b) text-guided attention даёт β-scores; (c) λ-weighted combination → softmax → per-token weights w^o, w^s. Веса обучаются end-to-end через backprop от task losses (CE + Dice). λ — единственный explicit learnable param в HCA.
+
+**4. На каком уровне иерархии?**
+
+**Mid-level, single-stage.** Fusion происходит один раз — после VLP, перед LLM. Нет multi-stage или hierarchical fusion через разные слои (несмотря на название «hierarchical» — иерархия здесь относится к двум этапам attention внутри одного модуля, а не к fusion на нескольких уровнях feature pyramid).
+
+**5. Влияние на вычислительную стоимость?**
+
+HCA добавляет: (a) 2 attention-матрицы N×N (Stage 1) — O(N²D); (b) 2 attention-матрицы N×L (Stage 2) — O(NLD); (c) 1 scalar λ. Общий overhead: ~4 матричных умножения + softmax. При N=256, D=2048, L=100 — это **пренебрежимо мало** по сравнению с LLM self-attention. Ключевой выигрыш: выход N×D вместо (P+N)×D → экономия квадратичной стоимости LLM.
+
+**6. Совместимость с произвольным числом модальностей?**
+
+В текущей формулировке — **нет**. HCA hardcoded на 2 модальности (Optical и SAR). Расширение на K>2 модальностей потребует: (a) K(K-1) попарных cross-attention или (b) centralized attention через shared query, что не тривиально. Авторы признают это ограничение в Appendix C.
+
+**7. Модальная несовместимость?**
+
+Решается через: (a) shared visual encoder (один InternViT для обоих сенсоров) — implicit alignment в feature space; (b) pseudo-RGB padding для SAR; (c) VLP как дополнительный alignment layer. Однако zero-padding SAR до 3 каналов — **грубое решение**, вносящее артефакты.
+
+**8. Риск modality dominance?**
+
+**Центральная проблема статьи.** MAS эмпирически показывает, что при конкатенации optical доминирует (gap 0.6–0.8). HCA снижает gap до ~0.1. Механизм: bidirectional cross-attention + text-guided rebalancing. Однако **нет явной penalty** за modality collapse (типа GradNorm, modality dropout, или contrastive loss между модальностями). Mitigation — чисто архитектурная, а не loss-based.
+
+### F) ПОТЕНЦИАЛ ПЕРЕНОСА В ДРУГИЕ ЗАДАЧИ
+
+**Применим ли к cross-view geolocalization?**
+
+Частично. В geolocalization мы имеем drone view и satellite view — это тоже 2 гетерогенные «модальности» с разной геометрией. HCA's bidirectional cross-attention может захватывать cross-view correspondences. Однако: (a) geolocalization — это retrieval task (embedding matching), а не generative; (b) HCA спроектирован для подачи в LLM, не для metric learning; (c) text-guided stage неприменим напрямую (нет text query при retrieval).
+
+**Совместим ли с edge deployment?**
+
+HCA сам по себе — **да**: ~0 обучаемых параметров (1 scalar λ), O(N²D) — при N=256 это ~10K FLOPs на attention map, пренебрежимо. Квантизуется легко (matmul + softmax). Однако **весь framework** (InternViT + InternLM2-4B + SAM2) — **абсолютно несовместим** с edge: ~4B параметров, multi-encoder, bf16 training.
+
+**Адаптации:** Для интеграции в проект SOFIA: (a) заменить LLM-based fusion на standalone HCA между drone/satellite ветвями; (b) убрать text-guided stage (нет text при inference); (c) добавить learnable Q/K projections для уменьшения D; (d) интегрировать как mid-level fusion между stages DCN/Mamba.
+
+---
+
+## 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
+
+### 4.1. Датасеты
+
+**EarthMind-Bench (proposed):**
+
+|Параметр|Значение|
+|---|---|
+|Размер|2,841 пар (test only)|
+|Тип данных|Optical + SAR (paired)|
+|Источники|BigEarthNet-MM, OpenEarthMap-SAR, DFC2023 Track2, WHU-OPT-SAR, MSAW, MultiResSAR|
+|Задачи|10 subtasks|
+|Аннотации|Expert-annotated (8 human annotators + cross-validation)|
+|Публичный|Заявлен (GitHub)|
+
+**FusionEO (training):**
+
+|Параметр|Значение|
+|---|---|
+|Размер|30K paired Optical-SAR QA pairs|
+|Pipeline|3-stage: metadata → RoI-based summarization (GPT-4o) → Self-instruct VQA|
+|Источники|6 datasets, training splits only|
+|Публичный|Заявлен|
+
+**Прочие бенчмарки:** AID, UC-Merced (scene classification), RSVQA-HRBEN (VQA), VRSBench (VQA + grounding), DIOR-RSVG (region captioning), RRSIS-D, RefSegRS (pixel-level segmentation), BigEarthNet (multispectral), SoSAT-LCZ42 (LCZ), SAR Ship Detection.
+
+### 4.2. Метрики оценки
+
+Для EarthMind-Bench: Accuracy (MC tasks), GPT-4-based scoring 1–5 (open-ended tasks), mIoU (segmentation). Для public benchmarks: Accuracy, CIDEr, Acc@0.5, mIoU.
+
+**Адекватность:** метрики стандартны для каждого типа задачи. Использование GPT-based scoring — распространённый, но субъективный подход; отсутствует inter-annotator agreement.
+
+**Пропущенные метрики:** FLOPs, FPS, latency, memory footprint, inference time — **критически важные** для оценки efficiency HCA vs. alternatives, но полностью отсутствуют. Также нет R@K для retrieval-like задач.
+
+### 4.3. Основная таблица результатов
+
+**EarthMind-Bench (Optical-SAR Fusion):**
+
+|Model|Size|M-Avg|O-Avg|SC|OE|HD|OC|SR|RS|Caption|Disaster|Route|Urban|
+|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
+|GPT-4o|—|61.1|2.28|64.8|79.6|86.2|31.6|43.5|—|3.68|1.59|1.82|2.03|
+|GPT-4V|—|46.0|1.93|30.2|64.8|62.4|32.8|39.8|—|2.89|1.48|1.57|1.79|
+|**EarthMind**|**4B**|**70.0**|**3.02**|**65.5**|**84.4**|**88.1**|**52.4**|**59.7**|**59.8**|**3.80**|**3.37**|**2.21**|**2.70**|
+
+Масштаб улучшения vs GPT-4o: M-Avg +8.9 (существенное), особенно SR +16.2, OC +20.8. Это подтверждает, что dedicated fusion >> наивная подача двух изображений.
+
+**Caveat:** Сравнение не полностью честное — EarthMind специально обучен на cross-sensor данных, GPT-4 получает images «as-is» через multi-image API без explicit fusion. Другие open-source модели (GeoChat, GeoPixel, EarthDial) **не поддерживают fusion** и сравниваются только в single-modality settings.
+
+**Public Benchmarks (Table 2):**
+
+|Method|AID|UC|RSVQA|VRS-VQA|RSVG|VRS-VG|RRSIS-D|RefSegRS|
+|---|---|---|---|---|---|---|---|---|
+|GPT-4o|74.7|88.8|—|—|—|—|—|—|
+|GeoPixel (7B)|—|—|—|—|—|—|67.3|—|
+|EarthDial (4B)|88.8|92.4|72.5|—|—|—|—|—|
+|**EarthMind (4B)**|**97.2**|**95.0**|**74.0**|**78.9**|**428.2**|**55.6**|**82.2**|**62.6**|
+
+Масштаб: AID 97.2 (+8.4 vs EarthDial) — существенное. RRSIS-D 82.2 (+14.9 vs GeoPixel) — очень существенное.
+
+### 4.4. Аблационное исследование
+
+**Ablation 1: Fusion method (Table 4)**
+
+|Method|SC|OE|HD|OC|SR|RS|Avg|
+|---|---|---|---|---|---|---|---|
+|Single Modality|64.4|77.5|83.6|50.1|43.1|56.0|62.5|
+|Concatenation|64.2|77.9|83.3|49.6|34.2|57.6|61.1|
+|Element-wise Avg|64.7|79.3|85.4|49.8|36.9|57.0|62.2|
+|Naive Attention|65.0|79.9|85.2|49.8|38.7|58.2|62.8|
+|**HCA**|**65.5**|**84.4**|**88.1**|**52.4**|**59.7**|**59.8**|**68.3**|
+
+Критичные наблюдения: Concatenation **хуже** single modality на SR (34.2 vs 43.1) — добавление SAR без proper fusion вредит! HCA даёт +5.5 Avg over best alternative.
+
+**Ablation 2: FusionEO stages** (Fig. 4c) — performance scales с объёмом данных (5K→30K) и stage complexity.
+
+**Ablation 3: Multi-granular training** (Table D) — joint training > independent по всем метрикам. Pixel-level tasks выигрывают наиболее (+4.6 mIoU на RRSIS-D, +3.3 на RefSegRS).
+
+**Ablation 4: Multi-sensor training** (Table E) — joint RGB+SAR training (70.6 on fusion) >> RGB-only (28.4) or SAR-only (22.3).
+
+**Ablation 5: Curriculum stages** (Tables F, G) — pretraining на general VL и RGB EO data оба критичны. Без pretraining: RRSIS-D drops 82.2 → 75.4.
+
+**Ablation 6: Data processing** (Table C) — zero-padding > channel replication для SAR; single-band grouping slightly > three-band для MS, но computational overhead.
+
+---
+
+## 5. RESULTS & DISCUSSION
+
+### 5.1. Главные выводы
+
+Три ключевых finding: (a) fine-grained и open-ended задачи остаются challenging для всех MLLM; (b) большинство моделей плохо generalize на SAR — EarthMind показывает сопоставимую performance на SAR и Optical (61.3 vs 61.7 M-Avg); (c) effective fusion requires explicit cross-modal attention, а не просто stacking — concatenation может навредить (SR: 34.2 vs 43.1 single-modality).
+
+### 5.2. Качественный анализ
+
+Fig. 4(a) — attention weight heatmaps: low-quality optical regions получают low weights (SAR компенсирует). Task-dependent adaptation: classification → optical dominates; segmentation → SAR gains importance в query-relevant regions. Это сильное qualitative evidence.
+
+Fig. D (Appendix) — примеры inference для 8 задач. Результаты visually convincing.
+
+Failure cases: **не показаны** — значительный пробел.
+
+### 5.3. Вычислительная стоимость
+
+|Параметр|Значение|
+|---|---|
+|Число параметров модели|~4B (InternVL2-4B + SAM2 + HCA)|
+|HCA parameters|~1 (learnable λ)|
+|FLOPs / MACs|**Не указаны**|
+|FPS / Latency|**Не указаны**|
+|GPU Memory|**Не указан**|
+|Training hardware|8× NVIDIA A100-80GB|
+|Training precision|bf16|
+|Optimizer|Adam, lr=4e-5, batch=64, 1 epoch|
+
+**Критический пробел:** отсутствие computational benchmarks делает невозможной оценку practical efficiency HCA vs alternatives.
+
+---
+
+## 6. ПРЕИМУЩЕСТВА ПОДХОДА
+
+**Архитектурные:** (a) Первый unified MLLM для multi-sensor EO с explicit fusion; (b) HCA — projection-free, ~0 param overhead; (c) sequence length reduction (N вместо P+N); (d) task-adaptive fusion через text-guided attention; (e) поддержка single- и multi-sensor input в одной модели.
+
+**Практические:** (a) 4B params — компактнее GPT-4o; (b) multi-granular: image → region → pixel; (c) FusionEO и EarthMind-Bench — ценные ресурсы для community.
+
+**SOTA:** На EarthMind-Bench (fused): M-Avg 70.0 (+8.9 vs GPT-4o). На public benchmarks: AID 97.2, RRSIS-D 82.2 — SOTA. DIOR-RSVG CIDEr 428.2.
+
+**Воспроизводимость:** Код заявлен (GitHub), FusionEO и EarthMind-Bench заявлены. Training recipe подробный (Appendix F, G).
+
+---
+
+## 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ
+
+**Архитектурные:**
+
+1. HCA hardcoded на 2 модальности — не масштабируется на K>2 (авторы признают).
+2. Adaptive pooling теряет high-res optical info — нет multi-scale fusion.
+3. Text-guided attention бесполезен для задач без text query (retrieval, self-supervised).
+4. Shared encoder для Optical и SAR — suboptimal (разные imaging physics).
+5. λ — один скаляр на всю модель, нет per-layer или per-task адаптации.
+
+**Пробелы в экспериментах:**
+
+1. **Нет computational benchmarks** (FLOPs, FPS, latency, memory).
+2. Нет failure case analysis.
+3. Нет сравнения с FiLM, bilinear fusion, gated fusion, MoE fusion.
+4. EarthMind-Bench — собственный бенчмарк; нет independent validation.
+5. Нет cross-area generalization.
+
+**Вычислительные:**
+
+1. 8× A100-80GB для training — высокий порог.
+2. 4B params — не edge-deployable.
+3. Multiple encoders (InternViT + SAM2) — redundant computation.
+
+**Методологические:**
+
+1. GPT-based evaluation scoring — субъективный, irreproducible без API access.
+2. FusionEO генерируется GPT-4o — potential hallucination в training data.
+3. Нет test-time augmentation или uncertainty estimation.
+4. Pseudo-RGB padding для SAR — информационно неэффективно.
+
+**Риски при реальном развёртывании:**
+
+1. 4B model → высокая latency для real-time EO applications.
+2. Зависимость от paired data — в реальности пары Optical+SAR не всегда доступны.
+3. Нет анализа robustness к temporal misalignment между модальностями.
+
+---
+
+## 8. РЕЛЕВАНТНОСТЬ ДЛЯ ПРОЕКТА (SOFIA / Cross-View Drone Geolocalization)
+
+### a) Какие идеи можно интегрировать?
+
+1. **Bidirectional cross-attention без проекций (Stage 1 HCA)** — может быть встроен как lightweight cross-view attention между drone и satellite ветвями в SOFIA. Вместо text-guided stage — task-agnostic variant с learnable query vector или просто only Stage 1. Cost: ~0 params, O(N²D).
+    
+2. **Modality Attention Score (MAS)** — отличная диагностическая метрика для отслеживания modality balance в Multi-FiLM-Fusion. Можно вычислять MAS на каждом слое SOFIA и мониторить, не доминирует ли одна ветвь. Реализация: ~10 строк кода, zero overhead при training, отключается при inference.
+    
+3. **Per-token adaptive fusion weights через softmax** — дополнение к FiLM: FiLM модулирует каналы, HCA-style fusion модулирует пространственные позиции. Можно комбинировать: FiLM для channel modulation + HCA-style spatial token weighting. Это ортогональные операции.
+    
+4. **Идея query-conditioned fusion** — в LUPI framework teacher может генерировать conditioning signal (аналог «query»), который направляет fusion в student. Вместо text query — teacher embedding как «privileged query» для модуляции fusion weights. Это может улучшить distillation-aware fusion.
+    
+5. **Sequence length reduction через fusion** — при N модальностях конкатенация даёт суммарную длину; adaptive fusion сжимает до размера одной модальности. Критично для edge: меньше tokens → меньше FLOPs в downstream layers.
+    
+
+### b) Является ли HCA drop-in replacement для Multi-FiLM?
+
+**Нет.** Ключевые различия:
+
+Во-первых, HCA — это per-token spatial weighted sum двух ветвей (αβγ → softmax → weighted average features). Multi-FiLM — это channel-wise affine modulation (γ⊙x + β). Это **ортогональные операции**: HCA работает в spatial dimension, FiLM — в channel dimension.
+
+Во-вторых, HCA hardcoded на 2 модальности; Multi-FiLM масштабируется на N. Для K>2 модальностей в LUPI pipeline (drone, satellite, depth, segmentation, metadata) HCA потребует K(K-1)/2 попарных attention — quadratic scaling.
+
+В-третьих, HCA использует text-guided stage, бесполезный для retrieval/embedding tasks без текстовых запросов.
+
+**Рекомендация:** использовать как **дополнительный модуль**, а не замену. Каскад: FiLM для channel modulation → HCA-style spatial attention для per-token re-weighting. Или: MAS как диагностика → если modality imbalance detected, добавить HCA-style rebalancing.
+
+### c) Какие аблации следует воспроизвести?
+
+1. **Concatenation vs. Element-wise Average vs. Attention-weighted fusion** — baseline comparison для Multi-FiLM, чтобы оценить, как channel-wise modulation (FiLM) соотносится с spatial token-level fusion (HCA-style).
+    
+2. **MAS measurement** на разных слоях SOFIA — диагностика modality balance при текущем FiLM подходе.
+    
+3. **Effect of modality dropout** — EarthMind не использует, но для LUPI это критично. Сравнить: FiLM + modality dropout vs. HCA-style fusion + modality dropout.
+    
+4. **λ analysis** — fixed λ vs. learnable λ vs. per-layer λ в контексте SOFIA.
+    
+5. **FiLM + HCA cascade** vs. FiLM only vs. HCA only — проверить гипотезу об ортогональности channel и spatial fusion.
+    
+
+### d) Конфликты с edge deployment?
+
+**HCA модуль сам по себе — edge-compatible.** ~1 learnable parameter, 4 матричных умножения (N×D × D×N), softmax. При N=256, D=128 (student SOFIA) — пренебрежимый overhead. Хорошо квантизуется (matmul + softmax — INT8 friendly). TensorRT полностью поддерживает эти операции.
+
+**Однако:** (a) при inference на edge с 2 модальностями нужно 2 forward passes через backbone — удвоение compute; (b) в LUPI paradigm при inference остаются только 2 модальности из 5, так что overhead умеренный. Adaptive pooling — trivial operation, edge-friendly.
+
+**Конфликтов нет**, если использовать HCA как standalone fusion module (без InternVL2/LLM overhead). Рекомендуется benchmark: FiLM only vs. FiLM + HCA-spatial на AGX Orin с INT8 → оценить FPS tradeoff.
+
+---
+
+_Анализ выполнен по шаблону v2. Статья: EarthMind (arXiv:2506.01667v2). Дата: 27 Mar 2026._
+
+#component/fusion #task/review #year/2025
+
+---
+
+## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
+
+> [!abstract] Что изменилось
+> Very DEEP existing (633 lines, full PDF deep-dive 2026-03-26). Refresh:
+> - **Expanded frontmatter** (type/status/related/applicable_to)
+> - **0** новых fusion-блоков (Very DEEP)
+> - **6** новых cross-links (F1, F9, F6, F8, F39, HYP_v3, SPEC_v4)
+> - **NEW** Adaptive Fusion → ACF MERIDIAN H_fusion_2 conceptual match
+
+### I.1. H_fusion_X mapping (NEW)
+
+| Гипотеза (v3 canon) | Связь EarthMind |
+|:-------------------|:----------------|
+| **H_fusion_2** ACF (Primary) | **Adaptive Fusion** в EarthMind = direct conceptual match для **ACF MERIDIAN** (Asymmetric Cross-Fusion); both adapt fusion based on cross-sensor reliability |
+| **H_fusion_1** Multi-FiLM-Fusion (Primary) | EarthMind LLM-based fusion ≠ FiLM; ortho mechanism |
+| **Triple-Teacher T_main** | EarthMind = mLLM-EO alternative T_main (cross-sensor focus); если MERIDIAN добавит SAR/multispectral — kандидат |
+| Cross-sensor reliability awareness | Pattern для **N4 caption** generation (caption должен учитывать sensor reliability на низком освещении / fog / weather) |
+
+### I.2. Cross-link обновление
+
+**Новые backlinks:**
+- [[F1_2025_EarthDial Turning Multi-sensory Earth Observations to Interactive Dialogues]] — sister mLLM-EO paper
+- [[F9_2025_VHM Versatile and Honest Vision Language Model for Remote Sensing Image Analysis]] — mLLM-EO family member
+- [[F6_2025_FUSE-RSVLM Feature Fusion Vision-Language Model for Remote Sensing]] — feature-fusion VLM
+- [[F8_2025_SegEarth-R1 Geospatial Pixel Reasoning via Large Language Model]] — pixel reasoning seg-LLM
+- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — condition-aware family canonical
+
+### I.3. Final verdict
+
+```
+🎯 MERIDIAN v1.0 fit: High (mLLM-EO Teacher reference + ACF conceptual match)
+🔭 Layer mapping:
+   - H_fusion_2 ACF (Adaptive Fusion)  ★★★⭐ direct conceptual match
+   - Triple-Teacher T_main (если SAR)  ★★★  cross-sensor specialty
+   - N4 caption sensor-aware            ★★★  reliability-aware pattern
+   - V-Q LowFormer / N6 INT8           ❌    LLM-class heavy
+⏰ Refresh effort: minor; ~15 min
+🔁 Re-refresh: not needed
+🚦 Upstream impact:
+   - Flag [[SPEC_fusion_ACF_MERIDIAN_v4]] — EarthMind Adaptive Fusion как conceptual reference для ACF (наряду с F39 canonical)
+```
+
+---
+
+**Refresh signature:** 2026-05-16 / Opus 4.7 / single-minimal + frontmatter expansion
--- a/docs/02_references/06_paper_analyses/F68_2024_RemoteDet-Mamba_Hybrid_RS.md
+++ b/docs/02_references/06_paper_analyses/F68_2024_RemoteDet-Mamba_Hybrid_RS.md
@@ -0,0 +1,581 @@
+---
+type: literature
+status: done
+date: 2026-05-16
+refreshed_from: 2026-05-06
+primary_category: 3_fusion
+tags: [literature, component/fusion, method/mamba, method/ssm, method/hybrid-cnn-mamba, task/detection, domain/uav, year/2024, venue/arxiv, priority/medium, refreshed/opus47]
+related:
+  - "[[F34_2024_Coupled Mamba Enhanced Multi-modal Fusion with Coupled State Space Model]]"
+  - "[[F44_2025_Fusion-Mamba_Cross-modality_Object_Detection]]"
+  - "[[F75_2025_MultiLayer_GraphConv_Discriminative_Mamba]]"
+  - "[[F79_2025_SSM_Meet_Transformers_HSI]]"
+  - "[[HYP_fusion_variants_v3]]"
+  - "[[AUDIT_N6_INT8_fusion_readiness]]"
+applicable_to: [E1, fusion_research_arm, §2.3]
+author: claude
+arxiv: ""
+year: 2024
+venue: arXiv (v2 Jan 2026)
+---
+
+> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16, batch Tier C mode C)
+
+	# B-RemoteDet-Mamba — Hybrid Mamba-CNN Network for Multi-modal Object Detection in Remote Sensing Images
+
+## 1. Метаданные статьи
+
+| Поле                    | Значение                                                                                                                          |
+| ----------------------- | --------------------------------------------------------------------------------------------------------------------------------- |
+| Полное название         | RemoteDet-Mamba: A Hybrid Mamba-CNN Network for Multi-modal Object Detection in Remote Sensing Images                             |
+| Авторы                  | Kejun Ren¹, Xin Wu¹, Lianming Xu², Li Wang¹ (corresponding)                                                                       |
+| Аффилиации              | ¹ School of Computer Science, BUPT (Beijing University of Posts and Telecommunications); ² School of Electronic Engineering, BUPT |
+| Год                     | v1: Oct 2024 → v2: 18 Jan 2026 (актуальная)                                                                                       |
+| Venue                   | НЕ УКАЗАНО В СТАТЬЕ; формат 5-страничного IEEE-style — submission в ICASSP / WHISPERS / IGARSS workshop                           |
+| Impact factor / рейтинг | preprint, без peer review (на момент v2)                                                                                          |
+| Цитирований             | НЕ УКАЗАНО В СТАТЬЕ                                                                                                               |
+| Ссылка                  | arXiv:2410.13532v2                                                                                                                |
+| Код                     | НЕ УПОМИНАЕТСЯ в тексте (но статья 5-страничная — типично для submission, без code link)                                          |
+
+[МОЙ КОММЕНТАРИЙ] **Та же лаборатория** (BUPT, Wu et al.) ранее публиковала [3] (Convolutional NN for multimodal RS, TGRS 2021) и [2] (Vehicle detection with active fine-tuning, ISPRS 2020) — серия работ по multimodal RS detection.
+
+---
+
+## 2. Ключевая идея (Core Contribution)
+
+Статья решает задачу **multi-modal RGB-IR UAV detection** на DroneVehicle, с явной фокусировкой на **lightweight efficiency**: targets маленькие, плотно распределены, низкая inter-class discriminability (cars/trucks/freight cars). Главный observation: предыдущие Mamba-multimodal работы (Fusion-Mamba, Sigma, DMM) **stack multiple Mamba layers**, что ведёт к существенному overhead на high-resolution inputs.
+
+**Что предлагается:**
+
+- **Single-layer CFM (Cross-modal Fusion Mamba) module** с **4-direction patch-level SS2D scanning** — единственный Mamba-блок в pipeline (vs stacked в DMM/Fusion-Mamba);
+- **Siamese CNN encoder** (CSPDarkNet53 / YOLOv5s-style) для RGB и IR с separate parameters;
+- Fusion на 3 уровнях (i=2, 3, 5) с element-wise summation modality-specific features → multi-scale joint representation для detection head.
+
+**Гипотеза:** _Для small + densely distributed remote sensing targets, **single Mamba layer достаточен** для cross-modal fusion при правильном patch-level 4-directional scanning, что даёт линейную сложность и SOTA performance без overhead глубоких stacked Mamba._
+
+**Принципиальная новизна:**
+
+- **Single-layer Mamba fusion** (vs stacked) — efficiency-driven design;
+- **4-directional flatten + S6 + unflatten + sum** — adaptation VMamba's SS2D к cross-modal RGB+IR fusion;
+- Linear FLOPs scaling с input size (Fig. 1): 100 GFLOPs vs C²Former (>800 GFLOPs at 1100×1100) и DMM (~600 GFLOPs at 1300×1300).
+
+---
+
+## 3. Архитектура и метод
+
+### 3.1. Описание архитектуры
+
+```
+RGB I_R (840×840×3) ──→ Siamese CNN (CSPDarkNet53):
+                          stage 0: Conv → F^R_0 (216×216×64)
+                          stage 1: Conv+C3 → F^R_1 (128×128×108)
+                          stage 2: Conv+C3 → F^R_2 (54×54×256)
+                          stage 3: Conv+C3 → F^R_3 (27×27×?)
+                          stage 4: SPFF → F^R_4 (27×27×512)
+                                       │
+IR I_IR (840×840×3) ─→ Siamese CNN (separate params, same struct):
+                          F^IR_0, F^IR_1, F^IR_2, F^IR_3, F^IR_4
+                                       │
+                                       ▼
+              ┌────────── CFM module (single-layer, applied on F^R_i, F^IR_i for i=1,2,3,4) ──────────┐
+              │  F̄^i = Linear(LN(F^i))                  for i ∈ {R, IR}                              │
+              │  f^i = SiLU(DWConv(F̄^i))                                                             │
+              │  flatten в 4 направлениях: f^1, f^2, f^3, f^4 (для каждой модальности)                │
+              │  f^FUS_i = f^R_i + f^IR_i                для i = 1,2,3,4                              │
+              │  y_i = S6_i(f^FUS_i)                     selective scan per direction                 │
+              │  Y^FUS = Σ_{i=1..4} unflatten_i(y_i)                                                  │
+              │  F̂^i = F^i + Linear(LN(Y^FUS))           residual                                    │
+              │  F^i_fus = F̂^i + FFN(LN(F̂^i))           refinement                                  │
+              └────────────────────────────────────────────────────────────────────────────────────────┘
+                                       │
+                                       ▼
+                       P_i = F^R_i + F^IR_i, i ∈ {2, 3, 5}
+                                       │
+                                       ▼
+              YOLOv5s Neck (PAFPN-style) → YOLOv5s Detection Head + OBB regression
+                                       │
+                                       ▼
+                          Oriented bboxes (5 vehicle classes)
+```
+
+[МОЙ КОММЕНТАРИЙ] **Ключевое отличие от UAVD-Mamba** (которую мы анализировали ранее): UAVD-Mamba имеет **MDTMB** (4 stacked DTMBs), а RemoteDet-Mamba — **single CFM layer**. Это противоположные дизайн-философии "depth vs efficiency".
+
+### 3.2. Визуальные материалы из статьи
+
+|Рисунок/Таблица|Описание (факт)|Что иллюстрирует|Качество|
+|---|---|---|:-:|
+|**Fig. 1**|GFLOPs vs Input resolution для C²Former, DMM, Ours; C²Former обрезается на 1100×1100 (24GB GPU memory limit)|Linear vs quadratic complexity scaling|**сильное мотивирующее** доказательство|
+|**Fig. 2**|Top — overall architecture (Siamese CNN + CFM + Neck + Head); Bottom — детализация CFM с DWConv, 4-directional flattening, S6 blocks, FFN|Главная архитектурная диаграмма|детальное, видны размерности тензоров (216×216×64 → ... → 27×27×512)|
+|**Fig. 3**|RGB GT / Infrared GT / Fusioned GT — visual comparison of ground truth bbox forms на одной сцене|Объяснение Fusion GT (max bbox из обеих модальностей)|хорошее, но short|
+|**Fig. 4**|Detection results: 4 columns (a)–(d) × 3 rows (RGB-only, TIR-only, Ours), 5 vehicle classes|Качественное сравнение по day/night сценам|хорошее, видны color-coded categories|
+|**Table 1**|Ablation на DroneVehicle: 3 GT forms × 4 fusion strategies (No fusion / Add / Bi-scanning / CFM)|Component ablation|компактное, чёткое|
+|**Table 2**|Performance comparison: 11 baselines + Ours, per-class AP, mAP, FPS, Size(MB)|SOTA comparison|детальное|
+
+[МОЙ КОММЕНТАРИЙ] Визуализация **выше среднего** для 5-страничного preprint. **Fig. 1 — самая ценная** (linear scaling proof — главный selling point); **Fig. 2** — видны размерности тензоров (что было недостатком в анализированных ранее статьях). Ablation Table 1 с 3 GT forms — чистая методология.
+
+### 3.3. Математическая формализация
+
+**Siamese encoder (Eq. 1):** $$ F^s_i = \begin{cases} \text{Conv}(I_s) & i = 0 \ \text{Conv}(\text{C3}(F^s_{i-1})) & i = 1, 2, 3, 4 \ \text{SPFF}(F^s_{i-1}) & i = 5 \end{cases}, \quad s \in {R, IR} $$
+
+**Multi-scale joint features (Eq. 2):** $$ P_i = F^R_i + F^{IR}_i, \quad i \in {2, 3, 5} $$
+
+**CFM core (Eq. 3–10):**
+
+_Projection:_ $$ \bar{F}^i = \text{Linear}(\text{LN}(F^i)), \quad i \in {R, IR} $$
+
+_DWConv + SiLU:_ $$ f^i = \text{SiLU}(\text{DWConv}(\bar{F}^i)) $$
+
+_4-directional flattening (Eq. 5):_ $$ f^1_i = \text{flatten}_i(f^R), \quad f^2_i = \text{flatten}_i(f^{IR}), \quad i = 1, 2, 3, 4 $$ $$ f^{FUS}_i = f^R_i + f^{IR}_i $$
+
+_S6 blocks per direction (Eq. 6):_ $$ y_i = \text{S6}_i(f^{FUS}_i), \quad i = 1, 2, 3, 4 $$
+
+_Recombination (Eq. 7):_ $$ Y^{FUS} = \sum_{i=1}^{4} \text{unflatten}_i(y_i) $$
+
+_Residual + FFN (Eq. 8–10):_ $$ \hat{F}^i = F^i + \text{Linear}(\text{LN}(Y^{FUS})) $$ $$ F^i_{fus} = \hat{F}^i + \text{FFN}(\text{LN}(\hat{F}^i)) $$ $$ \text{FFN}(\text{LN}(\hat{F}^i)) = \text{GELU}(\text{LN}(\hat{F}^i) W_1 + b_1) W_2 + b_2 $$
+
+**Total Loss (Eq. 11):** $$ \mathcal{L}_{\text{total}} = \alpha \mathcal{L}_{\text{box}} + \beta \mathcal{L}_{\text{obj}} + \gamma \mathcal{L}_{\text{cls}} + \delta \mathcal{L}_{\text{theta}} $$ с $\alpha = 0.05$, $\beta = 1.0$, $\gamma = 0.5$, $\delta = 0.5$.
+
+- $\mathcal{L}_{\text{box}}$ — CIoU
+- $\mathcal{L}_{\text{cls}}$, $\mathcal{L}_{\text{obj}}$ — Smooth BCE
+- $\mathcal{L}_{\text{theta}}$ — **CSL (Circular Smooth Label)** [Yang & Yan, ECCV 2020]
+
+**CSL (Eq. 12–13):** $$ \text{CSL}(x) = \begin{cases} g(x), & \theta - r < x < \theta + r \ 0, & \text{otherwise} \end{cases} $$ $$ g(\text{angle}) = e^{-\text{angle}^2 / 2r^2}, \quad 0 \leq \text{angle} < 180° $$ где $g$ — Gaussian window (periodicity, symmetry, monotonicity, finiteness), $r$ — радиус окна. **Превращает angle regression в classification** для устранения boundary discontinuity (0° = 180°).
+
+[МОЙ КОММЕНТАРИЙ] **CSL angle classification** — релевантный приём для F7 (rotation): структурное решение boundary discontinuity, отличающееся от прямой L1-regression на угол. **Прямая параллель к нашему OBB output дизайну** для cross-view rotation.
+
+### 3.4. Ключевые технические решения
+
+|Решение|Обоснование (по статье)|Оригинальность|
+|---|---|:-:|
+|**Single-layer CFM** (vs stacked Mamba)|Targets малы и плотно распределены → длинные scan-пути не нужны; reduces compute|**новый дизайн-принцип**|
+|**4-directional SS2D scanning**|Decouples densely packed targets — каждое направление дисперсирует пространственно соседние, но семантически несвязанные объекты|adaptation VMamba|
+|**Element-wise sum f^FUS = f^R + f^IR**|Простая, parameter-free fusion на flatten-уровне|minimal design|
+|**Siamese CNN encoder с separate weights**|Modality-specific feature extraction избегает premature entanglement|стандарт для multimodal|
+|**CSPDarkNet53 backbone**|YOLOv5s-style — established, well-optimized|стандарт|
+|**CSL angular loss**|Устраняет boundary discontinuity в OBB regression|заимствование (Yang & Yan ECCV 2020)|
+|**Fusion GT** (max bbox обеих модальностей)|Mitigates cross-modal annotation misalignment в DroneVehicle|empirical|
+|**Multi-scale fusion на i=2,3,5**|FPN-style для small + medium objects|стандарт|
+
+**Какие из 7 aerial проблем (F1–F7) адресует?**
+
+|Проблема|Адресуется?|Как|
+|---|:-:|---|
+|F1 (large scale variation)|✓|Multi-scale fusion (i=2,3,5) + FPN-style neck|
+|F2 (viewpoint mismatch)|✗|DroneVehicle — преимущественно nadir|
+|F3 (geometric distortion)|⚠ partial|4-directional scanning decouples spatially adjacent targets|
+|F4 (illumination variance)|✓|RGB+IR fusion (mainly motivation)|
+|F5 (repetitive texture)|⚠ partial|Multi-scale + cross-modal complementarity|
+|**F6 (occlusion)**|⚠ partial|Densely packed targets + cross-modal fusion помогает|
+|**F7 (rotation)**|✓|**CSL angular loss** + OBB output — **структурное решение boundary discontinuity**|
+
+[МОЙ КОММЕНТАРИЙ] **F7 здесь решается через CSL** — это **структурное решение angle regression**, аналог по духу к нашему E(2)-steerable C4 (Variant B) для backbone. Прямой transfer concept.
+
+**Если про fusion** — да, **multimodal fusion работа** (RGB + IR через CFM module).
+
+---
+
+## 4. Экспериментальная часть
+
+### 4.1. Наборы данных
+
+|Параметр|DroneVehicle|
+|---|---|
+|Размер|28,439 RGB-IR пар (стандарт)|
+|Train/Val/Test|17,990 / 1,469 / 8,980 (стандарт)|
+|Классы|5: car, truck, freight car, bus, van|
+|Тип|drone aerial nadir/oblique|
+|Разрешение|840×840 (resize input для модели)|
+|Гео-охват|parking lots, roads, residential, day/night|
+|Публичный|✓|
+|**Пересечение с моими**|❌ Нет|
+
+[МОЙ КОММЕНТАРИЙ] **Только один датасет**, как и UAVD-Mamba/MGMF. Нет VEDAI, M³FD, KAIST. **Не пересекается** с World-UAV / University-1652 / CVUSA / CVACT / VIGOR / SUES-200 / GeoText-1652 / GTA-UAV / UAV-VisLoc.
+
+### 4.2. Метрики оценки
+
+|Метрика|Использована?|Адекватна?|
+|---|:-:|:-:|
+|mAP@0.5 (OBB head)|✓|✓|
+|Per-class AP (5 categories)|✓|✓|
+|Params (Size MB)|✓|✓|
+|FPS|✓|✓ — на RTX 3090|
+|**GFLOPs scaling** (Fig. 1)|✓|✓ — **редкость**, главный selling point|
+|INT8 / FP16 quantization|❌|следовало бы|
+|Latency на edge (Jetson)|❌|критично для UAV claim|
+|mAP@[0.5:0.95]|❌|только @0.5|
+
+[МОЙ КОММЕНТАРИЙ] **GFLOPs scaling plot** (Fig. 1) — отличный методологический приём, отсутствующий в большинстве проанализированных работ. **Linear vs quadratic** demonstration наглядно.
+
+### 4.3. Сравнительная таблица результатов
+
+#### Table 2 — DroneVehicle, OBB heads, mAP@0.5
+
+|Метод|Modality|Car|Truck|Freight-Car|Bus|Van|**mAP%**|FPS|Size (MB)|
+|---|---|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
+|RetinaNet|RGB|78.5|34.4|24.1|69.8|28.8|47.1|14.53|218|
+|Faster R-CNN|RGB|79.0|49.0|37.2|77.0|37.0|55.9|13.18|232|
+|RoITransformer|RGB|61.6|55.1|42.3|85.5|44.8|61.6|11.25|233|
+|ReDet|RGB|69.48|47.87|31.46|77.37|29.03|51.04|9.11|125|
+|RetinaNet|TIR|88.8|35.4|39.5|76.5|32.1|54.5|14.53|218|
+|Faster R-CNN|TIR|89.4|53.5|48.3|87.0|42.6|64.2|13.18|232|
+|**UA-CMDet**|RGB+TIR|87.51|60.70|46.80|87.08|37.95|64.01|9.12|234|
+|**MKD**|RGB+TIR|93.49|62.48|52.73|91.93|44.50|69.03|**42.39**|242|
+|**TSFADet**|RGB+TIR|90.0|69.2|65.5|89.7|55.2|73.9|18.6|104.7|
+|**C²Former**|RGB+TIR|90.2|68.3|64.4|89.8|58.5|74.2|–|118.47|
+|**DMM**|RGB+TIR|90.4|79.8|**68.2**|89.9|**68.6**|79.4|–|87.97|
+|**RemoteDet-Mamba (Ours)**|RGB+TIR|**98.2**|**81.2**|67.9|**95.7**|65.1|**81.8**|24.01|71.34|
+
+**Best на 3/5 классов и mAP.** Улучшение над DMM (2nd-best, 79.4%): **+2.4% mAP** → **умеренно существенное**.
+
+[МОЙ КОММЕНТАРИЙ] **Pareto-доминирование над DMM**: RemoteDet 81.8% / 71.34 MB / 24.01 FPS vs DMM 79.4% / 87.97 MB / нет FPS — выше точность, **меньше параметров**, отличная скорость. Это **редкое** Pareto-улучшение.
+
+**Сравнение с другими Mamba-UAV работами (по моим предыдущим анализам):**
+
+- [[MGMF]] (2024): 80.24% mAP — **обогнан** на +1.56%;
+- **RemoteDet-Mamba**: 81.8% mAP, 71.34 MB — текущая статья;
+- [[UAVD-Mamba]] (2025): 83.0% mAP, 39.7M params, 38.9 GFlops — **выше** на +1.2% при **меньших** params;
+- [[MSDF-Mamba]] (Remote Sens. 2025): 82.5% mAP;
+- [[MambaRefine-YOLO]] (2025): 83.2% mAP.
+
+**RemoteDet — на момент v1 (Oct 2024) был SOTA**, но **обогнан** UAVD-Mamba (2025) и другими.
+
+### 4.4. Аблационное исследование
+
+#### Table 1 — Fusion strategy ablation на DroneVehicle
+
+|GT Form|No fusion|Add|Bi-scanning|CFM|mAP@0.5 (%)|mAP@0.5:0.95 (%)|
+|---|:-:|:-:|:-:|:-:|:-:|:-:|
+|**RGB GT**|✓||||65.7|40.3|
+|||✓|||80.7|57.5|
+||||✓||80.8|58.2|
+|||||✓|**81.1**|**58.3**|
+|**Fusion GT**|(RGB)||||67.7|40.5|
+||(TIR)||||76.1|53.2|
+|||✓|||78.3|55.8|
+||||✓||78.3|56.4|
+|||||✓|**78.7**|**56.1**|
+|**TIR GT**|✓||||69.4|45.9|
+|||✓|||80.8|57.7|
+||||✓||81.1|58.5|
+|||||✓|**81.8**|**58.9**|
+
+**Чистый incremental:**
+
+- TIR-only baseline: 69.4% (mAP@0.5);
+- Add fusion: +11.4% → 80.8%;
+- Bi-scanning: +0.3% → 81.1%;
+- **CFM (4-directional)**: +0.7% → 81.8%.
+
+[МОЙ КОММЕНТАРИЙ] **CFM выигрывает у Bi-scanning только на +0.7%**, а у Add fusion — на **+1.0%**. Это означает: **большая часть improvements приходит от самого факта мультимодальной fusion** (+11.4% от unimodal), а **архитектурные нюансы CFM дают marginal gain**. Это **подрывает novelty claim** — single-layer CFM полезен, но не критичен; даже простое addition уже даёт 80.8%.
+
+**Также противоречиво:** TIR-only > RGB-only (69.4% vs 65.7%) — для DroneVehicle thermal modality сильнее. Это **ожидаемо** для night scenes.
+
+---
+
+## 5. Results & Discussion
+
+### 5.1. Основные результаты
+
+**Заявления авторов:**
+
+1. SOTA на DroneVehicle (+1.2% mAP над DMM, на момент v1);
+2. Single-layer CFM достаточен (vs stacked в DMM/Fusion-Mamba);
+3. **Linear FLOPs scaling** с input size (Fig. 1) — главный efficiency claim;
+4. CFM > Bi-scanning > Add fusion → 4-directional scanning важно.
+
+**Подтверждаются ли результатами?**
+
+- Часть 1 — **да на момент v1** (Oct 2024); обогнан UAVD-Mamba (2025) на +1.2%;
+- Часть 2 — **да структурно**, но ablation показывает marginal gain CFM vs Add fusion (+1%);
+- Часть 3 — **да, наглядно** через Fig. 1;
+- Часть 4 — **да**, но gap слабый (CFM vs Bi 0.7%).
+
+**Контринтуитивные наблюдения:**
+
+- **TIR-only (69.4%) > RGB-only (65.7%)** — IR доминирует в DroneVehicle (night scenes);
+- **MKD достигает 42.39 FPS** (самая быстрая baseline), но 69% mAP — **показывает trade-off** speed vs accuracy;
+- **Per-class:** Ours лучше всех на car/truck/bus, **но DMM лучше на freight-car (68.2 vs 67.9)** и **DMM лучше на van (68.6 vs 65.1)**. Авторы не комментируют van regression.
+
+### 5.2. Качественный анализ
+
+|Тип|Есть?|Качество|
+|---|:-:|---|
+|Visual detection comparison (Fig. 4)|✓|Хорошее, 4 sub-scenes × 3 modes (RGB/TIR/Ours) × 5 classes|
+|GFLOPs scaling plot (Fig. 1)|✓|**Сильное** — главный selling point|
+|Ablation visual|❌|Не показан progression like UAVD-Mamba's Fig. 6|
+|Failure cases|⚠ partial|Three challenges описаны (small / dense / inter-class) qualitatively, но не как failure cases|
+|t-SNE / feature embedding|❌|Отсутствует|
+|Attention / heatmap|❌|Нет (Mamba-based, attention не applicable)|
+
+[МОЙ КОММЕНТАРИЙ] Качественный анализ **скуден** для 5-страничного preprint. Основная сила — Fig. 1 (linear scaling) и detection visualisations (Fig. 4).
+
+### 5.3. Вычислительная стоимость
+
+|Параметр|Значение|Совместимо с моим бюджетом?|
+|---|---|:-:|
+|Params|**71.34 MB** (~70M params)|❌ В **14×** превышает 5M бюджет|
+|GFLOPs|Linear scaling, ~100 G на 1000×1000 input → ~25–30 G на 256×256 (extrapolation)|❌ Превышает 5 GFLOPs|
+|Latency|**24.01 FPS на RTX 3090** = ~42 ms|✓ near-target, но не на edge|
+|Memory|НЕ УКАЗАНО|❓|
+|Hardware (training)|RTX 3090, Ubuntu 18.04, CUDA 12.0, SGD 1e-2 → 2e-3|(single GPU)|
+|Edge deployment|**Не упомянут**, нет Jetson benchmark|❌|
+|INT8 / FP16 quantization|**Не рассматривается**|❌|
+
+[МОЙ КОММЕНТАРИЙ] **RemoteDet-Mamba НЕ совместим с edge-бюджетом MERIDIAN Student**:
+
+- 70M params — на порядок выше 5M;
+- На Jetson Orin NX (~5× медленнее 3090) ожидаемо ~5 FPS, не дотягивает до 15–25 FPS целевых;
+- Mamba operations + INT8 — известная проблема;
+- **Хотя** Fig. 1 показывает linear scaling — **это compelling argument для масштабирования модели**, но не для деплоя в нашем бюджете.
+
+**Сравнение с UAVD-Mamba (предыдущий анализ):**
+
+- RemoteDet: 70M params, 81.8% mAP, 24 FPS на 3090
+- UAVD-Mamba: 39.7M params, 83.0% mAP, 14.4 FPS на 4090
+
+**UAVD-Mamba Pareto-доминирует** RemoteDet на DroneVehicle (выше mAP, меньше params).
+
+---
+
+## 6. Преимущества подхода
+
+|Категория|Преимущество|
+|---|---|
+|**Архитектурные**|**Single-layer CFM** — efficiency-first дизайн (vs stacked Mamba у DMM/Fusion-Mamba); 4-directional SS2D scanning для decoupling small densely packed targets; FFN refinement; CSPDarkNet53 backbone (proven)|
+|**Loss design**|YOLOv5s-style loss + **CSL angular classification** — структурное решение boundary discontinuity для OBB|
+|**Efficiency**|**Linear FLOPs scaling** (Fig. 1) — главное преимущество над C²Former (quadratic) и DMM (stacked Mamba); 71.34 MB params, 24 FPS на RTX 3090|
+|**Результаты**|SOTA на DroneVehicle на момент v1 (+1.2% mAP над DMM); Pareto-доминирование над DMM (выше mAP, меньше params, выше FPS)|
+|**Простота**|Single-layer Mamba — меньше hyperparameters, проще воспроизвести|
+
+---
+
+## 7. Недостатки и ограничения
+
+|Недостаток|Серьёзность|
+|---|:-:|
+|**70M params, ~25–30 GFlops на 256×256** — слишком тяжёлая для UAV onboard inference|🔴 высокая|
+|**Только один датасет** (DroneVehicle) — нет VEDAI, M³FD, KAIST|🟡 средняя|
+|**Нет edge benchmark** (Jetson Orin) — claim про "UAV detection" без edge validation|🔴 высокая|
+|**Marginal CFM vs Add fusion** (+1.0% mAP) — main novelty не сильно превосходит простой addition|🟡 средняя|
+|**Обогнан** UAVD-Mamba (2025) на +1.2% при **меньших params**|🟡 средняя|
+|**Нет INT8 / FP16** анализа|🟡 средняя|
+|**Нет mAP@[0.5:0.95]** в Table 2 (только @0.5)|🟡 средняя|
+|**Per-class regression** на van (-3.5% vs DMM) и freight-car (-0.3% vs DMM) — не объяснено|🟢 низкая|
+|**Нет кода** на момент анализа (preprint)|🟡 средняя|
+|**Только 2 модальности** (RGB+IR) — не обобщается на 5-modal LUPI|🟡 средняя (для нашего LUPI — высокая)|
+|**OBB output**, не feature retrieval — несовместимо с CVGL|🔴 высокая (для нашего проекта)|
+|**5-страничная статья** — мало места для глубокого анализа, нет failure case discussion|🟢 низкая|
+|**Не peer-reviewed** на момент v2 (preprint)|🟢 низкая|
+
+**Применимо ли к UAV-сценарию (наш CVGL)?**
+
+- Задача — **detection, не retrieval/CVGL**;
+- 70M params — на порядок выше нашего бюджета;
+- **CSL angular loss** — единственный structural F7-relevant приём, потенциально полезный;
+- **Linear FLOPs scaling** — ценный benchmarking методология, но не транзитивно архитектурно.
+
+---
+
+## 8. Релевантность для моего проекта (MERIDIAN / CVGL)
+
+|Аспект|Оценка (1–5)|Комментарий|
+|---|:-:|---|
+|Гибридный backbone (DCN/equivariant + SSM/Linear-Attn)|**3**|**Hybrid CNN+Mamba** дизайн (Siamese CSPDarkNet53 + single CFM) — концептуальная параллель с SOFIA-ACB (DCN+MambaVision). Но нет DCN/equivariant в encoder|
+|Rotation equivariance / yaw-инвариантность (F7)|**3**|**CSL angular loss** — структурное решение boundary discontinuity для angle regression. Прямой transfer-кандидат для нашего OBB head или angle regression в auxiliary tasks|
+|Aerial-проблемы F1–F7|**3**|F1 (multi-scale), F4 (RGB+IR), F7 (CSL). F2/F3/F5/F6 — слабо|
+|LUPI-дистилляция (5→2 модальности)|**1**|Не KD work; supervised|
+|Feature KD vs Classical LUPI|**1**|Не применимо|
+|Multi-FiLM-Fusion / modality dropout / FUSE-RSVLM-style|**3**|**Single-layer CFM с 4-directional flatten + sum** — концептуальная альтернатива MultiLevelFiLM. Идея «один Mamba-слой достаточно для cross-modal fusion при правильном scanning» — **минималистичный дизайн**|
+|Привилегированные модальности (depth/edges/CHM/text)|**1**|Только RGB+IR|
+|Выбор Teacher модели|**1**|Без teacher|
+|OV-сегментация / CLIP-aligned|**1**|Не применимо|
+|Балансировка потерь (PALW/GradNorm/curriculum)|**2**|Фиксированные веса (α=0.05, β=1.0, γ=0.5, δ=0.5) — пример простой baseline для PALW comparison|
+|Edge deployment (Jetson, INT8, TensorRT)|**2**|Linear FLOPs scaling показан, но без edge benchmark|
+|Датасеты и метрики|**1**|DroneVehicle не пересекается|
+|Экспериментальный протокол|**2**|Single-dataset detection — не применим к E0–E9 retrieval|
+|**CSL angular loss** (отдельно)|**4**|**Высокая ценность** для F7 в auxiliary OBB head или semantic segmentation orientation prediction|
+|**Single-layer Mamba CFM с 4-directional scan** (отдельно)|**3**|Применимо как **efficient cross-view fusion alternative** — 1-layer Mamba с 4-direction flatten для merging sat-UAV features|
+|**Linear FLOPs scaling methodology** (Fig. 1)|**4**|**Заимствовать** как методологический шаблон benchmarking — построить аналогичный график для SOFIA-ACB Student vs MambaVision baseline|
+
+**Конкретные элементы для заимствования:**
+
+1. **CSL angular loss для секондарных tasks** (Phase E0/E1, при необходимости orientation prediction):
+    
+    - Применимо если в OV-сегментации потребуется учёт orientation ландмарок;
+    - Структурное решение boundary discontinuity, complementary к нашим E(2)-steerable C4 / DCNv4 для F7;
+    - **Привязка:** Phase E1 Teacher auxiliary head или Phase E5 semantic segmentation tasks.
+2. **Single-layer Mamba CFM как fusion-альтернатива** (Phase E1 Teacher F6 Hybrid Multi-Level):
+    
+    - Использовать **1-layer 4-directional Mamba** для merging concat(RGB, depth, edges, CHM) — **efficient альтернатива** Multi-FiLM при ограниченном compute budget;
+    - **Привязка:** Phase E1, fusion design alternative.
+3. **Linear FLOPs scaling methodology (Fig. 1)** — **методологический template**:
+    
+    - Построить аналогичный plot для **SOFIA-ACB Student vs SOFIA pure vs CNN baseline** при разных input resolutions (128, 256, 384, 512);
+    - Доказательство linear scaling Mamba stages 3–4 vs quadratic ViT-attention;
+    - **Привязка:** Phase E0 backbone benchmark, Gate 1 documentation.
+4. **Pareto-frontier comparison** (Table 2 + Fig. 1):
+    
+    - Заимствовать как **методологический template** для сравнения backbones — params + FPS + mAP/R@1 в одной таблице.
+
+**Модификации для адаптации:**
+
+- Уменьшить CSPDarkNet53 → SOFIA-ACB tiny (~3.7M);
+- Адаптация к 256×256 (RemoteDet работает на 840×840 крупных);
+- Замена detection head на retrieval head (GGeM + 512-dim);
+- **Drop CFM, использовать MultiLevelFiLM** (наш existing) — но keep idea of single-layer fusion для baselines.
+
+**Потенциальные риски при переносе:**
+
+- **Fixed weights α=0.05, β=1.0, γ=0.5, δ=0.5** — может не работать с нашими InfoNCE+LUPI loss balancing problems (Feature Pollution);
+- **CSL angular classification** — добавляет hyperparameter (window radius r), требует tuning;
+- **Single-layer fusion** может оказаться недостаточным для 5-modal Teacher (vs 2-modal RGB+IR в RemoteDet).
+
+**Противоречия с нашими решениями:**
+
+- **Detection (OBB) vs Retrieval** — фундаментальное расхождение output;
+- **70M params vs 5M бюджет** — disqualifier для прямого заимствования backbone;
+- **YOLOv5s detection neck** — не нужен для retrieval.
+
+---
+
+## 9. Связь с другими работами
+
+**Continuation / extension of:**
+
+- [[Mamba]] (Gu & Dao 2023) — фундамент;
+- [[Vision Mamba]] (Zhu et al. 2024) — bidirectional Mamba;
+- [[VMamba]] (Liu et al. 2024) — SS2D 4-direction scanning (прямой источник);
+- [[YOLOv5s]] / [[CSPDarkNet53]] — backbone и detection head;
+- [[CSL]] (Yang & Yan ECCV 2020) — angle classification;
+
+**Mamba multimodal context (cited as direct competitors):**
+
+- [[Fusion-Mamba]] (Dong et al. 2024) [14] — hidden state space cross-modal interaction;
+- [[Sigma-Siamese-Mamba]] (Wan et al. 2024) [15] — Siamese Mamba для семантической сегментации;
+- [[DMM]] (Zhou et al. TGRS 2025) [16] — disparity-guided multispectral Mamba для oriented detection — **главный baseline (79.4% mAP)**;
+- [[C²Former]] (Yuan & Wei TGRS 2024) [7] — calibrated complementary transformer;
+- [[TSFADet]] (Yuan et al. ECCV 2022) [6] — translation/scale/rotation cross-modal alignment.
+
+**UAV / RS detection context:**
+
+- [[UA-CMDet]] (Sun et al. TCSVT 2022) [20] — uncertainty-aware learning RGB-IR;
+- [[MKD]] (Huang et al. ICASSP 2023) [27] — multimodal knowledge distillation для arbitrary-oriented;
+- [[CASformer]] (Li et al. Inf. Fusion 2024) — cascaded transformers for fusion-aware HSI;
+- [[Wu et al. survey]] (TGRS 2021) [3] — convolutional NN multimodal RS classification.
+
+**Followed by:** [МОЙ КОММЕНТАРИЙ] На момент v2 (Jan 2026) уже существуют **превосходящие follow-up работы**: UAVD-Mamba (83.0%, July 2025), MSDF-Mamba (82.5%, Dec 2025), MambaRefine-YOLO (83.2%, 2025).
+
+**Связь с ключевыми CVGL работами — отсутствует прямая.** RemoteDet — UAV detection.
+
+**Связь с backbones моего проекта:**
+
+- [[MambaVision]] / [[Mamba-3]] — родственная архитектура; CFM использует «классический» VMamba SS2D, не MambaVision;
+- [[DCNv4]] — не упоминается; CFM не использует deformable conv;
+- [[E(2)-Steerable CNNs]] — не упоминается, но **CSL** — концептуально родственный приём (rotation handling через learnable structure);
+- [[Strip R-CNN]], [[LEGNet]], [[LWGANet]], [[EfficientViT]], [[FastViT]] — **не упоминаются**.
+
+**Связь с fusion-методами:**
+
+- [[Coupled-Mamba]], [[Sigma-Siamese-Mamba]], [[Fusion-Mamba]] — direct competitors, упомянуты в related work;
+- [[MGMF]] (мы анализировали ранее) — **не упоминается**, хотя параллельная работа на DroneVehicle;
+- [[UAVD-Mamba]] (мы анализировали ранее) — слишком позднее для citation в v1, но v2 (Jan 2026) могла бы добавить.
+
+**Связь с LUPI / KD:**
+
+- [[MKD]] (Huang et al. ICASSP 2023) [27] — упоминается как baseline (69% mAP, что слабее multimodal SOTA);
+- **Никакой прямой LUPI связи**.
+
+---
+
+## 10. Критическая оценка (Peer-Review Perspective)
+
+|Критерий|Оценка (1–10)|Комментарий|
+|---|:-:|---|
+|Новизна|**5**|Single-layer CFM — incremental design над VMamba SS2D; ablation показывает marginal gain CFM vs Add fusion (+1%); основной vклад — efficiency-first дизайн|
+|Техническая глубина|**6**|Mathematics корректные, algorithm flow ясен, но 5-страничный формат не позволяет глубоко обосновать дизайн|
+|Экспериментальная строгость|**6**|Только один датасет, **полная** ablation Table 1, **GFLOPs scaling plot** (Fig. 1) — сильно. Per-class анализ есть|
+|Ясность изложения|**7**|Структура понятна, диаграммы информативные (Fig. 1, 2)|
+|Воспроизводимость|**5**|Algorithm прописан, но **код не упомянут**; гиперпараметры частично указаны|
+|Значимость результатов|**6**|+2.4% mAP над DMM на момент v1 — **умеренно**, но обогнан UAVD-Mamba на +1.2% за полгода|
+
+**Общая оценка:** **Borderline / Weak Accept** для конференций (ICASSP, IGARSS, WHISPERS — целевые venues по format):
+
+- Сильные стороны: linear FLOPs scaling demonstration, Pareto-доминирование над DMM, простой single-layer дизайн;
+- Слабые стороны: один датасет, marginal CFM gain, **обогнан** последующими работами, нет кода / edge benchmark.
+
+**Главные требования reviewer:**
+
+1. Добавить тесты на VEDAI / M³FD;
+2. Сравнить с UAVD-Mamba (который Pareto-доминирует);
+3. Edge benchmark (Jetson) — обязателен для UAV claim;
+4. Объяснить per-class regression на van/freight-car;
+5. Открыть код одновременно с peer review;
+6. Failure cases analysis.
+
+---
+
+## 11. Ключевые выводы (Executive Summary)
+
+1. **Главный вклад:** Hybrid CNN+Mamba framework для multimodal RGB-IR drone detection с **single-layer CFM** (Cross-modal Fusion Mamba), использующим 4-directional patch-level SS2D scanning + element-wise fusion + FFN refinement. Главный philosophical claim: **глубоко stacked Mamba не нужны** для small densely-packed targets — efficiency-first design + linear FLOPs scaling.
+2. **Самое сильное техническое решение:** **Linear FLOPs scaling methodology** (Fig. 1) — ясное демонстрирование преимущества Mamba SSM (linear) vs Transformer attention (quadratic) на RS aerial inputs до 1300×1300, где C²Former обрезается из-за 24GB GPU memory limit. Это **методологически сильное** доказательство, важнее самой модели.
+3. **Главный недостаток:** **Marginal gain CFM vs simple Add fusion (+1.0% mAP)** — main novelty не сильно превосходит element-wise sum; **обогнан UAVD-Mamba** (83.0% vs 81.8%) при меньших params (39.7M vs 70M); 70M params — слишком тяжёлая для real UAV onboard inference; нет edge benchmark.
+4. **Самый полезный элемент для LUPI-проекта:**
+    - **CSL angular loss (Eq. 12–13)** — для **Phase E1 Teacher / E5 OV-сегментация auxiliary head** при необходимости orientation prediction ландмарок. Структурное решение boundary discontinuity (0°=180°), complementary к нашим E(2)-steerable C4 / DCNv4 для F7;
+    - **Linear FLOPs scaling methodology (Fig. 1)** — **методологический template** для Phase E0 backbone benchmark: построить аналогичный plot для SOFIA-ACB Student vs SOFIA pure vs Variant B (E(2)-steerable + EfficientViT) при разных input resolutions для документации Gate 1;
+    - **Single-layer Mamba CFM** — концептуальная альтернатива MultiLevelFiLM в Phase E1 Teacher fusion как **efficient baseline** для F6 Hybrid Multi-Level.
+5. **Что изучить дополнительно:**
+    - [[VMamba]] (Liu et al. 2024) — оригинал SS2D 4-direction scanning;
+    - [[CSL]] (Yang & Yan ECCV 2020) — angle classification паттерн;
+    - [[DMM]] (Zhou et al. TGRS 2025) — главный baseline (disparity-guided multispectral Mamba);
+    - [[Fusion-Mamba]] (Dong et al. 2024) — параллельная Mamba-fusion работа;
+    - [[UAVD-Mamba]] (наш предыдущий анализ) — обогнавший RemoteDet на +1.2%;
+    - [[Sigma-Siamese-Mamba]] (Wan et al. 2024) — для понимания Siamese Mamba paradigm.
+6. **Приоритет статьи:** **СРЕДНИЙ.** Не на критическом пути E0–E9, но содержит **две заимствуемые идеи**:
+    - **CSL angular loss** для F7-orientation handling в auxiliary tasks;
+    - **Linear FLOPs scaling methodology** для backbone benchmark (Phase E0, Gate 1 documentation). Сравнительно **менее релевантно**, чем UAVD-Mamba (DCN + Mamba hybrid, который ближе к SOFIA-ACB), но **более простой и ясный** дизайн делает RemoteDet хорошим референсом для **single-layer Mamba fusion baseline**.
+7. **Связанные статьи для прочтения следом:**
+    - [[VMamba]] (Liu et al. 2024) — SS2D foundation;
+    - [[CSL]] (Yang & Yan ECCV 2020) — angle classification оригинал;
+    - [[DMM]] (Zhou et al. TGRS 2025) — главный baseline disparity-guided Mamba;
+    - [[Fusion-Mamba]] (Dong et al. arXiv 2404.09146) — параллельная работа на M³FD/FLIR;
+    - [[Sigma-Siamese-Mamba]] (Wan et al. 2024) — Siamese Mamba для seg;
+    - [[CASformer]] (Li et al. Inf. Fusion 2024) — cascaded transformers fusion HSI;
+    - [[MKD]] (Huang et al. ICASSP 2023) — multimodal KD для arbitrary-oriented detection — **единственный KD-relevant** из cited works;
+    - [[ReDet]] (Han et al. CVPR 2021) [26] — rotation-equivariant detector — связь с E(2)-Steerable CNNs.
+
+---
+
+#paper/B #arch/mamba #method/fusion #method/ssm #task/detection #domain/uav #venue/arxiv #year/2026 #relevance/medium #status/full_pdf
+
+---
+
+## I. REFRESH DELTA (compact, batch Tier C mode C, 2026-05-16)
+
+### I.3. Cross-link updates
+- ➕ [[F44_2025_Fusion-Mamba_Cross-modality_Object_Detection]] — TMM-2025 peer-reviewed Mamba-fusion alternative
+- ➕ [[F75_2025_MultiLayer_GraphConv_Discriminative_Mamba]] — sibling RS-Mamba hybrid
+- ➕ [[F79_2025_SSM_Meet_Transformers_HSI]] — SSM+Transformer family
+- ➕ [[AUDIT_N6_INT8_fusion_readiness]] — INT8 audit reference
+
+### I.4. Relevance refresh (RGB-CVGL applicability check)
+
+| Aspect | Opus 4.6 | Opus 4.7 | Note |
+|:-------|:--------:|:--------:|:-----|
+| ★-rating | MED | MED | unchanged |
+| **RGB-CVGL applicable?** | n/a | ⚠️ partial | Multi-modal detection (RGB-IR likely), не CVGL retrieval |
+| Mamba-scan operator extractable | n/a | ⚠️ FP16 | Standard SSM scan — FP16 micro-block (см. AUDIT_N6) |
+| Teacher ACF candidate? | n/a | ⚠️ | Hybrid CNN-Mamba pattern — applicable; F44 — better peer-reviewed alternative |
+| Variant-A inspiration | n/a | ★★ | Mamba family inspiration only |
+| INT8 readiness | n/a | ❌ | SSM kernel блокирует INT8 |
+
+### I.5. Verdict
+
+```
+🎯 MERIDIAN fit: Medium (research-arm; F44 = stronger peer-reviewed alternative для same niche)
+🔭 Layer mapping: Mamba research-arm reference; F44 предпочтительнее
+🔁 Re-refresh: not needed
+```
+
+---
+
+**Refresh signature:** 2026-05-16 / Opus 4.7 / batch-C compact
--- a/docs/02_references/06_paper_analyses/ImageBind
+++ b/docs/02_references/06_paper_analyses/ImageBind
--- a/docs/02_references/06_paper_analyses/P50_2026_MMGeo_deep_dive_for_MERIDIAN.md
+++ b/docs/02_references/06_paper_analyses/P50_2026_MMGeo_deep_dive_for_MERIDIAN.md
@@ -0,0 +1,82 @@
+---
+type: deep_dive
+status: active
+date: 2026-04-11
+parent: "[[P50_2026_MMGEO]]"
+tags: [task/analysis, method/multimodal, method/dropout, lupi, architecture/mutable_token, priority/high]
+related: ["[[HYP_MASTER_unified_recipe_v3]]", "[[F14_2025_WeatherPrompt]]", "[[P64_2025_CGSI]]"]
+author: antigravity
+search_date: 2026-04-11
+---
+
+# P50 MMGeo (2026) — Deep Dive & Mutable Token Specification
+
+> **Контекст:** В P50 (MMGeo) решается проблема "хрупкости" (Fragility) мультимодальных сетей. Если вы обучаете сеть на `Image + Depth + Text`, а при инференсе у дрона отваливается дальномер (нет Depth), стандартные Late Fusion сети падают в качестве хуже, чем baseline-сети на чистом RGB. P50 вводит концепт **Mutable Token (Изменчивый Токен)**, который позволяет элегантно отключать (dropout) любую из 5 модальностей "на лету" (Graceful Degradation).
+> **Значимость для MERIDIAN:** Идеальная архитектура для Teacher'а, который должен уметь агрегировать наши 5 привилегированных модальностей (RGB, Depth, Edges, Seg, Meta) и мягко передавать их Student'у через LUPI, исключая "Feature Shock".
+
+---
+
+## 1. Точная архитектура: Mutable Token (MT) и Graceful Dropout
+
+Вместо того чтобы делать жесткую конкатенацию векторов `[F_img, F_depth, F_text, ...]`, которая ломается при отсутствии хотя бы одного элемента, P50 использует парадигму **Set-to-Vector (Множество в Вектор)**:
+
+1.  **Mutable Token ($M_t$):** Обучаемый вектор размерности 1024 (инициализируется как `nn.Parameter`, $\mathcal{N}(0, 0.02)$). Он выступает как **Query ($Q$)** в блоке Cross-Attention.
+2.  **Modality Pool:** Все доступные на данный момент модальности формируют "мешок" (Set). Они проецируются до унифицированного размера 1024 и выступают как **Keys/Values ($K, V$)**.
+3.  **Агрегация:** $M_{out} = \text{Softmax}\left(\frac{Q K^T}{\sqrt{d}}\right) V$
+*Почему это Graceful?* Softmax в Cross-Attention автоматически пересчитывает веса в сумму 1.0. Если вы "выдернете" матрицу `Depth` из $K, V$, Softmax просто раскидает ее долю внимания на оставшиеся `Image` и `Text`. Токен $M_{out}$ всегда сохраняет один и тот же масштаб и размерность 1024!
+
+---
+
+## 2. 5 Модальностей: Как они представлены в едином $1024$-d пространстве?
+
+Прежде чем попасть в "мешок" (Modality Pool), разнородные данные унифицируются независимыми кодерами:
+*   **Image Token:** Пулинг-токен (CLS) из DINOv2-L. 
+*   **Depth Token:** Disparity карта прогоняется через 3-слойную CNN $\rightarrow$ GlobalPool $\rightarrow$ Linear(1024).
+*   **Text Token:** VLM/LLaMA Sentence Embedding $\rightarrow$ Linear(1024).
+*   **Meta Token (GPS/Heading):** Сначала Fourier Features (синусоиды для непрерывных скаляров) $\rightarrow$ MLP $\rightarrow$ Linear(1024).
+*   **IMU Token:** Акселерометр/Гироскоп (1D time-series). Прогоняется через 1D-ResNet $\rightarrow$ Linear(1024).
+
+---
+
+## 3. Training Protocol: Modality Dropout Rate
+
+Чтобы Mutable Token научился быть гибким и не впадал в зависимость от одной "читерской" модальности (например, Depth), используется жесткий протокол дропаута во время обучения:
+*   **RGB Image:** Никогда не дропается (Базовый якорь).
+*   **Independent Dropout:** Каждая вспомогательная модальность (Depth, Text, Meta, IMU) имеет независимый шанс $p = 0.4$ быть замаскированной (выкинутой из $K, V$).
+*   **Full Dropout:** С вероятностью $p = 0.1$ маскируются *все* модальности, кроме RGB.
+*   *Результат:* Mutable Token привыкает извлекать максимум из того "набора продуктов", который ему дали на этой эпохе.
+
+---
+
+## 4. Ablation Study: Разбор модальностей по изолированному R@1
+
+MMGeo провели тест, инкрементально добавляя модальности (или тестируя только RGB после мультимодального обучения):
+
+| Доступные мод-ти при Инференсе | R@1 (%) | Комментарий |
+|:-------------------------------|:--------|:------------|
+| **Только Image (RGB)** | 88.5% | Базовая способность MT агрегировать только 1 матрицу |
+| Image + **IMU** | 89.1% | IMU даёт крошечный прирост (помогает понять агрессивность наклона) |
+| Image + **Meta (Heading/GPS)** | 92.4% | Компас жестко отсекает ложные развороты зданий |
+| Image + **Depth** | 94.2% | Глубина позволяет отличить небоскреб от плоской парковки |
+| Image + **Text** | 96.1% | Синтетический текст указывает на семантику ("Г-образная крыша") |
+| **All 5 Modalities** | **97.3%** | **SOTA (сумма всех синергий)** |
+
+*Важно:* Если сеть обучена *только* на Image, она дает 86.2%. Но MT-сеть, обученная на 5 модальностях, при инференсе только по Image выдает 88.5%! То есть Mutable Token **сохраняет в себе остаточные знания (Priors)** о мультимодальности даже при ее отсутствии.
+
+---
+
+## 5. ПРЕДЛОЖЕНИЕ ДЛЯ MERIDIAN: Адаптация $5 \rightarrow 2$ для LUPI
+
+В нашей системе MERIDIAN Student работает ТОЛЬКО по `Image` (1 модальность), а Teacher видит `Image + Depth + Edges + Seg + Meta` (5 модальностей).
+Как передать это через LUPI без "Feature Pollution" (перегрузки слабого студента излишне сложным вектором)?
+
+**Решение: Mutable Token Distillation (MTD)**
+Вместо классического $MSE(F_{student}, F_{teacher\_all})$, мы используем архитектуру P50 для Teacher'а:
+1. Teacher имеет Teacher-MT (Mutable Token). На вход ему подаются все 5 привилегированных модальностей.
+2. Во время обучения Teacher-MT мы **применяем к нему Modality Dropout** ($p=0.4$ для каждой не-RGB ветки).
+3. Student тоже использует Student-MT, но у него в пуле есть только `Image`.
+4. **Дистилляция:** $\mathcal{L}_{LUPI} = \text{InfoNCE}(Student\_MT, Teacher\_MT)$ или $MSE$.
+
+**Почему это гениально:**
+Из-за Modality Dropout на стороне Teacher'а, его Mutable Token на некоторых эпохах агрегирует 5 модальностей, на некоторых 3, а с вероятностью $p=0.1$ агрегирует *только RGB* (те же условия, что у Student'а).
+Это создает **гладкое скольжение** репрезентаций. Student'у гораздо проще "скопировать" поведение Teacher-MT, так как Teacher-MT иногда сам работает в режиме "только RGB", тем самым пробрасывая мостик между чистой картинкой и гипер-комплексным мультимодальным пространством.