bogdanpavl/Pavlenko_disser
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

13_05_chkpnt

Browse Source
This commit is contained in:
Pavlenko_B
2026-05-13 10:02:33 +03:00
parent 0760fb9916
commit b2f65bdc08
7 changed files with 888 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

218
notes/Обзор актуальных работ (2023–2026).md Normal file
View File

@@ -0,0 +1,218 @@
---
tags:
- диссер
- ЛИСАД/лит-обзор
---
[[Сгруппированные ссылки]]
# Обзор актуальных работ (2023–2026) для диссертации по мультимодальному слиянию признаков для анализа UAV-снимков
## TL;DR
- **CVGL с текстом** активно развивается в 2024–2026 вокруг двух flagship-работ — **GeoText-1652 (ECCV 2024)** и **CrossText2Loc / CVG-Text (ICCV 2025, arXiv 2412.17007)**; типичные fusion-механизмы — blending spatial matching, dual-stream cross-attention (DCAF в RCMF 2025), Mixture-of-Experts gating (RoboSense 2025) и расширенные text-encoders. Явные learned-gate/adaptive-residual схемы в чисто CVGL встречаются только в адъютантных модулях (DAFM, FAAM, FSA, MEAN), но не как «α-residual» в строгом смысле.
- **Adaptive/learned gating с скалярным α** для residual-ветки прямо описан в **AGFN (Wu et al., arXiv:2510.01677, 2025)** — `h_fused = α·h_entropy + (1−α)·h_importance`, в **QACMANet / Quality-Aware Gating Unit (Procedia/QAGU 2026)**, в **DEGF-YOLO (Pattern Recognition, 2025)** с GDFF и в **DTC-YOLO (Sensors 2025)**; для image-quality/feature-quality fusion это сегодня доминирующий шаблон.
- **Teacher-Student с multimodal→unimodal** для remote-sensing/UAV — это **DPMamba (IJCAI 2025)** (text-bridging distillation), **DCLIP (2505.21549, 2025)**, **VeXKD (NeurIPS 2024)**, **PFED/MobileGeo (arXiv 2510.22582, 2025/26)** для UAV-CVGL, **MKD (Digital Signal Processing, 2024)**. **UC-Merced** официально признан насыщенным начиная с AID (2017) и NWPU-RESISC45 (2017); в 2024–2025 для multimodal scene classification его всё ещё используют как «sanity-check», но основная нагрузка ложится на **AID, NWPU-RESISC45, PatternNet, EuroSAT, Million-AID, RSITMD/RSICD, SkyScript, RS5M, DGTRSD**.
---
## Key Findings
### 1. Cross-View Geo-Localization (CVGL) с текстовыми описаниями
| Работа | Venue / год | Метод fusion | Gate / adaptive residual? |
|---|---|---|---|
| Chu, Zheng, Ji, Wang, Chua. **GeoText-1652** | ECCV 2024 | Расширение University-1652 текстом + bbox; «blending spatial matching» — региональный матч между bbox-описаниями и drone/satellite токенами поверх ALBEF/X-VLM | Нет явных gate-механизмов; работа на уровне loss и бенчмарка |
| Ye, Lin, Ou et al. **«Where Am I?» / CrossText2Loc / CVG-Text** | arXiv 2412.17007, ICCV 2025 | CLIP-L/14@336 backbone + «Extended Embedding» (длинный текст), unsupervised LMM-driven fine-tuning, контрастивное обучение street-view↔OSM/satellite | Нет explicit gate, но ввёден inverse-entropy reweighting длинных текстовых токенов |
| Zhang & Lyu. **RCMF + Dual-stream Cross-Attention Fusion (DCAF)** | Springer (Region-Level Cross-Modal Matching), 2025 | Двухпотоковая reciprocal cross-attention между текстовыми фразами и регионами изображения; SOTA на GeoText-1652 | Cross-attention, без learned scalar α |
| Hu et al. **CORE / PLANET** (Global Cross-Modal Geo-Localization, million-scale) | arXiv 2603.08491, 2026 | Vision-language foundation backbone + physical signature mining + physical semantic projection | Нет α-residual, скорее multi-loss |
| TeleAI и др. **MoE-based Cross-Modal Geo-Localization** (RoboSense 2025 Track 4) | arXiv 2510.20291, 2025 | Mixture-of-Experts с **dynamic gating network**, маршрутизирующим текстовый запрос между satellite/drone/ground экспертами | Динамический soft-gating router (sample-wise) |
| Ji, He, Tan, Wu. **Game4Loc / GTA-UAV** | AAAI 2025 (Oral) | ViT + weighted-InfoNCE для частичных drone–satellite матчей на 81.3 km² синтетике | Без текстовой ветки; релевантно как reference UAV-CVGL benchmark |
| Sun et al. **PFED / MobileGeo** | arXiv 2510.22582, 2025/26 | Hierarchical Distillation для CVGL (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) | UAPA даёт sample-wise scalar для веса дистилляции — близко к «adaptive residual» |
| Yi et al. **MFAF (EVA02-based)** | arXiv 2509.12673, 2025 | Multi-scale Frequency Attention + Frequency-aware Selective Aggregation (FSA) | FSA — adaptive freq-channel gating |
| Liu et al. (Wuhan U.) **JRN-Geo** | arXiv 2509.05696, 2025 | Difference-Aware Fusion Module (DAFM) + Joint-Constrained Interaction Aggregation для RGB+normal | Difference-driven channel modulation, но без скалярного α |
| Hou et al. **MCFA** | Sensors, 2025 | Multi-Scale Cascade + Feature Adaptive Alignment с dynamically weighted feature alignment | Адаптивные веса между видами, не residual-α |
| Xu et al. **Context-Enhanced CVGL** | arXiv 2502.11408, 2025 | DINOv2-features + контекстные признаки | Не явный α |
**Вывод по п. 1.** В CVGL с текстом fusion идёт преимущественно через cross-attention (single или dual-stream), MoE-gating и contrastive-alignment в shared embedding space. Работы с **explicit learned scalar α на residual-ветке** в чисто-CVGL мне не встретились — это пробел, который ваша диссертация может закрыть. Ближайшие аналоги — UAPA в PFED/MobileGeo, FSA в MFAF и MoE-gating в RoboSense-2025 решении.
---
### 2. Adaptive / learned gating для residual connections в multimodal fusion (2024–2026)
| Работа | Venue / год | Метод | Тип gate |
|---|---|---|---|
| Wu et al. **AGFN — Adaptive Gated Fusion Network** | arXiv 2510.01677, окт. 2025 | Dual-gate fusion: (1) entropy-gate `Softmax_m(z_m·exp(−H(h_m)/τ))·h_m`; (2) modality-importance gate `σ(z)⊙h_m`. Финал: `h_fused = α·h_entropy + (1−α)·h_importance`, **α ∈ [0,1] — learnable scalar** | Прямой learned scalar α на residual-fusion — наиболее близкий аналог к тому, что вы хотите |
| Sun, Ye, Zhou et al. **QACMANet с Quality-Aware Gating Unit (QAGU)** | Sci. Direct (Adv. Eng. Inform.), 2026 | QAGU объединяет «external objective quality» (e.g. SNR, blur) и «internal subjective uncertainty» (Dirichlet/evidential) для генерации dynamic fusion weights между двумя модальностями (visual + electrical для AUV-пропеллеров) | Dual-source reliability scalar — **прямой шаблон для UAV** |
| Liu et al. **DEGF-YOLO** | Pattern Recognition, 2025 (S0031320325013858) | Differential Feature Enhancement (DFE) + Gated-Driven Feature Fusion (GDFF), управляющий fusion на основе **feature quality** для UAV RGB+IR детекции | Quality-aware gate per modality |
| Wang et al. **DTC-YOLO** (Depth-Texture Coupling) | Sensors, 2025 (PMC12473487) | RGB-LiDAR с dynamic gated fusion в ADF3-Net (Adaptive Dimension-aware Focused Fusion) | Adaptive multidim. weighting |
| Chlon et al. **AECF — Adaptive Entropy-Gated Contrastive Fusion** | arXiv 2505.15417, 2025 | Light fusion layer над frozen backbones; entropy-driven λ(x) per-sample для смешивания вкладов модальностей; теоретические Lipschitz-границы | Per-sample scalar gate с теоретическим обоснованием |
| Wen et al. **PGF-Net** | 20 Aug 2025 | Cross-modal sentiment с partial gating | Per-sample gate |
| He et al. (multimodal DINO) **Frequency-Domain Gate UAV** | Remote Sensing Letters 15(2), 2024 | Adaptive multimodal feature fusion с frequency-domain gate для UAV RGB+IR | Spectral gate |
| Arevalo et al. **GMU (классика)** | 2017 (всё ещё используется как baseline) | `h = z·h_v + (1−z)·h_t`, `z = σ(W[h_v;h_t])` | Vector gate |
| FGU — Fusion Gate Unit | Preprints 2024 (202409.1917) | Multiplicative gates + neural gating drawn from GRU/LSTM | Vector multiplicative |
| Vijayan et al. **Scalar gating in transformer adapters for vision-text MT** | 2024 | **Scalar-α** для visual adapter в transformer | Прямой scalar α |
| **Cross-Layer Injection (CLI / AGF)** | arXiv 2601.10710, 2025/26 | Adaptive Multi-Projection + **Adaptive Gating Fusion** для inject в LLM | Per-layer learned gate |
**Вывод по п. 2.** Шаблон «`output = x + α(x)·F(x)` с learned scalar или vector α» в 2024–2026 стал почти стандартом. Самые цитируемые архетипы: AGFN (явная формула с α), QAGU/QACMANet (quality-driven), GDFF в DEGF-YOLO (UAV-specific). Эти три статьи — обязательные ссылки для вашей диссертации.
---
### 3. Teacher-Student distillation с multimodal → unimodal (UAV / RS-специфика)
| Работа | Venue / год | Teacher / Student | Domain |
|---|---|---|---|
| Yang, Qu, Huang, Dong. **DPMamba** | IJCAI 2025 | Полная multimodal teacher (HSI/SAR/LiDAR/RGB + text) → unimodal student с missing-modality-aware prompts; **text-bridging distillation** в shared text-semantic space | RS image classification — **прямо ваш сценарий** |
| Cao et al. **DCLIP** (Distill CLIP) | arXiv 2505.21549, 2025 | Image+text meta-teacher (region-level attention) → image-only student CLIP с partial fine-tune; contrastive + cosine distillation | Image-text retrieval; шаблон распространим на RS |
| Zhou, Liu, Hu et al. **VeXKD** | NeurIPS 2024 | Multi-modal fusion teacher (LiDAR+camera) → single-modal student в BEV; KD только на BEV-feature maps | Autonomous driving (3D) — методически близко |
| Zhou, Liu et al. **UniDistill** | CVPR 2023 (продолжение в 2024) | Универсальная KD по 4 направлениям: LiDAR↔Camera, fusion→LiDAR, fusion→camera | Autonomous driving |
| Sun et al. **PFED / MobileGeo** | arXiv 2510.22582, 2025/26 | Heavy multi-branch teacher → lightweight student с Hierarchical Distillation для CVGL + Uncertainty-Aware Prediction Alignment | **Drone CVGL** — близко |
| Song, Li, Cao, Meng. **RS-MTDF** | arXiv 2506.08772, 2025 | Multiple frozen VFMs (DINOv2, CLIP) как expert teachers → student decoder через feature-level distillation + fusion | RS semi-supervised semantic segmentation |
| Wang et al. **MKD — Multidimensional KD for Multimodal RS Scene Classification** | Digital Signal Processing 156, 2024 | Inter-layer relational + intra-layer feature distillation между fusion features | RS scene classification |
| Huo et al. **C²KD** | CVPR 2024 | OFSD — On-the-Fly Selection Distillation для bridging modality gap (audio-visual / image-text / RGB-depth) | Universal cross-modal KD |
| Pan et al. **Distilling Textual Priors from LLM to Efficient Image Fusion** | arXiv 2504.07029, 2025 | LLM+image teacher → image-only student, спец. prior distillation loss + spatial-channel cross-fusion module (SCFM); 90% размера убирается, 90% качества сохраняется без текста на inference | RGB+IR fusion — методический образец |
| Zhuang et al. **CMAD** | ICCV 2025 | Correlation-aware modalities-aware distillation для multimodal sentiment с missing modality | Доменно дальше, но релевантная схема |
**Вывод по п. 3.** Прямо «teacher = text+image, student = image-only, UAV/RS-спец.» — это **DPMamba (IJCAI 2025)** и **DCLIP (2025)**; в смежных областях — VeXKD, UniDistill (multimodal→single sensor), а в RS-сегментации/классификации — RS-MTDF и MKD. Это та коробка работ, в которую естественно встраивается ваш метод.
---
### 4. Явные скалярные оценки информативности / quality модальности
| Тип метрики | Работа | Как используется |
|---|---|---|
| **Энтропия признаков H(h_m)** | AGFN (Wu et al., 2510.01677, 2025); AECF (Chlon et al., 2505.15417, 2025) | Низкая энтропия → больший вес модальности; entropy-gate `exp(−H/τ)` |
| **Shannon-entropy reliability proxy** | DAF в Adaptive Hybrid Transformer (PIU, 2025); Entropy-Regulated Cross-Modal Generative Framework (ER-CMGI, 2025) | Differentiable reliability proxy; гибридная entropy-low-priority + inverse-entropy weighting |
| **Modality reliability supervised by BPR** | Dong, Song, Zheng, Zhao, Ding. **MARGO** (arXiv 2504.16524, 2025) | Reliability = signal согласованности рейтинга positive>negative по этой модальности; weight calibration loss |
| **Dempster-Shafer mass + contextual discounting coefficients** | Huang, Ruan, Decazes, Denœux. Inf. Fusion 2024 (Deep Evidential Fusion); Evidence-aware multi-modal data fusion (TKR, 2023) | Learned scalar discount per source per class |
| **Quality-Aware Gating Unit (QAGU)** | QACMANet (Sun et al., 2026, S1474034626000881) | Synergy of external objective quality (SNR/blur) + internal subjective uncertainty (Dirichlet) |
| **Patch entropy** | PEFM, ACCV 2024 (Enhancing Object Detection in Adverse Weather) | Per-patch entropy для guided fusion |
| **Mahalanobis distance** | Mahalanobis SVDD audio-IMU (arXiv 2505.05811, 2025); используется для anomaly/quality scoring | Прямая мера в признаковом пространстве |
| **Mutual-information sample filtering** | PFED MRM (2510.22582, 2025/26) | MI для фильтрации избыточных multi-view признаков |
| **Feature-norm как индикатор** | Ma et al. (16 Oct 2025) — анализ weight-norm disparities в multimodal | Систематически наблюдаются после joint training; мотивация для adaptive weighting |
| **Gradient norm + uncertainty** | Wei et al. **Gradient decoupled learning with unimodal regularization** (TGRS, 2024) | Per-modality gradient контроль |
**Вывод по п. 4.** Норма / энтропия / Mahalanobis / evidence (Dirichlet) как **явные scalar quality scores** — отдельная зрелая ветвь, наиболее живая в 2024–2025: AGFN, AECF, MARGO, QAGU, evidential fusion (Denœux). Это именно та парадигма, в которую укладывается ваш QAGU-подобный модуль из DEGF-YOLO.
---
### 5. Насыщенность UC Merced и используемые альтернативы
**Статус.** UC-Merced (21 класс, 2100 изображений, 0.3 м/пикс., Yang & Newsam 2010) официально считается насыщенным с 2017 года: NWPU-RESISC45 paper (Cheng et al., 2017) прямо указывает «~100% accuracy on the most popular UC Merced dataset with deep CNN features», AID paper (Xia et al., 2017) — «results on them are already saturated». В 2024–2025 SOTA-методы достигают на UCM 99.17–100% (SGMSNet, MambaOutRS-t — F1 98.41%, DMCCA+SVM — 99.35% на PatternNet и 92–93% на NWPU/AID). Это означает, что UCM перестал давать различимый сигнал между методами и используется только как «sanity-check».
**Что используется в 2024–2025 для multimodal scene classification вместо/вместе с UCM:**
| Датасет | Размер | Особенность | Ключевые работы 2024–2025 |
|---|---|---|---|
| **AID** (Xia et al., 2017) | 10,000 / 30 классов | 600×600, разные resolutions | Cai et al. Dual-Cross Attention RSSC (arXiv 2412.02531, 2024); SGMSNet (Springer, 2025); STConvNeXt (PMC11897181, 2025) |
| **NWPU-RESISC45** (Cheng et al., 2017) | 31,500 / 45 | 256×256, большое within-class разнообразие | Те же + DMCCA+SVM (MDPI AI 2025); Pairwise Comparison Network (PCNet) |
| **PatternNet** (Zhou et al., 2018) | 30,400 / 38 | RSIR-ориентирован | DMCCA+SVM (2025); STConvNeXt |
| **EuroSAT** (Helber et al., 2019) | 27,000 / 10 | Sentinel-2, multispectral | Few-Shot CLIP+Prompt Learning (arXiv 2510.24321, 2025); MambaOutRS |
| **Million-AID** (Long et al., 2021) | ~1 M / 51 | Large-scale, hierarchical | SkyCLIP/SkyScript pretraining baseline |
| **RSITMD / RSICD** | 4,743 / 10,921 (image-text pairs) | Multimodal — image+caption | Multimodal Contrastive Learning with Relaxed Positive Samples (PMC11644927, 2024); MFED flood dataset extension (2024); RemoteCLIP/GeoRSCLIP benchmarks |
| **SkyScript** (Wang et al., AAAI 2024) | 5.2M, image+text via OSM | Самый разнообразный | SkyCLIP backbone |
| **RS5M** (Zhang et al., TGRS 2024) | 5M+ | Largest RS image-text | GeoRSCLIP |
| **DGTRSD** (Chen et al., arXiv 2503.19311, 2025) | ~2M, dual-granularity | Long+short text per image | DGTRS-CLIP с KPS (Knowledge Preserved Stretching) |
| **MMM-RS** (NeurIPS 2024) | Multi-modal, multi-GSD, multi-scene | RGB+SAR+text | T2I generation benchmark |
| **CVG-Text** (Ye et al., ICCV 2025) | 30k coords, 3 cities | Street + satellite + OSM + LMM-text | CrossText2Loc |
| **GeoText-1652** (ECCV 2024) | 1652 buildings, 276,045 bbox-text | Drone+satellite+ground+text | Чисто UAV-CVGL benchmark |
| **GTA-UAV** (AAAI 2025) | 33,763 drone + 14,640 satellite, 81.3 km² | Игровой UAV-датасет | Game4Loc |
| **University-1652 / SUES-200 / DenseUAV / VDUAV** | 1652 / 200 / – / virtual | UAV-CVGL | Все работы по drone↔satellite в 2024–2025 |
| **MFED** (Tandfonline, 2024) | Optical+SAR+text для flood | Multimodal flood event | Multi-modal classification baseline |
| **CORE** (arXiv 2603.08491, 2026) | 1,034,786 cross-view, 225 регионов | Million-scale CMGL | Physical Consistency Learning |
| **UAVScenes** (arXiv 2507.22412, 2025) | Multi-modal UAV | Image+depth+IMU+meta | – |
**Вывод по п. 5.** Если ваша работа — multimodal RS scene classification, в 2024–2025 минимально ожидается стэк **AID + NWPU-RESISC45 + (PatternNet или EuroSAT)**; для image-text мультимодальности — **RSITMD + RSICD + DGTRSD/SkyScript/RS5M**; для UAV-CVGL с текстом — **University-1652/GeoText-1652 + SUES-200 + CVG-Text + GTA-UAV**. UCM приводят, но как legacy-baseline.
---
## Details
### Архитектурные шаблоны fusion в CVGL-with-text
**GeoText-1652** (ECCV 2024) расширяет University-1652 через семи-автоматическую LLM-аннотацию: 276,045 bbox-text пар + 316,335 описаний для 1652 зданий 33 университетов (train) / 39 (test). Базовая loss — «blending spatial matching»: contrastive matching на трёх уровнях (image-level global, region-level short text, bbox-text). Backbone обычно ALBEF или X-VLM. На test: 32.3% R@10 для text query, 50.1% R@1 для image query.
**Where Am I? / CrossText2Loc** (ICCV 2025) предлагает CVG-Text: 3 города (NewYork, Brisbane, Tokyo), 30 000+ координат, GPT-4o + OCR + open-world segmentation генерируют сцены-описания со средней длиной ~126 токенов. CrossText2Loc — это CLIP-L/14@336 + **Extended Embedding** (длинный текст за пределами 77 токенов), дообучаемый contrastively + LMM-driven unsupervised refinement. Заявленный прирост — 10% top-1 recall.
**RCMF (Region-Level Cross-Modal Matching Framework)** (Springer 2025) на GeoText-1652 вводит **Dual-stream Cross-Attention Fusion (DCAF)**: image-side attention к текстовым phrasal-эмбеддингам и текст-side attention к региональным признакам, с reciprocal updates. Это самый «честный» fusion-модуль из всех CVGL-with-text работ.
**MoE for Cross-Modal Drone Navigation** (arXiv 2510.20291, RoboSense 2025) использует platform-wise MoE с dynamic gating router — текстовый запрос маршрутизируется к наиболее релевантному эксперту (satellite/drone/ground), и итоговая similarity — softmax-взвешенная комбинация экспертов. Это ближайший к классическому adaptive-residual gate механизм в CVGL.
### Прямые формулы learned scalar α в multimodal fusion
**AGFN** (Wu et al., arXiv 2510.01677, окт. 2025): двойной gate
- entropy-gate: `h_entropy = Σ_m Softmax_m(z_m · exp(−H(h_m)/τ)) · h_m`
- importance-gate: `h_importance = W_f[σ(z) ⊙ h_T, σ(z) ⊙ h_A, σ(z) ⊙ h_V]`
- финальный residual α-mix: `h_fused = α · h_entropy + (1−α) · h_importance`, с α ∈ [0,1] learnable
Loss: `L = L_L1 + λ · L_MSE(f(h^adv_fused), f(h_fused))` (с Virtual Adversarial Training).
**FMCAF** (arXiv 2510.17078, 2025) описывает близкий шаблон: «residual global attention mechanism, where global attention outputs modulate fused features through a sigmoid gate, allowing soft emphasis without erasing existing spatial cues» + «α ∈ [0,1] balances raw and frequency-filtered inputs».
### UAV-specific multimodal detection с quality-driven gating
**DEGF-YOLO** (Liu et al., Pattern Recognition 2025, S0031320325013858): UAV-based multimodal detection из RGB+IR со следующими модулями:
- **DFE (Differential Feature Enhancement)** — channel-level competition-collaboration на основе inter-modal differences;
- **GDFF (Gated-Driven Feature Fusion)** — gate, генерируемый по **feature quality** каждой модальности; компенсирует cross-modal contamination и mismatch.
Это тот самый Quality-Aware Gating Unit, который вы упоминаете.
**DTC-YOLO** (Wang et al., Sensors 2025, PMC12473487): RGB-LiDAR depth-color mapping + ADF3-Net (Adaptive Dimension-aware Focused Fusion) с dynamic gated fusion mechanism для адаптивного взвешивания признаков по hierarchical perception, channel decoupling и spatial adaptation.
**TAF-YOLO** (Remote Sensing 2025, MDPI 17/24/3936): Two-branch Adaptive Fusion Network (TAFNet) для visible+IR на UAV, early fusion на pixel и channel-level + Large Adaptive Selective Kernel.
**EGD-YOLO** (arXiv 2510.10765, ICIP 2025): RGB-IR fusion через DDetect (deformable conv) + EMA attention для drone-bird discrimination.
**Adaptive multimodal feature fusion with frequency-domain gate based on DINO** (Remote Sensing Letters 15(2), 2024) — multimodal DINO для UAV: RGB-guided IR transformation, адаптивный gate в частотной области. Это «канонический» предшественник DEGF-YOLO 2025 для UAV.
### Multimodal→unimodal distillation (углублённо)
**DPMamba** (Yang, Qu, Huang, Dong — IJCAI 2025, pp. 2224–2232) — самая прямая RS-аналогия для вашей задачи: модальность-aware Mamba извлекает cross-modality interactive features; novel **text-bridging distillation** оптимизирует learnable prompts (Missing-Modality-Aware Prompts, MMAPs) через shared text semantic space, превращая «placeholder» в «adaptation». Это позволяет одной сети покрывать множество сценариев пропуска модальностей вместо отдельных student'ов.
**DCLIP** (arXiv 2505.21549, 2025): meta-teacher усиливает CLIP image embeddings через region-level attention (использует YOLO bbox supervision на teacher-стороне), student — это CLIP с partial fine-tune image encoder, **без image-text спарок на inference, без bbox**. Сохраняет zero-shot generalization — 94% оригинального CLIP. Текстовый encoder заморожен.
**RS-MTDF** (arXiv 2506.08772, 2025) — multi-teacher VFM (DINOv2 + CLIP) → student в semi-supervised RS segmentation; feature-level distillation + fusion в student-decoder.
**MKD — Multidimensional Knowledge Distillation for Multimodal RS Scene Classification** (Wang et al., Digital Signal Processing 2024, S1051200424005001): **inter-layer relational + intra-layer feature distillation** на fusion-features; adress'ит конкретно проблемы scale-variations и confusion в RS scene classification. Возможно, наиболее точно соответствующая ваша референсная работа.
**Distilling Textual Priors from LLM to Efficient Image Fusion** (arXiv 2504.07029, 2025): MLLM-prior teacher → image-only student с Spatial-Channel Cross-Fusion Module (SCFM) и custom prior-distillation loss. 10% параметров teacher'а сохраняют 90% качества — **прямой количественный prior** для дискуссии в диссертации.
**PFED / MobileGeo** (arXiv 2510.22582, 2025/26): для UAV CVGL — Hierarchical Distillation (HD-CVGL) через Fine-Grained Inverse Self-Distillation (FISD) + Uncertainty-Aware Prediction Alignment (UAPA), решающий disbalance без overhead на inference. 97.15% R@1 на University-1652 при 4.45 GFLOPs (vs 26.18 GFLOPs у MEAN), 251.5 FPS на NVIDIA AGX Orin. Не «text→image», а «heavy multi-branch→light student», но по архитектуре дистилляции — близкий пример.
### Feature-quality / reliability scoring (углублённо)
**MARGO** (Dong et al., arXiv 2504.16524, 2025) — single-modality иногда побеждает multi-modal; авторы **обучают modality reliability supervised by BPR**: «если ratings positive item > negative item для данной модальности, эта модальность считается reliable». Двухэтапная схема: pretrain без весов, fine-tune с weight calibration loss.
**Deep Evidential Fusion with Dempster-Shafer + contextual discounting** (Huang, Ruan, Decazes, Denœux — Information Fusion 2024, S1566253524004263): per-source per-class learned **discounting coefficients β_k** (means + std after training). Применено к PET-CT lymphoma + multi-MRI brain-tumor segmentation. Дискаунтированные masses комбинируются Dempster's rule. Архитектурно близко QAGU (subjective/internal uncertainty).
**AECF — Adaptive Entropy-Gated Contrastive Fusion** (Chlon et al., arXiv 2505.15417, 2025) — light fusion-layer над frozen backbones; per-instance entropy через MC-Dropout → gate λ(x) = g_α(...). Теоретические границы: Lipschitz σ-bound + bounded loss → robustness под missing/noisy инпутами.
**Patch Entropy Fusion Module (PEFM)** (ACCV 2024, 10.1007/978-981-96-0972-7_2) для domain-adaptive object detection в adverse weather: per-patch entropy-driven gating multimodal sensor data.
**Mahalanobis SVDD** (arXiv 2505.05811, 2025): для аудио-IMU anomaly detection, прямое использование Mahalanobis distance в признаковом пространстве для quality scoring.
### UC Merced и trajectory of RS scene classification benchmarks
Yang & Newsam (UC Merced 2010) — 21 класс × 100 изображений 256×256, 0.3 м/пикс. Saturation feedback:
- AID-paper (Xia et al., 2017) — «results already saturated, severely limits development of scene classification algorithms»;
- NWPU-RESISC45 paper (Cheng et al., 2017) — «~100% accuracy with deep CNN features».
Современная статистика (2024–2025): MambaOutRS-t — F1 = 98.41% на UCM, 95.99% на AID; ConvNeXt-baseline / STConvNeXt — 99.17% на UCM, 97.43% на AID, 94.87% на NWPU; DMCCA+SVM — 99.35% на PatternNet, 92.75% на NWPU, 93.92% на AID.
Для multimodal scene classification доминантный stack 2024–2025 — **AID + NWPU-RESISC45 + PatternNet**; для image-text — RSITMD/RSICD + SkyScript + RS5M + DGTRSD; UAV-RS specific — Million-AID, EuroSAT, MMM-RS. UCM приводят как «легасная маленькая контрольная точка».
---
## Caveats
1. **Терминологическое наложение.** «Adaptive residual» в литературе 2024–2026 переплетается с «gated fusion», «GMU-style gating», «MMTM-style squeeze-excite gating», «cross-attention modulation». Чисто формула `y = x + α·F(x)` со скалярным learned α ∈ ℝ применительно к multimodal fusion наиболее явно записана в AGFN (2025), QAGU/QACMANet (2026) и DEGF-YOLO/GDFF (2025); многие другие работы используют per-channel или per-token gates вместо одного скаляра. В вашей диссертации стоит явно подчеркнуть это различие (scalar α vs vector α(x) vs per-pixel gate).
2. **CVGL с текстом — узкое поле.** GeoText-1652 (ECCV 2024) и Where Am I? / CrossText2Loc (ICCV 2025) — пока две главные работы; вокруг них развились RCMF (2025), CORE/PLANET (2026), MoE-CMGL (2025), DGTRS-CLIP (2025). Прямые «adaptive-residual gate в CVGL-with-text» не публиковались — это потенциальная новизна вашей работы, но также означает, что нужно опираться на cross-attention и MoE-gating как ближайшие baseline'ы.
3. **Несколько ссылок имеют признаки малой проверенности.** ER-CMGI, FMCAF и часть Emergent Mind суммаризаций — обзорно-аггрегаторные источники; для диссертации необходимо обращаться напрямую к peer-reviewed первоисточникам (AGFN: arXiv но активно цитируется; QAGU: ScienceDirect peer-reviewed; DEGF-YOLO: Pattern Recognition peer-reviewed).
4. **Эффект «насыщенности» UC Merced количественно подтверждён** (99–100% accuracy с 2017), но датасет всё ещё используется в 2024–2025 как sanity-check. Полностью отказываться нецелесообразно; правильнее — указать AID/NWPU-RESISC45 как primary, UCM как legacy.
5. **Для UAV-специфики multimodal teacher (text+image) → image-only student я не нашёл ни одной полностью совпадающей работы.** DPMamba (IJCAI 2025) — самое близкое для RS image classification, но не drone-CVGL specific; PFED/MobileGeo — drone-CVGL distillation, но multi-branch→single, без текста; DCLIP — image-text→image-only, но не RS. Это ещё одна потенциальная новизна вашей диссертации, но при защите ожидается обоснование, почему именно UAV-домен требует своей формулировки.
6. **Версионирование arXiv-препринтов.** «Where Am I?» имеет v1 (декабрь 2024) и v2 (1 апр. 2025) с финальной публикацией ICCV 2025. Цитируйте версию paper'а, соответствующую финалу ICCV. Аналогично для AGFN (Oct 2025), MobileGeo (Nov 2025), CrossText2Loc (Apr 2025).
7. **Все «100% accuracy» цифры на UCM получены при разных train/test split'ах (50/50, 80/20).** Сравнение между методами требует контроля разбиения.

226
notes/Сгруппированные ссылки.md Normal file
View File

@@ -0,0 +1,226 @@
---
tags:
- диссер
---
# Gate-Fusion механизмы для мультимодальных CVGL-моделей - Claude
## GeoText-1652
#Датасеты #CVGL
1. https://dl.acm.org/doi/10.1007/978-3-031-73247-8_13
2. https://github.com/MultimodalGeo/GeoText-1652
3. https://arxiv.org/html/2412.17007v1
4. https://link.springer.com/chapter/10.1007/978-3-031-73247-8_13
5. https://huggingface.co/datasets/GeoText/GeoText-1652
## Where Am I
#CVGL
1. https://arxiv.org/pdf/2212.04074
2. https://arxiv.org/pdf/1703.07815
3. https://arxiv.org/pdf/2303.15676
4. https://github.com/yejy53/CVG-Text
5. https://arxiv.org/abs/2412.17007
6. https://arxiv.org/html/2412.17007
7. https://arxiv.org/pdf/2412.17007
## DEGF-YOLO Quality Aware Gating Unit 2025
#CVGL #gate #YOLO
1. https://arxiv.org/pdf/2405.02591
2. https://www.sciencedirect.com/science/article/abs/pii/S1474034626000881
3. https://pmc.ncbi.nlm.nih.gov/articles/PMC11962121/
4. https://www.mdpi.com/2673-2688/6/7/132
5. https://arxiv.org/html/2506.23252v1
6. https://pmc.ncbi.nlm.nih.gov/articles/PMC12473487/
## Learned Gating residual Connections
#CVGL #gate
1. https://www.nature.com/articles/s41598-025-11989-6
2. https://www.mdpi.com/2076-3417/15/20/11259
3. https://www.sciencedirect.com/science/article/abs/pii/S0893608025003624
4. https://dl.acm.org/doi/10.1145/3756423.3756555
5. https://www.preprints.org/manuscript/202409.1917/v1
6. https://www.emergentmind.com/topics/early-fusion-methods
7. https://www.emergentmind.com/topics/gated-fusion-mechanism
## Multimodal Teacher-Studen Distillation
#CVGL #дистилляция
[[Knowledge_Distillation]]
1. https://arxiv.org/pdf/2509.00039
2. https://www.sciencedirect.com/science/article/abs/pii/S1566253524005207
3. https://www.ijcai.org/proceedings/2025/0248.pdf
4. https://arxiv.org/pdf/2506.08772
5. https://www.sciencedirect.com/science/article/abs/pii/S1051200424005001
## UC Merced Saturation
#CVGL #Датасеты
1. https://paperswithcode.com/sota/scene-classification-on-uc-merced-land-use
2. https://www.researchgate.net/figure/UC-Merced-dataset-some-example-images-are-displayed-It-contains-21-scene-categories_fig3_271855526
3. https://arxiv.org/html/2408.16265
4. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
5. https://arxiv.org/pdf/1703.00121
6. https://arxiv.org/pdf/1608.05167
7. https://onlinelibrary.wiley.com/doi/abs/10.1002/9781394234271.ch4
## CrossText2Loc method architecture
#CVGL
1. https://arxiv.org/html/2510.09586v1
2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12390620/
3. https://arxiv.org/pdf/2401.00421
4. https://voxel51.com/blog/iccv-multimodal-ai
5. https://arxiv.org/pdf/2412.17007
6. https://arxiv.org/pdf/2412.17007
7. https://arxiv.org/html/2504.09925v1
8. https://arxiv.org/html/2504.09925v1
## CVGL Adaptive Fusion Gating 2024-25
#CVGL #gate
1. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12299452/
2. https://pmc.ncbi.nlm.nih.gov/articles/PMC11207219/
3. https://arxiv.org/pdf/2509.12673
4. https://link.springer.com/chapter/10.1007/978-981-95-5628-1_26
5. https://www.mdpi.com/1424-8220/24/12/3719
6. https://pmc.ncbi.nlm.nih.gov/articles/PMC11548418/
7. https://arxiv.org/html/2510.22582v1
8. https://dl.acm.org/doi/10.1145/3728482.3757381
## Modality Reliability Score Mahalanobis Fusion DL
#CVGL
[[InfoScore for residual routing]]
1. https://www.sciencedirect.com/science/article/abs/pii/S1566253524004263
2. https://arxiv.org/pdf/2309.05919
3. https://arxiv.org/pdf/2303.13810
4. https://arxiv.org/html/2505.05811
5. https://arxiv.org/html/2309.05919v2
6. https://arxiv.org/pdf/2504.16524
## Multimodal Fusion RS Scene Classification (text, img)
#CVGL #fusion
1. https://link.springer.com/article/10.1007/s42452-025-06689-9
2. https://arxiv.org/pdf/2503.13814
3. https://www.mdpi.com/2673-2688/7/1/5
4. https://arxiv.org/pdf/2509.23310
5. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11838890/
6. https://arxiv.org/pdf/2412.02531
## Feature Norm Gating MM Fusion NN
#CVGL #fusion #gate #method/gate-fusion
1. https://www.preprints.org/manuscript/202409.1917/v1
2. https://arxiv.org/pdf/2204.00102
3. https://arxiv.org/pdf/1807.06233
4. https://arxiv.org/pdf/1702.01992
5. https://arxiv.org/pdf/1803.09374
6. https://www.emergentmind.com/topics/gated-fusion-mechanism
7. https://arxiv.org/pdf/2512.04943
8. https://www.emergentmind.com/topics/gated-multimodal-units
## UAV Remote Sensing CLIP Scene Classification benchmark
#CVGL #VLM
1. https://arxiv.org/pdf/1703.00121
2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7070946/
3. https://arxiv.org/pdf/2510.24321
4. https://arxiv.org/abs/2510.24321
5. https://arxiv.org/html/2510.24321v1
## Text-Image Teacher Student Distillation (single modality Inference or missing modality)
#CVGL
[[Knowledge_Distillation]]
1. https://arxiv.org/pdf/2207.01426
2. https://arxiv.org/pdf/2505.21549
3. https://aclanthology.org/2024.emnlp-main.351.pdf
4. https://arxiv.org/pdf/2603.24208
5. https://arxiv.org/pdf/2504.07029
6. https://arxiv.org/pdf/2309.15238
7. https://arxiv.org/pdf/2507.18192
8. https://arxiv.org/pdf/1703.00121
9. https://arxiv.org/pdf/2303.15083
10. https://openreview.net/forum?id=S5coB5kqSD&noteId=hUnKfBwGvh
11. https://arxiv.org/pdf/2512.15311
12. https://openaccess.thecvf.com/content/CVPR2024/html/Huo_C2KD_Bridging_the_Modality_Gap_for_Cross-Modal_Knowledge_Distillation_CVPR_2024_paper.html
13. https://papers.nips.cc/paper_files/paper/2024/file/e34d908241aef40440e61d2a27715424-Paper-Conference.pdf
missing modality RS distillation
14. https://www.arxiv.org/pdf/2511.11460
15. https://www.ijcai.org/proceedings/2025/
16. https://www.researchgate.net/publication/395685476_DPMamba_Distillation_Prompt_Mamba_for_Multimodal_Remote_Sensing_Image_Classification_with_Missing_Modalities
17. https://arxiv.org/html/2511.11460
18. https://www.ijcai.org/proceedings/2025/0248.pdf
## Entropy-Based Modality Weighted Adaptive Fusion
#CVGL #fusion
1. https://arxiv.org/pdf/2510.01677
2. https://www.emergentmind.com/topics/adaptive-modality-fusion-modules
3. https://arxiv.org/pdf/2505.15417
4. https://www.emergentmind.com/topics/dynamic-modality-weighting
5. https://www.emergentmind.com/topics/entropy-gated-contrastive-fusion
6. https://jrnl.kai.edu.ua/index.php/PIU/article/view/21098
7. https://www.sciencedirect.com/science/article/abs/pii/S1566253525006530
8. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7513103/
9. https://dl.acm.org/doi/10.1007/978-981-96-0972-7_2
## Learnable Scalar Residual MM Fusion and Gate
#CVGL #fusion #gate
1. https://www.emergentmind.com/topics/gated-multimodal-units
2. https://arxiv.org/pdf/1907.00135
3. https://link.springer.com/article/10.1007/s40747-025-02023-3
4. https://www.emergentmind.com/topics/gated-fusion-module
5. https://arxiv.org/html/2510.17078v1
6. https://www.emergentmind.com/topics/adaptive-modality-fusion-modules
7. https://www.themoonlight.io/en/review/beyond-simple-fusion-adaptive-gated-fusion-for-robust-multimodal-sentiment-analysis
8. https://arxiv.org/html/2510.01677v1
## Region Level Cross-Modal Matching
#CVGL
1. https://arxiv.org/pdf/2603.08491
2. https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/01738.pdf
3. https://arxiv.org/pdf/2510.20291
4. https://arxiv.org/html/2603.08491
5. https://arxiv.org/pdf/2311.12751
6. https://link.springer.com/chapter/10.1007/978-3-031-73247-8_13
7. https://link.springer.com/chapter/10.1007/978-981-95-6123-0_53
## Gated Residual Feature Fusion RS UAV 2024
#CVGL #gate #residual
1. https://www.tandfonline.com/doi/full/10.1080/01431161.2024.2429784
2. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
3. https://arxiv.org/pdf/2304.11422
4. https://www.tandfonline.com/doi/abs/10.1080/2150704X.2024.2305177
5. https://www.tandfonline.com/doi/abs/10.1080/01431161.2024.2425875
## DEGF-YOLO
#CVGL #YOLO
1. https://arxiv.org/pdf/2506.23252
2. https://pmc.ncbi.nlm.nih.gov/articles/PMC12360555/
3. https://www.mdpi.com/2504-446X/9/11/804
4. https://www.mdpi.com/2072-4292/17/24/3936
5. https://arxiv.org/pdf/2510.10765
6. https://www.mdpi.com/2504-446X/9/7/479
## Feature Quality, Norm, MM VL Fusion Gate
#CVGL #gate #VLM
1. https://arxiv.org/pdf/2601.10710
2. https://www.sciencedirect.com/science/article/pii/S1566253525011248
3. https://arxiv.org/html/2504.02477v1
4. https://arxiv.org/pdf/2501.08443
5. https://arxiv.org/pdf/2504.09925
6. https://arxiv.org/pdf/2410.17779
7. https://arxiv.org/html/2511.02113v1
8. https://medium.com/@xiaxiami/exploring-feature-fusion-and-matching-in-vision-language-models-3573b6e529b4