bogdanpavl/Pavlenko_disser
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
66564224957cf1b9c3518840421410b399b6e50e
Pavlenko_disser/notes/Обзор актуальных работ (2023–2026).md
Pavlenko_B b2f65bdc08 13_05_chkpnt
2026-05-13 10:02:33 +03:00

32 KiB
Raw Blame History

tags
tags
диссер
ЛИСАД/лит-обзор

Сгруппированные ссылки

Обзор актуальных работ (2023–2026) для диссертации по мультимодальному слиянию признаков для анализа UAV-снимков

TL;DR

  • CVGL с текстом активно развивается в 2024–2026 вокруг двух flagship-работ — GeoText-1652 (ECCV 2024) и CrossText2Loc / CVG-Text (ICCV 2025, arXiv 2412.17007); типичные fusion-механизмы — blending spatial matching, dual-stream cross-attention (DCAF в RCMF 2025), Mixture-of-Experts gating (RoboSense 2025) и расширенные text-encoders. Явные learned-gate/adaptive-residual схемы в чисто CVGL встречаются только в адъютантных модулях (DAFM, FAAM, FSA, MEAN), но не как «α-residual» в строгом смысле.
  • Adaptive/learned gating с скалярным α для residual-ветки прямо описан в AGFN (Wu et al., arXiv:2510.01677, 2025) — h_fused = α·h_entropy + (1−α)·h_importance, в QACMANet / Quality-Aware Gating Unit (Procedia/QAGU 2026), в DEGF-YOLO (Pattern Recognition, 2025) с GDFF и в DTC-YOLO (Sensors 2025); для image-quality/feature-quality fusion это сегодня доминирующий шаблон.
  • Teacher-Student с multimodal→unimodal для remote-sensing/UAV — это DPMamba (IJCAI 2025) (text-bridging distillation), DCLIP (2505.21549, 2025), VeXKD (NeurIPS 2024), PFED/MobileGeo (arXiv 2510.22582, 2025/26) для UAV-CVGL, MKD (Digital Signal Processing, 2024). UC-Merced официально признан насыщенным начиная с AID (2017) и NWPU-RESISC45 (2017); в 2024–2025 для multimodal scene classification его всё ещё используют как «sanity-check», но основная нагрузка ложится на AID, NWPU-RESISC45, PatternNet, EuroSAT, Million-AID, RSITMD/RSICD, SkyScript, RS5M, DGTRSD.

Key Findings

1. Cross-View Geo-Localization (CVGL) с текстовыми описаниями

Работа Venue / год Метод fusion Gate / adaptive residual?
Chu, Zheng, Ji, Wang, Chua. GeoText-1652 ECCV 2024 Расширение University-1652 текстом + bbox; «blending spatial matching» — региональный матч между bbox-описаниями и drone/satellite токенами поверх ALBEF/X-VLM Нет явных gate-механизмов; работа на уровне loss и бенчмарка
Ye, Lin, Ou et al. «Where Am I?» / CrossText2Loc / CVG-Text arXiv 2412.17007, ICCV 2025 CLIP-L/14@336 backbone + «Extended Embedding» (длинный текст), unsupervised LMM-driven fine-tuning, контрастивное обучение street-view↔OSM/satellite Нет explicit gate, но ввёден inverse-entropy reweighting длинных текстовых токенов
Zhang & Lyu. RCMF + Dual-stream Cross-Attention Fusion (DCAF) Springer (Region-Level Cross-Modal Matching), 2025 Двухпотоковая reciprocal cross-attention между текстовыми фразами и регионами изображения; SOTA на GeoText-1652 Cross-attention, без learned scalar α
Hu et al. CORE / PLANET (Global Cross-Modal Geo-Localization, million-scale) arXiv 2603.08491, 2026 Vision-language foundation backbone + physical signature mining + physical semantic projection Нет α-residual, скорее multi-loss
TeleAI и др. MoE-based Cross-Modal Geo-Localization (RoboSense 2025 Track 4) arXiv 2510.20291, 2025 Mixture-of-Experts с dynamic gating network, маршрутизирующим текстовый запрос между satellite/drone/ground экспертами Динамический soft-gating router (sample-wise)
Ji, He, Tan, Wu. Game4Loc / GTA-UAV AAAI 2025 (Oral) ViT + weighted-InfoNCE для частичных drone–satellite матчей на 81.3 km² синтетике Без текстовой ветки; релевантно как reference UAV-CVGL benchmark
Sun et al. PFED / MobileGeo arXiv 2510.22582, 2025/26 Hierarchical Distillation для CVGL (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) UAPA даёт sample-wise scalar для веса дистилляции — близко к «adaptive residual»
Yi et al. MFAF (EVA02-based) arXiv 2509.12673, 2025 Multi-scale Frequency Attention + Frequency-aware Selective Aggregation (FSA) FSA — adaptive freq-channel gating
Liu et al. (Wuhan U.) JRN-Geo arXiv 2509.05696, 2025 Difference-Aware Fusion Module (DAFM) + Joint-Constrained Interaction Aggregation для RGB+normal Difference-driven channel modulation, но без скалярного α
Hou et al. MCFA Sensors, 2025 Multi-Scale Cascade + Feature Adaptive Alignment с dynamically weighted feature alignment Адаптивные веса между видами, не residual-α
Xu et al. Context-Enhanced CVGL arXiv 2502.11408, 2025 DINOv2-features + контекстные признаки Не явный α

Вывод по п. 1. В CVGL с текстом fusion идёт преимущественно через cross-attention (single или dual-stream), MoE-gating и contrastive-alignment в shared embedding space. Работы с explicit learned scalar α на residual-ветке в чисто-CVGL мне не встретились — это пробел, который ваша диссертация может закрыть. Ближайшие аналоги — UAPA в PFED/MobileGeo, FSA в MFAF и MoE-gating в RoboSense-2025 решении.

2. Adaptive / learned gating для residual connections в multimodal fusion (2024–2026)

Работа Venue / год Метод Тип gate
Wu et al. AGFN — Adaptive Gated Fusion Network arXiv 2510.01677, окт. 2025 Dual-gate fusion: (1) entropy-gate Softmax_m(z_m·exp(−H(h_m)/τ))·h_m; (2) modality-importance gate σ(z)⊙h_m. Финал: h_fused = α·h_entropy + (1−α)·h_importance, α ∈ [0,1] — learnable scalar Прямой learned scalar α на residual-fusion — наиболее близкий аналог к тому, что вы хотите
Sun, Ye, Zhou et al. QACMANet с Quality-Aware Gating Unit (QAGU) Sci. Direct (Adv. Eng. Inform.), 2026 QAGU объединяет «external objective quality» (e.g. SNR, blur) и «internal subjective uncertainty» (Dirichlet/evidential) для генерации dynamic fusion weights между двумя модальностями (visual + electrical для AUV-пропеллеров) Dual-source reliability scalar — прямой шаблон для UAV
Liu et al. DEGF-YOLO Pattern Recognition, 2025 (S0031320325013858) Differential Feature Enhancement (DFE) + Gated-Driven Feature Fusion (GDFF), управляющий fusion на основе feature quality для UAV RGB+IR детекции Quality-aware gate per modality
Wang et al. DTC-YOLO (Depth-Texture Coupling) Sensors, 2025 (PMC12473487) RGB-LiDAR с dynamic gated fusion в ADF3-Net (Adaptive Dimension-aware Focused Fusion) Adaptive multidim. weighting
Chlon et al. AECF — Adaptive Entropy-Gated Contrastive Fusion arXiv 2505.15417, 2025 Light fusion layer над frozen backbones; entropy-driven λ(x) per-sample для смешивания вкладов модальностей; теоретические Lipschitz-границы Per-sample scalar gate с теоретическим обоснованием
Wen et al. PGF-Net 20 Aug 2025 Cross-modal sentiment с partial gating Per-sample gate
He et al. (multimodal DINO) Frequency-Domain Gate UAV Remote Sensing Letters 15(2), 2024 Adaptive multimodal feature fusion с frequency-domain gate для UAV RGB+IR Spectral gate
Arevalo et al. GMU (классика) 2017 (всё ещё используется как baseline) h = z·h_v + (1−z)·h_t, z = σ(W[h_v;h_t]) Vector gate
FGU — Fusion Gate Unit Preprints 2024 (202409.1917) Multiplicative gates + neural gating drawn from GRU/LSTM Vector multiplicative
Vijayan et al. Scalar gating in transformer adapters for vision-text MT 2024 Scalar-α для visual adapter в transformer Прямой scalar α
Cross-Layer Injection (CLI / AGF) arXiv 2601.10710, 2025/26 Adaptive Multi-Projection + Adaptive Gating Fusion для inject в LLM Per-layer learned gate

Вывод по п. 2. Шаблон «output = x + α(x)·F(x) с learned scalar или vector α» в 2024–2026 стал почти стандартом. Самые цитируемые архетипы: AGFN (явная формула с α), QAGU/QACMANet (quality-driven), GDFF в DEGF-YOLO (UAV-specific). Эти три статьи — обязательные ссылки для вашей диссертации.

3. Teacher-Student distillation с multimodal → unimodal (UAV / RS-специфика)

Работа Venue / год Teacher / Student Domain
Yang, Qu, Huang, Dong. DPMamba IJCAI 2025 Полная multimodal teacher (HSI/SAR/LiDAR/RGB + text) → unimodal student с missing-modality-aware prompts; text-bridging distillation в shared text-semantic space RS image classification — прямо ваш сценарий
Cao et al. DCLIP (Distill CLIP) arXiv 2505.21549, 2025 Image+text meta-teacher (region-level attention) → image-only student CLIP с partial fine-tune; contrastive + cosine distillation Image-text retrieval; шаблон распространим на RS
Zhou, Liu, Hu et al. VeXKD NeurIPS 2024 Multi-modal fusion teacher (LiDAR+camera) → single-modal student в BEV; KD только на BEV-feature maps Autonomous driving (3D) — методически близко
Zhou, Liu et al. UniDistill CVPR 2023 (продолжение в 2024) Универсальная KD по 4 направлениям: LiDAR↔Camera, fusion→LiDAR, fusion→camera Autonomous driving
Sun et al. PFED / MobileGeo arXiv 2510.22582, 2025/26 Heavy multi-branch teacher → lightweight student с Hierarchical Distillation для CVGL + Uncertainty-Aware Prediction Alignment Drone CVGL — близко
Song, Li, Cao, Meng. RS-MTDF arXiv 2506.08772, 2025 Multiple frozen VFMs (DINOv2, CLIP) как expert teachers → student decoder через feature-level distillation + fusion RS semi-supervised semantic segmentation
Wang et al. MKD — Multidimensional KD for Multimodal RS Scene Classification Digital Signal Processing 156, 2024 Inter-layer relational + intra-layer feature distillation между fusion features RS scene classification
Huo et al. C²KD CVPR 2024 OFSD — On-the-Fly Selection Distillation для bridging modality gap (audio-visual / image-text / RGB-depth) Universal cross-modal KD
Pan et al. Distilling Textual Priors from LLM to Efficient Image Fusion arXiv 2504.07029, 2025 LLM+image teacher → image-only student, спец. prior distillation loss + spatial-channel cross-fusion module (SCFM); 90% размера убирается, 90% качества сохраняется без текста на inference RGB+IR fusion — методический образец
Zhuang et al. CMAD ICCV 2025 Correlation-aware modalities-aware distillation для multimodal sentiment с missing modality Доменно дальше, но релевантная схема

Вывод по п. 3. Прямо «teacher = text+image, student = image-only, UAV/RS-спец.» — это DPMamba (IJCAI 2025) и DCLIP (2025); в смежных областях — VeXKD, UniDistill (multimodal→single sensor), а в RS-сегментации/классификации — RS-MTDF и MKD. Это та коробка работ, в которую естественно встраивается ваш метод.

4. Явные скалярные оценки информативности / quality модальности

Тип метрики Работа Как используется
Энтропия признаков H(h_m) AGFN (Wu et al., 2510.01677, 2025); AECF (Chlon et al., 2505.15417, 2025) Низкая энтропия → больший вес модальности; entropy-gate exp(−H/τ)
Shannon-entropy reliability proxy DAF в Adaptive Hybrid Transformer (PIU, 2025); Entropy-Regulated Cross-Modal Generative Framework (ER-CMGI, 2025) Differentiable reliability proxy; гибридная entropy-low-priority + inverse-entropy weighting
Modality reliability supervised by BPR Dong, Song, Zheng, Zhao, Ding. MARGO (arXiv 2504.16524, 2025) Reliability = signal согласованности рейтинга positive>negative по этой модальности; weight calibration loss
Dempster-Shafer mass + contextual discounting coefficients Huang, Ruan, Decazes, Denœux. Inf. Fusion 2024 (Deep Evidential Fusion); Evidence-aware multi-modal data fusion (TKR, 2023) Learned scalar discount per source per class
Quality-Aware Gating Unit (QAGU) QACMANet (Sun et al., 2026, S1474034626000881) Synergy of external objective quality (SNR/blur) + internal subjective uncertainty (Dirichlet)
Patch entropy PEFM, ACCV 2024 (Enhancing Object Detection in Adverse Weather) Per-patch entropy для guided fusion
Mahalanobis distance Mahalanobis SVDD audio-IMU (arXiv 2505.05811, 2025); используется для anomaly/quality scoring Прямая мера в признаковом пространстве
Mutual-information sample filtering PFED MRM (2510.22582, 2025/26) MI для фильтрации избыточных multi-view признаков
Feature-norm как индикатор Ma et al. (16 Oct 2025) — анализ weight-norm disparities в multimodal Систематически наблюдаются после joint training; мотивация для adaptive weighting
Gradient norm + uncertainty Wei et al. Gradient decoupled learning with unimodal regularization (TGRS, 2024) Per-modality gradient контроль

Вывод по п. 4. Норма / энтропия / Mahalanobis / evidence (Dirichlet) как явные scalar quality scores — отдельная зрелая ветвь, наиболее живая в 2024–2025: AGFN, AECF, MARGO, QAGU, evidential fusion (Denœux). Это именно та парадигма, в которую укладывается ваш QAGU-подобный модуль из DEGF-YOLO.

5. Насыщенность UC Merced и используемые альтернативы

Статус. UC-Merced (21 класс, 2100 изображений, 0.3 м/пикс., Yang & Newsam 2010) официально считается насыщенным с 2017 года: NWPU-RESISC45 paper (Cheng et al., 2017) прямо указывает «~100% accuracy on the most popular UC Merced dataset with deep CNN features», AID paper (Xia et al., 2017) — «results on them are already saturated». В 2024–2025 SOTA-методы достигают на UCM 99.17–100% (SGMSNet, MambaOutRS-t — F1 98.41%, DMCCA+SVM — 99.35% на PatternNet и 92–93% на NWPU/AID). Это означает, что UCM перестал давать различимый сигнал между методами и используется только как «sanity-check».

Что используется в 2024–2025 для multimodal scene classification вместо/вместе с UCM:

Датасет Размер Особенность Ключевые работы 2024–2025
AID (Xia et al., 2017) 10,000 / 30 классов 600×600, разные resolutions Cai et al. Dual-Cross Attention RSSC (arXiv 2412.02531, 2024); SGMSNet (Springer, 2025); STConvNeXt (PMC11897181, 2025)
NWPU-RESISC45 (Cheng et al., 2017) 31,500 / 45 256×256, большое within-class разнообразие Те же + DMCCA+SVM (MDPI AI 2025); Pairwise Comparison Network (PCNet)
PatternNet (Zhou et al., 2018) 30,400 / 38 RSIR-ориентирован DMCCA+SVM (2025); STConvNeXt
EuroSAT (Helber et al., 2019) 27,000 / 10 Sentinel-2, multispectral Few-Shot CLIP+Prompt Learning (arXiv 2510.24321, 2025); MambaOutRS
Million-AID (Long et al., 2021) ~1 M / 51 Large-scale, hierarchical SkyCLIP/SkyScript pretraining baseline
RSITMD / RSICD 4,743 / 10,921 (image-text pairs) Multimodal — image+caption Multimodal Contrastive Learning with Relaxed Positive Samples (PMC11644927, 2024); MFED flood dataset extension (2024); RemoteCLIP/GeoRSCLIP benchmarks
SkyScript (Wang et al., AAAI 2024) 5.2M, image+text via OSM Самый разнообразный SkyCLIP backbone
RS5M (Zhang et al., TGRS 2024) 5M+ Largest RS image-text GeoRSCLIP
DGTRSD (Chen et al., arXiv 2503.19311, 2025) ~2M, dual-granularity Long+short text per image DGTRS-CLIP с KPS (Knowledge Preserved Stretching)
MMM-RS (NeurIPS 2024) Multi-modal, multi-GSD, multi-scene RGB+SAR+text T2I generation benchmark
CVG-Text (Ye et al., ICCV 2025) 30k coords, 3 cities Street + satellite + OSM + LMM-text CrossText2Loc
GeoText-1652 (ECCV 2024) 1652 buildings, 276,045 bbox-text Drone+satellite+ground+text Чисто UAV-CVGL benchmark
GTA-UAV (AAAI 2025) 33,763 drone + 14,640 satellite, 81.3 km² Игровой UAV-датасет Game4Loc
University-1652 / SUES-200 / DenseUAV / VDUAV 1652 / 200 / – / virtual UAV-CVGL Все работы по drone↔satellite в 2024–2025
MFED (Tandfonline, 2024) Optical+SAR+text для flood Multimodal flood event Multi-modal classification baseline
CORE (arXiv 2603.08491, 2026) 1,034,786 cross-view, 225 регионов Million-scale CMGL Physical Consistency Learning
UAVScenes (arXiv 2507.22412, 2025) Multi-modal UAV Image+depth+IMU+meta –

Вывод по п. 5. Если ваша работа — multimodal RS scene classification, в 2024–2025 минимально ожидается стэк AID + NWPU-RESISC45 + (PatternNet или EuroSAT); для image-text мультимодальности — RSITMD + RSICD + DGTRSD/SkyScript/RS5M; для UAV-CVGL с текстом — University-1652/GeoText-1652 + SUES-200 + CVG-Text + GTA-UAV. UCM приводят, но как legacy-baseline.

Details

Архитектурные шаблоны fusion в CVGL-with-text

GeoText-1652 (ECCV 2024) расширяет University-1652 через семи-автоматическую LLM-аннотацию: 276,045 bbox-text пар + 316,335 описаний для 1652 зданий 33 университетов (train) / 39 (test). Базовая loss — «blending spatial matching»: contrastive matching на трёх уровнях (image-level global, region-level short text, bbox-text). Backbone обычно ALBEF или X-VLM. На test: 32.3% R@10 для text query, 50.1% R@1 для image query.

Where Am I? / CrossText2Loc (ICCV 2025) предлагает CVG-Text: 3 города (NewYork, Brisbane, Tokyo), 30 000+ координат, GPT-4o + OCR + open-world segmentation генерируют сцены-описания со средней длиной ~126 токенов. CrossText2Loc — это CLIP-L/14@336 + Extended Embedding (длинный текст за пределами 77 токенов), дообучаемый contrastively + LMM-driven unsupervised refinement. Заявленный прирост — 10% top-1 recall.

RCMF (Region-Level Cross-Modal Matching Framework) (Springer 2025) на GeoText-1652 вводит Dual-stream Cross-Attention Fusion (DCAF): image-side attention к текстовым phrasal-эмбеддингам и текст-side attention к региональным признакам, с reciprocal updates. Это самый «честный» fusion-модуль из всех CVGL-with-text работ.

MoE for Cross-Modal Drone Navigation (arXiv 2510.20291, RoboSense 2025) использует platform-wise MoE с dynamic gating router — текстовый запрос маршрутизируется к наиболее релевантному эксперту (satellite/drone/ground), и итоговая similarity — softmax-взвешенная комбинация экспертов. Это ближайший к классическому adaptive-residual gate механизм в CVGL.

Прямые формулы learned scalar α в multimodal fusion

AGFN (Wu et al., arXiv 2510.01677, окт. 2025): двойной gate

  • entropy-gate: h_entropy = Σ_m Softmax_m(z_m · exp(−H(h_m)/τ)) · h_m
  • importance-gate: h_importance = W_f[σ(z) ⊙ h_T, σ(z) ⊙ h_A, σ(z) ⊙ h_V]
  • финальный residual α-mix: h_fused = α · h_entropy + (1−α) · h_importance, с α ∈ [0,1] learnable

Loss: L = L_L1 + λ · L_MSE(f(h^adv_fused), f(h_fused)) (с Virtual Adversarial Training).

FMCAF (arXiv 2510.17078, 2025) описывает близкий шаблон: «residual global attention mechanism, where global attention outputs modulate fused features through a sigmoid gate, allowing soft emphasis without erasing existing spatial cues» + «α ∈ [0,1] balances raw and frequency-filtered inputs».

UAV-specific multimodal detection с quality-driven gating

DEGF-YOLO (Liu et al., Pattern Recognition 2025, S0031320325013858): UAV-based multimodal detection из RGB+IR со следующими модулями:

  • DFE (Differential Feature Enhancement) — channel-level competition-collaboration на основе inter-modal differences;
  • GDFF (Gated-Driven Feature Fusion) — gate, генерируемый по feature quality каждой модальности; компенсирует cross-modal contamination и mismatch.

Это тот самый Quality-Aware Gating Unit, который вы упоминаете.

DTC-YOLO (Wang et al., Sensors 2025, PMC12473487): RGB-LiDAR depth-color mapping + ADF3-Net (Adaptive Dimension-aware Focused Fusion) с dynamic gated fusion mechanism для адаптивного взвешивания признаков по hierarchical perception, channel decoupling и spatial adaptation.

TAF-YOLO (Remote Sensing 2025, MDPI 17/24/3936): Two-branch Adaptive Fusion Network (TAFNet) для visible+IR на UAV, early fusion на pixel и channel-level + Large Adaptive Selective Kernel.

EGD-YOLO (arXiv 2510.10765, ICIP 2025): RGB-IR fusion через DDetect (deformable conv) + EMA attention для drone-bird discrimination.

Adaptive multimodal feature fusion with frequency-domain gate based on DINO (Remote Sensing Letters 15(2), 2024) — multimodal DINO для UAV: RGB-guided IR transformation, адаптивный gate в частотной области. Это «канонический» предшественник DEGF-YOLO 2025 для UAV.

Multimodal→unimodal distillation (углублённо)

DPMamba (Yang, Qu, Huang, Dong — IJCAI 2025, pp. 2224–2232) — самая прямая RS-аналогия для вашей задачи: модальность-aware Mamba извлекает cross-modality interactive features; novel text-bridging distillation оптимизирует learnable prompts (Missing-Modality-Aware Prompts, MMAPs) через shared text semantic space, превращая «placeholder» в «adaptation». Это позволяет одной сети покрывать множество сценариев пропуска модальностей вместо отдельных student'ов.

DCLIP (arXiv 2505.21549, 2025): meta-teacher усиливает CLIP image embeddings через region-level attention (использует YOLO bbox supervision на teacher-стороне), student — это CLIP с partial fine-tune image encoder, без image-text спарок на inference, без bbox. Сохраняет zero-shot generalization — 94% оригинального CLIP. Текстовый encoder заморожен.

RS-MTDF (arXiv 2506.08772, 2025) — multi-teacher VFM (DINOv2 + CLIP) → student в semi-supervised RS segmentation; feature-level distillation + fusion в student-decoder.

MKD — Multidimensional Knowledge Distillation for Multimodal RS Scene Classification (Wang et al., Digital Signal Processing 2024, S1051200424005001): inter-layer relational + intra-layer feature distillation на fusion-features; adress'ит конкретно проблемы scale-variations и confusion в RS scene classification. Возможно, наиболее точно соответствующая ваша референсная работа.

Distilling Textual Priors from LLM to Efficient Image Fusion (arXiv 2504.07029, 2025): MLLM-prior teacher → image-only student с Spatial-Channel Cross-Fusion Module (SCFM) и custom prior-distillation loss. 10% параметров teacher'а сохраняют 90% качества — прямой количественный prior для дискуссии в диссертации.

PFED / MobileGeo (arXiv 2510.22582, 2025/26): для UAV CVGL — Hierarchical Distillation (HD-CVGL) через Fine-Grained Inverse Self-Distillation (FISD) + Uncertainty-Aware Prediction Alignment (UAPA), решающий disbalance без overhead на inference. 97.15% R@1 на University-1652 при 4.45 GFLOPs (vs 26.18 GFLOPs у MEAN), 251.5 FPS на NVIDIA AGX Orin. Не «text→image», а «heavy multi-branch→light student», но по архитектуре дистилляции — близкий пример.

Feature-quality / reliability scoring (углублённо)

MARGO (Dong et al., arXiv 2504.16524, 2025) — single-modality иногда побеждает multi-modal; авторы обучают modality reliability supervised by BPR: «если ratings positive item > negative item для данной модальности, эта модальность считается reliable». Двухэтапная схема: pretrain без весов, fine-tune с weight calibration loss.

Deep Evidential Fusion with Dempster-Shafer + contextual discounting (Huang, Ruan, Decazes, Denœux — Information Fusion 2024, S1566253524004263): per-source per-class learned discounting coefficients β_k (means + std after training). Применено к PET-CT lymphoma + multi-MRI brain-tumor segmentation. Дискаунтированные masses комбинируются Dempster's rule. Архитектурно близко QAGU (subjective/internal uncertainty).

AECF — Adaptive Entropy-Gated Contrastive Fusion (Chlon et al., arXiv 2505.15417, 2025) — light fusion-layer над frozen backbones; per-instance entropy через MC-Dropout → gate λ(x) = g_α(...). Теоретические границы: Lipschitz σ-bound + bounded loss → robustness под missing/noisy инпутами.

Patch Entropy Fusion Module (PEFM) (ACCV 2024, 10.1007/978-981-96-0972-7_2) для domain-adaptive object detection в adverse weather: per-patch entropy-driven gating multimodal sensor data.

Mahalanobis SVDD (arXiv 2505.05811, 2025): для аудио-IMU anomaly detection, прямое использование Mahalanobis distance в признаковом пространстве для quality scoring.

UC Merced и trajectory of RS scene classification benchmarks

Yang & Newsam (UC Merced 2010) — 21 класс × 100 изображений 256×256, 0.3 м/пикс. Saturation feedback:

  • AID-paper (Xia et al., 2017) — «results already saturated, severely limits development of scene classification algorithms»;
  • NWPU-RESISC45 paper (Cheng et al., 2017) — «~100% accuracy with deep CNN features».

Современная статистика (2024–2025): MambaOutRS-t — F1 = 98.41% на UCM, 95.99% на AID; ConvNeXt-baseline / STConvNeXt — 99.17% на UCM, 97.43% на AID, 94.87% на NWPU; DMCCA+SVM — 99.35% на PatternNet, 92.75% на NWPU, 93.92% на AID.

Для multimodal scene classification доминантный stack 2024–2025 — AID + NWPU-RESISC45 + PatternNet; для image-text — RSITMD/RSICD + SkyScript + RS5M + DGTRSD; UAV-RS specific — Million-AID, EuroSAT, MMM-RS. UCM приводят как «легасная маленькая контрольная точка».

Caveats

  1. Терминологическое наложение. «Adaptive residual» в литературе 2024–2026 переплетается с «gated fusion», «GMU-style gating», «MMTM-style squeeze-excite gating», «cross-attention modulation». Чисто формула y = x + α·F(x) со скалярным learned α ∈ ℝ применительно к multimodal fusion наиболее явно записана в AGFN (2025), QAGU/QACMANet (2026) и DEGF-YOLO/GDFF (2025); многие другие работы используют per-channel или per-token gates вместо одного скаляра. В вашей диссертации стоит явно подчеркнуть это различие (scalar α vs vector α(x) vs per-pixel gate).

  2. CVGL с текстом — узкое поле. GeoText-1652 (ECCV 2024) и Where Am I? / CrossText2Loc (ICCV 2025) — пока две главные работы; вокруг них развились RCMF (2025), CORE/PLANET (2026), MoE-CMGL (2025), DGTRS-CLIP (2025). Прямые «adaptive-residual gate в CVGL-with-text» не публиковались — это потенциальная новизна вашей работы, но также означает, что нужно опираться на cross-attention и MoE-gating как ближайшие baseline'ы.

  3. Несколько ссылок имеют признаки малой проверенности. ER-CMGI, FMCAF и часть Emergent Mind суммаризаций — обзорно-аггрегаторные источники; для диссертации необходимо обращаться напрямую к peer-reviewed первоисточникам (AGFN: arXiv но активно цитируется; QAGU: ScienceDirect peer-reviewed; DEGF-YOLO: Pattern Recognition peer-reviewed).

  4. Эффект «насыщенности» UC Merced количественно подтверждён (99–100% accuracy с 2017), но датасет всё ещё используется в 2024–2025 как sanity-check. Полностью отказываться нецелесообразно; правильнее — указать AID/NWPU-RESISC45 как primary, UCM как legacy.

  5. Для UAV-специфики multimodal teacher (text+image) → image-only student я не нашёл ни одной полностью совпадающей работы. DPMamba (IJCAI 2025) — самое близкое для RS image classification, но не drone-CVGL specific; PFED/MobileGeo — drone-CVGL distillation, но multi-branch→single, без текста; DCLIP — image-text→image-only, но не RS. Это ещё одна потенциальная новизна вашей диссертации, но при защите ожидается обоснование, почему именно UAV-домен требует своей формулировки.

  6. Версионирование arXiv-препринтов. «Where Am I?» имеет v1 (декабрь 2024) и v2 (1 апр. 2025) с финальной публикацией ICCV 2025. Цитируйте версию paper'а, соответствующую финалу ICCV. Аналогично для AGFN (Oct 2025), MobileGeo (Nov 2025), CrossText2Loc (Apr 2025).

  7. Все «100% accuracy» цифры на UCM получены при разных train/test split'ах (50/50, 80/20). Сравнение между методами требует контроля разбиения.

Reference in New Issue View Git Blame Copy Permalink