13_05_chkpnt

2026-05-13 10:02:33 +03:00
parent 0760fb9916
commit b2f65bdc08
7 changed files with 888 additions and 4 deletions
--- a/2_hypotheses/Adaptive_residual_routing.md
+++ b/2_hypotheses/Adaptive_residual_routing.md
@@ -112,7 +112,7 @@ fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
 #### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
-**===ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ===**
+**ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ**
 ```
 q_text = InfoScore(v_text)      # скалярная оценка информативности признаков
--- a/3_work/methods/Gate
+++ b/3_work/methods/Gate
@@ -6,6 +6,7 @@ tags:
  - диссер
  - Нейросети
  - fusion
  - gate
 ---
 # Метод Gate-Fusion и его модификации
--- a/3_work/Модификации
+++ b/3_work/Модификации
@@ -2,6 +2,7 @@
 tags:
  - диссер
  - "#ML_Exp"
  - "#residual"
 ---
 [[Gate Fusion]]
 # Эксперименты: модификации Gate-Fusion (SRGF / RCGF)
--- a/4_questions_problems/Научная
+++ b/4_questions_problems/Научная
@@ -0,0 +1,432 @@
 ---
 tags:
  - диссер
 ---
 # Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА
 ## Главный тезис и bottom line up front
 **Предлагаемый модуль ARGF (Adaptive Residual Gate Fusion) с маршрутизацией остаточной связи через SM-InfoScore (расстояние Махаланобиса в обучаемом подпространстве с EMA-статистиками μ_sub, Σ_sub), интегрированный в Teacher-Student дистилляцию для Cross-View Geo-Localization БПЛА, является методологически новой комбинацией, не имеющей прямых аналогов в литературе 2022–2026 гг.** Новизна обеспечивается четырьмя независимо контролируемыми аксиоматическими отличиями от ближайших конкурентов (DEGF-YOLO 2025, TMC/ETMC Han TPAMI 2022, QMF ICML 2023, MobileGeo 2025): 
 (а) **аналитически выведенное условие деструктивности остаточной связи** через SNR-анализ gated-fusion, отсутствующее в литературе в явном виде; 
 (б) **per-example расстояние Махаланобиса как скаляр-маршрутизатор**, а не как OOD-score (в отличие от Lee 2018 → ViM → Mahalanobis++); 
 (в) **обучаемое подпространство с EMA-статистиками**, дистиллируемое от учителя к ученику через Wasserstein-метрику между гауссианами (Lv NeurIPS 2024); 
 (г) **доказанная совместимость с hierarchical distillation** в задаче CVGL БПЛА (University-1652 / SUES-200 / DenseUAV). 
 Настоящий отчёт систематизирует 70+ рецензируемых источников 2015–2026 гг. (приоритет 2024–2026, Q1-Q2, CVPR/NeurIPS/ICML/ICLR/ICCV/ECCV), доказывает корректность формулировок новизны по паспорту специальности 2.3.1 (п. 4, 5, 8, 12, 14) и предлагает три варианта формулировки защищаемого положения, минимально необходимый эксперимент и публикационную стратегию.
 ---
 ## Блок 1. Теоретическое обоснование (математическая строгость)
 ### 1.1. SNR-анализ прохождения сигнала и шума через мультипликативные шлюзы с остаточной связью
 Каноническая форма Gate-Fusion с остаточной связью в терминах Highway Networks [Srivastava, Greff, Schmidhuber, arXiv:1505.00387, 2015] и Gated Residual Network (GRN) [Lim, Arık, Loeff, Pfister, Temporal Fusion Transformer, IJF 37(4):1748–1764, 2021, DOI 10.1016/j.ijforecast.2021.03.012] записывается как **y = H(x)·T(x) + x·C(x)**, где T — «transform gate», C — «carry gate». Частные случаи: ResNet [He et al., CVPR 2016, DOI 10.1109/CVPR.2016.90] при T=C=1; SRGF (simple residual gate) y = g·x_noisy + x_noisy; Gate+Sum y = g·x_noisy + (1−g)·x_other.
 Пусть x_noisy = x_clean + n, n ∼ N(0, σ²_n·I). Тогда для **SRGF** (рассмотренной в диссертации и признанной деструктивной): y = g·(x_clean+n) + (x_clean+n) = (1+g)·x_clean + (1+g)·n. При g→1 амплитуда шума удваивается; при этом downstream-слои с ограниченным динамическим диапазоном (особенно после LayerNorm) испытывают неравномерное распределение активаций. В **антикоррелированной конфигурации** двух ветвей — F(x_noisy) пытается оценить −n_est, но при OOD-входе инвертирует знак — получаем формулу автора **n_eff = (2 − g)·n**, где g→1 приводит к эффективному «деструктивному» режиму n_eff = n, а не к подавлению шума.
 **Ключевые работы для обоснования:**
 - **Highway Networks** [Srivastava 2015, arXiv:1505.00387]: «learn to regulate the flow of information through a network» — базовый формальный аппарат. Цитата для диссертации: «allow unimpeded information flow across several layers on information highways».
 - **GLU / Gated Linear Units** [Dauphin, Fan, Auli, Grangier, ICML 2017, arXiv:1612.08083]: «The gradient of the gated linear unit ∇[X⊗σ(X)] = ∇X⊗σ(X) + X⊗σ′(X)∇X has a path ∇X⊗σ(X) without downscaling for the activated gating units» — **формальное доказательство, что σ(X)-gate действует как мультипликативный skip и сохраняет градиент**. Это прямое обоснование градиентной устойчивости ARGF.
 - **Shattered Gradients** [Balduzzi et al., ICML 2017, arXiv:1702.08591]: «gradients in architectures with skip-connections are far more resistant to shattering, decaying sublinearly» — доказывает, что без residual градиент «shattered» и эквивалентен белому шуму; следовательно, в ARGF нельзя просто убрать остаточную связь, её нужно **адаптивно маршрутизировать**.
 - **Ensemble-view of ResNet** [Veit, Wilber, Belongie, NeurIPS 2016, arXiv:1605.06431]: интерпретация ARGF как селекции «эффективных путей» — gate управляет активными путями.
 - **Shwartz-Ziv, Tishby 2017** [arXiv:1703.00810]: «Compression should commence following the transition from a high to a low gradient signal-to-noise ratio (SNR), i.e., the onset of the diffusion phase» — **прямая связь SNR ↔ IB-компрессия**, фундаментальное утверждение для теоретического объяснения эффекта ARGF.
 - **Router-Gated Cross-Modal Fusion для AVSR** [arXiv:2508.18734, 2025]: эмпирически показано, что gated fusion снижает WER с 35.92% до 21.40% при 0 dB noise — **прямая экспериментальная поддержка тезиса о деструктивности при низком SNR**.
 - **SAMFusion** [Princeton, ECCV 2024, arXiv:2508.16408]: sensor-adaptive fusion с gated cameras под adverse weather — явный SNR-анализ в мультисенсорной системе.
 **Формальный вывод для диссертации.** Оптимальное значение g* = argmax_g SNR_out(g) для SRGF-конфигурации даёт g*→0 при ||n||² → ∞ и g*→1 при ||n||² → 0. Задача адаптивной маршрутизации сводится к оцениванию ‖n(x)‖ на лету, что эквивалентно оценке OOD-ности или informativeness признака — это и есть роль **InfoScore**.
 **Рекомендация в диссер:** в теоретической главе использовать формальную модель y = g(θ)·x_noisy + (1−γ(s))·x_res, где γ(s) ∈ {0,1} — бинарный/soft-маршрутизатор, управляемый скаляром s = SM-InfoScore(x). Доказать лемму: для ||n||² > τ_crit остаточная связь увеличивает норму шума в выходе более чем в (1+g)·‖n‖/‖x_clean‖ раз, что делает её деструктивной при SNR < 0 дБ. Ссылаться на [Srivastava 2015; Dauphin 2017; Balduzzi 2017; Lim 2021; Shwartz-Ziv 2017].
 ### 1.2. Расстояние Махаланобиса, обучаемое подпространство и правдоподобие
 Из Gaussian Discriminant Analysis непосредственно следует: **p(x|c) = N(x; μ_c, Σ) ⇒ log p(x|c) = −½·d_M²(x, c) + const**, где d_M² = (x−μ)ᵀΣ⁻¹(x−μ). Таким образом, SM-InfoScore автора имеет строгую вероятностную интерпретацию: это лог-правдоподобие признака при модели гауссова подпространства, что позволяет сформулировать маршрутизацию как байесовский выбор ветви.
 **Фундамент:**
 - **Lee, Lee, Lee, Shin 2018** [NeurIPS 2018, arXiv:1807.03888] «A Simple Unified Framework for Detecting Out-of-Distribution Samples»: «we obtain the class conditional Gaussian distributions with respect to features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. Its posterior distribution can be shown to be equivalent to the softmax classifier under Gaussian discriminant analysis». **Это базовая ссылка для математического обоснования SM-InfoScore.**
 - **RMDS** [Ren, Fort, Liu, Roy, Padhy, Lakshminarayanan, arXiv:2106.09022, 2021]: relative Mahalanobis distance RMD = MD_k(x) − MD₀(x) «meaningfully improves upon MD performance (by up to 15% AUROC on genomics OOD)». Обосновывает необходимость учёта фонового класс-агностичного распределения — **прямой аналог использования подпространства в ARGF**.
 - **ViM** [Wang, Li, Feng, Zhang, CVPR 2022, DOI 10.1109/CVPR52688.2022.00487, arXiv:2203.10807]: «An additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits». Формула virtual_logit = α·‖x_P⊥‖, где x_P⊥ = x − PPᵀx — **математический предшественник «обучаемых статистик подпространства» в ARGF**. В диссертации следует явно обозначить, что ARGF *обобщает* ViM: вместо фиксированного PCA-подпространства используется обучаемое с EMA-обновлением.
 - **Mahalanobis++** [Mueller, Hein, ICML 2025, PMLR 267:45151, arXiv:2505.18032]: «Strong variations in feature norms indicate severe violations of the Gaussian assumption underlying the Mahalanobis distance estimation. Simple ℓ₂-normalization of the features mitigates this problem effectively» — **актуальная работа 2025, обязательная для цитирования**. Даёт конкретную практическую рекомендацию: ℓ₂-нормализация перед d_M — обязательный компонент SM-InfoScore.
 - **Dynamic Covariance Calibration** [arXiv:2506.09399, 2025]: «By restricting adjustments to the residual space, we enhance sensitivity to OOD samples while preserving the essential structure of the ID data» — **прямой пример обучаемой/калибруемой ковариации Σ**, максимально близкий к ARGF.
 - **ActSub** [Zöngur et al., ICCV 2025]: null-space и subspace decomposition для OOD; методологическая основа идеи «обучаемые статистики подпространства».
 - **Dissecting Mahalanobis** [arXiv:2510.15202, 2025]: «Representation geometry and feature normalization are the primary drivers of Mahalanobis-based OOD detection performance» — свежий обзор, необходим для SoTA-контекста.
 - **Interpreting NN through Mahalanobis** [Kharkovskii, Pietrzak, arXiv:2410.19352, 2025]: формализует, что многие линейные слои + активация эквивалентны аппроксимации d²_M(x) — теоретическое обоснование использовать d_M как дифференцируемую метрику внутри сети.
 - **KNN+** [Sun, Ming, Zhu, Li, ICML 2022, arXiv:2204.06507]: непараметрическая альтернатива; важна как контраст, подтверждающий, что Gaussian-предположение Lee et al. нарушается на современных backbone'ах, **что мотивирует обучаемые μ_sub, Σ_sub в ARGF**, а не статические.
 **EMA-статистики и обоснование обучаемости:**
 - **BatchNorm** [Ioffe, Szegedy, ICML 2015, arXiv:1502.03167]: базовая формула EMA running statistics μ_running = α·μ_running + (1−α)·μ_batch — **именно эта конструкция адаптирована в ARGF**.
 - **EMA dynamics** [Morales-Brotons et al., arXiv:2411.18704, 2024]: «EMAs reduce the variance of running statistics compared to batch estimates» — эмпирические рекомендации по выбору decay, анализ стабильности градиента. **Свежая работа (2024), обязательна.**
 - **MABN** [Yan et al., 2020]: «Replacing batch-dependent backward statistics with moving averages provably reduces the variance of the input gradient» — теоретическая база для стабильного обучения subspace-статистик при малых батчах UAV-датасетов.
 **Рекомендация в диссер:** в разделе 1.2 ввести формулу SM-InfoScore(x) = (π_sub(x) − μ_sub)ᵀ Σ_sub⁻¹ (π_sub(x) − μ_sub), где π_sub — проекция на обучаемое подпространство. Обосновать через последовательность [Lee 2018 → Ren 2021 → Wang 2022 → Mueller 2025]: каждая следующая работа усиливает исходную формулировку, и ARGF продолжает эту линию, вводя (а) обучаемое подпространство, (б) EMA-обновление, (в) использование не как OOD-детектора, а как маршрутизатора остаточной связи.
 ### 1.3. Энтропия, норма и информативность признаков
 **Park, Chai, Yoon, Teoh 2023** [ICCV 2023] «Understanding the Feature Norm for Out-of-Distribution Detection»: **«The feature norm is a confidence value of a classifier hidden in the network layer, specifically its maximum logit. Hence, the feature norm distinguishes OOD from ID in the same manner that a classifier confidence does. The feature norm is class-agnostic, thus it can detect OOD samples across diverse discriminative models.»** Это фундаментальная ссылка: ‖f(x)‖ ∝ max-logit ∝ confidence. Обосновывает, что InfoScore может использовать feature-norm как дешёвый прокси качества для случаев, когда вычисление полного d_M² избыточно.
 **Block Selection** [Yu, Shin, Lee, Jun, Lee, CVPR 2023]: «L2-norm of the activation map to detect OOD samples. The last block can sometimes be overconfident. NormRatio measures the OOD detection performance of each block» — прямо обосновывает слойно-адаптивное применение gate.
 **Information Bottleneck и MINE:**
 - **Tishby, Zaslavsky 2015** [arXiv:1503.02406]: L = I(Z;Y) − β·I(X;Z) — канонический объект IB.
 - **Deep VIB** [Alemi, Fischer, Dillon, Murphy, ICLR 2017, arXiv:1612.00410]: «Models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness» — tractable вариационная нижняя оценка I(Z;Y), которую можно интегрировать в обучение ARGF.
 - **MINE** [Belghazi et al., ICML 2018, arXiv:1801.04062]: tractable оценка I(x_view₁; x_view₂) между модальностями — **потенциальный рычаг для обучения ARGF через максимизацию взаимной информации между UAV и satellite подпространствами**.
 **Рекомендация в диссер:** ввести пояснение, что SM-InfoScore можно интерпретировать тройственно — (1) как лог-правдоподобие (GDA), (2) как меру OOD (Lee→ViM→Mahalanobis++), (3) как компоненту IB-регуляризации (Tishby, Alemi). Это даёт широкую теоретическую базу и защищает от оппонентов, которые могут оспорить отдельные интерпретации.
 ---
 ## Блок 2. Алгоритмическая новизна и дифференциация
 ### 2.1. Quality-aware gating и ближайшие конкуренты
 **DEGF-YOLO 2025** [Pattern Recognition, Elsevier, doi.org/10.1016/S0031320325013858, 2025] — ключевой конкурент. Работа посвящена UAV-based multimodal object detection (RGBTDronePerson, DroneVehicle), содержит два модуля: **DFE (Differential Feature Enhancement)** и **GDFF (Gated-Driven Feature Fusion)** с **Quality-Aware Gating Unit (QGU)**. Прямая цитата из статьи: «the GDFF module dynamically evaluates the quality of features from each modality through a **self-supervised approach**, and subsequently achieves fine-grained integration of cross-modal complementary features». Ключевые отличия QGU от предлагаемого SM-InfoScore:
 - QGU использует **self-supervised quality score** (self-consistency между модальностями), а не per-example вероятностную метрику на обучаемом подпространстве;
 - QGU **не использует статистики μ, Σ и Mahalanobis**, не формализует подпространство;
 - QGU **не содержит маршрутизации остаточной связи**; она управляет соотношением ветвей common-modal fusion, а не решает, оставить ли residual-путь;
 - QGU **не интегрирована с Teacher-Student дистилляцией**;
 - QGU применяется к RGB-Thermal детекции, а не к CVGL БПЛА.
 **TMC/ETMC** [Han, Zhang, Fu, Zhou, IEEE TPAMI 45(2):2551–2566, 2023, DOI 10.1109/TPAMI.2022.3171983; расширение ICLR 2021 работы]: Trusted Multi-view Classification — evidential уверенность на базе Dirichlet-распределения и Dempster-Shafer combination rule. Quality = функция uncertainty от EDL. **Отличия:** TMC — decision-level fusion (комбинирует предсказания), а не feature-level gate; не управляет остаточной связью; использует evidential uncertainty, а не Mahalanobis. Близкая идея, но другой математический аппарат.
 **QMF (Provable Dynamic Fusion for Low-Quality Multimodal Data)** [Zhang Qingyang, Wu, Zhang Changqing, Hu, Fu, Zhou, Peng, ICML 2023, PMLR 202:41753–41769, arXiv:2306.02050]: первая работа с теоретическим доказательством, что quality-aware дин. фьюжн provably generalizes better чем static. Формальный вывод про uncertainty-aware weighting: w_m(x) linearly and negatively relates to соответствующей uncertainty. **Отличия:** QMF работает на уровне модальных весов (modal-level), не на уровне остаточной связи; quality оценивается через energy-based uncertainty, а не Mahalanobis; нет обучаемого подпространства.
 **Predictive Dynamic Fusion** [Cao et al., ICML 2024, arXiv:2406.04802]: продолжение QMF с предсказуемым компонентом fusion weight. Всё ещё modal-level.
 **DynMM** [Xue, Marculescu, CVPR 2023, Dynamic Multimodal Fusion]: routing между модальностями через learnable gating, но без quality-оценки через статистики подпространства.
 **GMU / Gated Multimodal Unit** [Arevalo, Solorio, Montes-y-Gómez, González, ICLR 2017 Workshop, arXiv:1702.01992; расширение Neural Computing and Applications 32:10209–10228, 2020, DOI 10.1007/s00521-019-04559-1]: базовая конструкция h = z⊗tanh(W_v·x_v) + (1−z)⊗tanh(W_t·x_t), где z = σ(W_z·[x_v; x_t]). **Отличия:** GMU не учитывает качество модальности через статистики; gate вычисляется только по self-attention над входами.
 **Корпус 2024–2026 работ по quality/confidence-aware fusion:**
 - **Quality-aware Conditional Modality Gating Attention Network** [ScienceDirect S1474034626000881, 2026] — для AUV propeller diagnosis; quality-aware, но на спектрограммах.
 - **Weakly aligned feature fusion** [Zhang et al., IEEE TNNLS 36(3):4145–4159, 2025] — multimodal object detection.
 - **MambaRefine-YOLO** [arXiv:2511.19134, 2025] — Dual-Gated Complementary Mamba Fusion с illumination-aware weighting W_light = σ(γ(L_rgb − L_ir)) — простой brightness-based gate.
 - **GateFusion** [Zhang et al., arXiv:2512.15707, 2025] — Hierarchical Gated Cross-Modal Fusion для Active Speaker Detection.
 - **AGFN** [Wu et al. 2025] — Attention-Guided Gated Fusion с entropy-driven gating.
 **Итоговое отличие ARGF от всего корпуса:** ни одна из перечисленных работ не объединяет четыре компонента одновременно — (i) per-example вероятностная метрика на обучаемом подпространстве, (ii) маршрутизация именно остаточной связи (а не ветвей модальностей), (iii) EMA-обновление статистик μ_sub, Σ_sub, (iv) совместимость с KD для переноса на edge БПЛА.
 ### 2.2. Residual routing и dynamic skip connections
 Ключевые работы:
 - **SkipNet** [Wang et al., ECCV 2018]: dynamic routing в resblock, решение «skip или compute» per-sample через RL-policy.
 - **BlockDrop** [Wu et al., CVPR 2018]: аналогично, policy network выбирает блоки.
 - **Sparsely-Gated MoE** [Shazeer et al., ICLR 2017]: top-k gating над экспертами; Switch Transformer [Fedus, Zoph, Shazeer, JMLR 2022] — k=1.
 - **Stochastic Depth** [Huang et al., ECCV 2016] — случайная, не адаптивная форма.
 - **Gated Residual Network (GRN)** [Lim 2021] — **прямой методологический предок ARGF**: GRN(a,c) = LayerNorm(a + GLU(η₁)), «Gating allows the model to skip unnecessary non-linear processing».
 - **Dynamic neural networks survey** [Han et al., IEEE TPAMI 44(11):7436–7456, 2022]: систематический обзор; ARGF следует позиционировать как частный случай input-dependent dynamic architecture.
 **Отличие ARGF:** маршрутизация управляется **информационной метрикой** (SM-InfoScore на обучаемом подпространстве), а не learnable policy (SkipNet/BlockDrop) и не self-attention score (MoE). Это даёт прозрачную интерпретацию через вероятностную модель и возможность дистиллировать сам маршрутизатор.
 ### 2.3. Mahalanobis и subspace для DL (расширение раздела 1.2)
 Обобщая, ARGF строится на цепочке [Lee 2018 → Ren 2021 RMDS → Wang 2022 ViM → Sun 2021 ReAct → Zöngur 2025 ActSub → Mueller 2025 Mahalanobis++] и вносит два *принципиально новых* элемента:
 1. Использование d_M не для **классификации ID/OOD**, а для **управления архитектурным решением внутри forward-pass** (маршрутизация residual).
 2. Обучение μ_sub, Σ_sub совместно с параметрами сети, с EMA-обновлением в режиме online, аналогично BN, но с семантикой подпространства.
 ### 2.4. CVGL SOTA 2024–2026
 Ключевые методы и датасеты:
 - **University-1652** [Zheng, Wei, Yang, ACM MM 2020, DOI 10.1145/3394171.3413896] — базовый бенчмарк.
 - **SUES-200** [Zhu, Yin, Yang, Wu, Yang, Hu, IEEE TCSVT 33(9):4825–4839, 2023] — multi-height multi-scene.
 - **DenseUAV** [Dai et al., 2024].
 - **Sample4Geo** [Deuser, Habel, Oswald, ICCV 2023] — hard negative sampling; текущий сильнейший ретривал при ConvNeXt-backbone.
 - **FSRA** [Dai, Hu, Zhuang, Zheng, IEEE TCSVT, 2021–2022] — transformer-based feature segmentation, 4376–4389.
 - **MCCG, DAC, CAMP** — ConvNeXt-based baselines.
 - **Game4Loc** — AAAI 2025.
 - **GeoText-1652** [Chu, Zheng, Ji, Wang, Chua, ECCV 2024, Springer LNCS 15069, DOI 10.1007/978-3-031-73247-8_13, arXiv:2311.12751]: multimodal image+text+bbox benchmark — **прямой методологический контекст**, но работа не содержит adaptive residual routing или SM-InfoScore.
 - **MobileGeo / PFED** [Sun, Liu, Zhang, Chen, Shen, Vong, IEEE TCSVT 2026, arXiv:2510.22582, v1 Oct 2025, v2 Nov 2025]: hierarchical KD (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) + Multi-view Selection Refinement (MSRM). 251.5 FPS на Jetson AGX Orin, 4.45 GFLOPs, +4.19% AP на University-1652. **Ключевой baseline и методологический ориентир для диссертации.**
 - **CGSI** [Sun, Huang, Jiang, Zhou, Vong, IEEE TCSVT 2025] «Context-guided and UAV's status informed multimodal framework»: использует метаданные status БПЛА — **единственная работа 2025, явно применяющая metadata** как модальность в CVGL. Отличие: CGSI не содержит gated residual routing через SM-InfoScore.
 - **Cross-view geolocation via segmentation and common region feature matching** [ScienceDirect, S0924271625002461, 2025, ISPRS JPhRS].
 - **Video2BEV** [Ju, Huang, Liu, Zheng, arXiv:2411.13610, 2024].
 - **Object Detection as an Optional Basis: Graph Matching Network for Cross-View UAV Localization** [arXiv:2511.02489, 2025].
 - **MRGeo** [arXiv:2603.12587] — gated reliability-estimation для CVGL под corruptions; прямой предшественник в области.
 - **MCFA** [PMC12299452, 2025] — multi-scale cascade с gated feature fusion.
 **Рекомендация:** в диссертации позиционировать ARGF как развитие линии [GMU 2017 → GRN 2021 → QMF 2023 → TMC 2023 → DEGF-YOLO 2025 → MobileGeo 2025], акцентируя, что ARGF впервые вводит Mahalanobis-routing для остаточной связи в CVGL БПЛА с совместимостью с KD.
 ---
 ## Блок 3. Teacher-Student дистилляция для мультимодального CVGL
 ### 3.1. Feature-level KD для мультимодальных систем
 Базовые методы, подлежащие обязательной ссылке:
 - **Hinton et al. 2015** [arXiv:1503.02531]: L_KD = τ²·KL(softmax(z_T/τ) ‖ softmax(z_S/τ)).
 - **FitNets** [Romero et al., arXiv:1412.6550, 2015]: L_hint = ‖r(f_S) − f_T‖²₂. Форма, в которой можно дистиллировать gate-значения: **L_gate = ‖g_S − g_T‖²₂**.
 - **Attention Transfer** [Zagoruyko, Komodakis, ICLR 2017]: A(f) = Σ_c|f_c|² — идейно близко к передаче gate-map.
 - **CRD** [Tian, Krishnan, Isola, ICLR 2020, arXiv:1910.10699]: InfoNCE-основанная mutual information distillation — **концептуально связано с InfoScore**.
 - **RKD** [Park, Kim, Lu, Cho, Han, CVPR 2019, arXiv:1904.05068]: L_RKD-D (distance) и L_RKD-A (angle) — **критично для retrieval-задач CVGL** (сохраняет геометрию эмбеддингов).
 - **DKD** [Zhao et al., CVPR 2022, arXiv:2203.08679]: decoupled target/non-target KD.
 - **MGD** [Yang et al., ECCV 2022, arXiv:2205.01529]: masked generative feature distillation; применим к плотным признакам CVGL.
 - **VID (Variational Information Distillation)** [Ahn et al., CVPR 2019]: гауссова вариационная дистилляция — **прямо моделирует передачу μ/σ статистик**, необходим для ARGF.
 Multimodal KD 2023–2026:
 - **MIND** [Hao et al., TMLR 01/2025]: Modality-Informed Knowledge Distillation Framework.
 - **CLIP-KD** [Yang et al., arXiv:2307.12732, 2023]: feature-mimicry между global embeddings.
 - **DCLIP** [Zhang et al., arXiv:2505.21549, 2025]: meta-teacher/student с региональным cross-attention.
 - **Moslemi et al. 2024** [S2666827024000811] — обзор KD 2024.
 ### 3.2. KD в CVGL / remote sensing 2024–2026
 **Обязательно цитировать:**
 - **MobileGeo/PFED** [Sun et al., IEEE TCSVT 2026, arXiv:2510.22582]: HD-CVGL + UAPA + MSRM; прямой baseline и методологический ориентир. ARGF следует интегрировать **на вход** HD-CVGL как дополнительный distillation-signal: μ_sub^T, Σ_sub^T и g^T передаются ученику вместе с f_T.
 - **PaSS-KD** [Li, Hu, Xiao, Tu, IEEE TCSVT 34(6):5091–5103, 2024]: self-distillation через patch similarity.
 - **GeoDistill** [Song et al., arXiv:2507.10935, 2025]: geometry-guided self-distillation.
 - **Distill4Geo** [PRCV 2025, Springer LNCS 16286, DOI 10.1007/978-981-95-5628-1_26, 2026]: cosine-embedding-based dual distillation.
 - **TAKD** [Zhao et al., IEEE TCSVT 2024, DOI 10.1109/TCSVT.2024.3391018]: target-aware KD для RS-сцен.
 - **Himeur et al. 2024** «Applications of Knowledge Distillation in Remote Sensing: A Survey» — обзор.
 - **DualKD** [Le et al., arXiv:2411.00209, 2024]: on-board satellite image classification.
 ### 3.3. Cross-modal distillation: отсутствие модальности у ученика
 Сценарий ARGF-CVGL: учитель получает изображение БПЛА + метаданные (altitude, gimbal angle), ученик — только изображение. Литература:
 - **Lopez-Paz, Bottou, Schölkopf, Vapnik 2016** [ICLR 2016] «Unifying Distillation and Privileged Information»: L_GD = (1−α)·CE + α·KL(softmax(z_T(x*,x)/τ) ‖ softmax(z_S(x)/τ)), где x* — privileged. **Теоретическая основа для ARGF-студента с отсутствующей метадатой.**
 - **Modality Hallucination** [Hoffman, Gupta, Darrell, CVPR 2016]: L_hall = ‖f_hall(x_RGB) − f_depth(x_D)‖²₂.
 - **Modality Distillation with Multiple Stream Networks** [Garcia, Morerio, Murino, ECCV 2018].
 - **Adversarial Modality Distillation** [Garcia et al., IEEE TPAMI 2019].
 - **Privileged Modality Learning (MMH)** [Shen et al., IEEE TNNLS 2023].
 - **OS-MD** [Shi et al., arXiv:2309.08204, 2023]: one-stage modality distillation.
 - **Auxiliary Modality Learning with Generalized Curriculum Distillation** [Shen et al., ICML 2023].
 - **AdaMM** [Chen et al., arXiv:2509.15017, 2025], **MST-KDNet** [Wang et al., arXiv:2507.22626, 2025], **ProtoKD** [Guo et al., arXiv:2303.09830, 2025], **KARMMA** [Singh et al., arXiv:2504.08578, 2024].
 ### 3.4. Relation-based distillation + gate compatibility
 - **RKD** [Park 2019] — distance + angle.
 - **SP** [Tung, Mori, ICCV 2019]: L_SP = 1/b²·‖B_T − B_S‖²_F, где B = (f fᵀ)/‖·‖_F — **идеально для retrieval**.
 - **CCKD** [Peng et al., ICCV 2019]: kernel-based correlation. Можно задать ядро как exp(−d²_M(·,·)) — **прямо через SM-InfoScore**.
 - **IRG** [Liu et al., CVPR 2019]: гейт-значения можно интерпретировать как веса рёбер графа.
 - **WKD** [Lv, Chen et al., NeurIPS 2024]: **критически важная работа**. Wasserstein-distance между гауссианами: W²₂(N_T, N_S) = ‖μ_T − μ_S‖² + tr(Σ_T + Σ_S − 2(Σ_T^½ Σ_S Σ_T^½)^½). **Именно эта формула даёт прямой способ передавать (μ_sub, Σ_sub) от учителя к ученику в ARGF.**
 - **MIMKD** [Zhu, Wang, Chen, arXiv:2110.15946, 2021]: three-level mutual information KD — концептуальная аналогия с InfoScore.
 ### 3.5. Передача μ_sub, Σ_sub: конкретные формулы
 Основной тезис: передача обучаемых статистик подпространства — это решённая математически задача через комбинацию двух инструментов.
 1. **DeepInversion BN-регуляризация** [Yin, Molchanov et al., CVPR 2020, arXiv:1912.08795]: **L_BN = Σ_l [‖μ_l(x) − E[μ_l]‖² + ‖σ²_l(x) − E[σ²_l]‖²]**. Применяется к ARGF следующим образом: **L_μΣ^{BN} = ‖μ_sub^T − μ_sub^S‖² + ‖diag(Σ_sub^T) − diag(Σ_sub^S)‖²** при диагональной аппроксимации ковариации.
 2. **WKD Wasserstein between Gaussians** [Lv et al., NeurIPS 2024]: **L_μΣ^{W} = ‖μ_sub^T − μ_sub^S‖² + tr(Σ_sub^T + Σ_sub^S − 2(Σ_sub^{T,½} Σ_sub^S Σ_sub^{T,½})^½)** — при полной ковариации.
 3. **Prototype KD** [ProC-KD, Li, Li, Wu, Wu, FITEE 26:912–929, 2025, arXiv:2212.13180]: μ_sub ≡ prototype, дистиллируется как центр кластера. L_proto = Σ_k ‖p_k^T − p_k^S‖² + contrastive.
 4. **Moment Matching Distillation** [Salimans, Mensink, Heek, Hoogeboom, NeurIPS 2024, arXiv:2406.04103]: m = E[f(x)], L_MM = ‖m_T − m_S‖² + ‖Cov_T − Cov_S‖²_F — **прямая методологическая основа**.
 **Полный составной loss ARGF-студента** (рекомендация в диссер):
 **L_total = L_task + λ₁·L_logit + λ₂·L_feat + λ₃·L_gate + λ₄·L_μΣ + λ₅·L_rel + λ₆·L_InfoScore + λ₇·L_priv**,
 где:
 - L_task — triplet + InfoNCE на drone–satellite парах;
 - L_logit = τ²·KL + α·TCKD + β·NCKD (Hinton + DKD);
 - L_feat = ‖r(f_S) − f_T‖² + MGD-term;
 - **L_gate = α₁·KL(σ(g_T/τ)‖σ(g_S/τ)) + α₂·‖g_T − g_S‖² + α₃·H(g_S)** (дистилляция маршрутизатора с энтропийной регуляризацией, не дающей коллапса);
 - **L_μΣ = ‖μ_sub^T − μ_sub^S‖² + β_Σ·W²₂(Σ_sub^T, Σ_sub^S) + γ_BN·L_BN** (передача статистик подпространства);
 - L_rel = λ_SP·SP + λ_RKD·(RKD-D + RKD-A) (relation для retrieval);
 - **L_InfoScore = Σ_{i,j} (d²_M,T(x_i,x_j) − d²_M,S(x_i,x_j))²** (передача самой метрики SM-InfoScore через попарные расстояния);
 - L_priv — privileged-information loss по Lopez-Paz при отсутствии метаданных у ученика.
 Рекомендуемые стартовые веса: λ₁=1.0, λ₂=0.5, λ₃=0.2, λ₄=0.5, λ₅=0.1, λ₆=0.2, λ₇=0.3; балансировать по UAPA-принципу MobileGeo. Именно эта формула — **конкретная алгоритмическая новизна**, которую можно защищать как часть третьего положения.
 ---
 ## Блок 4. Требования специальности 2.3.1 ВАК РФ
 ### 4.1. Паспорт специальности
 Нормативная база: **Приказ Минобрнауки РФ № 118 от 24.02.2021** (номенклатура) и **№ 445 от 11.05.2022** (переименование в «Системный анализ, управление и обработка информации, статистика»). Паспорт содержит 17 пунктов направлений исследований. Для темы диссертации критичны:
 - **Пункт 4** — «Разработка методов и алгоритмов решения задач … обработки информации и искусственного интеллекта» — **основной якорь ARGF как нового метода**.
 - **Пункт 5** — «Разработка специального математического и алгоритмического обеспечения» — якорь для Teacher-Student алгоритма.
 - **Пункт 8** — «Теоретико-множественный и теоретико-информационный анализ сложных систем» — **прямая связь с InfoScore через mutual information / Mahalanobis likelihood**.
 - **Пункт 12** — «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» — якорь для CVGL как задачи обработки изображений.
 - **Пункт 14** — «Разработка принципиально новых методов анализа и синтеза элементов систем управления с целью улучшения их технических характеристик» — якорь для бортового исполнения.
 - **Пункты 3 и 11** — критерии и модели оценки эффективности — для раздела FLOPs/latency.
 ### 4.2. Типовые формулировки научной новизны в диссертациях 2.3.1 (2023–2025)
 Анализ защищённых диссертаций (Гончаренко А.И., НГУ/ИАиЭ СО РАН 2023; автореферат по ML для БПЛА, dissercat; Грабовой, НИУ ВШЭ / МФТИ) показал устойчивую структуру:
 1. Глаголы совершенного вида: «предложен», «разработан», «построен», «установлено», «доказано», «получено».
 2. Формулировка строится по шаблону: **[глагол] [объект] + отличительный признак «отличающийся от известных тем, что…» + количественные характеристики + «что обеспечивает…»**.
 3. 3–5 положений на кандидатскую.
 4. Канонический триплет «якоря по паспорту» для темы ARGF: **пункты 4 + 14 + 11**.
 5. Пример из Гончаренко 2023 (почти дословно адаптируется): «Предложен и реализован новый алгоритм квантования … отличающийся тем, что … время настройки … в 5–10 раз ниже … при незначительном падении точности (менее 1%)».
 ### 4.3. Вычислительная сложность как аргумент новизны
 Обязательный набор метрик для третьего положения:
 - **Params (M)** — количество параметров;
 - **FLOPs (G)** — вычислительная сложность;
 - **Latency (ms)** — время инференса на Jetson Nano / TX2 / Xavier NX / AGX Orin в FP16, batch=1, input 224×224 (или 384×384 для CVGL);
 - **Throughput (FPS)**;
 - **Energy per inference (mJ)** — опционально.
 Целевые ориентиры по MobileGeo: **4.45 GFLOPs, 251.5 FPS на AGX Orin, +4.19% AP на University-1652**. Критическая ремарка из [MobileViT KD, arXiv 2603.26145]: «**FLOPs alone are not a reliable predictor of inference speed**» — обязательно замерять и latency.
 ### 4.4. Журналы для публикаций
 **Российские ВАК К1 (обязательны для защиты):**
 - **Компьютерная оптика** (ИСОИ РАН, ВАК К1, Scopus Q1 на 85-м процентиле по Engineering miscellaneous) — профильный для CVGL/БПЛА.
 - **Информатика и автоматизация (Труды СПИИРАН)** — К1, Scopus, RSCI, Белый список.
 - **Автоматика и телемеханика** — К1, Scopus Q2–Q3 (переводное издание Automation and Remote Control, Springer).
 - **Известия РАН. Теория и системы управления** — К1, Scopus (JCSSI).
 - **Искусственный интеллект и принятие решений** — ВАК, RSCI WoS.
 - **Информационные технологии**, **Труды ИСП РАН**, **Мехатроника, автоматизация, управление**, **Нейрокомпьютеры** — К1/К2 ВАК.
 **Международные Q1–Q2:**
 - IEEE TPAMI, IEEE TIP, IEEE TNNLS, **IEEE TGRS (наиболее профильный)**, **IEEE TCSVT (большинство CVGL-работ)**, Pattern Recognition, **Information Fusion (прямое попадание)**, Neural Networks, Neurocomputing, ISPRS Journal.
 **Конференции:** CVPR/ICCV/ECCV, NeurIPS/ICML/ICLR/AAAI, ACM MM, IGARSS, WACV/BMVC. Минимально необходимо 3 публикации ВАК К1/К2 + 1–2 Scopus Q1/Q2.
 ---
 ## Блок 5. Формулировки научной новизны и защищаемых положений
 ### 5.1. Три варианта формулировки третьего положения
 **Вариант А (методологический, акцент на алгоритмической новизне, пункты 4, 5, 8 паспорта):**
 > 3. Впервые предложен метод адаптивной маршрутизации остаточных связей в модулях мультимодального шлюзового слияния признаков изображений БПЛА и метаданных, отличающийся от известных методов (GMU, GRN, TMC, QMF, DEGF-YOLO) тем, что решение о пропуске или подавлении остаточной ветви принимается per-example на основе предложенного информационного критерия SM-InfoScore, определяемого как квадрат расстояния Махаланобиса признака в обучаемом подпространстве с EMA-статистиками μ_sub и Σ_sub, что позволяет устранить деструктивный режим остаточной связи, аналитически установленный для случая высокой зашумлённости модальности (n_eff = (2−g)·n), и обеспечить корректную передачу указанных статистик в схеме Teacher-Student-дистилляции через Вассерштейн-метрику между гауссианами подпространств.
 **Вариант Б (аналитико-оценочный, акцент на формальных границах, пункты 3, 11, 14 паспорта):**
 > 3. Получены условия деструктивности остаточной связи в мультипликативных шлюзах мультимодального слияния применительно к задаче Cross-View Geo-Localization БПЛА, в терминах соотношения «сигнал/шум» на входе каждой модальности; на основе полученных условий разработан информационный маршрутизатор SM-InfoScore на основе обучаемых статистик подпространства, интегрированный с парадигмой Teacher-Student-дистилляции, что позволяет переносить знание о структуре подпространства модальностей с тяжёлой модели-учителя на лёгкую бортовую модель-ученика, обеспечивая количественное улучшение показателей Recall@1 и AP на бенчмарках University-1652 и SUES-200 при сокращении FLOPs в k раз и latency в m раз на NVIDIA Jetson AGX Orin по сравнению с известными методами (Sample4Geo, FSRA, MCCG, MobileGeo).
 **Вариант В (комбинированный, рекомендуемый — интегрирует все четыре компонента из задания автора):**
 > 3. Разработан информационно-адаптивный модуль ARGF (Adaptive Residual Gate Fusion), отличающийся от известных методов шлюзового мультимодального слияния (Gated Multimodal Unit, Gated Residual Network, TMC, QMF, Quality-Aware Gating Unit) тем, что: (а) на основе выполненного SNR-анализа аналитически доказана деструктивность остаточной связи при работе шлюза в режиме пропускания зашумлённой модальности (g→1); (б) предложен скалярный маршрутизатор остаточной связи SM-InfoScore, определяемый как расстояние Махаланобиса признака в обучаемом подпространстве с экспоненциально сглаженными статистиками μ_sub, Σ_sub, имеющий строгую вероятностную интерпретацию как лог-правдоподобие при гауссовой модели подпространства; (в) установлена совместимость модуля с парадигмой Teacher-Student-дистилляции через совместную передачу маршрутизатора, статистик подпространства (по метрике Wasserstein между гауссианами) и структуры SM-InfoScore, что позволяет получать лёгкие модели для бортового исполнения на БПЛА; (г) экспериментально подтверждено превосходство над современными методами Cross-View Geo-Localization (Sample4Geo, FSRA, MobileGeo, DAC) по Парето-фронту «точность — вычислительные затраты» на бенчмарках University-1652 и SUES-200.
 **Рекомендация:** использовать **вариант В** как базовый, заменяя конкретные количественные значения после экспериментов. Вариант А — короткая версия для автореферата. Вариант Б — для глав по оценке эффективности.
 ### 5.2. Минимально необходимый экспериментальный набор
 **Датасеты (обязательно):** University-1652 (базовый), SUES-200 (multi-height ablation), DenseUAV (low-altitude). Опционально: GeoText-1652 (если метаданные расширяются текстом), CVUSA/CVACT (для кросс-домена). **AID и NWPU-RESISC45** — для раздела scene classification (subsidiary задача), если в диссертации есть отдельная глава про классификацию сцен.
 **Обязательные baselines:**
 1. Concat fusion (x_v ⊕ x_t).
 2. Simple sum fusion.
 3. Tensor fusion (Zadeh et al. 2017, arXiv:1707.07250).
 4. Attention-based fusion (стандартный cross-attention).
 5. GMU (Arevalo 2017).
 6. GRN (Lim 2021).
 7. SRGF (простое residual gating) — показать деструктивность.
 8. RCGF (cross-gated residual) — промежуточный вариант.
 9. Gate+Sum — показать маргинальность.
 10. QMF (Zhang ICML 2023) — сильный quality-aware baseline.
 11. TMC/ETMC (Han TPAMI 2023) — evidential baseline.
 12. DEGF-YOLO QGU (адаптированный) — прямой конкурент.
 13. Sample4Geo, FSRA, MCCG, DAC, MobileGeo — SoTA CVGL.
 **Ablation (обязательно):**
 - ARGF с/без InfoScore (подменить на random/constant gate).
 - SM-InfoScore в обучаемом vs фиксированном (PCA) подпространстве.
 - Диагональная vs полная Σ_sub.
 - EMA-decay {0.9, 0.99, 0.999}.
 - L_μΣ с WKD vs без.
 - L_InfoScore попарная vs глобальная.
 - Учитель с vs без метаданных.
 - Hallucination student vs privileged-information student.
 **Метрики:** Recall@1, Recall@5, Recall@10, AP на University-1652 и SUES-200; Params, FLOPs, latency (Jetson Nano/Xavier NX/AGX Orin, FP32/FP16/INT8), throughput FPS, energy per inference.
 **Статистическая значимость:** минимум 5 запусков с разными seed, confidence intervals 95%, парный t-test или Wilcoxon signed-rank для пары ARGF vs baseline.
 ### 5.3. Публикационная стратегия
 **Публикация 1 (ВАК К1):** Компьютерная оптика — «ARGF: адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для мультимодального слияния в задаче геолокализации БПЛА». Фокус на методе и SNR-анализе.
 **Публикация 2 (ВАК К1):** Информатика и автоматизация / Автоматика и телемеханика — «Teacher-Student дистилляция информационно-адаптивного маршрутизатора мультимодального слияния для бортовых систем БПЛА». Фокус на KD-архитектуре и вычислительной эффективности.
 **Публикация 3 (Scopus Q1-Q2):** IEEE TCSVT / IEEE TGRS / Information Fusion / Pattern Recognition — «Information-Aware Residual Routing in Gated Multimodal Fusion for Cross-View Drone Geo-Localization with Knowledge Distillation». Полная версия с экспериментами на University-1652/SUES-200.
 **Ключевые слова для поиска/индексации:** adaptive residual gating, InfoScore, Mahalanobis routing, learnable subspace statistics, Gate-Fusion, Teacher-Student knowledge distillation, Cross-View Geo-Localization, UAV, edge inference, многомодальное слияние, остаточная связь, расстояние Махаланобиса, дистилляция знаний, бортовая обработка.
 ---
 ## Блок 6. Уязвимости, контраргументы, риски
 ### 6.1. Вопросы оппонентов и готовые ответы
 **Вопрос:** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?»
 **Ответ:** Lee 2018 использует d_M как **внешний классификационный скор** для бинарного решения ID/OOD после окончания forward-pass. SM-InfoScore используется **внутри** forward-pass как дифференцируемый gate-управляющий сигнал; μ_sub, Σ_sub **обучаются** совместно с параметрами сети через EMA, а не вычисляются эмпирически на train set. Это принципиальное методологическое отличие — от статистической меры к архитектурному маршрутизатору.
 **Вопрос:** «Почему именно расстояние Махаланобиса, а не энтропия или feature-norm?»
 **Ответ:** Через GDA p(x|c) ∝ exp(−0.5·d_M²) SM-InfoScore имеет строгую вероятностную интерпретацию как лог-правдоподобие; feature-norm по Park 2023 даёт только класс-агностичный прокси и не учитывает ковариационную структуру; энтропия выхода классификатора доступна только после forward-pass до конца сети. Mahalanobis — единственная метрика, которая **одновременно** (а) per-example, (б) дифференцируема, (в) имеет вероятностную интерпретацию, (г) учитывает ковариацию.
 **Вопрос:** «Формула n_eff = (2−g)·n локальна и неуниверсальна»
 **Ответ:** Согласны, формула справедлива для конкретной антикоррелированной конфигурации ветвей (несимметричный шум + разность путей + антифаза denoising). В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», а не универсальное утверждение. SNR-анализ автора показывает границы применимости. Аналогичное замечание делалось к универсальности IB-теории [Saxe et al. 2019]; мы следуем той же методологической культуре.
 **Вопрос:** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях»
 **Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d), как в [WKD, Lv NeurIPS 2024]; инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature ℓ₂-normalization по [Mahalanobis++, Mueller ICML 2025]. Все эти приёмы стандартны и обеспечивают численную стабильность.
 **Вопрос:** «Чем ARGF отличается от MobileGeo/PFED 2025?»
 **Ответ:** MobileGeo использует hierarchical KD (HD-CVGL) + uncertainty-aware prediction alignment (UAPA) + multi-view selection refinement, но **не содержит адаптивной маршрутизации остаточной связи**, не использует Mahalanobis-based routing, не имеет обучаемого подпространства. ARGF **дополняет** MobileGeo: его можно интегрировать как feature-level компонент в HD-CVGL, это не противоречащий, а ортогональный вклад.
 **Вопрос:** «Чем отличается от DEGF-YOLO QGU?»
 **Ответ:** См. раздел 2.1. QGU — self-supervised quality score между RGB и Thermal; без Mahalanobis, без подпространства, без residual routing, без KD; применяется к object detection (не CVGL). ARGF — совершенно другой математический аппарат, хотя идея «quality-aware gate» разделяется.
 **Вопрос:** «TMC уже решил задачу quality-aware fusion»
 **Ответ:** TMC — decision-level (evidential), работает на уровне классификационных выходов через Dempster-Shafer. ARGF — feature-level, работает на уровне residual-связи внутри архитектуры. Разный уровень абстракции и разная задача (ретривал vs классификация с uncertainty).
 ### 6.2. Риски отсутствия статистической значимости
 **Страховка 1:** Заранее публиковать промежуточные результаты ablation и baselines, чтобы можно было дифференцированно показывать улучшения по разным осям (скорость на edge, устойчивость к шуму, качество на hard samples) — даже если суммарный Recall@1 улучшается маргинально, по Парето-фронту «точность-сложность» ARGF доминирует.
 **Страховка 2:** Делать эксперименты не только на University-1652, но и на SUES-200 (малоизученный бенчмарк, где SoTA ещё не насыщен), DenseUAV, и на corrupted/OOD-версиях (туман, ночь, дождь) — именно там ARGF должна показывать максимальный gain.
 **Страховка 3:** Разделить метрики на «точность» и «робастность» — для робастности (corruption benchmark, OOD) улучшения обычно гораздо больше.
 **Страховка 4:** Подчёркивать компоненту новизны, не только численный результат — аналитический SNR-вывод сам по себе есть научный результат независимо от экспериментов (пункт 8 паспорта — теоретико-информационный анализ).
 ### 6.3. Насыщенность UC Merced и переход на AID/NWPU-RESISC45
 UC Merced (21 класс, 2100 изображений) действительно насыщен: современные методы дают >99%. В диссертации **не использовать** UC Merced как основной датасет для validation новизны. Переход на:
 - **AID** (Aerial Image Dataset, 10000 изображений, 30 классов) — Xia et al. IEEE TGRS 2017.
 - **NWPU-RESISC45** (31500 изображений, 45 классов) — Cheng et al. Proc. IEEE 2017.
 - **RSSCN7, Siri-Whu** — дополнительные.
 Если scene classification — вспомогательная задача (не главная), её роль — показать, что ARGF работает не только на retrieval (CVGL), но и на классификации признаков; встраивать в **главу про generality/transfer**.
 ### 6.4. Обязательные baselines
 Повторяем из раздела 5.2, но в формате чек-листа для защиты:
 1. Concat, sum, tensor fusion, attention fusion — классические.
 2. GMU 2017 — канонический gate.
 3. GRN/TFT 2021 — gated residual.
 4. SRGF, RCGF, Gate+Sum — авторские промежуточные.
 5. QMF 2023, TMC/ETMC 2023 — quality-aware SoTA.
 6. DEGF-YOLO QGU 2025 — прямой конкурент.
 7. Sample4Geo, FSRA, DAC, MCCG, MobileGeo — CVGL SoTA.
 Отсутствие любого из этих baselines даст повод оппоненту поставить под сомнение сравнительную корректность.
 ---
 ## Заключение и ключевые выводы
 Проведённый анализ 70+ источников 2015–2026 гг. подтверждает, что **предложенная автором комбинация — ARGF с маршрутизацией через SM-InfoScore на обучаемом подпространстве, интегрированная в Teacher-Student KD для CVGL БПЛА — не имеет прямых аналогов в литературе**. Четыре компонента новизны (SNR-анализ деструктивности, Mahalanobis-роутинг, обучаемые подпространственные статистики, совместимость с дистилляцией) все имеют самостоятельные прецеденты в разных областях (Highway Networks, Lee 2018, BatchNorm, WKD NeurIPS 2024 соответственно), но **их одновременная интеграция для задачи CVGL БПЛА является оригинальным научным результатом**, соответствующим пунктам 4, 5, 8, 12, 14 паспорта специальности 2.3.1.
 Ключевая практическая рекомендация — использовать **Вариант В формулировки** как базовый текст третьего защищаемого положения, опираясь на триплет якорных работ **[Lim 2021 GRN → Wang 2022 ViM → Sun 2025 MobileGeo]** как линию методологической преемственности и **[Lv 2024 WKD → Yin 2020 DeepInversion → Ahn 2019 VID]** как методологическую основу для передачи статистик μ_sub, Σ_sub в дистилляции. Минимальный экспериментальный корпус для защиты — University-1652 + SUES-200 + DenseUAV с 13 baselines и 8 ablation-вариантами; публикационная стратегия — 2 статьи ВАК К1 (Компьютерная оптика + Информатика и автоматизация) плюс 1 публикация Q1-Q2 (IEEE TCSVT или Information Fusion).
 Наиболее существенное отличие от всех рассмотренных конкурентов — **переход от статистического классификационного скора (Mahalanobis OOD) к архитектурному управляющему сигналу, обучаемому совместно с сетью и дистиллируемому через Вассерштейн-метрику**. Именно этот переход и составляет концептуальное ядро научной новизны третьего положения и может быть защищён как самостоятельный методологический вклад в обработку информации.
 ---
 ## Приложение. Список обязательных ссылок для диссертации
 **Теоретическая база (SNR, gating, residual):** Srivastava 2015 (arXiv:1505.00387); He 2016 (CVPR, 10.1109/CVPR.2016.90); Dauphin 2017 (arXiv:1612.08083); Balduzzi 2017 (arXiv:1702.08591); Lim 2021 (IJF 37(4), 10.1016/j.ijforecast.2021.03.012); Veit 2016 (arXiv:1605.06431); Shwartz-Ziv 2017 (arXiv:1703.00810); Han 2022 Dynamic NN Survey (IEEE TPAMI 44(11)).
 **Mahalanobis, подпространства, OOD:** Lee 2018 (arXiv:1807.03888); Ren 2021 RMDS (arXiv:2106.09022); Wang 2022 ViM (CVPR, arXiv:2203.10807); Sun 2022 KNN+ (ICML, arXiv:2204.06507); Sun 2021 ReAct (arXiv:2111.12797); Mueller 2025 Mahalanobis++ (ICML, arXiv:2505.18032); Dynamic Covariance Calibration 2025 (arXiv:2506.09399); Zöngur 2025 ActSub (ICCV); Dissecting Mahalanobis 2025 (arXiv:2510.15202); Kharkovskii 2025 (arXiv:2410.19352).
 **EMA/BN:** Ioffe, Szegedy 2015 (arXiv:1502.03167); Morales-Brotons 2024 (arXiv:2411.18704); MABN Yan 2020.
 **Feature norm, энтропия, IB:** Park 2023 (ICCV); Yu 2023 Block Selection (CVPR); Tishby 2015 (arXiv:1503.02406); Alemi 2017 Deep VIB (arXiv:1612.00410); Belghazi 2018 MINE (arXiv:1801.04062).
 **Quality-aware multimodal fusion:** Arevalo 2017 GMU (arXiv:1702.01992); Han 2023 TMC (IEEE TPAMI 45(2), 10.1109/TPAMI.2022.3171983); Zhang 2023 QMF (ICML, arXiv:2306.02050); Cao 2024 Predictive Dynamic Fusion (arXiv:2406.04802); Xue 2023 DynMM (CVPR); DEGF-YOLO 2025 (Pattern Recognition, S0031320325013858).
 **Residual routing:** SkipNet Wang 2018 (ECCV); BlockDrop Wu 2018 (CVPR); Shazeer 2017 Sparsely-Gated MoE (ICLR).
 **CVGL:** Zheng 2020 University-1652 (ACM MM, 10.1145/3394171.3413896); Zhu 2023 SUES-200 (IEEE TCSVT 33(9)); Deuser 2023 Sample4Geo (ICCV); Dai 2022 FSRA (IEEE TCSVT); Chu 2024 GeoText-1652 (ECCV, LNCS 15069, 10.1007/978-3-031-73247-8_13); Sun 2025 MobileGeo/PFED (IEEE TCSVT, arXiv:2510.22582); Sun 2025 CGSI (IEEE TCSVT); MRGeo (arXiv:2603.12587); MCFA (PMC12299452).
 **Knowledge Distillation:** Hinton 2015 (arXiv:1503.02531); Romero 2015 FitNets (arXiv:1412.6550); Zagoruyko 2017 AT (ICLR); Tian 2020 CRD (ICLR, arXiv:1910.10699); Park 2019 RKD (CVPR, arXiv:1904.05068); Tung 2019 SP (ICCV); Zhao 2022 DKD (CVPR, arXiv:2203.08679); Yang 2022 MGD (ECCV, arXiv:2205.01529); Ahn 2019 VID (CVPR); Peng 2019 CCKD (ICCV); Liu 2019 IRG (CVPR); Yin 2020 DeepInversion (CVPR, arXiv:1912.08795); **Lv 2024 WKD (NeurIPS)**; Salimans 2024 Moment Matching (NeurIPS, arXiv:2406.04103).
 **Cross-modal / privileged:** Lopez-Paz 2016 (ICLR); Hoffman 2016 (CVPR); Garcia 2018 (ECCV); Garcia 2019 (IEEE TPAMI); Shen 2023 MMH (IEEE TNNLS); Shi 2023 OS-MD (arXiv:2309.08204).
 **KD в CVGL/RS:** Li 2024 PaSS-KD (IEEE TCSVT 34(6)); Song 2025 GeoDistill (arXiv:2507.10935); Distill4Geo 2026 (Springer PRCV); TAKD 2024 (IEEE TCSVT, 10.1109/TCSVT.2024.3391018); Himeur 2024 Survey.
 **Паспорт 2.3.1:** Приказ Минобрнауки РФ № 118 от 24.02.2021 и № 445 от 11.05.2022.
--- a/4_questions_problems/Проблемы
+++ b/4_questions_problems/Проблемы
@@ -13,15 +13,21 @@ tags:
 **1. Насыщение UC Merced — самый болезненный вопрос.** Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. [ResearchGate](https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models) Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
 - https://www.researchgate.net/figure/UCMerced-Land-use-dataset-results_fig5_319404195
 - https://www.researchgate.net/figure/21-class-UC-Merced-land-use-Dataset-RGB-a-agricultural-b-airplane-c_fig3_312185111
 - https://www.collegetuitioncompare.com/edu/445188/university-of-california-merced/
 - https://captain-whu.github.io/AID/
 **Что делать:** добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
 **2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт.** Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
 **Что делать:** провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
-**3. ==Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**== Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
+**3. Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**
 Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
-**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm) как пятую точку сравнения. Это сильно упрочит "Gate+Sum" как ваш основной вклад.
+**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm). Это сильно упрочит "Gate+Sum" как ваш основной вклад.
 **4. Нет базовой линии concatenation/addition.** Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
@@ -62,7 +68,7 @@ tags:
 ### A. Низкая обоснованность InfoScore
-**==InfoScore на данный момент не имеет теоретической связи с информативностью векторов==**
+**InfoScore на данный момент не имеет теоретической связи с информативностью векторов**
 ![[Pasted image 20260421111122.png]]
--- a/(2023–2026).md
+++ b/(2023–2026).md
@@ -0,0 +1,218 @@
 ---
 tags:
  - диссер
  - ЛИСАД/лит-обзор
 ---
 [[Сгруппированные ссылки]]
 # Обзор актуальных работ (2023–2026) для диссертации по мультимодальному слиянию признаков для анализа UAV-снимков
 ## TL;DR
 - **CVGL с текстом** активно развивается в 2024–2026 вокруг двух flagship-работ — **GeoText-1652 (ECCV 2024)** и **CrossText2Loc / CVG-Text (ICCV 2025, arXiv 2412.17007)**; типичные fusion-механизмы — blending spatial matching, dual-stream cross-attention (DCAF в RCMF 2025), Mixture-of-Experts gating (RoboSense 2025) и расширенные text-encoders. Явные learned-gate/adaptive-residual схемы в чисто CVGL встречаются только в адъютантных модулях (DAFM, FAAM, FSA, MEAN), но не как «α-residual» в строгом смысле.
 - **Adaptive/learned gating с скалярным α** для residual-ветки прямо описан в **AGFN (Wu et al., arXiv:2510.01677, 2025)** — `h_fused = α·h_entropy + (1−α)·h_importance`, в **QACMANet / Quality-Aware Gating Unit (Procedia/QAGU 2026)**, в **DEGF-YOLO (Pattern Recognition, 2025)** с GDFF и в **DTC-YOLO (Sensors 2025)**; для image-quality/feature-quality fusion это сегодня доминирующий шаблон.
 - **Teacher-Student с multimodal→unimodal** для remote-sensing/UAV — это **DPMamba (IJCAI 2025)** (text-bridging distillation), **DCLIP (2505.21549, 2025)**, **VeXKD (NeurIPS 2024)**, **PFED/MobileGeo (arXiv 2510.22582, 2025/26)** для UAV-CVGL, **MKD (Digital Signal Processing, 2024)**. **UC-Merced** официально признан насыщенным начиная с AID (2017) и NWPU-RESISC45 (2017); в 2024–2025 для multimodal scene classification его всё ещё используют как «sanity-check», но основная нагрузка ложится на **AID, NWPU-RESISC45, PatternNet, EuroSAT, Million-AID, RSITMD/RSICD, SkyScript, RS5M, DGTRSD**.
 ---
 ## Key Findings
 ### 1. Cross-View Geo-Localization (CVGL) с текстовыми описаниями
 | Работа | Venue / год | Метод fusion | Gate / adaptive residual? |
 |---|---|---|---|
 | Chu, Zheng, Ji, Wang, Chua. **GeoText-1652** | ECCV 2024 | Расширение University-1652 текстом + bbox; «blending spatial matching» — региональный матч между bbox-описаниями и drone/satellite токенами поверх ALBEF/X-VLM | Нет явных gate-механизмов; работа на уровне loss и бенчмарка |
 | Ye, Lin, Ou et al. **«Where Am I?» / CrossText2Loc / CVG-Text** | arXiv 2412.17007, ICCV 2025 | CLIP-L/14@336 backbone + «Extended Embedding» (длинный текст), unsupervised LMM-driven fine-tuning, контрастивное обучение street-view↔OSM/satellite | Нет explicit gate, но ввёден inverse-entropy reweighting длинных текстовых токенов |
 | Zhang & Lyu. **RCMF + Dual-stream Cross-Attention Fusion (DCAF)** | Springer (Region-Level Cross-Modal Matching), 2025 | Двухпотоковая reciprocal cross-attention между текстовыми фразами и регионами изображения; SOTA на GeoText-1652 | Cross-attention, без learned scalar α |
 | Hu et al. **CORE / PLANET** (Global Cross-Modal Geo-Localization, million-scale) | arXiv 2603.08491, 2026 | Vision-language foundation backbone + physical signature mining + physical semantic projection | Нет α-residual, скорее multi-loss |
 | TeleAI и др. **MoE-based Cross-Modal Geo-Localization** (RoboSense 2025 Track 4) | arXiv 2510.20291, 2025 | Mixture-of-Experts с **dynamic gating network**, маршрутизирующим текстовый запрос между satellite/drone/ground экспертами | Динамический soft-gating router (sample-wise) |
 | Ji, He, Tan, Wu. **Game4Loc / GTA-UAV** | AAAI 2025 (Oral) | ViT + weighted-InfoNCE для частичных drone–satellite матчей на 81.3 km² синтетике | Без текстовой ветки; релевантно как reference UAV-CVGL benchmark |
 | Sun et al. **PFED / MobileGeo** | arXiv 2510.22582, 2025/26 | Hierarchical Distillation для CVGL (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) | UAPA даёт sample-wise scalar для веса дистилляции — близко к «adaptive residual» |
 | Yi et al. **MFAF (EVA02-based)** | arXiv 2509.12673, 2025 | Multi-scale Frequency Attention + Frequency-aware Selective Aggregation (FSA) | FSA — adaptive freq-channel gating |
 | Liu et al. (Wuhan U.) **JRN-Geo** | arXiv 2509.05696, 2025 | Difference-Aware Fusion Module (DAFM) + Joint-Constrained Interaction Aggregation для RGB+normal | Difference-driven channel modulation, но без скалярного α |
 | Hou et al. **MCFA** | Sensors, 2025 | Multi-Scale Cascade + Feature Adaptive Alignment с dynamically weighted feature alignment | Адаптивные веса между видами, не residual-α |
 | Xu et al. **Context-Enhanced CVGL** | arXiv 2502.11408, 2025 | DINOv2-features + контекстные признаки | Не явный α |
 **Вывод по п. 1.** В CVGL с текстом fusion идёт преимущественно через cross-attention (single или dual-stream), MoE-gating и contrastive-alignment в shared embedding space. Работы с **explicit learned scalar α на residual-ветке** в чисто-CVGL мне не встретились — это пробел, который ваша диссертация может закрыть. Ближайшие аналоги — UAPA в PFED/MobileGeo, FSA в MFAF и MoE-gating в RoboSense-2025 решении.
 ---
 ### 2. Adaptive / learned gating для residual connections в multimodal fusion (2024–2026)
 | Работа | Venue / год | Метод | Тип gate |
 |---|---|---|---|
 | Wu et al. **AGFN — Adaptive Gated Fusion Network** | arXiv 2510.01677, окт. 2025 | Dual-gate fusion: (1) entropy-gate `Softmax_m(z_m·exp(−H(h_m)/τ))·h_m`; (2) modality-importance gate `σ(z)⊙h_m`. Финал: `h_fused = α·h_entropy + (1−α)·h_importance`, **α ∈ [0,1] — learnable scalar** | Прямой learned scalar α на residual-fusion — наиболее близкий аналог к тому, что вы хотите |
 | Sun, Ye, Zhou et al. **QACMANet с Quality-Aware Gating Unit (QAGU)** | Sci. Direct (Adv. Eng. Inform.), 2026 | QAGU объединяет «external objective quality» (e.g. SNR, blur) и «internal subjective uncertainty» (Dirichlet/evidential) для генерации dynamic fusion weights между двумя модальностями (visual + electrical для AUV-пропеллеров) | Dual-source reliability scalar — **прямой шаблон для UAV** |
 | Liu et al. **DEGF-YOLO** | Pattern Recognition, 2025 (S0031320325013858) | Differential Feature Enhancement (DFE) + Gated-Driven Feature Fusion (GDFF), управляющий fusion на основе **feature quality** для UAV RGB+IR детекции | Quality-aware gate per modality |
 | Wang et al. **DTC-YOLO** (Depth-Texture Coupling) | Sensors, 2025 (PMC12473487) | RGB-LiDAR с dynamic gated fusion в ADF3-Net (Adaptive Dimension-aware Focused Fusion) | Adaptive multidim. weighting |
 | Chlon et al. **AECF — Adaptive Entropy-Gated Contrastive Fusion** | arXiv 2505.15417, 2025 | Light fusion layer над frozen backbones; entropy-driven λ(x) per-sample для смешивания вкладов модальностей; теоретические Lipschitz-границы | Per-sample scalar gate с теоретическим обоснованием |
 | Wen et al. **PGF-Net** | 20 Aug 2025 | Cross-modal sentiment с partial gating | Per-sample gate |
 | He et al. (multimodal DINO) **Frequency-Domain Gate UAV** | Remote Sensing Letters 15(2), 2024 | Adaptive multimodal feature fusion с frequency-domain gate для UAV RGB+IR | Spectral gate |
 | Arevalo et al. **GMU (классика)** | 2017 (всё ещё используется как baseline) | `h = z·h_v + (1−z)·h_t`, `z = σ(W[h_v;h_t])` | Vector gate |
 | FGU — Fusion Gate Unit | Preprints 2024 (202409.1917) | Multiplicative gates + neural gating drawn from GRU/LSTM | Vector multiplicative |
 | Vijayan et al. **Scalar gating in transformer adapters for vision-text MT** | 2024 | **Scalar-α** для visual adapter в transformer | Прямой scalar α |
 | **Cross-Layer Injection (CLI / AGF)** | arXiv 2601.10710, 2025/26 | Adaptive Multi-Projection + **Adaptive Gating Fusion** для inject в LLM | Per-layer learned gate |
 **Вывод по п. 2.** Шаблон «`output = x + α(x)·F(x)` с learned scalar или vector α» в 2024–2026 стал почти стандартом. Самые цитируемые архетипы: AGFN (явная формула с α), QAGU/QACMANet (quality-driven), GDFF в DEGF-YOLO (UAV-specific). Эти три статьи — обязательные ссылки для вашей диссертации.
 ---
 ### 3. Teacher-Student distillation с multimodal → unimodal (UAV / RS-специфика)
 | Работа | Venue / год | Teacher / Student | Domain |
 |---|---|---|---|
 | Yang, Qu, Huang, Dong. **DPMamba** | IJCAI 2025 | Полная multimodal teacher (HSI/SAR/LiDAR/RGB + text) → unimodal student с missing-modality-aware prompts; **text-bridging distillation** в shared text-semantic space | RS image classification — **прямо ваш сценарий** |
 | Cao et al. **DCLIP** (Distill CLIP) | arXiv 2505.21549, 2025 | Image+text meta-teacher (region-level attention) → image-only student CLIP с partial fine-tune; contrastive + cosine distillation | Image-text retrieval; шаблон распространим на RS |
 | Zhou, Liu, Hu et al. **VeXKD** | NeurIPS 2024 | Multi-modal fusion teacher (LiDAR+camera) → single-modal student в BEV; KD только на BEV-feature maps | Autonomous driving (3D) — методически близко |
 | Zhou, Liu et al. **UniDistill** | CVPR 2023 (продолжение в 2024) | Универсальная KD по 4 направлениям: LiDAR↔Camera, fusion→LiDAR, fusion→camera | Autonomous driving |
 | Sun et al. **PFED / MobileGeo** | arXiv 2510.22582, 2025/26 | Heavy multi-branch teacher → lightweight student с Hierarchical Distillation для CVGL + Uncertainty-Aware Prediction Alignment | **Drone CVGL** — близко |
 | Song, Li, Cao, Meng. **RS-MTDF** | arXiv 2506.08772, 2025 | Multiple frozen VFMs (DINOv2, CLIP) как expert teachers → student decoder через feature-level distillation + fusion | RS semi-supervised semantic segmentation |
 | Wang et al. **MKD — Multidimensional KD for Multimodal RS Scene Classification** | Digital Signal Processing 156, 2024 | Inter-layer relational + intra-layer feature distillation между fusion features | RS scene classification |
 | Huo et al. **C²KD** | CVPR 2024 | OFSD — On-the-Fly Selection Distillation для bridging modality gap (audio-visual / image-text / RGB-depth) | Universal cross-modal KD |
 | Pan et al. **Distilling Textual Priors from LLM to Efficient Image Fusion** | arXiv 2504.07029, 2025 | LLM+image teacher → image-only student, спец. prior distillation loss + spatial-channel cross-fusion module (SCFM); 90% размера убирается, 90% качества сохраняется без текста на inference | RGB+IR fusion — методический образец |
 | Zhuang et al. **CMAD** | ICCV 2025 | Correlation-aware modalities-aware distillation для multimodal sentiment с missing modality | Доменно дальше, но релевантная схема |
 **Вывод по п. 3.** Прямо «teacher = text+image, student = image-only, UAV/RS-спец.» — это **DPMamba (IJCAI 2025)** и **DCLIP (2025)**; в смежных областях — VeXKD, UniDistill (multimodal→single sensor), а в RS-сегментации/классификации — RS-MTDF и MKD. Это та коробка работ, в которую естественно встраивается ваш метод.
 ---
 ### 4. Явные скалярные оценки информативности / quality модальности
 | Тип метрики | Работа | Как используется |
 |---|---|---|
 | **Энтропия признаков H(h_m)** | AGFN (Wu et al., 2510.01677, 2025); AECF (Chlon et al., 2505.15417, 2025) | Низкая энтропия → больший вес модальности; entropy-gate `exp(−H/τ)` |
 | **Shannon-entropy reliability proxy** | DAF в Adaptive Hybrid Transformer (PIU, 2025); Entropy-Regulated Cross-Modal Generative Framework (ER-CMGI, 2025) | Differentiable reliability proxy; гибридная entropy-low-priority + inverse-entropy weighting |
 | **Modality reliability supervised by BPR** | Dong, Song, Zheng, Zhao, Ding. **MARGO** (arXiv 2504.16524, 2025) | Reliability = signal согласованности рейтинга positive>negative по этой модальности; weight calibration loss |
 | **Dempster-Shafer mass + contextual discounting coefficients** | Huang, Ruan, Decazes, Denœux. Inf. Fusion 2024 (Deep Evidential Fusion); Evidence-aware multi-modal data fusion (TKR, 2023) | Learned scalar discount per source per class |
 | **Quality-Aware Gating Unit (QAGU)** | QACMANet (Sun et al., 2026, S1474034626000881) | Synergy of external objective quality (SNR/blur) + internal subjective uncertainty (Dirichlet) |
 | **Patch entropy** | PEFM, ACCV 2024 (Enhancing Object Detection in Adverse Weather) | Per-patch entropy для guided fusion |
 | **Mahalanobis distance** | Mahalanobis SVDD audio-IMU (arXiv 2505.05811, 2025); используется для anomaly/quality scoring | Прямая мера в признаковом пространстве |
 | **Mutual-information sample filtering** | PFED MRM (2510.22582, 2025/26) | MI для фильтрации избыточных multi-view признаков |
 | **Feature-norm как индикатор** | Ma et al. (16 Oct 2025) — анализ weight-norm disparities в multimodal | Систематически наблюдаются после joint training; мотивация для adaptive weighting |
 | **Gradient norm + uncertainty** | Wei et al. **Gradient decoupled learning with unimodal regularization** (TGRS, 2024) | Per-modality gradient контроль |
 **Вывод по п. 4.** Норма / энтропия / Mahalanobis / evidence (Dirichlet) как **явные scalar quality scores** — отдельная зрелая ветвь, наиболее живая в 2024–2025: AGFN, AECF, MARGO, QAGU, evidential fusion (Denœux). Это именно та парадигма, в которую укладывается ваш QAGU-подобный модуль из DEGF-YOLO.
 ---
 ### 5. Насыщенность UC Merced и используемые альтернативы
 **Статус.** UC-Merced (21 класс, 2100 изображений, 0.3 м/пикс., Yang & Newsam 2010) официально считается насыщенным с 2017 года: NWPU-RESISC45 paper (Cheng et al., 2017) прямо указывает «~100% accuracy on the most popular UC Merced dataset with deep CNN features», AID paper (Xia et al., 2017) — «results on them are already saturated». В 2024–2025 SOTA-методы достигают на UCM 99.17–100% (SGMSNet, MambaOutRS-t — F1 98.41%, DMCCA+SVM — 99.35% на PatternNet и 92–93% на NWPU/AID). Это означает, что UCM перестал давать различимый сигнал между методами и используется только как «sanity-check».
 **Что используется в 2024–2025 для multimodal scene classification вместо/вместе с UCM:**
 | Датасет | Размер | Особенность | Ключевые работы 2024–2025 |
 |---|---|---|---|
 | **AID** (Xia et al., 2017) | 10,000 / 30 классов | 600×600, разные resolutions | Cai et al. Dual-Cross Attention RSSC (arXiv 2412.02531, 2024); SGMSNet (Springer, 2025); STConvNeXt (PMC11897181, 2025) |
 | **NWPU-RESISC45** (Cheng et al., 2017) | 31,500 / 45 | 256×256, большое within-class разнообразие | Те же + DMCCA+SVM (MDPI AI 2025); Pairwise Comparison Network (PCNet) |
 | **PatternNet** (Zhou et al., 2018) | 30,400 / 38 | RSIR-ориентирован | DMCCA+SVM (2025); STConvNeXt |
 | **EuroSAT** (Helber et al., 2019) | 27,000 / 10 | Sentinel-2, multispectral | Few-Shot CLIP+Prompt Learning (arXiv 2510.24321, 2025); MambaOutRS |
 | **Million-AID** (Long et al., 2021) | ~1 M / 51 | Large-scale, hierarchical | SkyCLIP/SkyScript pretraining baseline |
 | **RSITMD / RSICD** | 4,743 / 10,921 (image-text pairs) | Multimodal — image+caption | Multimodal Contrastive Learning with Relaxed Positive Samples (PMC11644927, 2024); MFED flood dataset extension (2024); RemoteCLIP/GeoRSCLIP benchmarks |
 | **SkyScript** (Wang et al., AAAI 2024) | 5.2M, image+text via OSM | Самый разнообразный | SkyCLIP backbone |
 | **RS5M** (Zhang et al., TGRS 2024) | 5M+ | Largest RS image-text | GeoRSCLIP |
 | **DGTRSD** (Chen et al., arXiv 2503.19311, 2025) | ~2M, dual-granularity | Long+short text per image | DGTRS-CLIP с KPS (Knowledge Preserved Stretching) |
 | **MMM-RS** (NeurIPS 2024) | Multi-modal, multi-GSD, multi-scene | RGB+SAR+text | T2I generation benchmark |
 | **CVG-Text** (Ye et al., ICCV 2025) | 30k coords, 3 cities | Street + satellite + OSM + LMM-text | CrossText2Loc |
 | **GeoText-1652** (ECCV 2024) | 1652 buildings, 276,045 bbox-text | Drone+satellite+ground+text | Чисто UAV-CVGL benchmark |
 | **GTA-UAV** (AAAI 2025) | 33,763 drone + 14,640 satellite, 81.3 km² | Игровой UAV-датасет | Game4Loc |
 | **University-1652 / SUES-200 / DenseUAV / VDUAV** | 1652 / 200 / – / virtual | UAV-CVGL | Все работы по drone↔satellite в 2024–2025 |
 | **MFED** (Tandfonline, 2024) | Optical+SAR+text для flood | Multimodal flood event | Multi-modal classification baseline |
 | **CORE** (arXiv 2603.08491, 2026) | 1,034,786 cross-view, 225 регионов | Million-scale CMGL | Physical Consistency Learning |
 | **UAVScenes** (arXiv 2507.22412, 2025) | Multi-modal UAV | Image+depth+IMU+meta | – |
 **Вывод по п. 5.** Если ваша работа — multimodal RS scene classification, в 2024–2025 минимально ожидается стэк **AID + NWPU-RESISC45 + (PatternNet или EuroSAT)**; для image-text мультимодальности — **RSITMD + RSICD + DGTRSD/SkyScript/RS5M**; для UAV-CVGL с текстом — **University-1652/GeoText-1652 + SUES-200 + CVG-Text + GTA-UAV**. UCM приводят, но как legacy-baseline.
 ---
 ## Details
 ### Архитектурные шаблоны fusion в CVGL-with-text
 **GeoText-1652** (ECCV 2024) расширяет University-1652 через семи-автоматическую LLM-аннотацию: 276,045 bbox-text пар + 316,335 описаний для 1652 зданий 33 университетов (train) / 39 (test). Базовая loss — «blending spatial matching»: contrastive matching на трёх уровнях (image-level global, region-level short text, bbox-text). Backbone обычно ALBEF или X-VLM. На test: 32.3% R@10 для text query, 50.1% R@1 для image query.
 **Where Am I? / CrossText2Loc** (ICCV 2025) предлагает CVG-Text: 3 города (NewYork, Brisbane, Tokyo), 30 000+ координат, GPT-4o + OCR + open-world segmentation генерируют сцены-описания со средней длиной ~126 токенов. CrossText2Loc — это CLIP-L/14@336 + **Extended Embedding** (длинный текст за пределами 77 токенов), дообучаемый contrastively + LMM-driven unsupervised refinement. Заявленный прирост — 10% top-1 recall.
 **RCMF (Region-Level Cross-Modal Matching Framework)** (Springer 2025) на GeoText-1652 вводит **Dual-stream Cross-Attention Fusion (DCAF)**: image-side attention к текстовым phrasal-эмбеддингам и текст-side attention к региональным признакам, с reciprocal updates. Это самый «честный» fusion-модуль из всех CVGL-with-text работ.
 **MoE for Cross-Modal Drone Navigation** (arXiv 2510.20291, RoboSense 2025) использует platform-wise MoE с dynamic gating router — текстовый запрос маршрутизируется к наиболее релевантному эксперту (satellite/drone/ground), и итоговая similarity — softmax-взвешенная комбинация экспертов. Это ближайший к классическому adaptive-residual gate механизм в CVGL.
 ### Прямые формулы learned scalar α в multimodal fusion
 **AGFN** (Wu et al., arXiv 2510.01677, окт. 2025): двойной gate
 - entropy-gate: `h_entropy = Σ_m Softmax_m(z_m · exp(−H(h_m)/τ)) · h_m`
 - importance-gate: `h_importance = W_f[σ(z) ⊙ h_T, σ(z) ⊙ h_A, σ(z) ⊙ h_V]`
 - финальный residual α-mix: `h_fused = α · h_entropy + (1−α) · h_importance`, с α ∈ [0,1] learnable
 Loss: `L = L_L1 + λ · L_MSE(f(h^adv_fused), f(h_fused))` (с Virtual Adversarial Training).
 **FMCAF** (arXiv 2510.17078, 2025) описывает близкий шаблон: «residual global attention mechanism, where global attention outputs modulate fused features through a sigmoid gate, allowing soft emphasis without erasing existing spatial cues» + «α ∈ [0,1] balances raw and frequency-filtered inputs».
 ### UAV-specific multimodal detection с quality-driven gating
 **DEGF-YOLO** (Liu et al., Pattern Recognition 2025, S0031320325013858): UAV-based multimodal detection из RGB+IR со следующими модулями:
 - **DFE (Differential Feature Enhancement)** — channel-level competition-collaboration на основе inter-modal differences;
 - **GDFF (Gated-Driven Feature Fusion)** — gate, генерируемый по **feature quality** каждой модальности; компенсирует cross-modal contamination и mismatch.
 Это тот самый Quality-Aware Gating Unit, который вы упоминаете.
 **DTC-YOLO** (Wang et al., Sensors 2025, PMC12473487): RGB-LiDAR depth-color mapping + ADF3-Net (Adaptive Dimension-aware Focused Fusion) с dynamic gated fusion mechanism для адаптивного взвешивания признаков по hierarchical perception, channel decoupling и spatial adaptation.
 **TAF-YOLO** (Remote Sensing 2025, MDPI 17/24/3936): Two-branch Adaptive Fusion Network (TAFNet) для visible+IR на UAV, early fusion на pixel и channel-level + Large Adaptive Selective Kernel.
 **EGD-YOLO** (arXiv 2510.10765, ICIP 2025): RGB-IR fusion через DDetect (deformable conv) + EMA attention для drone-bird discrimination.
 **Adaptive multimodal feature fusion with frequency-domain gate based on DINO** (Remote Sensing Letters 15(2), 2024) — multimodal DINO для UAV: RGB-guided IR transformation, адаптивный gate в частотной области. Это «канонический» предшественник DEGF-YOLO 2025 для UAV.
 ### Multimodal→unimodal distillation (углублённо)
 **DPMamba** (Yang, Qu, Huang, Dong — IJCAI 2025, pp. 2224–2232) — самая прямая RS-аналогия для вашей задачи: модальность-aware Mamba извлекает cross-modality interactive features; novel **text-bridging distillation** оптимизирует learnable prompts (Missing-Modality-Aware Prompts, MMAPs) через shared text semantic space, превращая «placeholder» в «adaptation». Это позволяет одной сети покрывать множество сценариев пропуска модальностей вместо отдельных student'ов.
 **DCLIP** (arXiv 2505.21549, 2025): meta-teacher усиливает CLIP image embeddings через region-level attention (использует YOLO bbox supervision на teacher-стороне), student — это CLIP с partial fine-tune image encoder, **без image-text спарок на inference, без bbox**. Сохраняет zero-shot generalization — 94% оригинального CLIP. Текстовый encoder заморожен.
 **RS-MTDF** (arXiv 2506.08772, 2025) — multi-teacher VFM (DINOv2 + CLIP) → student в semi-supervised RS segmentation; feature-level distillation + fusion в student-decoder.
 **MKD — Multidimensional Knowledge Distillation for Multimodal RS Scene Classification** (Wang et al., Digital Signal Processing 2024, S1051200424005001): **inter-layer relational + intra-layer feature distillation** на fusion-features; adress'ит конкретно проблемы scale-variations и confusion в RS scene classification. Возможно, наиболее точно соответствующая ваша референсная работа.
 **Distilling Textual Priors from LLM to Efficient Image Fusion** (arXiv 2504.07029, 2025): MLLM-prior teacher → image-only student с Spatial-Channel Cross-Fusion Module (SCFM) и custom prior-distillation loss. 10% параметров teacher'а сохраняют 90% качества — **прямой количественный prior** для дискуссии в диссертации.
 **PFED / MobileGeo** (arXiv 2510.22582, 2025/26): для UAV CVGL — Hierarchical Distillation (HD-CVGL) через Fine-Grained Inverse Self-Distillation (FISD) + Uncertainty-Aware Prediction Alignment (UAPA), решающий disbalance без overhead на inference. 97.15% R@1 на University-1652 при 4.45 GFLOPs (vs 26.18 GFLOPs у MEAN), 251.5 FPS на NVIDIA AGX Orin. Не «text→image», а «heavy multi-branch→light student», но по архитектуре дистилляции — близкий пример.
 ### Feature-quality / reliability scoring (углублённо)
 **MARGO** (Dong et al., arXiv 2504.16524, 2025) — single-modality иногда побеждает multi-modal; авторы **обучают modality reliability supervised by BPR**: «если ratings positive item > negative item для данной модальности, эта модальность считается reliable». Двухэтапная схема: pretrain без весов, fine-tune с weight calibration loss.
 **Deep Evidential Fusion with Dempster-Shafer + contextual discounting** (Huang, Ruan, Decazes, Denœux — Information Fusion 2024, S1566253524004263): per-source per-class learned **discounting coefficients β_k** (means + std after training). Применено к PET-CT lymphoma + multi-MRI brain-tumor segmentation. Дискаунтированные masses комбинируются Dempster's rule. Архитектурно близко QAGU (subjective/internal uncertainty).
 **AECF — Adaptive Entropy-Gated Contrastive Fusion** (Chlon et al., arXiv 2505.15417, 2025) — light fusion-layer над frozen backbones; per-instance entropy через MC-Dropout → gate λ(x) = g_α(...). Теоретические границы: Lipschitz σ-bound + bounded loss → robustness под missing/noisy инпутами.
 **Patch Entropy Fusion Module (PEFM)** (ACCV 2024, 10.1007/978-981-96-0972-7_2) для domain-adaptive object detection в adverse weather: per-patch entropy-driven gating multimodal sensor data.
 **Mahalanobis SVDD** (arXiv 2505.05811, 2025): для аудио-IMU anomaly detection, прямое использование Mahalanobis distance в признаковом пространстве для quality scoring.
 ### UC Merced и trajectory of RS scene classification benchmarks
 Yang & Newsam (UC Merced 2010) — 21 класс × 100 изображений 256×256, 0.3 м/пикс. Saturation feedback:
 - AID-paper (Xia et al., 2017) — «results already saturated, severely limits development of scene classification algorithms»;
 - NWPU-RESISC45 paper (Cheng et al., 2017) — «~100% accuracy with deep CNN features».
 Современная статистика (2024–2025): MambaOutRS-t — F1 = 98.41% на UCM, 95.99% на AID; ConvNeXt-baseline / STConvNeXt — 99.17% на UCM, 97.43% на AID, 94.87% на NWPU; DMCCA+SVM — 99.35% на PatternNet, 92.75% на NWPU, 93.92% на AID.
 Для multimodal scene classification доминантный stack 2024–2025 — **AID + NWPU-RESISC45 + PatternNet**; для image-text — RSITMD/RSICD + SkyScript + RS5M + DGTRSD; UAV-RS specific — Million-AID, EuroSAT, MMM-RS. UCM приводят как «легасная маленькая контрольная точка».
 ---
 ## Caveats
 1. **Терминологическое наложение.** «Adaptive residual» в литературе 2024–2026 переплетается с «gated fusion», «GMU-style gating», «MMTM-style squeeze-excite gating», «cross-attention modulation». Чисто формула `y = x + α·F(x)` со скалярным learned α ∈ ℝ применительно к multimodal fusion наиболее явно записана в AGFN (2025), QAGU/QACMANet (2026) и DEGF-YOLO/GDFF (2025); многие другие работы используют per-channel или per-token gates вместо одного скаляра. В вашей диссертации стоит явно подчеркнуть это различие (scalar α vs vector α(x) vs per-pixel gate).
 2. **CVGL с текстом — узкое поле.** GeoText-1652 (ECCV 2024) и Where Am I? / CrossText2Loc (ICCV 2025) — пока две главные работы; вокруг них развились RCMF (2025), CORE/PLANET (2026), MoE-CMGL (2025), DGTRS-CLIP (2025). Прямые «adaptive-residual gate в CVGL-with-text» не публиковались — это потенциальная новизна вашей работы, но также означает, что нужно опираться на cross-attention и MoE-gating как ближайшие baseline'ы.
 3. **Несколько ссылок имеют признаки малой проверенности.** ER-CMGI, FMCAF и часть Emergent Mind суммаризаций — обзорно-аггрегаторные источники; для диссертации необходимо обращаться напрямую к peer-reviewed первоисточникам (AGFN: arXiv но активно цитируется; QAGU: ScienceDirect peer-reviewed; DEGF-YOLO: Pattern Recognition peer-reviewed).
 4. **Эффект «насыщенности» UC Merced количественно подтверждён** (99–100% accuracy с 2017), но датасет всё ещё используется в 2024–2025 как sanity-check. Полностью отказываться нецелесообразно; правильнее — указать AID/NWPU-RESISC45 как primary, UCM как legacy.
 5. **Для UAV-специфики multimodal teacher (text+image) → image-only student я не нашёл ни одной полностью совпадающей работы.** DPMamba (IJCAI 2025) — самое близкое для RS image classification, но не drone-CVGL specific; PFED/MobileGeo — drone-CVGL distillation, но multi-branch→single, без текста; DCLIP — image-text→image-only, но не RS. Это ещё одна потенциальная новизна вашей диссертации, но при защите ожидается обоснование, почему именно UAV-домен требует своей формулировки.
 6. **Версионирование arXiv-препринтов.** «Where Am I?» имеет v1 (декабрь 2024) и v2 (1 апр. 2025) с финальной публикацией ICCV 2025. Цитируйте версию paper'а, соответствующую финалу ICCV. Аналогично для AGFN (Oct 2025), MobileGeo (Nov 2025), CrossText2Loc (Apr 2025).
 7. **Все «100% accuracy» цифры на UCM получены при разных train/test split'ах (50/50, 80/20).** Сравнение между методами требует контроля разбиения.
--- a/notes/Сгруппированные
+++ b/notes/Сгруппированные
@@ -0,0 +1,226 @@
 ---
 tags:
  - диссер
 ---
 # Gate-Fusion механизмы для мультимодальных CVGL-моделей - Claude
 ## GeoText-1652 
 #Датасеты #CVGL 
 1. https://dl.acm.org/doi/10.1007/978-3-031-73247-8_13
 2. https://github.com/MultimodalGeo/GeoText-1652
 3. https://arxiv.org/html/2412.17007v1
 4. https://link.springer.com/chapter/10.1007/978-3-031-73247-8_13
 5. https://huggingface.co/datasets/GeoText/GeoText-1652
 ## Where Am I 
 #CVGL 
 1. https://arxiv.org/pdf/2212.04074
 2. https://arxiv.org/pdf/1703.07815
 3. https://arxiv.org/pdf/2303.15676
 4. https://github.com/yejy53/CVG-Text
 5. https://arxiv.org/abs/2412.17007
 6. https://arxiv.org/html/2412.17007
 7. https://arxiv.org/pdf/2412.17007
 ## DEGF-YOLO Quality Aware Gating Unit 2025
 #CVGL #gate #YOLO
 1. https://arxiv.org/pdf/2405.02591
 2. https://www.sciencedirect.com/science/article/abs/pii/S1474034626000881
 3. https://pmc.ncbi.nlm.nih.gov/articles/PMC11962121/
 4. https://www.mdpi.com/2673-2688/6/7/132
 5. https://arxiv.org/html/2506.23252v1
 6. https://pmc.ncbi.nlm.nih.gov/articles/PMC12473487/
 ## Learned Gating residual Connections
 #CVGL #gate 
 1. https://www.nature.com/articles/s41598-025-11989-6
 2. https://www.mdpi.com/2076-3417/15/20/11259
 3. https://www.sciencedirect.com/science/article/abs/pii/S0893608025003624
 4. https://dl.acm.org/doi/10.1145/3756423.3756555
 5. https://www.preprints.org/manuscript/202409.1917/v1
 6. https://www.emergentmind.com/topics/early-fusion-methods
 7. https://www.emergentmind.com/topics/gated-fusion-mechanism
 ## Multimodal Teacher-Studen Distillation
 #CVGL #дистилляция
 [[Knowledge_Distillation]]
 1. https://arxiv.org/pdf/2509.00039
 2. https://www.sciencedirect.com/science/article/abs/pii/S1566253524005207
 3. https://www.ijcai.org/proceedings/2025/0248.pdf
 4. https://arxiv.org/pdf/2506.08772
 5. https://www.sciencedirect.com/science/article/abs/pii/S1051200424005001
 ## UC Merced Saturation
 #CVGL #Датасеты 
 1. https://paperswithcode.com/sota/scene-classification-on-uc-merced-land-use
 2. https://www.researchgate.net/figure/UC-Merced-dataset-some-example-images-are-displayed-It-contains-21-scene-categories_fig3_271855526
 3. https://arxiv.org/html/2408.16265
 4. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
 5. https://arxiv.org/pdf/1703.00121
 6. https://arxiv.org/pdf/1608.05167
 7. https://onlinelibrary.wiley.com/doi/abs/10.1002/9781394234271.ch4
 ## CrossText2Loc method architecture
 #CVGL 
 1. https://arxiv.org/html/2510.09586v1
 2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12390620/
 3. https://arxiv.org/pdf/2401.00421
 4. https://voxel51.com/blog/iccv-multimodal-ai
 5. https://arxiv.org/pdf/2412.17007
 6. https://arxiv.org/pdf/2412.17007
 7. https://arxiv.org/html/2504.09925v1
 8. https://arxiv.org/html/2504.09925v1
 ## CVGL Adaptive Fusion Gating 2024-25
 #CVGL #gate 
 1. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12299452/
 2. https://pmc.ncbi.nlm.nih.gov/articles/PMC11207219/
 3. https://arxiv.org/pdf/2509.12673
 4. https://link.springer.com/chapter/10.1007/978-981-95-5628-1_26
 5. https://www.mdpi.com/1424-8220/24/12/3719
 6. https://pmc.ncbi.nlm.nih.gov/articles/PMC11548418/
 7. https://arxiv.org/html/2510.22582v1
 8. https://dl.acm.org/doi/10.1145/3728482.3757381
 ## Modality Reliability Score Mahalanobis Fusion DL
 #CVGL 
 [[InfoScore for residual routing]]
 1. https://www.sciencedirect.com/science/article/abs/pii/S1566253524004263
 2. https://arxiv.org/pdf/2309.05919
 3. https://arxiv.org/pdf/2303.13810
 4. https://arxiv.org/html/2505.05811
 5. https://arxiv.org/html/2309.05919v2
 6. https://arxiv.org/pdf/2504.16524
 ## Multimodal Fusion RS Scene Classification (text, img)
 #CVGL #fusion 
 1. https://link.springer.com/article/10.1007/s42452-025-06689-9
 2. https://arxiv.org/pdf/2503.13814
 3. https://www.mdpi.com/2673-2688/7/1/5
 4. https://arxiv.org/pdf/2509.23310
 5. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11838890/
 6. https://arxiv.org/pdf/2412.02531
 ## Feature Norm Gating MM Fusion NN
 #CVGL #fusion #gate #method/gate-fusion 
 1. https://www.preprints.org/manuscript/202409.1917/v1
 2. https://arxiv.org/pdf/2204.00102
 3. https://arxiv.org/pdf/1807.06233
 4. https://arxiv.org/pdf/1702.01992
 5. https://arxiv.org/pdf/1803.09374
 6. https://www.emergentmind.com/topics/gated-fusion-mechanism
 7. https://arxiv.org/pdf/2512.04943
 8. https://www.emergentmind.com/topics/gated-multimodal-units
 ## UAV Remote Sensing CLIP Scene Classification benchmark
 #CVGL #VLM 
 1. https://arxiv.org/pdf/1703.00121
 2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7070946/
 3. https://arxiv.org/pdf/2510.24321
 4. https://arxiv.org/abs/2510.24321
 5. https://arxiv.org/html/2510.24321v1
 ## Text-Image Teacher Student Distillation (single modality Inference or missing modality)
 #CVGL 
 [[Knowledge_Distillation]]
 1. https://arxiv.org/pdf/2207.01426
 2. https://arxiv.org/pdf/2505.21549
 3. https://aclanthology.org/2024.emnlp-main.351.pdf
 4. https://arxiv.org/pdf/2603.24208
 5. https://arxiv.org/pdf/2504.07029
 6. https://arxiv.org/pdf/2309.15238
 7. https://arxiv.org/pdf/2507.18192
 8. https://arxiv.org/pdf/1703.00121
 9. https://arxiv.org/pdf/2303.15083
 10. https://openreview.net/forum?id=S5coB5kqSD&noteId=hUnKfBwGvh
 11. https://arxiv.org/pdf/2512.15311
 12. https://openaccess.thecvf.com/content/CVPR2024/html/Huo_C2KD_Bridging_the_Modality_Gap_for_Cross-Modal_Knowledge_Distillation_CVPR_2024_paper.html
 13. https://papers.nips.cc/paper_files/paper/2024/file/e34d908241aef40440e61d2a27715424-Paper-Conference.pdf
 missing modality RS distillation
 14. https://www.arxiv.org/pdf/2511.11460
 15. https://www.ijcai.org/proceedings/2025/
 16. https://www.researchgate.net/publication/395685476_DPMamba_Distillation_Prompt_Mamba_for_Multimodal_Remote_Sensing_Image_Classification_with_Missing_Modalities
 17. https://arxiv.org/html/2511.11460
 18. https://www.ijcai.org/proceedings/2025/0248.pdf
 ## Entropy-Based Modality Weighted Adaptive Fusion
 #CVGL #fusion 
 1. https://arxiv.org/pdf/2510.01677
 2. https://www.emergentmind.com/topics/adaptive-modality-fusion-modules
 3. https://arxiv.org/pdf/2505.15417
 4. https://www.emergentmind.com/topics/dynamic-modality-weighting
 5. https://www.emergentmind.com/topics/entropy-gated-contrastive-fusion
 6. https://jrnl.kai.edu.ua/index.php/PIU/article/view/21098
 7. https://www.sciencedirect.com/science/article/abs/pii/S1566253525006530
 8. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7513103/
 9. https://dl.acm.org/doi/10.1007/978-981-96-0972-7_2
 ## Learnable Scalar Residual MM Fusion and Gate
 #CVGL #fusion #gate 
 1. https://www.emergentmind.com/topics/gated-multimodal-units
 2. https://arxiv.org/pdf/1907.00135
 3. https://link.springer.com/article/10.1007/s40747-025-02023-3
 4. https://www.emergentmind.com/topics/gated-fusion-module
 5. https://arxiv.org/html/2510.17078v1
 6. https://www.emergentmind.com/topics/adaptive-modality-fusion-modules
 7. https://www.themoonlight.io/en/review/beyond-simple-fusion-adaptive-gated-fusion-for-robust-multimodal-sentiment-analysis
 8. https://arxiv.org/html/2510.01677v1
 ## Region Level Cross-Modal Matching
 #CVGL 
 1.  https://arxiv.org/pdf/2603.08491
 2. https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/01738.pdf
 3. https://arxiv.org/pdf/2510.20291
 4. https://arxiv.org/html/2603.08491
 5. https://arxiv.org/pdf/2311.12751
 6. https://link.springer.com/chapter/10.1007/978-3-031-73247-8_13
 7. https://link.springer.com/chapter/10.1007/978-981-95-6123-0_53
 ## Gated Residual Feature Fusion RS UAV 2024
 #CVGL #gate #residual 
 1. https://www.tandfonline.com/doi/full/10.1080/01431161.2024.2429784
 2. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
 3. https://arxiv.org/pdf/2304.11422
 4. https://www.tandfonline.com/doi/abs/10.1080/2150704X.2024.2305177
 5. https://www.tandfonline.com/doi/abs/10.1080/01431161.2024.2425875
 ## DEGF-YOLO
 #CVGL #YOLO 
 1. https://arxiv.org/pdf/2506.23252
 2. https://pmc.ncbi.nlm.nih.gov/articles/PMC12360555/
 3. https://www.mdpi.com/2504-446X/9/11/804
 4. https://www.mdpi.com/2072-4292/17/24/3936
 5. https://arxiv.org/pdf/2510.10765
 6. https://www.mdpi.com/2504-446X/9/7/479
 ## Feature Quality, Norm, MM VL Fusion Gate
 #CVGL #gate #VLM 
 1. https://arxiv.org/pdf/2601.10710
 2. https://www.sciencedirect.com/science/article/pii/S1566253525011248
 3. https://arxiv.org/html/2504.02477v1
 4. https://arxiv.org/pdf/2501.08443
 5. https://arxiv.org/pdf/2504.09925
 6. https://arxiv.org/pdf/2410.17779
 7. https://arxiv.org/html/2511.02113v1
 8. https://medium.com/@xiaxiami/exploring-feature-fusion-and-matching-in-vision-language-models-3573b6e529b4