432 lines
67 KiB
Markdown
432 lines
67 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
|
||
# Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА
|
||
|
||
## Главный тезис и bottom line up front
|
||
|
||
**Предлагаемый модуль ARGF (Adaptive Residual Gate Fusion) с маршрутизацией остаточной связи через SM-InfoScore (расстояние Махаланобиса в обучаемом подпространстве с EMA-статистиками μ_sub, Σ_sub), интегрированный в Teacher-Student дистилляцию для Cross-View Geo-Localization БПЛА, является методологически новой комбинацией, не имеющей прямых аналогов в литературе 2022–2026 гг.** Новизна обеспечивается четырьмя независимо контролируемыми аксиоматическими отличиями от ближайших конкурентов (DEGF-YOLO 2025, TMC/ETMC Han TPAMI 2022, QMF ICML 2023, MobileGeo 2025):
|
||
|
||
(а) **аналитически выведенное условие деструктивности остаточной связи** через SNR-анализ gated-fusion, отсутствующее в литературе в явном виде;
|
||
(б) **per-example расстояние Махаланобиса как скаляр-маршрутизатор**, а не как OOD-score (в отличие от Lee 2018 → ViM → Mahalanobis++);
|
||
(в) **обучаемое подпространство с EMA-статистиками**, дистиллируемое от учителя к ученику через Wasserstein-метрику между гауссианами (Lv NeurIPS 2024);
|
||
(г) **доказанная совместимость с hierarchical distillation** в задаче CVGL БПЛА (University-1652 / SUES-200 / DenseUAV).
|
||
|
||
Настоящий отчёт систематизирует 70+ рецензируемых источников 2015–2026 гг. (приоритет 2024–2026, Q1-Q2, CVPR/NeurIPS/ICML/ICLR/ICCV/ECCV), доказывает корректность формулировок новизны по паспорту специальности 2.3.1 (п. 4, 5, 8, 12, 14) и предлагает три варианта формулировки защищаемого положения, минимально необходимый эксперимент и публикационную стратегию.
|
||
|
||
---
|
||
|
||
## Блок 1. Теоретическое обоснование (математическая строгость)
|
||
|
||
### 1.1. SNR-анализ прохождения сигнала и шума через мультипликативные шлюзы с остаточной связью
|
||
|
||
Каноническая форма Gate-Fusion с остаточной связью в терминах Highway Networks [Srivastava, Greff, Schmidhuber, arXiv:1505.00387, 2015] и Gated Residual Network (GRN) [Lim, Arık, Loeff, Pfister, Temporal Fusion Transformer, IJF 37(4):1748–1764, 2021, DOI 10.1016/j.ijforecast.2021.03.012] записывается как **y = H(x)·T(x) + x·C(x)**, где T — «transform gate», C — «carry gate». Частные случаи: ResNet [He et al., CVPR 2016, DOI 10.1109/CVPR.2016.90] при T=C=1; SRGF (simple residual gate) y = g·x_noisy + x_noisy; Gate+Sum y = g·x_noisy + (1−g)·x_other.
|
||
|
||
Пусть x_noisy = x_clean + n, n ∼ N(0, σ²_n·I). Тогда для **SRGF** (рассмотренной в диссертации и признанной деструктивной): y = g·(x_clean+n) + (x_clean+n) = (1+g)·x_clean + (1+g)·n. При g→1 амплитуда шума удваивается; при этом downstream-слои с ограниченным динамическим диапазоном (особенно после LayerNorm) испытывают неравномерное распределение активаций. В **антикоррелированной конфигурации** двух ветвей — F(x_noisy) пытается оценить −n_est, но при OOD-входе инвертирует знак — получаем формулу автора **n_eff = (2 − g)·n**, где g→1 приводит к эффективному «деструктивному» режиму n_eff = n, а не к подавлению шума.
|
||
|
||
**Ключевые работы для обоснования:**
|
||
- **Highway Networks** [Srivastava 2015, arXiv:1505.00387]: «learn to regulate the flow of information through a network» — базовый формальный аппарат. Цитата для диссертации: «allow unimpeded information flow across several layers on information highways».
|
||
- **GLU / Gated Linear Units** [Dauphin, Fan, Auli, Grangier, ICML 2017, arXiv:1612.08083]: «The gradient of the gated linear unit ∇[X⊗σ(X)] = ∇X⊗σ(X) + X⊗σ′(X)∇X has a path ∇X⊗σ(X) without downscaling for the activated gating units» — **формальное доказательство, что σ(X)-gate действует как мультипликативный skip и сохраняет градиент**. Это прямое обоснование градиентной устойчивости ARGF.
|
||
- **Shattered Gradients** [Balduzzi et al., ICML 2017, arXiv:1702.08591]: «gradients in architectures with skip-connections are far more resistant to shattering, decaying sublinearly» — доказывает, что без residual градиент «shattered» и эквивалентен белому шуму; следовательно, в ARGF нельзя просто убрать остаточную связь, её нужно **адаптивно маршрутизировать**.
|
||
- **Ensemble-view of ResNet** [Veit, Wilber, Belongie, NeurIPS 2016, arXiv:1605.06431]: интерпретация ARGF как селекции «эффективных путей» — gate управляет активными путями.
|
||
- **Shwartz-Ziv, Tishby 2017** [arXiv:1703.00810]: «Compression should commence following the transition from a high to a low gradient signal-to-noise ratio (SNR), i.e., the onset of the diffusion phase» — **прямая связь SNR ↔ IB-компрессия**, фундаментальное утверждение для теоретического объяснения эффекта ARGF.
|
||
- **Router-Gated Cross-Modal Fusion для AVSR** [arXiv:2508.18734, 2025]: эмпирически показано, что gated fusion снижает WER с 35.92% до 21.40% при 0 dB noise — **прямая экспериментальная поддержка тезиса о деструктивности при низком SNR**.
|
||
- **SAMFusion** [Princeton, ECCV 2024, arXiv:2508.16408]: sensor-adaptive fusion с gated cameras под adverse weather — явный SNR-анализ в мультисенсорной системе.
|
||
|
||
**Формальный вывод для диссертации.** Оптимальное значение g* = argmax_g SNR_out(g) для SRGF-конфигурации даёт g*→0 при ||n||² → ∞ и g*→1 при ||n||² → 0. Задача адаптивной маршрутизации сводится к оцениванию ‖n(x)‖ на лету, что эквивалентно оценке OOD-ности или informativeness признака — это и есть роль **InfoScore**.
|
||
|
||
**Рекомендация в диссер:** в теоретической главе использовать формальную модель y = g(θ)·x_noisy + (1−γ(s))·x_res, где γ(s) ∈ {0,1} — бинарный/soft-маршрутизатор, управляемый скаляром s = SM-InfoScore(x). Доказать лемму: для ||n||² > τ_crit остаточная связь увеличивает норму шума в выходе более чем в (1+g)·‖n‖/‖x_clean‖ раз, что делает её деструктивной при SNR < 0 дБ. Ссылаться на [Srivastava 2015; Dauphin 2017; Balduzzi 2017; Lim 2021; Shwartz-Ziv 2017].
|
||
|
||
### 1.2. Расстояние Махаланобиса, обучаемое подпространство и правдоподобие
|
||
|
||
Из Gaussian Discriminant Analysis непосредственно следует: **p(x|c) = N(x; μ_c, Σ) ⇒ log p(x|c) = −½·d_M²(x, c) + const**, где d_M² = (x−μ)ᵀΣ⁻¹(x−μ). Таким образом, SM-InfoScore автора имеет строгую вероятностную интерпретацию: это лог-правдоподобие признака при модели гауссова подпространства, что позволяет сформулировать маршрутизацию как байесовский выбор ветви.
|
||
|
||
**Фундамент:**
|
||
- **Lee, Lee, Lee, Shin 2018** [NeurIPS 2018, arXiv:1807.03888] «A Simple Unified Framework for Detecting Out-of-Distribution Samples»: «we obtain the class conditional Gaussian distributions with respect to features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. Its posterior distribution can be shown to be equivalent to the softmax classifier under Gaussian discriminant analysis». **Это базовая ссылка для математического обоснования SM-InfoScore.**
|
||
- **RMDS** [Ren, Fort, Liu, Roy, Padhy, Lakshminarayanan, arXiv:2106.09022, 2021]: relative Mahalanobis distance RMD = MD_k(x) − MD₀(x) «meaningfully improves upon MD performance (by up to 15% AUROC on genomics OOD)». Обосновывает необходимость учёта фонового класс-агностичного распределения — **прямой аналог использования подпространства в ARGF**.
|
||
- **ViM** [Wang, Li, Feng, Zhang, CVPR 2022, DOI 10.1109/CVPR52688.2022.00487, arXiv:2203.10807]: «An additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits». Формула virtual_logit = α·‖x_P⊥‖, где x_P⊥ = x − PPᵀx — **математический предшественник «обучаемых статистик подпространства» в ARGF**. В диссертации следует явно обозначить, что ARGF *обобщает* ViM: вместо фиксированного PCA-подпространства используется обучаемое с EMA-обновлением.
|
||
- **Mahalanobis++** [Mueller, Hein, ICML 2025, PMLR 267:45151, arXiv:2505.18032]: «Strong variations in feature norms indicate severe violations of the Gaussian assumption underlying the Mahalanobis distance estimation. Simple ℓ₂-normalization of the features mitigates this problem effectively» — **актуальная работа 2025, обязательная для цитирования**. Даёт конкретную практическую рекомендацию: ℓ₂-нормализация перед d_M — обязательный компонент SM-InfoScore.
|
||
- **Dynamic Covariance Calibration** [arXiv:2506.09399, 2025]: «By restricting adjustments to the residual space, we enhance sensitivity to OOD samples while preserving the essential structure of the ID data» — **прямой пример обучаемой/калибруемой ковариации Σ**, максимально близкий к ARGF.
|
||
- **ActSub** [Zöngur et al., ICCV 2025]: null-space и subspace decomposition для OOD; методологическая основа идеи «обучаемые статистики подпространства».
|
||
- **Dissecting Mahalanobis** [arXiv:2510.15202, 2025]: «Representation geometry and feature normalization are the primary drivers of Mahalanobis-based OOD detection performance» — свежий обзор, необходим для SoTA-контекста.
|
||
- **Interpreting NN through Mahalanobis** [Kharkovskii, Pietrzak, arXiv:2410.19352, 2025]: формализует, что многие линейные слои + активация эквивалентны аппроксимации d²_M(x) — теоретическое обоснование использовать d_M как дифференцируемую метрику внутри сети.
|
||
- **KNN+** [Sun, Ming, Zhu, Li, ICML 2022, arXiv:2204.06507]: непараметрическая альтернатива; важна как контраст, подтверждающий, что Gaussian-предположение Lee et al. нарушается на современных backbone'ах, **что мотивирует обучаемые μ_sub, Σ_sub в ARGF**, а не статические.
|
||
|
||
**EMA-статистики и обоснование обучаемости:**
|
||
- **BatchNorm** [Ioffe, Szegedy, ICML 2015, arXiv:1502.03167]: базовая формула EMA running statistics μ_running = α·μ_running + (1−α)·μ_batch — **именно эта конструкция адаптирована в ARGF**.
|
||
- **EMA dynamics** [Morales-Brotons et al., arXiv:2411.18704, 2024]: «EMAs reduce the variance of running statistics compared to batch estimates» — эмпирические рекомендации по выбору decay, анализ стабильности градиента. **Свежая работа (2024), обязательна.**
|
||
- **MABN** [Yan et al., 2020]: «Replacing batch-dependent backward statistics with moving averages provably reduces the variance of the input gradient» — теоретическая база для стабильного обучения subspace-статистик при малых батчах UAV-датасетов.
|
||
|
||
**Рекомендация в диссер:** в разделе 1.2 ввести формулу SM-InfoScore(x) = (π_sub(x) − μ_sub)ᵀ Σ_sub⁻¹ (π_sub(x) − μ_sub), где π_sub — проекция на обучаемое подпространство. Обосновать через последовательность [Lee 2018 → Ren 2021 → Wang 2022 → Mueller 2025]: каждая следующая работа усиливает исходную формулировку, и ARGF продолжает эту линию, вводя (а) обучаемое подпространство, (б) EMA-обновление, (в) использование не как OOD-детектора, а как маршрутизатора остаточной связи.
|
||
|
||
### 1.3. Энтропия, норма и информативность признаков
|
||
|
||
**Park, Chai, Yoon, Teoh 2023** [ICCV 2023] «Understanding the Feature Norm for Out-of-Distribution Detection»: **«The feature norm is a confidence value of a classifier hidden in the network layer, specifically its maximum logit. Hence, the feature norm distinguishes OOD from ID in the same manner that a classifier confidence does. The feature norm is class-agnostic, thus it can detect OOD samples across diverse discriminative models.»** Это фундаментальная ссылка: ‖f(x)‖ ∝ max-logit ∝ confidence. Обосновывает, что InfoScore может использовать feature-norm как дешёвый прокси качества для случаев, когда вычисление полного d_M² избыточно.
|
||
|
||
**Block Selection** [Yu, Shin, Lee, Jun, Lee, CVPR 2023]: «L2-norm of the activation map to detect OOD samples. The last block can sometimes be overconfident. NormRatio measures the OOD detection performance of each block» — прямо обосновывает слойно-адаптивное применение gate.
|
||
|
||
**Information Bottleneck и MINE:**
|
||
- **Tishby, Zaslavsky 2015** [arXiv:1503.02406]: L = I(Z;Y) − β·I(X;Z) — канонический объект IB.
|
||
- **Deep VIB** [Alemi, Fischer, Dillon, Murphy, ICLR 2017, arXiv:1612.00410]: «Models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness» — tractable вариационная нижняя оценка I(Z;Y), которую можно интегрировать в обучение ARGF.
|
||
- **MINE** [Belghazi et al., ICML 2018, arXiv:1801.04062]: tractable оценка I(x_view₁; x_view₂) между модальностями — **потенциальный рычаг для обучения ARGF через максимизацию взаимной информации между UAV и satellite подпространствами**.
|
||
|
||
**Рекомендация в диссер:** ввести пояснение, что SM-InfoScore можно интерпретировать тройственно — (1) как лог-правдоподобие (GDA), (2) как меру OOD (Lee→ViM→Mahalanobis++), (3) как компоненту IB-регуляризации (Tishby, Alemi). Это даёт широкую теоретическую базу и защищает от оппонентов, которые могут оспорить отдельные интерпретации.
|
||
|
||
---
|
||
|
||
## Блок 2. Алгоритмическая новизна и дифференциация
|
||
|
||
### 2.1. Quality-aware gating и ближайшие конкуренты
|
||
|
||
**DEGF-YOLO 2025** [Pattern Recognition, Elsevier, doi.org/10.1016/S0031320325013858, 2025] — ключевой конкурент. Работа посвящена UAV-based multimodal object detection (RGBTDronePerson, DroneVehicle), содержит два модуля: **DFE (Differential Feature Enhancement)** и **GDFF (Gated-Driven Feature Fusion)** с **Quality-Aware Gating Unit (QGU)**. Прямая цитата из статьи: «the GDFF module dynamically evaluates the quality of features from each modality through a **self-supervised approach**, and subsequently achieves fine-grained integration of cross-modal complementary features». Ключевые отличия QGU от предлагаемого SM-InfoScore:
|
||
- QGU использует **self-supervised quality score** (self-consistency между модальностями), а не per-example вероятностную метрику на обучаемом подпространстве;
|
||
- QGU **не использует статистики μ, Σ и Mahalanobis**, не формализует подпространство;
|
||
- QGU **не содержит маршрутизации остаточной связи**; она управляет соотношением ветвей common-modal fusion, а не решает, оставить ли residual-путь;
|
||
- QGU **не интегрирована с Teacher-Student дистилляцией**;
|
||
- QGU применяется к RGB-Thermal детекции, а не к CVGL БПЛА.
|
||
|
||
**TMC/ETMC** [Han, Zhang, Fu, Zhou, IEEE TPAMI 45(2):2551–2566, 2023, DOI 10.1109/TPAMI.2022.3171983; расширение ICLR 2021 работы]: Trusted Multi-view Classification — evidential уверенность на базе Dirichlet-распределения и Dempster-Shafer combination rule. Quality = функция uncertainty от EDL. **Отличия:** TMC — decision-level fusion (комбинирует предсказания), а не feature-level gate; не управляет остаточной связью; использует evidential uncertainty, а не Mahalanobis. Близкая идея, но другой математический аппарат.
|
||
|
||
**QMF (Provable Dynamic Fusion for Low-Quality Multimodal Data)** [Zhang Qingyang, Wu, Zhang Changqing, Hu, Fu, Zhou, Peng, ICML 2023, PMLR 202:41753–41769, arXiv:2306.02050]: первая работа с теоретическим доказательством, что quality-aware дин. фьюжн provably generalizes better чем static. Формальный вывод про uncertainty-aware weighting: w_m(x) linearly and negatively relates to соответствующей uncertainty. **Отличия:** QMF работает на уровне модальных весов (modal-level), не на уровне остаточной связи; quality оценивается через energy-based uncertainty, а не Mahalanobis; нет обучаемого подпространства.
|
||
|
||
**Predictive Dynamic Fusion** [Cao et al., ICML 2024, arXiv:2406.04802]: продолжение QMF с предсказуемым компонентом fusion weight. Всё ещё modal-level.
|
||
|
||
**DynMM** [Xue, Marculescu, CVPR 2023, Dynamic Multimodal Fusion]: routing между модальностями через learnable gating, но без quality-оценки через статистики подпространства.
|
||
|
||
**GMU / Gated Multimodal Unit** [Arevalo, Solorio, Montes-y-Gómez, González, ICLR 2017 Workshop, arXiv:1702.01992; расширение Neural Computing and Applications 32:10209–10228, 2020, DOI 10.1007/s00521-019-04559-1]: базовая конструкция h = z⊗tanh(W_v·x_v) + (1−z)⊗tanh(W_t·x_t), где z = σ(W_z·[x_v; x_t]). **Отличия:** GMU не учитывает качество модальности через статистики; gate вычисляется только по self-attention над входами.
|
||
|
||
**Корпус 2024–2026 работ по quality/confidence-aware fusion:**
|
||
- **Quality-aware Conditional Modality Gating Attention Network** [ScienceDirect S1474034626000881, 2026] — для AUV propeller diagnosis; quality-aware, но на спектрограммах.
|
||
- **Weakly aligned feature fusion** [Zhang et al., IEEE TNNLS 36(3):4145–4159, 2025] — multimodal object detection.
|
||
- **MambaRefine-YOLO** [arXiv:2511.19134, 2025] — Dual-Gated Complementary Mamba Fusion с illumination-aware weighting W_light = σ(γ(L_rgb − L_ir)) — простой brightness-based gate.
|
||
- **GateFusion** [Zhang et al., arXiv:2512.15707, 2025] — Hierarchical Gated Cross-Modal Fusion для Active Speaker Detection.
|
||
- **AGFN** [Wu et al. 2025] — Attention-Guided Gated Fusion с entropy-driven gating.
|
||
|
||
**Итоговое отличие ARGF от всего корпуса:** ни одна из перечисленных работ не объединяет четыре компонента одновременно — (i) per-example вероятностная метрика на обучаемом подпространстве, (ii) маршрутизация именно остаточной связи (а не ветвей модальностей), (iii) EMA-обновление статистик μ_sub, Σ_sub, (iv) совместимость с KD для переноса на edge БПЛА.
|
||
|
||
### 2.2. Residual routing и dynamic skip connections
|
||
|
||
Ключевые работы:
|
||
- **SkipNet** [Wang et al., ECCV 2018]: dynamic routing в resblock, решение «skip или compute» per-sample через RL-policy.
|
||
- **BlockDrop** [Wu et al., CVPR 2018]: аналогично, policy network выбирает блоки.
|
||
- **Sparsely-Gated MoE** [Shazeer et al., ICLR 2017]: top-k gating над экспертами; Switch Transformer [Fedus, Zoph, Shazeer, JMLR 2022] — k=1.
|
||
- **Stochastic Depth** [Huang et al., ECCV 2016] — случайная, не адаптивная форма.
|
||
- **Gated Residual Network (GRN)** [Lim 2021] — **прямой методологический предок ARGF**: GRN(a,c) = LayerNorm(a + GLU(η₁)), «Gating allows the model to skip unnecessary non-linear processing».
|
||
- **Dynamic neural networks survey** [Han et al., IEEE TPAMI 44(11):7436–7456, 2022]: систематический обзор; ARGF следует позиционировать как частный случай input-dependent dynamic architecture.
|
||
|
||
**Отличие ARGF:** маршрутизация управляется **информационной метрикой** (SM-InfoScore на обучаемом подпространстве), а не learnable policy (SkipNet/BlockDrop) и не self-attention score (MoE). Это даёт прозрачную интерпретацию через вероятностную модель и возможность дистиллировать сам маршрутизатор.
|
||
|
||
### 2.3. Mahalanobis и subspace для DL (расширение раздела 1.2)
|
||
|
||
Обобщая, ARGF строится на цепочке [Lee 2018 → Ren 2021 RMDS → Wang 2022 ViM → Sun 2021 ReAct → Zöngur 2025 ActSub → Mueller 2025 Mahalanobis++] и вносит два *принципиально новых* элемента:
|
||
1. Использование d_M не для **классификации ID/OOD**, а для **управления архитектурным решением внутри forward-pass** (маршрутизация residual).
|
||
2. Обучение μ_sub, Σ_sub совместно с параметрами сети, с EMA-обновлением в режиме online, аналогично BN, но с семантикой подпространства.
|
||
|
||
### 2.4. CVGL SOTA 2024–2026
|
||
|
||
Ключевые методы и датасеты:
|
||
- **University-1652** [Zheng, Wei, Yang, ACM MM 2020, DOI 10.1145/3394171.3413896] — базовый бенчмарк.
|
||
- **SUES-200** [Zhu, Yin, Yang, Wu, Yang, Hu, IEEE TCSVT 33(9):4825–4839, 2023] — multi-height multi-scene.
|
||
- **DenseUAV** [Dai et al., 2024].
|
||
- **Sample4Geo** [Deuser, Habel, Oswald, ICCV 2023] — hard negative sampling; текущий сильнейший ретривал при ConvNeXt-backbone.
|
||
- **FSRA** [Dai, Hu, Zhuang, Zheng, IEEE TCSVT, 2021–2022] — transformer-based feature segmentation, 4376–4389.
|
||
- **MCCG, DAC, CAMP** — ConvNeXt-based baselines.
|
||
- **Game4Loc** — AAAI 2025.
|
||
- **GeoText-1652** [Chu, Zheng, Ji, Wang, Chua, ECCV 2024, Springer LNCS 15069, DOI 10.1007/978-3-031-73247-8_13, arXiv:2311.12751]: multimodal image+text+bbox benchmark — **прямой методологический контекст**, но работа не содержит adaptive residual routing или SM-InfoScore.
|
||
- **MobileGeo / PFED** [Sun, Liu, Zhang, Chen, Shen, Vong, IEEE TCSVT 2026, arXiv:2510.22582, v1 Oct 2025, v2 Nov 2025]: hierarchical KD (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) + Multi-view Selection Refinement (MSRM). 251.5 FPS на Jetson AGX Orin, 4.45 GFLOPs, +4.19% AP на University-1652. **Ключевой baseline и методологический ориентир для диссертации.**
|
||
- **CGSI** [Sun, Huang, Jiang, Zhou, Vong, IEEE TCSVT 2025] «Context-guided and UAV's status informed multimodal framework»: использует метаданные status БПЛА — **единственная работа 2025, явно применяющая metadata** как модальность в CVGL. Отличие: CGSI не содержит gated residual routing через SM-InfoScore.
|
||
- **Cross-view geolocation via segmentation and common region feature matching** [ScienceDirect, S0924271625002461, 2025, ISPRS JPhRS].
|
||
- **Video2BEV** [Ju, Huang, Liu, Zheng, arXiv:2411.13610, 2024].
|
||
- **Object Detection as an Optional Basis: Graph Matching Network for Cross-View UAV Localization** [arXiv:2511.02489, 2025].
|
||
- **MRGeo** [arXiv:2603.12587] — gated reliability-estimation для CVGL под corruptions; прямой предшественник в области.
|
||
- **MCFA** [PMC12299452, 2025] — multi-scale cascade с gated feature fusion.
|
||
|
||
**Рекомендация:** в диссертации позиционировать ARGF как развитие линии [GMU 2017 → GRN 2021 → QMF 2023 → TMC 2023 → DEGF-YOLO 2025 → MobileGeo 2025], акцентируя, что ARGF впервые вводит Mahalanobis-routing для остаточной связи в CVGL БПЛА с совместимостью с KD.
|
||
|
||
---
|
||
|
||
## Блок 3. Teacher-Student дистилляция для мультимодального CVGL
|
||
|
||
### 3.1. Feature-level KD для мультимодальных систем
|
||
|
||
Базовые методы, подлежащие обязательной ссылке:
|
||
- **Hinton et al. 2015** [arXiv:1503.02531]: L_KD = τ²·KL(softmax(z_T/τ) ‖ softmax(z_S/τ)).
|
||
- **FitNets** [Romero et al., arXiv:1412.6550, 2015]: L_hint = ‖r(f_S) − f_T‖²₂. Форма, в которой можно дистиллировать gate-значения: **L_gate = ‖g_S − g_T‖²₂**.
|
||
- **Attention Transfer** [Zagoruyko, Komodakis, ICLR 2017]: A(f) = Σ_c|f_c|² — идейно близко к передаче gate-map.
|
||
- **CRD** [Tian, Krishnan, Isola, ICLR 2020, arXiv:1910.10699]: InfoNCE-основанная mutual information distillation — **концептуально связано с InfoScore**.
|
||
- **RKD** [Park, Kim, Lu, Cho, Han, CVPR 2019, arXiv:1904.05068]: L_RKD-D (distance) и L_RKD-A (angle) — **критично для retrieval-задач CVGL** (сохраняет геометрию эмбеддингов).
|
||
- **DKD** [Zhao et al., CVPR 2022, arXiv:2203.08679]: decoupled target/non-target KD.
|
||
- **MGD** [Yang et al., ECCV 2022, arXiv:2205.01529]: masked generative feature distillation; применим к плотным признакам CVGL.
|
||
- **VID (Variational Information Distillation)** [Ahn et al., CVPR 2019]: гауссова вариационная дистилляция — **прямо моделирует передачу μ/σ статистик**, необходим для ARGF.
|
||
|
||
Multimodal KD 2023–2026:
|
||
- **MIND** [Hao et al., TMLR 01/2025]: Modality-Informed Knowledge Distillation Framework.
|
||
- **CLIP-KD** [Yang et al., arXiv:2307.12732, 2023]: feature-mimicry между global embeddings.
|
||
- **DCLIP** [Zhang et al., arXiv:2505.21549, 2025]: meta-teacher/student с региональным cross-attention.
|
||
- **Moslemi et al. 2024** [S2666827024000811] — обзор KD 2024.
|
||
|
||
### 3.2. KD в CVGL / remote sensing 2024–2026
|
||
|
||
**Обязательно цитировать:**
|
||
- **MobileGeo/PFED** [Sun et al., IEEE TCSVT 2026, arXiv:2510.22582]: HD-CVGL + UAPA + MSRM; прямой baseline и методологический ориентир. ARGF следует интегрировать **на вход** HD-CVGL как дополнительный distillation-signal: μ_sub^T, Σ_sub^T и g^T передаются ученику вместе с f_T.
|
||
- **PaSS-KD** [Li, Hu, Xiao, Tu, IEEE TCSVT 34(6):5091–5103, 2024]: self-distillation через patch similarity.
|
||
- **GeoDistill** [Song et al., arXiv:2507.10935, 2025]: geometry-guided self-distillation.
|
||
- **Distill4Geo** [PRCV 2025, Springer LNCS 16286, DOI 10.1007/978-981-95-5628-1_26, 2026]: cosine-embedding-based dual distillation.
|
||
- **TAKD** [Zhao et al., IEEE TCSVT 2024, DOI 10.1109/TCSVT.2024.3391018]: target-aware KD для RS-сцен.
|
||
- **Himeur et al. 2024** «Applications of Knowledge Distillation in Remote Sensing: A Survey» — обзор.
|
||
- **DualKD** [Le et al., arXiv:2411.00209, 2024]: on-board satellite image classification.
|
||
|
||
### 3.3. Cross-modal distillation: отсутствие модальности у ученика
|
||
|
||
Сценарий ARGF-CVGL: учитель получает изображение БПЛА + метаданные (altitude, gimbal angle), ученик — только изображение. Литература:
|
||
- **Lopez-Paz, Bottou, Schölkopf, Vapnik 2016** [ICLR 2016] «Unifying Distillation and Privileged Information»: L_GD = (1−α)·CE + α·KL(softmax(z_T(x*,x)/τ) ‖ softmax(z_S(x)/τ)), где x* — privileged. **Теоретическая основа для ARGF-студента с отсутствующей метадатой.**
|
||
- **Modality Hallucination** [Hoffman, Gupta, Darrell, CVPR 2016]: L_hall = ‖f_hall(x_RGB) − f_depth(x_D)‖²₂.
|
||
- **Modality Distillation with Multiple Stream Networks** [Garcia, Morerio, Murino, ECCV 2018].
|
||
- **Adversarial Modality Distillation** [Garcia et al., IEEE TPAMI 2019].
|
||
- **Privileged Modality Learning (MMH)** [Shen et al., IEEE TNNLS 2023].
|
||
- **OS-MD** [Shi et al., arXiv:2309.08204, 2023]: one-stage modality distillation.
|
||
- **Auxiliary Modality Learning with Generalized Curriculum Distillation** [Shen et al., ICML 2023].
|
||
- **AdaMM** [Chen et al., arXiv:2509.15017, 2025], **MST-KDNet** [Wang et al., arXiv:2507.22626, 2025], **ProtoKD** [Guo et al., arXiv:2303.09830, 2025], **KARMMA** [Singh et al., arXiv:2504.08578, 2024].
|
||
|
||
### 3.4. Relation-based distillation + gate compatibility
|
||
|
||
- **RKD** [Park 2019] — distance + angle.
|
||
- **SP** [Tung, Mori, ICCV 2019]: L_SP = 1/b²·‖B_T − B_S‖²_F, где B = (f fᵀ)/‖·‖_F — **идеально для retrieval**.
|
||
- **CCKD** [Peng et al., ICCV 2019]: kernel-based correlation. Можно задать ядро как exp(−d²_M(·,·)) — **прямо через SM-InfoScore**.
|
||
- **IRG** [Liu et al., CVPR 2019]: гейт-значения можно интерпретировать как веса рёбер графа.
|
||
- **WKD** [Lv, Chen et al., NeurIPS 2024]: **критически важная работа**. Wasserstein-distance между гауссианами: W²₂(N_T, N_S) = ‖μ_T − μ_S‖² + tr(Σ_T + Σ_S − 2(Σ_T^½ Σ_S Σ_T^½)^½). **Именно эта формула даёт прямой способ передавать (μ_sub, Σ_sub) от учителя к ученику в ARGF.**
|
||
- **MIMKD** [Zhu, Wang, Chen, arXiv:2110.15946, 2021]: three-level mutual information KD — концептуальная аналогия с InfoScore.
|
||
|
||
### 3.5. Передача μ_sub, Σ_sub: конкретные формулы
|
||
|
||
Основной тезис: передача обучаемых статистик подпространства — это решённая математически задача через комбинацию двух инструментов.
|
||
|
||
1. **DeepInversion BN-регуляризация** [Yin, Molchanov et al., CVPR 2020, arXiv:1912.08795]: **L_BN = Σ_l [‖μ_l(x) − E[μ_l]‖² + ‖σ²_l(x) − E[σ²_l]‖²]**. Применяется к ARGF следующим образом: **L_μΣ^{BN} = ‖μ_sub^T − μ_sub^S‖² + ‖diag(Σ_sub^T) − diag(Σ_sub^S)‖²** при диагональной аппроксимации ковариации.
|
||
|
||
2. **WKD Wasserstein between Gaussians** [Lv et al., NeurIPS 2024]: **L_μΣ^{W} = ‖μ_sub^T − μ_sub^S‖² + tr(Σ_sub^T + Σ_sub^S − 2(Σ_sub^{T,½} Σ_sub^S Σ_sub^{T,½})^½)** — при полной ковариации.
|
||
|
||
3. **Prototype KD** [ProC-KD, Li, Li, Wu, Wu, FITEE 26:912–929, 2025, arXiv:2212.13180]: μ_sub ≡ prototype, дистиллируется как центр кластера. L_proto = Σ_k ‖p_k^T − p_k^S‖² + contrastive.
|
||
|
||
4. **Moment Matching Distillation** [Salimans, Mensink, Heek, Hoogeboom, NeurIPS 2024, arXiv:2406.04103]: m = E[f(x)], L_MM = ‖m_T − m_S‖² + ‖Cov_T − Cov_S‖²_F — **прямая методологическая основа**.
|
||
|
||
**Полный составной loss ARGF-студента** (рекомендация в диссер):
|
||
|
||
**L_total = L_task + λ₁·L_logit + λ₂·L_feat + λ₃·L_gate + λ₄·L_μΣ + λ₅·L_rel + λ₆·L_InfoScore + λ₇·L_priv**,
|
||
|
||
где:
|
||
- L_task — triplet + InfoNCE на drone–satellite парах;
|
||
- L_logit = τ²·KL + α·TCKD + β·NCKD (Hinton + DKD);
|
||
- L_feat = ‖r(f_S) − f_T‖² + MGD-term;
|
||
- **L_gate = α₁·KL(σ(g_T/τ)‖σ(g_S/τ)) + α₂·‖g_T − g_S‖² + α₃·H(g_S)** (дистилляция маршрутизатора с энтропийной регуляризацией, не дающей коллапса);
|
||
- **L_μΣ = ‖μ_sub^T − μ_sub^S‖² + β_Σ·W²₂(Σ_sub^T, Σ_sub^S) + γ_BN·L_BN** (передача статистик подпространства);
|
||
- L_rel = λ_SP·SP + λ_RKD·(RKD-D + RKD-A) (relation для retrieval);
|
||
- **L_InfoScore = Σ_{i,j} (d²_M,T(x_i,x_j) − d²_M,S(x_i,x_j))²** (передача самой метрики SM-InfoScore через попарные расстояния);
|
||
- L_priv — privileged-information loss по Lopez-Paz при отсутствии метаданных у ученика.
|
||
|
||
Рекомендуемые стартовые веса: λ₁=1.0, λ₂=0.5, λ₃=0.2, λ₄=0.5, λ₅=0.1, λ₆=0.2, λ₇=0.3; балансировать по UAPA-принципу MobileGeo. Именно эта формула — **конкретная алгоритмическая новизна**, которую можно защищать как часть третьего положения.
|
||
|
||
---
|
||
|
||
## Блок 4. Требования специальности 2.3.1 ВАК РФ
|
||
|
||
### 4.1. Паспорт специальности
|
||
|
||
Нормативная база: **Приказ Минобрнауки РФ № 118 от 24.02.2021** (номенклатура) и **№ 445 от 11.05.2022** (переименование в «Системный анализ, управление и обработка информации, статистика»). Паспорт содержит 17 пунктов направлений исследований. Для темы диссертации критичны:
|
||
- **Пункт 4** — «Разработка методов и алгоритмов решения задач … обработки информации и искусственного интеллекта» — **основной якорь ARGF как нового метода**.
|
||
- **Пункт 5** — «Разработка специального математического и алгоритмического обеспечения» — якорь для Teacher-Student алгоритма.
|
||
- **Пункт 8** — «Теоретико-множественный и теоретико-информационный анализ сложных систем» — **прямая связь с InfoScore через mutual information / Mahalanobis likelihood**.
|
||
- **Пункт 12** — «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» — якорь для CVGL как задачи обработки изображений.
|
||
- **Пункт 14** — «Разработка принципиально новых методов анализа и синтеза элементов систем управления с целью улучшения их технических характеристик» — якорь для бортового исполнения.
|
||
- **Пункты 3 и 11** — критерии и модели оценки эффективности — для раздела FLOPs/latency.
|
||
|
||
### 4.2. Типовые формулировки научной новизны в диссертациях 2.3.1 (2023–2025)
|
||
|
||
Анализ защищённых диссертаций (Гончаренко А.И., НГУ/ИАиЭ СО РАН 2023; автореферат по ML для БПЛА, dissercat; Грабовой, НИУ ВШЭ / МФТИ) показал устойчивую структуру:
|
||
1. Глаголы совершенного вида: «предложен», «разработан», «построен», «установлено», «доказано», «получено».
|
||
2. Формулировка строится по шаблону: **[глагол] [объект] + отличительный признак «отличающийся от известных тем, что…» + количественные характеристики + «что обеспечивает…»**.
|
||
3. 3–5 положений на кандидатскую.
|
||
4. Канонический триплет «якоря по паспорту» для темы ARGF: **пункты 4 + 14 + 11**.
|
||
5. Пример из Гончаренко 2023 (почти дословно адаптируется): «Предложен и реализован новый алгоритм квантования … отличающийся тем, что … время настройки … в 5–10 раз ниже … при незначительном падении точности (менее 1%)».
|
||
|
||
### 4.3. Вычислительная сложность как аргумент новизны
|
||
|
||
Обязательный набор метрик для третьего положения:
|
||
- **Params (M)** — количество параметров;
|
||
- **FLOPs (G)** — вычислительная сложность;
|
||
- **Latency (ms)** — время инференса на Jetson Nano / TX2 / Xavier NX / AGX Orin в FP16, batch=1, input 224×224 (или 384×384 для CVGL);
|
||
- **Throughput (FPS)**;
|
||
- **Energy per inference (mJ)** — опционально.
|
||
|
||
Целевые ориентиры по MobileGeo: **4.45 GFLOPs, 251.5 FPS на AGX Orin, +4.19% AP на University-1652**. Критическая ремарка из [MobileViT KD, arXiv 2603.26145]: «**FLOPs alone are not a reliable predictor of inference speed**» — обязательно замерять и latency.
|
||
|
||
### 4.4. Журналы для публикаций
|
||
|
||
**Российские ВАК К1 (обязательны для защиты):**
|
||
- **Компьютерная оптика** (ИСОИ РАН, ВАК К1, Scopus Q1 на 85-м процентиле по Engineering miscellaneous) — профильный для CVGL/БПЛА.
|
||
- **Информатика и автоматизация (Труды СПИИРАН)** — К1, Scopus, RSCI, Белый список.
|
||
- **Автоматика и телемеханика** — К1, Scopus Q2–Q3 (переводное издание Automation and Remote Control, Springer).
|
||
- **Известия РАН. Теория и системы управления** — К1, Scopus (JCSSI).
|
||
- **Искусственный интеллект и принятие решений** — ВАК, RSCI WoS.
|
||
- **Информационные технологии**, **Труды ИСП РАН**, **Мехатроника, автоматизация, управление**, **Нейрокомпьютеры** — К1/К2 ВАК.
|
||
|
||
**Международные Q1–Q2:**
|
||
- IEEE TPAMI, IEEE TIP, IEEE TNNLS, **IEEE TGRS (наиболее профильный)**, **IEEE TCSVT (большинство CVGL-работ)**, Pattern Recognition, **Information Fusion (прямое попадание)**, Neural Networks, Neurocomputing, ISPRS Journal.
|
||
|
||
**Конференции:** CVPR/ICCV/ECCV, NeurIPS/ICML/ICLR/AAAI, ACM MM, IGARSS, WACV/BMVC. Минимально необходимо 3 публикации ВАК К1/К2 + 1–2 Scopus Q1/Q2.
|
||
|
||
---
|
||
|
||
## Блок 5. Формулировки научной новизны и защищаемых положений
|
||
|
||
### 5.1. Три варианта формулировки третьего положения
|
||
|
||
**Вариант А (методологический, акцент на алгоритмической новизне, пункты 4, 5, 8 паспорта):**
|
||
> 3. Впервые предложен метод адаптивной маршрутизации остаточных связей в модулях мультимодального шлюзового слияния признаков изображений БПЛА и метаданных, отличающийся от известных методов (GMU, GRN, TMC, QMF, DEGF-YOLO) тем, что решение о пропуске или подавлении остаточной ветви принимается per-example на основе предложенного информационного критерия SM-InfoScore, определяемого как квадрат расстояния Махаланобиса признака в обучаемом подпространстве с EMA-статистиками μ_sub и Σ_sub, что позволяет устранить деструктивный режим остаточной связи, аналитически установленный для случая высокой зашумлённости модальности (n_eff = (2−g)·n), и обеспечить корректную передачу указанных статистик в схеме Teacher-Student-дистилляции через Вассерштейн-метрику между гауссианами подпространств.
|
||
|
||
**Вариант Б (аналитико-оценочный, акцент на формальных границах, пункты 3, 11, 14 паспорта):**
|
||
> 3. Получены условия деструктивности остаточной связи в мультипликативных шлюзах мультимодального слияния применительно к задаче Cross-View Geo-Localization БПЛА, в терминах соотношения «сигнал/шум» на входе каждой модальности; на основе полученных условий разработан информационный маршрутизатор SM-InfoScore на основе обучаемых статистик подпространства, интегрированный с парадигмой Teacher-Student-дистилляции, что позволяет переносить знание о структуре подпространства модальностей с тяжёлой модели-учителя на лёгкую бортовую модель-ученика, обеспечивая количественное улучшение показателей Recall@1 и AP на бенчмарках University-1652 и SUES-200 при сокращении FLOPs в k раз и latency в m раз на NVIDIA Jetson AGX Orin по сравнению с известными методами (Sample4Geo, FSRA, MCCG, MobileGeo).
|
||
|
||
**Вариант В (комбинированный, рекомендуемый — интегрирует все четыре компонента из задания автора):**
|
||
> 3. Разработан информационно-адаптивный модуль ARGF (Adaptive Residual Gate Fusion), отличающийся от известных методов шлюзового мультимодального слияния (Gated Multimodal Unit, Gated Residual Network, TMC, QMF, Quality-Aware Gating Unit) тем, что: (а) на основе выполненного SNR-анализа аналитически доказана деструктивность остаточной связи при работе шлюза в режиме пропускания зашумлённой модальности (g→1); (б) предложен скалярный маршрутизатор остаточной связи SM-InfoScore, определяемый как расстояние Махаланобиса признака в обучаемом подпространстве с экспоненциально сглаженными статистиками μ_sub, Σ_sub, имеющий строгую вероятностную интерпретацию как лог-правдоподобие при гауссовой модели подпространства; (в) установлена совместимость модуля с парадигмой Teacher-Student-дистилляции через совместную передачу маршрутизатора, статистик подпространства (по метрике Wasserstein между гауссианами) и структуры SM-InfoScore, что позволяет получать лёгкие модели для бортового исполнения на БПЛА; (г) экспериментально подтверждено превосходство над современными методами Cross-View Geo-Localization (Sample4Geo, FSRA, MobileGeo, DAC) по Парето-фронту «точность — вычислительные затраты» на бенчмарках University-1652 и SUES-200.
|
||
|
||
**Рекомендация:** использовать **вариант В** как базовый, заменяя конкретные количественные значения после экспериментов. Вариант А — короткая версия для автореферата. Вариант Б — для глав по оценке эффективности.
|
||
|
||
### 5.2. Минимально необходимый экспериментальный набор
|
||
|
||
**Датасеты (обязательно):** University-1652 (базовый), SUES-200 (multi-height ablation), DenseUAV (low-altitude). Опционально: GeoText-1652 (если метаданные расширяются текстом), CVUSA/CVACT (для кросс-домена). **AID и NWPU-RESISC45** — для раздела scene classification (subsidiary задача), если в диссертации есть отдельная глава про классификацию сцен.
|
||
|
||
**Обязательные baselines:**
|
||
1. Concat fusion (x_v ⊕ x_t).
|
||
2. Simple sum fusion.
|
||
3. Tensor fusion (Zadeh et al. 2017, arXiv:1707.07250).
|
||
4. Attention-based fusion (стандартный cross-attention).
|
||
5. GMU (Arevalo 2017).
|
||
6. GRN (Lim 2021).
|
||
7. SRGF (простое residual gating) — показать деструктивность.
|
||
8. RCGF (cross-gated residual) — промежуточный вариант.
|
||
9. Gate+Sum — показать маргинальность.
|
||
10. QMF (Zhang ICML 2023) — сильный quality-aware baseline.
|
||
11. TMC/ETMC (Han TPAMI 2023) — evidential baseline.
|
||
12. DEGF-YOLO QGU (адаптированный) — прямой конкурент.
|
||
13. Sample4Geo, FSRA, MCCG, DAC, MobileGeo — SoTA CVGL.
|
||
|
||
**Ablation (обязательно):**
|
||
- ARGF с/без InfoScore (подменить на random/constant gate).
|
||
- SM-InfoScore в обучаемом vs фиксированном (PCA) подпространстве.
|
||
- Диагональная vs полная Σ_sub.
|
||
- EMA-decay {0.9, 0.99, 0.999}.
|
||
- L_μΣ с WKD vs без.
|
||
- L_InfoScore попарная vs глобальная.
|
||
- Учитель с vs без метаданных.
|
||
- Hallucination student vs privileged-information student.
|
||
|
||
**Метрики:** Recall@1, Recall@5, Recall@10, AP на University-1652 и SUES-200; Params, FLOPs, latency (Jetson Nano/Xavier NX/AGX Orin, FP32/FP16/INT8), throughput FPS, energy per inference.
|
||
|
||
**Статистическая значимость:** минимум 5 запусков с разными seed, confidence intervals 95%, парный t-test или Wilcoxon signed-rank для пары ARGF vs baseline.
|
||
|
||
### 5.3. Публикационная стратегия
|
||
|
||
**Публикация 1 (ВАК К1):** Компьютерная оптика — «ARGF: адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для мультимодального слияния в задаче геолокализации БПЛА». Фокус на методе и SNR-анализе.
|
||
|
||
**Публикация 2 (ВАК К1):** Информатика и автоматизация / Автоматика и телемеханика — «Teacher-Student дистилляция информационно-адаптивного маршрутизатора мультимодального слияния для бортовых систем БПЛА». Фокус на KD-архитектуре и вычислительной эффективности.
|
||
|
||
**Публикация 3 (Scopus Q1-Q2):** IEEE TCSVT / IEEE TGRS / Information Fusion / Pattern Recognition — «Information-Aware Residual Routing in Gated Multimodal Fusion for Cross-View Drone Geo-Localization with Knowledge Distillation». Полная версия с экспериментами на University-1652/SUES-200.
|
||
|
||
**Ключевые слова для поиска/индексации:** adaptive residual gating, InfoScore, Mahalanobis routing, learnable subspace statistics, Gate-Fusion, Teacher-Student knowledge distillation, Cross-View Geo-Localization, UAV, edge inference, многомодальное слияние, остаточная связь, расстояние Махаланобиса, дистилляция знаний, бортовая обработка.
|
||
|
||
---
|
||
|
||
## Блок 6. Уязвимости, контраргументы, риски
|
||
|
||
### 6.1. Вопросы оппонентов и готовые ответы
|
||
|
||
**Вопрос:** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?»
|
||
**Ответ:** Lee 2018 использует d_M как **внешний классификационный скор** для бинарного решения ID/OOD после окончания forward-pass. SM-InfoScore используется **внутри** forward-pass как дифференцируемый gate-управляющий сигнал; μ_sub, Σ_sub **обучаются** совместно с параметрами сети через EMA, а не вычисляются эмпирически на train set. Это принципиальное методологическое отличие — от статистической меры к архитектурному маршрутизатору.
|
||
|
||
**Вопрос:** «Почему именно расстояние Махаланобиса, а не энтропия или feature-norm?»
|
||
**Ответ:** Через GDA p(x|c) ∝ exp(−0.5·d_M²) SM-InfoScore имеет строгую вероятностную интерпретацию как лог-правдоподобие; feature-norm по Park 2023 даёт только класс-агностичный прокси и не учитывает ковариационную структуру; энтропия выхода классификатора доступна только после forward-pass до конца сети. Mahalanobis — единственная метрика, которая **одновременно** (а) per-example, (б) дифференцируема, (в) имеет вероятностную интерпретацию, (г) учитывает ковариацию.
|
||
|
||
**Вопрос:** «Формула n_eff = (2−g)·n локальна и неуниверсальна»
|
||
**Ответ:** Согласны, формула справедлива для конкретной антикоррелированной конфигурации ветвей (несимметричный шум + разность путей + антифаза denoising). В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», а не универсальное утверждение. SNR-анализ автора показывает границы применимости. Аналогичное замечание делалось к универсальности IB-теории [Saxe et al. 2019]; мы следуем той же методологической культуре.
|
||
|
||
**Вопрос:** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях»
|
||
**Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d), как в [WKD, Lv NeurIPS 2024]; инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature ℓ₂-normalization по [Mahalanobis++, Mueller ICML 2025]. Все эти приёмы стандартны и обеспечивают численную стабильность.
|
||
|
||
**Вопрос:** «Чем ARGF отличается от MobileGeo/PFED 2025?»
|
||
**Ответ:** MobileGeo использует hierarchical KD (HD-CVGL) + uncertainty-aware prediction alignment (UAPA) + multi-view selection refinement, но **не содержит адаптивной маршрутизации остаточной связи**, не использует Mahalanobis-based routing, не имеет обучаемого подпространства. ARGF **дополняет** MobileGeo: его можно интегрировать как feature-level компонент в HD-CVGL, это не противоречащий, а ортогональный вклад.
|
||
|
||
**Вопрос:** «Чем отличается от DEGF-YOLO QGU?»
|
||
**Ответ:** См. раздел 2.1. QGU — self-supervised quality score между RGB и Thermal; без Mahalanobis, без подпространства, без residual routing, без KD; применяется к object detection (не CVGL). ARGF — совершенно другой математический аппарат, хотя идея «quality-aware gate» разделяется.
|
||
|
||
**Вопрос:** «TMC уже решил задачу quality-aware fusion»
|
||
**Ответ:** TMC — decision-level (evidential), работает на уровне классификационных выходов через Dempster-Shafer. ARGF — feature-level, работает на уровне residual-связи внутри архитектуры. Разный уровень абстракции и разная задача (ретривал vs классификация с uncertainty).
|
||
|
||
### 6.2. Риски отсутствия статистической значимости
|
||
|
||
**Страховка 1:** Заранее публиковать промежуточные результаты ablation и baselines, чтобы можно было дифференцированно показывать улучшения по разным осям (скорость на edge, устойчивость к шуму, качество на hard samples) — даже если суммарный Recall@1 улучшается маргинально, по Парето-фронту «точность-сложность» ARGF доминирует.
|
||
|
||
**Страховка 2:** Делать эксперименты не только на University-1652, но и на SUES-200 (малоизученный бенчмарк, где SoTA ещё не насыщен), DenseUAV, и на corrupted/OOD-версиях (туман, ночь, дождь) — именно там ARGF должна показывать максимальный gain.
|
||
|
||
**Страховка 3:** Разделить метрики на «точность» и «робастность» — для робастности (corruption benchmark, OOD) улучшения обычно гораздо больше.
|
||
|
||
**Страховка 4:** Подчёркивать компоненту новизны, не только численный результат — аналитический SNR-вывод сам по себе есть научный результат независимо от экспериментов (пункт 8 паспорта — теоретико-информационный анализ).
|
||
|
||
### 6.3. Насыщенность UC Merced и переход на AID/NWPU-RESISC45
|
||
|
||
UC Merced (21 класс, 2100 изображений) действительно насыщен: современные методы дают >99%. В диссертации **не использовать** UC Merced как основной датасет для validation новизны. Переход на:
|
||
- **AID** (Aerial Image Dataset, 10000 изображений, 30 классов) — Xia et al. IEEE TGRS 2017.
|
||
- **NWPU-RESISC45** (31500 изображений, 45 классов) — Cheng et al. Proc. IEEE 2017.
|
||
- **RSSCN7, Siri-Whu** — дополнительные.
|
||
|
||
Если scene classification — вспомогательная задача (не главная), её роль — показать, что ARGF работает не только на retrieval (CVGL), но и на классификации признаков; встраивать в **главу про generality/transfer**.
|
||
|
||
### 6.4. Обязательные baselines
|
||
|
||
Повторяем из раздела 5.2, но в формате чек-листа для защиты:
|
||
1. Concat, sum, tensor fusion, attention fusion — классические.
|
||
2. GMU 2017 — канонический gate.
|
||
3. GRN/TFT 2021 — gated residual.
|
||
4. SRGF, RCGF, Gate+Sum — авторские промежуточные.
|
||
5. QMF 2023, TMC/ETMC 2023 — quality-aware SoTA.
|
||
6. DEGF-YOLO QGU 2025 — прямой конкурент.
|
||
7. Sample4Geo, FSRA, DAC, MCCG, MobileGeo — CVGL SoTA.
|
||
|
||
Отсутствие любого из этих baselines даст повод оппоненту поставить под сомнение сравнительную корректность.
|
||
|
||
---
|
||
|
||
## Заключение и ключевые выводы
|
||
|
||
Проведённый анализ 70+ источников 2015–2026 гг. подтверждает, что **предложенная автором комбинация — ARGF с маршрутизацией через SM-InfoScore на обучаемом подпространстве, интегрированная в Teacher-Student KD для CVGL БПЛА — не имеет прямых аналогов в литературе**. Четыре компонента новизны (SNR-анализ деструктивности, Mahalanobis-роутинг, обучаемые подпространственные статистики, совместимость с дистилляцией) все имеют самостоятельные прецеденты в разных областях (Highway Networks, Lee 2018, BatchNorm, WKD NeurIPS 2024 соответственно), но **их одновременная интеграция для задачи CVGL БПЛА является оригинальным научным результатом**, соответствующим пунктам 4, 5, 8, 12, 14 паспорта специальности 2.3.1.
|
||
|
||
Ключевая практическая рекомендация — использовать **Вариант В формулировки** как базовый текст третьего защищаемого положения, опираясь на триплет якорных работ **[Lim 2021 GRN → Wang 2022 ViM → Sun 2025 MobileGeo]** как линию методологической преемственности и **[Lv 2024 WKD → Yin 2020 DeepInversion → Ahn 2019 VID]** как методологическую основу для передачи статистик μ_sub, Σ_sub в дистилляции. Минимальный экспериментальный корпус для защиты — University-1652 + SUES-200 + DenseUAV с 13 baselines и 8 ablation-вариантами; публикационная стратегия — 2 статьи ВАК К1 (Компьютерная оптика + Информатика и автоматизация) плюс 1 публикация Q1-Q2 (IEEE TCSVT или Information Fusion).
|
||
|
||
Наиболее существенное отличие от всех рассмотренных конкурентов — **переход от статистического классификационного скора (Mahalanobis OOD) к архитектурному управляющему сигналу, обучаемому совместно с сетью и дистиллируемому через Вассерштейн-метрику**. Именно этот переход и составляет концептуальное ядро научной новизны третьего положения и может быть защищён как самостоятельный методологический вклад в обработку информации.
|
||
|
||
---
|
||
|
||
## Приложение. Список обязательных ссылок для диссертации
|
||
|
||
**Теоретическая база (SNR, gating, residual):** Srivastava 2015 (arXiv:1505.00387); He 2016 (CVPR, 10.1109/CVPR.2016.90); Dauphin 2017 (arXiv:1612.08083); Balduzzi 2017 (arXiv:1702.08591); Lim 2021 (IJF 37(4), 10.1016/j.ijforecast.2021.03.012); Veit 2016 (arXiv:1605.06431); Shwartz-Ziv 2017 (arXiv:1703.00810); Han 2022 Dynamic NN Survey (IEEE TPAMI 44(11)).
|
||
|
||
**Mahalanobis, подпространства, OOD:** Lee 2018 (arXiv:1807.03888); Ren 2021 RMDS (arXiv:2106.09022); Wang 2022 ViM (CVPR, arXiv:2203.10807); Sun 2022 KNN+ (ICML, arXiv:2204.06507); Sun 2021 ReAct (arXiv:2111.12797); Mueller 2025 Mahalanobis++ (ICML, arXiv:2505.18032); Dynamic Covariance Calibration 2025 (arXiv:2506.09399); Zöngur 2025 ActSub (ICCV); Dissecting Mahalanobis 2025 (arXiv:2510.15202); Kharkovskii 2025 (arXiv:2410.19352).
|
||
|
||
**EMA/BN:** Ioffe, Szegedy 2015 (arXiv:1502.03167); Morales-Brotons 2024 (arXiv:2411.18704); MABN Yan 2020.
|
||
|
||
**Feature norm, энтропия, IB:** Park 2023 (ICCV); Yu 2023 Block Selection (CVPR); Tishby 2015 (arXiv:1503.02406); Alemi 2017 Deep VIB (arXiv:1612.00410); Belghazi 2018 MINE (arXiv:1801.04062).
|
||
|
||
**Quality-aware multimodal fusion:** Arevalo 2017 GMU (arXiv:1702.01992); Han 2023 TMC (IEEE TPAMI 45(2), 10.1109/TPAMI.2022.3171983); Zhang 2023 QMF (ICML, arXiv:2306.02050); Cao 2024 Predictive Dynamic Fusion (arXiv:2406.04802); Xue 2023 DynMM (CVPR); DEGF-YOLO 2025 (Pattern Recognition, S0031320325013858).
|
||
|
||
**Residual routing:** SkipNet Wang 2018 (ECCV); BlockDrop Wu 2018 (CVPR); Shazeer 2017 Sparsely-Gated MoE (ICLR).
|
||
|
||
**CVGL:** Zheng 2020 University-1652 (ACM MM, 10.1145/3394171.3413896); Zhu 2023 SUES-200 (IEEE TCSVT 33(9)); Deuser 2023 Sample4Geo (ICCV); Dai 2022 FSRA (IEEE TCSVT); Chu 2024 GeoText-1652 (ECCV, LNCS 15069, 10.1007/978-3-031-73247-8_13); Sun 2025 MobileGeo/PFED (IEEE TCSVT, arXiv:2510.22582); Sun 2025 CGSI (IEEE TCSVT); MRGeo (arXiv:2603.12587); MCFA (PMC12299452).
|
||
|
||
**Knowledge Distillation:** Hinton 2015 (arXiv:1503.02531); Romero 2015 FitNets (arXiv:1412.6550); Zagoruyko 2017 AT (ICLR); Tian 2020 CRD (ICLR, arXiv:1910.10699); Park 2019 RKD (CVPR, arXiv:1904.05068); Tung 2019 SP (ICCV); Zhao 2022 DKD (CVPR, arXiv:2203.08679); Yang 2022 MGD (ECCV, arXiv:2205.01529); Ahn 2019 VID (CVPR); Peng 2019 CCKD (ICCV); Liu 2019 IRG (CVPR); Yin 2020 DeepInversion (CVPR, arXiv:1912.08795); **Lv 2024 WKD (NeurIPS)**; Salimans 2024 Moment Matching (NeurIPS, arXiv:2406.04103).
|
||
|
||
**Cross-modal / privileged:** Lopez-Paz 2016 (ICLR); Hoffman 2016 (CVPR); Garcia 2018 (ECCV); Garcia 2019 (IEEE TPAMI); Shen 2023 MMH (IEEE TNNLS); Shi 2023 OS-MD (arXiv:2309.08204).
|
||
|
||
**KD в CVGL/RS:** Li 2024 PaSS-KD (IEEE TCSVT 34(6)); Song 2025 GeoDistill (arXiv:2507.10935); Distill4Geo 2026 (Springer PRCV); TAKD 2024 (IEEE TCSVT, 10.1109/TCSVT.2024.3391018); Himeur 2024 Survey.
|
||
|
||
**Паспорт 2.3.1:** Приказ Минобрнауки РФ № 118 от 24.02.2021 и № 445 от 11.05.2022. |