# Радикальное расширение шести заметок диссертации (спец. 2.3.1 ВАК РФ)
## Тема: Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для CVGL БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем
> **Контекст пайплайна автора (без изменений во всём документе):**
## Часть 1. SNR-исследование деструктивности простой остаточной связи для Gate-механизмов
```yaml
---
title:"SNR-анализ деструктивности residual в Gate-Fusion"
tags:[диссер, ARGF, SNR, gated-fusion]
status:глава 1
---
```
### § 1.1. Постановка задачи и базовые формулы Gate-Fusion
Каноническая Gated Multimodal Unit (Arevalo, Solorio, Montes-y-Gómez, González, *Gated Multimodal Units for Information Fusion*, arXiv:1702.01992, ICLR-W 2017) задаётся
Gated Linear Units (Dauphin, Fan, Auli, Grangier, *Language Modeling with Gated Convolutional Networks*, arXiv:1612.08083, ICML 2017): «a novel gating mechanism that eases gradient propagation» — гейт сам по себе сохраняет градиентный поток, что является ключевым контр-аргументом необходимости *аддитивного* identity-residual параллельно с гейтом.
и суммарная дисперсия шума на выходе при $g=0$ учетверяется: $\mathrm{Var}[\mathrm{noise\_total}(0)]=4\sigma_n^2 I$.
*Доказательство.* Применение $\mathrm{Var}[\lambda n]=\lambda^2\mathrm{Var}[n]$ к лемме 1. При $g\to 0$ доверие сдвинуто к $v_{\text{text}}$ (шумной модальности), и identity-residual удваивает её, что и порождает учетверение дисперсии. $\blacksquare$
Дифференцируя по $g$ и решая $d/dg=0$, получаем, что при $\lVert v_{\text{img}}\rVert\gg\lVert s\rVert$ оптимум $g^*\to 1$ как при $\lVert n\rVert\to\infty$ (полное доверие к img), так и при $\lVert n\rVert\to 0$ (зашумлённая модальность подменена в пределе чистым $v_{\text{img}}$). Тем самым **аддитивный residual** на шумной стороне *препятствует* достижению оптимума.
### § 1.6. Эмпирическая верификация
- **Router-Gated Cross-Modal Fusion для AVSR** (DongHoon Lim, YoungChae Kim, Dong-Hyun Kim, Da-Hee Yang, Joon-Hyuk Chang, *Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion*, arXiv:2508.18734, 26.08.2025): «We demonstrate consistent word error rate reductions of 16.51–42.67% on LRS3 under various noise conditions, surpassing AV-HuBERT».
- **SAMFusion** (Palladin, Dietze, Narayanan, Bijelic, Heide, ECCV 2024, DOI:10.1007/978-3-031-73030-6_27; arXiv:2508.16408): «improve 3D-AP, especially for the pedestrian class by more than 17.2 AP in dense fog and 15.62 AP in heavy snow on the most challenging distance category from 50 m-80 m relative to the state of the art».
- **Shattered Gradients** (Balduzzi, Frean, Leary, Lewis, Ma, McWilliams, *The Shattered Gradients Problem*, arXiv:1702.08591, ICML 2017): «the correlation between gradients in standard feedforward networks decays exponentially with depth … in architectures with skip-connections [it is] far more resistant to shattering, decaying sublinearly» — это объясняет, почему identity-residual не *убивает градиент*, но не оправдывает его*семантической* пользы.
- **GLU** (Dauphin et al. 2017, arXiv:1612.08083): «a novel gating mechanism that eases gradient propagation» — гейт сам сохраняет градиент.
### § 1.7. Связь с Information Bottleneck
Согласно Tishby \& Zaslavsky (2015) и Shwartz-Ziv, Tishby (*Opening the Black Box of Deep Neural Networks via Information*, arXiv:1703.00810, 2017),
$$
\mathcal L_{IB}=I(Y;Z)-\beta\,I(X;Z).
$$
Saxe et al. (*On the Information Bottleneck Theory of Deep Learning*, J. Stat. Mech. (2019) 124020): «compression should commence following the transition from a high to a low gradient signal-to-noise ratio». Deep VIB (Alemi, Fischer, Dillon, Murphy, *Deep Variational Information Bottleneck*, arXiv:1612.00410, ICLR 2017) даёт параметрическую реализацию. Вывод: при $\mathrm{SNR}(v_{\text{text}})\to 0$ канал не несёт нового $I(Z;Y)$, а аддитивный residual только повышает $I(X;Z)$, нарушая IB-оптимум.
Гейт $g\in[0,1]$ выбирает *направление* смешения, но не измеряет, насколько каждая модальность информативна. Требуется онлайн-скаляр $S(v)\in\mathbb R$, оценивающий пригодность вектора признаков для retrieval. Различаем:
1.*Information content* (Shannon, $H(X)$) — глобальная мера, не per-example;
По Müller \& Hein (*Mahalanobis++: Improving OOD Detection via Feature Normalization*, ICML 2025, PMLR 267:45151–45184, arXiv:2505.18032) применяется $\ell_2$-нормализация перед оценкой: «ℓ₂-normalization mitigates this problem effectively, aligning better with the premise of normally distributed data with shared covariance matrix».
Логарифмируя: $\log p(x)=-\tfrac k2\log 2\pi-\tfrac12\log\det\Sigma-\tfrac12 d_M^2(x)$. Умножая на $-2$ и группируя константы, получаем требуемое. $\blacksquare$
**Следствие.** SM-InfoScore есть аффинная функция $-\log p_\pi(v)$. Это лежит в основе SOTA-OOD-метода Lee, Lee, Lee, Shin (*A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks*, NeurIPS 2018) и подтверждено на 44 моделях (Mahalanobis++, ICML 2025): «Extensive experiments on 44 models across diverse architectures and pretraining schemes show that ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently».
$\pi_{\text{sub}}(v)=W_2\mathrm{GELU}(W_1 v+b_1)+b_2$, $W_1\in\mathbb R^{2k\times d}$, $W_2\in\mathbb R^{k\times 2k}$. Связь с**ViM** (Wang, Li, Feng, Zhang, *ViM: Out-Of-Distribution with Virtual-logit Matching*, CVPR 2022, arXiv:2203.10807): там residual против principal space играет роль OOD-индикатора; у нас $\pi_{\text{sub}}$ — *обучаемая* аппроксимация principal-space, дифференцируемая по retrieval-loss. PCA — нелинейный частный случай $\pi_{\text{sub}}$ при $W_2=0$, $b=0$, $W_1=U^\top$.
Согласно Morales-Brotons, Vogels, Hendrikx (*Exponential Moving Average of Weights in Deep Learning: Dynamics and Benefits*, TMLR 2024, arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved i) robustness to noisy labels, ii) prediction consistency, iii) calibration and iv) transfer learning … an EMA of weights is a simple yet effective plug-in». Параллель с BatchNorm (Ioffe, Szegedy, *Batch Normalization*, arXiv:1502.03167, ICML 2015). Принимаем $\beta=0.01$ (эффективное окно $\sim$100 шагов).
Cholesky $\Sigma=LL^\top$ (Seeger, Hetzel, Dai, Lawrence, *Auto-Differentiating Linear Algebra*, arXiv:1710.08717, 2017): «We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators».
### § 2.8. Алгоритмическая сложность
| Вариант | Вычисление $S$ | Backprop (обновление) |
Параметризация: $W_q\in\mathbb R^{1\times 2}$, $b_q\in\mathbb R$ — два роутера на источник (text/img).
### § 3.5. Теорема 3 (свойства ARGF при граничных условиях).
**Теорема 3.** $\mathrm{SM}(\cdot)\ge 0$. При $W_q^{(1)}<0,W_q^{(2)}>0$:
(i) $\mathrm{SM}(v_{\text{text}})\to 0$ (надёжная модальность, near ID-center) $\Rightarrow r_{\text{text}}\to 1$;
(ii) $\mathrm{SM}(v_{\text{text}})\to\infty$ (OOD) $\Rightarrow r_{\text{text}}\to 0$.
«Парадоксальная инверсия» мнимая: $\mathrm{SM}$ есть расстояние от ID-центра (не сила сигнала). Низкая $\mathrm{SM}$ ⇔ модальность близка к обученному распределению ⇒ residual *оставляется*; высокая $\mathrm{SM}$ ⇔ OOD-сигнал ⇒ residual *подавляется*. $\blacksquare$
### § 3.6. Дифференциальные свойства
$\partial L/\partial\mu_{\text{sub}}$ и $\partial L/\partial\Sigma_{\text{sub}}$ — stop-gradient (по аналогии с running-stats BatchNorm). Градиент течёт через $\pi_{\text{sub}}$:
где $J_{\pi_{\text{sub}}}$ — якобиан проектора. Cholesky $\Sigma=LL^\top$ даёт $\Sigma^{-1}(\cdot)$ через два triangular-solve, дифференцируемых по Murray (2016).
### § 3.7. ARGF в контексте dynamic NN
- Han, Huang, Song, Yang, Wang, Wang, *Dynamic Neural Networks: A Survey*, IEEE TPAMI **44(11)**:7436–7456, DOI:10.1109/TPAMI.2021.3117837: «dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness».
- **SkipNet** (Wang, Yu, Dou, Darrell, Gonzalez, ECCV 2018, arXiv:1711.09485): «a gating network to selectively skip convolutional blocks based on the activations of the previous layer».
- **Sparse MoE** (Shazeer, Mirhoseini, Maziarz, Davis, Le, Hinton, Dean, *Outrageously Large Neural Networks*, ICLR 2017, arXiv:1701.06538): «A trainable gating network determines a sparse combination of these experts to use for each example».
### § 3.8. Связь ARGF с trainable $\alpha$
$\alpha_q$ — *глобальный* (одно значение для всего датасета); ARGF — *per-example*. Сумма
Это устраняет конфликт «семантика vs числовые метаданные», характерный для DGTRS-CLIP (Chen et al., arXiv:2503.19311), где средние семантические токены и численные метки имеют различающиеся распределения.
---
## Часть 4. Гипотезы П1 (ARGF-InfoScore на residual)
```yaml
---
title:"Гипотезы P1: ARGF-InfoScore"
tags:[диссер, гипотезы, P1]
status:главы 4-1..4-5
---
```
### N1_H1. SNR-деструктивность residual
**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual.
**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing.
Wilcoxon signed-rank test (рекомендован Demšar, *Statistical Comparisons of Classifiers over Multiple Data Sets*, JMLR **7**:1–30, 2006): $W=\sum_{i:d_i>0}\mathrm{rank}|d_i|$, $\alpha=0.05$. Размер эффекта Cohen's $d=\bar d/s_d\ge 0.5$ (medium).
**(4) Почему эффективно.** Mahalanobis++ (Müller \& Hein, ICML 2025, arXiv:2505.18032): «ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently» на 44 моделях. Lee et al. NeurIPS 2018 — базовый GDA-метод. ViM (Wang et al., CVPR 2022, arXiv:2203.10807): «class-agnostic score from feature space combined with class-dependent logits».
**(5) Отличие.** Конкретные SOTA-методы CVGL без подобной схемы:
- **CAMP** (Wu et al., IEEE TGRS 2024, DOI:10.1109/TGRS.2024.3448499): «state-of-the-art results on the satellite-drone CVGL datasets University-1652 and SUES-200», но без InfoScore-гейтирования;
- **WELN** (2024) — Drone→Sat R@1=92.87% без subspace-Mahalanobis.
---
### N1_H3. Предпочтительность EMA-статистик над per-batch
**(1) Краткая формулировка.** EMA-оценки $\mu_{\text{sub}},\Sigma_{\text{sub}}$ дают более стабильную сходимость и выше R@1, чем per-batch оценки.
**(2) Подробное объяснение.** Per-batch выборочная $\Sigma$ при $B=128$, $k=64$ имеет ранг $\le B-1$, что нестабильно для инверсии. EMA сглаживает и обеспечивает рангополноту по конструкции.
**(4) Почему эффективно.** Morales-Brotons et al. TMLR 2024 (arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved … robustness to noisy labels, prediction consistency, calibration and transfer learning». BatchNorm running-stats (Ioffe \& Szegedy, arXiv:1502.03167) — каноническая параллель. Patsenker, Li, Kluger (arXiv:2310.13854): EMA = damped harmonic motion with idealized zero-length spring.
**(5) Отличие.** В Lee 2018 и ViM 2022 Mahalanobis считается *post-hoc* на полном train-set (offline). Мы делаем *онлайн* EMA, что необходимо для end-to-end дифференцируемости с retrieval loss. SSD+ (Sehwag 2021) и CIDER (Ming 2023) — train-time стандартизация без EMA-running-stats.
---
### N1_H4. Совместимость с learnable $\alpha$ (аддитивность)
**(1) Краткая формулировка.** Включение ARGF не вступает в конфликт с learnable $\alpha_q$; оба механизма аддитивно улучшают R@1.
$H_0:\;(ab)_{ij}=0$ — без интеракции; принимаем «совместимость» при $p_{\text{int}}>0.1$ И одновременно $p_a<0.05,\;p_b<0.05$ для main-effects.
**(4) Почему эффективно.** Линеаризация § 3.8 + центрированность residual. Theory of additive models (Hastie \& Tibshirani, *Generalized Additive Models*, Chapman \& Hall, 1990).
**(5) Отличие.** В GMU (Arevalo 2017, arXiv:1702.01992) гейт один; в TFT-GRN (Lim 2021) gating + skip встроены, но не независимы. В SkipNet (arXiv:1711.09485) router *заменяет* блок, а не дополняет его.
---
### N1_H5. Устойчивость к sat passthrough
**(1) Краткая формулировка.** ARGF не ухудшает Sat→Drone R@1 более чем на 0.3 п.п. относительно baseline в passthrough-режиме.
**(2) Подробное объяснение.** На sat-стороне текста нет; $\mathrm{SM}(v_{\text{text}}=0)$ = фиксированная константа $\mathrm{SM}(\pi_{\text{sub}}(0))$. Router должен научиться $r_{\text{text}}\to 0$ автоматически (теорема 3).
**(3) Формально.** TOST (two one-sided test) for equivalence:
$\alpha=0.05$, $N=5$ seeds, оба односторонних теста должны отклонить $H_0$.
**(4) Почему эффективно.** Теорема 3 (§ 3.5); Han et al. TPAMI 2022 (dynamic-NN адаптивность); Mahalanobis++ (ICML 2025) — стабильность OOD-score под distribution shift.
**(5) Отличие.** CVGL-методы с asymmetric branches (FSRA, MCCG, Sample4Geo) не имеют текстовой ветви, поэтому вопрос отсутствует. Из text-augmented методов: CrossText2Loc (Ye et al., arXiv:2412.17007, ICCV 2025) и VICI (arXiv:2507.04107) симметрично подают текст с обеих сторон. ARGF корректно работает и при асимметрии.
---
## Часть 5. Гипотезы П2 (иерархический InfoScore по L1/L2/L3/T_meta)
```yaml
---
title:"Гипотезы P2: Hierarchical InfoScore"
tags:[диссер, гипотезы, P2]
status:главы 5-1..5-5
---
```
### N2_H1. Приоритет L3 (cross-view fingerprint)
**(1) Краткая формулировка.** Среднее значение router-score $r_{L3}$ строго больше, чем $\max(r_{L1},r_{L2},r_{T_m})$.
**(2) Подробное объяснение.** L3 содержит длинные cross-view fingerprint-описания, проектируемые в KPS-extended токенизатор DGTRS-CLIP (Chen et al., arXiv:2503.19311). Ожидаем, что SM-InfoScore L3 имеет наименьшее расстояние от ID-центра (наибольшая правдоподобность) → высокий $r_{L3}$. Дополнительно, средний токен-length L3 ≈ 86 (DGTRS), при L1 ≈ 32 (short captions) — L3 несёт больше пространственной семантики.
**(3) Формально.** Bonferroni-corrected three pairwise t-tests:
**(4) Почему эффективно.** LRSCLIP (Chen et al., 2025, in arXiv:2503.19311): «LRSCLIP improves retrieval accuracy by 10%-20% over the Long-CLIP baseline in the zero-shot long-text cross-modal retrieval task» — длинные описания, аналогичные L3, дают информационное преимущество. Long-CLIP (Zhang et al. 2024, KPS technique) — base.
**(5) Отличие.** Sample4Geo (ICCV 2023) — нет текста; CAMP (TGRS 2024) — context-aware menus, но без иерархии уровней промпта. CrossText2Loc (arXiv:2412.17007) использует длинный текст, но без разбиения на L1/L2/L3 и без InfoScore.
---
### N2_H2. Комплементарность T_meta и T_L3 (низкая корреляция InfoScore)
**(2) Подробное объяснение.** T_meta — числовые метаданные (высота, yaw); L3 — текстовый fingerprint. Они описывают *разные* стороны априорной информации: геометрию платформы vs семантику сцены. Низкая корреляция → добавление обоих даёт прирост, не дублируя.
$H_0:|\rho|\ge 0.3$ vs $H_1:|\rho|<0.3$. Преобразование Фишера: $z=\tfrac12\ln\!\tfrac{1+\rho}{1-\rho}$, $\sigma_z=1/\sqrt{N-3}$, where $N$ — число тестовых семплов.
**(4) Почему эффективно.** Partial information decomposition (Williams \& Beer, *Nonnegative Decomposition of Multivariate Information*, arXiv:1004.2515, 2010). Survey on multimodal learning (Baltrušaitis, Ahuja, Morency, IEEE TPAMI **41(2)**:423–443, 2019, DOI:10.1109/TPAMI.2018.2798607) — комплементарность модальностей.
**(5) Отличие.** Большинство CVGL-CLIP методов (CrossText2Loc 2024, VICI 2025) объединяют всю текстовую информацию в один embedding. Мы декомпозируем и измеряем независимость через InfoScore.
---
### N2_H3. Фильтрующее действие при шумных уровнях
**(1) Краткая формулировка.** При искусственном зашумлении одного из L1/L2/L3 (token-shuffle, mask), $r_X$ значимо падает, а R@1 деградирует меньше, чем у baseline без ARGF.
**(2) Подробное объяснение.** Прямой stress-test механизма. Шумный уровень должен «выключиться» автоматически. Аналог ablation Router-Gated AVSR (arXiv:2508.18734).
**(4) Почему эффективно.** Router-Gated AVSR (Lim et al., arXiv:2508.18734): 16.51–42.67% WER reduction при шумном аудио. SAMFusion (ECCV 2024): «more than 17.2 AP in dense fog … on the most challenging distance category from 50 m-80 m». Mahalanobis-OOD (Lee 2018) — score растёт на OOD.
**(5) Отличие.** GMU (Arevalo 2017), TFT-GRN (Lim 2021) не имеют *доказанной* робастности к зашумлению. Cross-Modal Bottleneck (CoBRA, arXiv:2602.08293, 2025) — robust, но без явного InfoScore.
---
### N2_H4. Выгода раздельных подпространств vs общего
**(1) Краткая формулировка.** Раздельные $\pi_{\text{sub}}^{(L1)},\pi_{\text{sub}}^{(L2)},\pi_{\text{sub}}^{(L3)},\pi_{\text{sub}}^{(T_m)}$ дают R@1 выше, чем общий $\pi_{\text{sub}}$.
**(2) Подробное объяснение.** Уровни имеют различные распределения активаций; общий subspace усреднил бы их (потеря дискриминативности). Раздельные подпространства реализуют per-level GDA.
**(4) Почему эффективно.** Mahalanobis++ (ICML 2025) — per-class covariance работает лучше shared. ViM (CVPR 2022) — class-agnostic + class-conditional комбинирование. Long-CLIP / KPS — dual-granularity улучшает alignment.
**(5) Отличие.** Lee 2018 использует один shared Σ; ViM 2022 — class-conditional в logit-space, не в multimodal-level. Мы — first to apply per-modality-level subspace в CVGL.
---
### N2_H5. Совместимость П1+П2 (аддитивность)
**(1) Краткая формулировка.** Совместное включение П1 (ARGF на residual) и П2 (иерархический InfoScore) даёт прирост R@1, не меньший суммы индивидуальных приростов с допустимым зазором.
**(2) Подробное объяснение.** Аддитивность — признак отсутствия деструктивной интеракции. Критично для defense-strategy: можно отстаивать вклады как независимые.
### N3_H1. Выгода раздельных гейтов $\alpha_{\text{sem}}$ и $\alpha_{\text{meta}}$
**(1) Краткая формулировка.** Раздельные $\alpha_{\text{sem}},\alpha_{\text{meta}}$ дают R@1 выше, чем один общий $\alpha$.
**(2) Подробное объяснение.** Семантический поток ($T_{\text{sem}}=[z_1;z_2;z_3]$) и метаданные ($T_{\text{meta}}$) имеют разные оптимальные balance-points. Один α — усреднение.
**(4) Почему эффективно.** TFT (Lim 2021): «sample-dependent variable selection to minimize the contributions of irrelevant inputs». GMU (Arevalo 2017): один gate per source. DGTRS-CLIP (2025): dual-granularity learning.
**(5) Отличие.** Sample4Geo (ICCV 2023) — единый эмбеддинг; CAMP (TGRS 2024) — single context-aware fusion; CrossText2Loc (2024) — один text-embedding без разделения метаданных.
---
### N3_H2. Оптимальность коэффициентов 0.6/0.4 в loss (SNR-обоснование)
**(1) Краткая формулировка.** Веса 0.6 для $\mathrm{CE}(q\to g)$ и 0.4 для $\mathrm{CE}(g\to q)$ дают R@1 выше, чем 0.5/0.5, и обоснованы SNR-асимметрией drone (rich-text) / sat (passthrough).
**(2) Подробное объяснение.** Drone-сторона имеет более информативный query (текст + img), направление q→g «сильнее регуляризовано». Sat — passthrough, симметричная регуляризация была бы избыточна.
**(3) Формально.** Grid $\{(0.5,0.5),(0.55,0.45),(0.6,0.4),(0.65,0.35),(0.7,0.3)\}$; квадратичная регрессионная модель
$$
R@1=\beta_0+\beta_1 w+\beta_2 w^2+\varepsilon.
$$
$H_1:$ оптимум $w^*=-\beta_1/(2\beta_2)\in[0.55,0.65]$ с 95% CI.
**(4) Почему эффективно.** SNR-асимметрия § 1.8. CLIP InfoNCE (Radford et al. 2021) — симметричен лишь при сбалансированных модальностях. iSogCLR (Zhang et al., arXiv:2305.11965, ICML 2023): «automatic temperature individualization». Геометрия InfoNCE и modality gap (arXiv:2601.19597, 2026): «symmetric InfoNCE contains a persistent negative symmetric divergence coupling».
**(4) Почему эффективно.** CLIP (Radford et al. 2021) — first learnable τ. iSogCLR (Zhang 2023, arXiv:2305.11965). DyStress (Dey et al., arXiv:2308.01140, 2023) — cosine-dependent dynamic τ. Kukleva et al. 2023 — scheduled τ.
**(5) Отличие.** Sample4Geo — learnable τ без clamping; мы clamp для устойчивости edge-inference. Temperature-Free Loss (arXiv:2501.17683, 2025) предлагает убрать τ — мы оставляем как safety-knob.
---
### N3_H4. Эквивалентность passthrough и SM-InfoScore→0
**(1) Краткая формулировка.** При sat-passthrough распределение $\mathrm{SM}(v_{\text{text}})$ концентрируется около $\mathrm{SM}(\pi_{\text{sub}}(0))$, и router $r_{T}\to 0$ — фактически отключает ARGF на этой ветви.
**(2) Подробное объяснение.** Эмпирическая проверка теоремы 3 (§ 3.5). На sat-batch роутер не должен «впрыскивать» текстовый residual.
**(4) Почему эффективно.** Теорема 3; Lee 2018 / ViM 2022 — Mahalanobis-score detect OOD; Mahalanobis++ (ICML 2025) — стабильность score под distribution shift.
**(5) Отличие.** Asymmetric multimodal works (Vaezi Joze et al., CVPR 2020) не имеют автоматического отключения; SAMFusion attention уменьшает, но не зануляет. ARGF математически гарантирует $r\to 0$.
---
### N3_H5. Edge-применимость + совместимость с дистилляцией
**(1) Краткая формулировка.** ARGF добавляет ≤ 0.5 M параметров и ≤ 5 ms latency на NVIDIA Jetson Orin Nano и совместим с distillation DINOv3 ViT-L/16 (303 M) → DINOv3 ViT-S/16.
**(2) Подробное объяснение.** Параметры ARGF: $\pi_{\text{sub}}$ ($2\cdot 512\cdot 128\approx 131$ k) × 4 уровня + router ($W_q\in\mathbb R^{1\times 2}$ — пренебрежимо) ≈ 0.5 M. Latency: $4\times(O(kr)+O(r^3))$ при $k=64,r=8$ ≪ ViT-L forward. Distillation: ARGF-блок остаётся неизменным; меняется лишь backbone.
**(4) Почему эффективно.** DINOv3 (Siméoni et al., arXiv:2508.10104, 2025) поддерживает distillation в ViT-S/B/L/H+ и ConvNeXt out of the box: «Family of Models: Distilled into ViT-S, B, L, H+, and ConvNeXt variants». Mona adapters (Yin, Hu et al., CVPR 2025, arXiv:2408.08345 / 2311.15010): «5%>100%: Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks». Han et al. TPAMI 2022 (DOI:10.1109/TPAMI.2021.3117837): «strategically allocate computations on demand at test time, by selectively activating model components».
**(5) Отличие.** Sample4Geo / CAMP — ConvNeXt-B (~89 M, тяжелее на edge). CrossText2Loc — CLIP-L/14 без edge-оптимизации. WELN, FSRA — нет distillation-pipeline. ARGF добавляет минимально к frozen-foundational-models.
---
## Приложение А. Каверзы и ограничения (для всех 15 гипотез)
1.**Калибровка δ-thresholds.**Все δ откалиброваны по std seed-replication на University-1652 (~0.3 п.п. для R@1) и SUES-200 (Zhu et al., IEEE TCSVT **33(9)**:4825–4839, DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704), где «SUES-200 collects data from the same scene at four heights (150 m, 200 m, 250 m, 300 m)». Современные методы (CAMP/Sample4Geo/MCCG) на SUES-200 при 200 m имеют R@1 ≈ 92–98%; (MGS)²-Net (2025 preprint, не peer-reviewed) заявляет до 99.78% R@1 на 300 m.
2.**Статистические критерии.** Следуем Demšar (JMLR **7**:1–30, 2006): Wilcoxon signed-rank для пары методов, Friedman + Nemenyi post-hoc для $\ge 3$ методов. Bonferroni-коррекция для множественных сравнений уровня.
3.**Размер эффекта.** Cohen's $d$: 0.2/0.5/0.8 = small/medium/large; Hedges' $g$ — bias-corrected версия для $N<30$.
4.**Воспроизводимость.**Все ablation — на одинаковых seeds, фиксированной $\tau$-инициализации, фиксированной batch-size, без data leakage между train/val/test.
5.**Edge-метрики H5.** Цель Jetson Orin Nano, INT8/bf16, batch=1, измерение по nvidia-smi + torch.profiler.
6.**Уязвимости теоремы 1.** Модель шума $n\sim\mathcal N(0,\sigma_n^2 I)$ — изотропная; реальный шум CLIP-эмбеддингов анизотропен. В этом случае «удвоение шума» нужно понимать в смысле trace(Cov) (что инвариантно к базису).
7.**Уязвимости теоремы 2.** Гауссовость $\pi_{\text{sub}}(v)$ — модельное допущение; $\ell_2$-нормализация Mahalanobis++ его улучшает, но не гарантирует строго.
---
## Приложение Б. Сводный список цитированных работ (DOI / arXiv)
1. Arevalo et al., GMU. arXiv:1702.01992 (ICLR-W 2017). DOI: 10.48550/arXiv.1702.01992.
32. Zhang et al., iSogCLR. arXiv:2305.11965 (ICML 2023).
33. Dey et al., DyStress. arXiv:2308.01140 (2023).
---
### TL;DR (3 пункта, к защите)
1.**П1 (ARGF + SM-InfoScore)** — теоретически обоснованная (леммы 1, теоремы 1–3) и эмпирически верифицируемая адаптивная маршрутизация residual для модальностей с переменным SNR, дающая прирост Drone→Sat R@1 ≥ +1.5 п.п. на University-1652.
2.**П2 (Hierarchical InfoScore по L1/L2/L3/T_meta)** — приоритизация cross-view fingerprint (L3) и комплементарность с T_meta, статистически проверяемые через Fisher z-test и Bonferroni-corrected t-tests.
3. **П3 (двухтрактовая fusion + symmetric loss 0.6/0.4 + learnable τ)** — edge-применимость (≤ 0.5 M доп. параметров, ≤ 5 ms latency на Jetson Orin Nano) при совместимости с DINOv3-distillation. Все 15 гипотез имеют формализованные $H_0/H_1$, тестовые статистики, δ-thresholds и эффект-сайзы по Cohen.
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
#### N1_H1 — Гипотеза SNR-деструктивности.
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off).
- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях.
- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков).
- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
### N1_H1. SNR-деструктивность residual
**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual.
**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing.
### П3. Двухтрактовое информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью
### П3. Информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью
**Защищаемое положение.** Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что:
**Защищаемое положение.** Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) входов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что:
1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore;
1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore;
2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough);
2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough);
3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, —
3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, —
**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как драйвер адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.==
**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как для адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.==
### 1.6. Риски недоказуемости
### 1.6. Риски недоказуемости
@@ -171,16 +171,11 @@ tags:
* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания.
* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания.
* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.
* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.
#### N2_H5 — Гипотеза совместимости П1 + П2.
* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс.
* *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях).
* *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200.
---
---
### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов
### П3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных (T_meta)
Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.
Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.
#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.
#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α.
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α.
[[Gate Fusion]], [[InfoScore for residual routing]]
[[Финализация трёх пунктов научной новизны]]
[[Финализация трёх пунктов научной новизны]]
[[Научная_новизна_актуализация]]
[[Научная_новизна_актуализация]]
[[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]]
[[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]]
@@ -26,7 +26,7 @@ tags:
#### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
#### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
**Гипотезы** [[Гипотезы N2]]
**Гипотезы** [[Гипотезы N2]]
#### 3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного(T_meta) трактов
#### 3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных(T_meta)
**Гипотезы** [[Гипотезы N3]]
**Гипотезы** [[Гипотезы N3]]
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.