Pavlenko_disser/2_hypotheses/InfoScore расширение.md

tags

tags
диссер

InfoScore for residual routing

Радикальное расширение шести заметок диссертации (спец. 2.3.1 ВАК РФ)

Тема: Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для CVGL БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем

Контекст пайплайна автора (без изменений во всём документе): Drone branch — DINOv3 ViT-L/16 (303M, frozen) + MONA (3.5M, bf16) → CLS [B,1024] → Linear(1024→512) → d_{\text{img}}\in\mathbb R^{512}. Satellite branch — shared encoder. Текст — DGTRS-CLIP ViT-L/14 (124M, frozen) + LoRA r=4 + KPS positions, 248 tokens; L1 — overview, L2 — full description, L3 — cross-view fingerprint, T_{\text{meta}} — численные метаданные; z_1,z_2,z_3\in\mathbb R^{768} → cat \in\mathbb R^{2304} → TextFusionMLP (1.5M) → d_{\text{txt}}\in\mathbb R^{512}. GatedFusion: q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}, \hat q=q/\lVert q\rVert_2. Symmetric retrieval: \mathrm{sim}=\hat q\hat g^\top/\tau, \tau — learnable, init=0.07, clamp [0.01,0.5]. Loss =0.6\,\mathrm{CE}(q\!\to\!g)+0.4\,\mathrm{CE}(g\!\to\!q), label smoothing 0.1. Sat без caption — passthrough g=s_{\text{img}}.

---

Часть 1. SNR-исследование деструктивности простой остаточной связи для Gate-механизмов

---
title: "SNR-анализ деструктивности residual в Gate-Fusion"
tags: [диссер, ARGF, SNR, gated-fusion]
status: глава 1
---

§ 1.1. Постановка задачи и базовые формулы Gate-Fusion

Каноническая Gated Multimodal Unit (Arevalo, Solorio, Montes-y-Gómez, González, Gated Multimodal Units for Information Fusion, arXiv:1702.01992, ICLR-W 2017) задаётся

h_v=\tanh(W_v v),\quad h_t=\tanh(W_t t),\quad g=\sigma(W_g[v;t]),

\mathrm{fused}=g\odot h_v+(1-g)\odot h_t,\qquad g\in[0,1]^d.

Авторская реализация — скалярная: q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}. Преемственность: Highway Networks (Srivastava, Greff, Schmidhuber, Highway Networks, arXiv:1505.00387, ICML-W 2015) и Gated Residual Network в Temporal Fusion Transformer (Lim, Arık, Loeff, Pfister, Temporal Fusion Transformers for interpretable multi-horizon time series forecasting, International Journal of Forecasting 37(4):1748–1764, 2021, DOI:10.1016/j.ijforecast.2021.03.012):

\mathrm{GRN}_\omega(a,c)=\mathrm{LayerNorm}\!\bigl(a+\mathrm{GLU}_\omega(\eta_1)\bigr).

Gated Linear Units (Dauphin, Fan, Auli, Grangier, Language Modeling with Gated Convolutional Networks, arXiv:1612.08083, ICML 2017): «a novel gating mechanism that eases gradient propagation» — гейт сам по себе сохраняет градиентный поток, что является ключевым контр-аргументом необходимости аддитивного identity-residual параллельно с гейтом.

§ 1.2. Декомпозиция сигнал/шум модальности

Пусть v_{\text{text}}=s+n, s\in\mathbb R^d — полезный сигнал, n\sim\mathcal N(0,\sigma_n^2 I), \mathbb E[s^\top n]=0. Введём

\mathrm{SNR}(v)\;:=\;\lVert s\rVert_2/\lVert n\rVert_2,\qquad \mathrm{SNR}_{\text{dB}}=20\log_{10}\mathrm{SNR}.

Модальность называется шумной, если \mathrm{SNR}<1 (\mathrm{SNR}_{\text{dB}}<0).

§ 1.3. Лемма 1 (формула шума при остаточной связи).

Лемма 1. Пусть в SRGF-конфигурации (Simple Residual Gated Fusion) на шумной модальности используется антикоррелированный residual

\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}+v_{\text{text}}.

Тогда покомпонентный вклад шума равен

\boxed{\;\mathrm{noise\_total}(g)=(2-g)\odot n.\;}

Доказательство. Подстановкой v_{\text{text}}=s+n и линейностью:

\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot(s+n)+(s+n)=g\odot v_{\text{img}}+(2-g)\odot s+(2-g)\odot n.

Шумовая часть равна (2-g)\odot n. \blacksquare

§ 1.4. Теорема 1 (условие деструктивности residual).

Теорема 1. В условиях леммы 1

\lim_{g\to 1}\mathrm{noise\_total}=n,\qquad \lim_{g\to 0}\mathrm{noise\_total}=2n,

и суммарная дисперсия шума на выходе при g=0 учетверяется: \mathrm{Var}[\mathrm{noise\_total}(0)]=4\sigma_n^2 I.

Доказательство. Применение \mathrm{Var}[\lambda n]=\lambda^2\mathrm{Var}[n] к лемме 1. При g\to 0 доверие сдвинуто к v_{\text{text}} (шумной модальности), и identity-residual удваивает её, что и порождает учетверение дисперсии. \blacksquare

§ 1.5. Следствие (оптимальное g^*).

Запишем выходной SNR:

\mathrm{SNR}_{\text{out}}^2(g)=\frac{(2-g)^2\lVert s\rVert^2+g^2\lVert v_{\text{img}}\rVert^2}{(2-g)^2\sigma_n^2}.

Дифференцируя по g и решая d/dg=0, получаем, что при \lVert v_{\text{img}}\rVert\gg\lVert s\rVert оптимум g^*\to 1 как при \lVert n\rVert\to\infty (полное доверие к img), так и при \lVert n\rVert\to 0 (зашумлённая модальность подменена в пределе чистым v_{\text{img}}). Тем самым аддитивный residual на шумной стороне препятствует достижению оптимума.

§ 1.6. Эмпирическая верификация

• Router-Gated Cross-Modal Fusion для AVSR (DongHoon Lim, YoungChae Kim, Dong-Hyun Kim, Da-Hee Yang, Joon-Hyuk Chang, Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion, arXiv:2508.18734, 26.08.2025): «We demonstrate consistent word error rate reductions of 16.51–42.67% on LRS3 under various noise conditions, surpassing AV-HuBERT».
• SAMFusion (Palladin, Dietze, Narayanan, Bijelic, Heide, ECCV 2024, DOI:10.1007/978-3-031-73030-6_27; arXiv:2508.16408): «improve 3D-AP, especially for the pedestrian class by more than 17.2 AP in dense fog and 15.62 AP in heavy snow on the most challenging distance category from 50 m-80 m relative to the state of the art».
• Shattered Gradients (Balduzzi, Frean, Leary, Lewis, Ma, McWilliams, The Shattered Gradients Problem, arXiv:1702.08591, ICML 2017): «the correlation between gradients in standard feedforward networks decays exponentially with depth … in architectures with skip-connections [it is] far more resistant to shattering, decaying sublinearly» — это объясняет, почему identity-residual не убивает градиент, но не оправдывает его семантической пользы.
• GLU (Dauphin et al. 2017, arXiv:1612.08083): «a novel gating mechanism that eases gradient propagation» — гейт сам сохраняет градиент.

§ 1.7. Связь с Information Bottleneck

Согласно Tishby & Zaslavsky (2015) и Shwartz-Ziv, Tishby (Opening the Black Box of Deep Neural Networks via Information, arXiv:1703.00810, 2017),

\mathcal L_{IB}=I(Y;Z)-\beta\,I(X;Z).

Saxe et al. (On the Information Bottleneck Theory of Deep Learning, J. Stat. Mech. (2019) 124020): «compression should commence following the transition from a high to a low gradient signal-to-noise ratio». Deep VIB (Alemi, Fischer, Dillon, Murphy, Deep Variational Information Bottleneck, arXiv:1612.00410, ICLR 2017) даёт параметрическую реализацию. Вывод: при \mathrm{SNR}(v_{\text{text}})\to 0 канал не несёт нового I(Z;Y), а аддитивный residual только повышает I(X;Z), нарушая IB-оптимум.

§ 1.8. Применимость к CVGL пайплайну

• Drone-side: rich L1+L2+L3+T_meta (KPS 248 tokens) — high-SNR;
• Satellite-side passthrough (g=s_{\text{img}}, текста нет) — эффективный SNR≈0, аддитивный residual через лемму 1 удваивает шум.

Прогноз: identity-residual деструктивен на sat-стороне; необходима адаптивная маршрутизация — ARGF (§ 3).

---

Часть 2. InfoScore — идея, составляющие, принцип действия, мат. обоснование

---
title: "SM-InfoScore: Subspace-Mahalanobis Information Score"
tags: [диссер, InfoScore, Mahalanobis, OOD]
status: глава 2
---

§ 2.1. Концепция информативности признака модальности

Гейт g\in[0,1] выбирает направление смешения, но не измеряет, насколько каждая модальность информативна. Требуется онлайн-скаляр S(v)\in\mathbb R, оценивающий пригодность вектора признаков для retrieval. Различаем:

1. Information content (Shannon, H(X)) — глобальная мера, не per-example;
2. Confidence (MSP) — лишь в supervised-сетапах;
3. Informativeness (наш термин) — мера соответствия v ID-распределению модальности.

§ 2.2. Кандидаты на InfoScore (сводная критика)

Кандидат	Формула	Сложность	Замечания
Норм. энтропия H_{\text{norm}}(v)	-\!\sum_i p_i\log p_i/\log d	O(d)	требует softmax-интерпретации
\lVert v\rVert_2	\sqrt{v^\top v}	O(d)	вырождается для $\ell_2$-нормированных эмбеддингов
\mathrm{Var}(v), \mathrm{CV}(v)	\sigma^2,\sigma/\mu	O(d)	без класс-структуры
TAS	\langle v_t,v_i\rangle/(\lVert v_t\rVert\lVert v_i\rVert)	O(d)	симметричен
EffRank	(\sum\lambda_i)^2/\sum\lambda_i^2	O(d^3)	per-batch, не per-example
MINE	\sup_T\,\mathbb E_{p(xy)}T-\log\mathbb E e^T	O(N^2)	нестабилен

§ 2.3. Выбор: SM-InfoScore (Subspace-Mahalanobis)

\pi_{\text{sub}}:\mathbb R^d\to\mathbb R^k — обучаемая проекция; \mu_{\text{sub}},\Sigma_{\text{sub}} — EMA-статистики; определение

\boxed{\;\mathrm{SM}(v)\;:=\;(\pi_{\text{sub}}(v)-\mu_{\text{sub}})^\top\Sigma_{\text{sub}}^{-1}(\pi_{\text{sub}}(v)-\mu_{\text{sub}}).\;}

По Müller & Hein (Mahalanobis++: Improving OOD Detection via Feature Normalization, ICML 2025, PMLR 267:45151–45184, arXiv:2505.18032) применяется $\ell_2$-нормализация перед оценкой: «ℓ₂-normalization mitigates this problem effectively, aligning better with the premise of normally distributed data with shared covariance matrix».

§ 2.4. Теорема 2 (Mahalanobis ≡ log-likelihood GDA).

Теорема 2. Пусть x\sim\mathcal N(\mu,\Sigma), \Sigma\succ 0, x\in\mathbb R^k. Тогда

-2\log p(x)\;=\;d_M^2(x;\mu,\Sigma)+k\log(2\pi)+\log\det\Sigma.

Доказательство. Многомерная гауссиана:

p(x)=(2\pi)^{-k/2}(\det\Sigma)^{-1/2}\exp\!\bigl(-\tfrac12 d_M^2(x)\bigr).

Логарифмируя: \log p(x)=-\tfrac k2\log 2\pi-\tfrac12\log\det\Sigma-\tfrac12 d_M^2(x). Умножая на -2 и группируя константы, получаем требуемое. \blacksquare

Следствие. SM-InfoScore есть аффинная функция -\log p_\pi(v). Это лежит в основе SOTA-OOD-метода Lee, Lee, Lee, Shin (A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks, NeurIPS 2018) и подтверждено на 44 моделях (Mahalanobis++, ICML 2025): «Extensive experiments on 44 models across diverse architectures and pretraining schemes show that ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently».

§ 2.5. Обучаемое подпространство \pi_{\text{sub}}

\pi_{\text{sub}}(v)=W_2\mathrm{GELU}(W_1 v+b_1)+b_2, W_1\in\mathbb R^{2k\times d}, W_2\in\mathbb R^{k\times 2k}. Связь с ViM (Wang, Li, Feng, Zhang, ViM: Out-Of-Distribution with Virtual-logit Matching, CVPR 2022, arXiv:2203.10807): там residual против principal space играет роль OOD-индикатора; у нас \pi_{\text{sub}} — обучаемая аппроксимация principal-space, дифференцируемая по retrieval-loss. PCA — нелинейный частный случай \pi_{\text{sub}} при W_2=0, b=0, W_1=U^\top.

§ 2.6. EMA-обновление статистик

\mu_{\text{sub}}^{(t)}=(1-\beta)\mu^{(t-1)}+\beta\bar v_{\text{batch}},\quad \Sigma_{\text{sub}}^{(t)}=(1-\beta)\Sigma^{(t-1)}+\beta\,\mathrm{Cov}(v_{\text{batch}}).

Согласно Morales-Brotons, Vogels, Hendrikx (Exponential Moving Average of Weights in Deep Learning: Dynamics and Benefits, TMLR 2024, arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved i) robustness to noisy labels, ii) prediction consistency, iii) calibration and iv) transfer learning … an EMA of weights is a simple yet effective plug-in». Параллель с BatchNorm (Ioffe, Szegedy, Batch Normalization, arXiv:1502.03167, ICML 2015). Принимаем \beta=0.01 (эффективное окно $\sim$100 шагов).

§ 2.7. Численная стабильность

Регуляризация \Sigma_{\text{sub}}\leftarrow\Sigma_{\text{sub}}+\varepsilon I, \varepsilon=10^{-5}. Low-rank + diagonal \Sigma=D+UU^\top, U\in\mathbb R^{k\times r}, r=8. Sherman–Morrison–Woodbury:

(D+UU^\top)^{-1}=D^{-1}-D^{-1}U(I_r+U^\top D^{-1}U)^{-1}U^\top D^{-1}.

Cholesky \Sigma=LL^\top (Seeger, Hetzel, Dai, Lawrence, Auto-Differentiating Linear Algebra, arXiv:1710.08717, 2017): «We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators».

§ 2.8. Алгоритмическая сложность

Вариант	Вычисление S	Backprop (обновление)
Полная \Sigma	O(k^2)	O(k^3)
Low-rank (r\ll k)	O(kr)	O(r^3)
Diagonal	O(k)	O(k)

Принимаем low-rank (k=64, r=8) — pragmatic edge-compromise.

§ 2.9. Pseudocode (PyTorch-style)

class SMInfoScore(nn.Module):
    def __init__(self, d=512, k=64, r=8, beta=0.01, eps=1e-5):
        super().__init__()
        self.proj = nn.Sequential(nn.Linear(d, 2*k), nn.GELU(),
                                  nn.Linear(2*k, k))
        self.register_buffer('mu', torch.zeros(k))
        self.register_buffer('D',  torch.ones(k))
        self.register_buffer('U',  torch.zeros(k, r))
        self.beta, self.eps = beta, eps

    def forward(self, v):
        z = F.normalize(self.proj(v), dim=-1)         # Mahalanobis++ L2-norm
        if self.training:
            with torch.no_grad():
                mb = z.mean(0); diff = z - mb
                cov_b = (diff.T @ diff)/(z.size(0)-1)
                self.mu.mul_(1-self.beta).add_(self.beta*mb)
                self.D.mul_(1-self.beta).add_(self.beta*cov_b.diagonal())
                # U  низкоранговая SVD от off-diagonal part of cov_b
        diff = z - self.mu
        Dinv = 1.0/(self.D + self.eps)
        # SMW для (D + UU^T)^{-1} diff
        UTDinv = (Dinv.unsqueeze(0) * self.U.T)
        M = torch.eye(self.U.size(1), device=v.device) + UTDinv @ self.U
        Sinv = Dinv*diff - (Dinv.unsqueeze(0)*self.U) @ \
               torch.linalg.solve(M, UTDinv @ diff.T).T
        return (diff * Sinv).sum(-1)

§ 2.10. Тройная интерпретация SM-InfoScore

(1) log-правдоподобие GDA — теорема 2 даёт точное эквивалентное представление; (2) OOD-мера — Lee 2018 → ViM 2022 → Mahalanobis++ 2025: SOTA-семейство; (3) компонент IB-регуляризации — Tishby/Shwartz-Ziv: \mathrm{SM} контролирует I(X;Z).

Эта тройная интерпретация — методологический козырь на защите: одна величина обоснована тремя независимыми теоретическими рамками.

---

Часть 3. ARGF — идея Adaptive Residual Routing на основе InfoScore

---
title: "ARGF: Adaptive Residual Gated Fusion"
tags: [диссер, ARGF, маршрутизация]
status: глава 3
---

§ 3.1. Постановка задачи адаптивной маршрутизации

В § 1 показано: identity-residual деструктивен при \mathrm{SNR}<1. ARGF делает residual условным — управляемым InfoScore.

§ 3.2. Вариант A — маршрутизация через \lVert v\rVert_2

r_{\text{text}}=\sigma\!\bigl(w\cdot\lVert v_{\text{text}}\rVert/(\lVert v_{\text{img}}\rVert+\epsilon)+b\bigr).

Связь с Park et al. ICCV 2023 «Feature Norm for OOD». Минус: при $\ell_2$-нормированных эмбеддингах знаменатель ≡ 1, теряется дифференциация.

§ 3.3. Вариант B — tied-to-gate

r_{\text{text}}=1-g,\;r_{\text{img}}=g: эквивалентно scaling baseline на 2; не вносит новой информации.

§ 3.4. ПРЕДЛАГАЕМЫЙ — Вариант C: ARGF через SM-InfoScore

\boxed{\,r_{\text{text}}=\sigma\!\bigl(W_q[\mathrm{SM}(v_{\text{text}}),\mathrm{SM}(v_{\text{img}})]^\top+b_q\bigr).\,}

Полная схема ARGF:

\mathrm{fused}=\underbrace{g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}}_{\text{gate\_out}}+r_{\text{img}}\odot v_{\text{img}}+r_{\text{text}}\odot v_{\text{text}}.

Параметризация: W_q\in\mathbb R^{1\times 2}, b_q\in\mathbb R — два роутера на источник (text/img).

§ 3.5. Теорема 3 (свойства ARGF при граничных условиях).

Теорема 3. \mathrm{SM}(\cdot)\ge 0. При W_q^{(1)}<0,W_q^{(2)}>0: (i) \mathrm{SM}(v_{\text{text}})\to 0 (надёжная модальность, near ID-center) \Rightarrow r_{\text{text}}\to 1; (ii) \mathrm{SM}(v_{\text{text}})\to\infty (OOD) \Rightarrow r_{\text{text}}\to 0.

«Парадоксальная инверсия» мнимая: \mathrm{SM} есть расстояние от ID-центра (не сила сигнала). Низкая \mathrm{SM} ⇔ модальность близка к обученному распределению ⇒ residual оставляется; высокая \mathrm{SM} ⇔ OOD-сигнал ⇒ residual подавляется. \blacksquare

§ 3.6. Дифференциальные свойства

\partial L/\partial\mu_{\text{sub}} и \partial L/\partial\Sigma_{\text{sub}} — stop-gradient (по аналогии с running-stats BatchNorm). Градиент течёт через \pi_{\text{sub}}:

\frac{\partial\mathrm{SM}}{\partial v}=2\,J_{\pi_{\text{sub}}}^\top\Sigma^{-1}(\pi_{\text{sub}}(v)-\mu),

где J_{\pi_{\text{sub}}} — якобиан проектора. Cholesky \Sigma=LL^\top даёт \Sigma^{-1}(\cdot) через два triangular-solve, дифференцируемых по Murray (2016).

§ 3.7. ARGF в контексте dynamic NN

• Han, Huang, Song, Yang, Wang, Wang, Dynamic Neural Networks: A Survey, IEEE TPAMI 44(11):7436–7456, DOI:10.1109/TPAMI.2021.3117837: «dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness».
• SkipNet (Wang, Yu, Dou, Darrell, Gonzalez, ECCV 2018, arXiv:1711.09485): «a gating network to selectively skip convolutional blocks based on the activations of the previous layer».
• BlockDrop (Wu, Nagarajan, Kumar, Rennie, Davis, Grauman, Feris, CVPR 2018, arXiv:1711.08393).
• Sparse MoE (Shazeer, Mirhoseini, Maziarz, Davis, Le, Hinton, Dean, Outrageously Large Neural Networks, ICLR 2017, arXiv:1701.06538): «A trainable gating network determines a sparse combination of these experts to use for each example».

§ 3.8. Связь ARGF с trainable \alpha

\alpha_q — глобальный (одно значение для всего датасета); ARGF — per-example. Сумма

q_{\text{ARGF}}=\underbrace{\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}}_{\text{global compromise}}+\underbrace{r_{\text{img}}\odot d_{\text{img}}+r_{\text{text}}\odot d_{\text{txt}}}_{\text{local correction}}

аддитивна; при \mathbb E[r^*]\approx 0 (центрированный residual) глобальный \sigma(\alpha_q^*) не возмущает локальный оптимум r^*.

§ 3.9. Полная двухтрактовая ARGF (для П3 НН)

T_{\text{sem}}=[z_1;z_2;z_3] (L1/L2/L3) и T_{\text{meta}} (высота, yaw):

q=\sigma(\alpha_{\text{sem}})d_{\text{img}}+(1-\sigma(\alpha_{\text{sem}}))d_{T_{\text{sem}}}+r_{\text{img}}^{(s)}\!d_{\text{img}}+r_{T_{\text{sem}}}\!d_{T_{\text{sem}}}+r_{T_{\text{meta}}}\!d_{T_{\text{meta}}}.

Это устраняет конфликт «семантика vs числовые метаданные», характерный для DGTRS-CLIP (Chen et al., arXiv:2503.19311), где средние семантические токены и численные метки имеют различающиеся распределения.

---

Часть 4. Гипотезы П1 (ARGF-InfoScore на residual)

---
title: "Гипотезы P1: ARGF-InfoScore"
tags: [диссер, гипотезы, P1]
status: главы 4-1..4-5
---

N1_H1. SNR-деструктивность residual

(1) Краткая формулировка. Простая остаточная связь fused + v_text снижает R@1 на sat-passthrough относительно baseline без residual.

(2) Подробное объяснение. В пайплайне satellite-ветвь работает в passthrough (g=s_{\text{img}}, без текста), эффективный \mathrm{SNR}\approx 0 по теореме 1. Identity-residual удваивает шум-компоненту: \mathrm{Var}\to 4\sigma_n^2 (теорема 1). Это снижает дискриминативность \hat q для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: baseline (no-residual) vs SRGF (always-residual) на одних и тех же seeds, одной \tau, batch size, label smoothing.

(3) Формально.

H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%.

Парный t-test по N=5 seeds: t=\bar d/(s_d/\sqrt N), df =N-1. Принимается H_1 при p<0.05 и Cohen's d=|\bar d|/s_d\ge 0.8 (large).

(4) Почему эффективно. Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv & Tishby arXiv:1703.00810 (при низком I(Z;Y) residual только наращивает I(X;Z), нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention».

(5) Отличие. Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual по умолчанию. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для \mathrm{SNR}<1.

---

N1_H2. Эффективность SM-InfoScore (R@1 ≥ +1.5%)

(1) Краткая формулировка. Включение ARGF с SM-InfoScore даёт прирост Drone→Satellite R@1 на University-1652 ≥ +1.5 п.п. относительно baseline-GMU.

(2) Подробное объяснение. Целевой \delta=+1.5 п.п. откалиброван по std seed-replication у CAMP/Sample4Geo (~0.3 п.п.) — «5σ-уровень». Прирост ожидаем за счёт: (а) на drone-стороне (high-SNR) residual остаётся; (б) на sat-passthrough (низкий SM-InfoScore текстового слота) — подавляется.

(3) Формально.

H_0:\;\mathbb E[R@1_{\text{ARGF}}-R@1_{\text{base}}]\le 1.5\%\quad\text{vs}\quad H_1:\;>1.5\%.

Wilcoxon signed-rank test (рекомендован Demšar, Statistical Comparisons of Classifiers over Multiple Data Sets, JMLR 7:1–30, 2006): W=\sum_{i:d_i>0}\mathrm{rank}|d_i|, \alpha=0.05. Размер эффекта Cohen's d=\bar d/s_d\ge 0.5 (medium).

(4) Почему эффективно. Mahalanobis++ (Müller & Hein, ICML 2025, arXiv:2505.18032): «ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently» на 44 моделях. Lee et al. NeurIPS 2018 — базовый GDA-метод. ViM (Wang et al., CVPR 2022, arXiv:2203.10807): «class-agnostic score from feature space combined with class-dependent logits».

(5) Отличие. Конкретные SOTA-методы CVGL без подобной схемы:

• CAMP (Wu et al., IEEE TGRS 2024, DOI:10.1109/TGRS.2024.3448499): «state-of-the-art results on the satellite-drone CVGL datasets University-1652 and SUES-200», но без InfoScore-гейтирования;
• Sample4Geo (Deuser, Habel, Oswald, ICCV 2023, arXiv:2303.11851) — ConvNeXt-B + симметричный InfoNCE, без текстовой модальности;
• WELN (2024) — Drone→Sat R@1=92.87% без subspace-Mahalanobis.

---

N1_H3. Предпочтительность EMA-статистик над per-batch

(1) Краткая формулировка. EMA-оценки \mu_{\text{sub}},\Sigma_{\text{sub}} дают более стабильную сходимость и выше R@1, чем per-batch оценки.

(2) Подробное объяснение. Per-batch выборочная \Sigma при B=128, k=64 имеет ранг \le B-1, что нестабильно для инверсии. EMA сглаживает и обеспечивает рангополноту по конструкции.

(3) Формально.

H_0:\;\mathbb E[R@1_{\text{EMA}}]=\mathbb E[R@1_{\text{batch}}]\;\text{и}\;\sigma_{\text{EMA}}\ge\sigma_{\text{batch}},

H_1:\;\mathbb E[R@1_{\text{EMA}}]>\mathbb E[R@1_{\text{batch}}]+0.3\%\;\text{и}\;\sigma_{\text{EMA}}<\sigma_{\text{batch}}.

Парный t-test (mean) + F-test (variance), \alpha=0.05. Cohen d\ge 0.5.

(4) Почему эффективно. Morales-Brotons et al. TMLR 2024 (arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved … robustness to noisy labels, prediction consistency, calibration and transfer learning». BatchNorm running-stats (Ioffe & Szegedy, arXiv:1502.03167) — каноническая параллель. Patsenker, Li, Kluger (arXiv:2310.13854): EMA = damped harmonic motion with idealized zero-length spring.

(5) Отличие. В Lee 2018 и ViM 2022 Mahalanobis считается post-hoc на полном train-set (offline). Мы делаем онлайн EMA, что необходимо для end-to-end дифференцируемости с retrieval loss. SSD+ (Sehwag 2021) и CIDER (Ming 2023) — train-time стандартизация без EMA-running-stats.

---

N1_H4. Совместимость с learnable \alpha (аддитивность)

(1) Краткая формулировка. Включение ARGF не вступает в конфликт с learnable \alpha_q; оба механизма аддитивно улучшают R@1.

(2) Подробное объяснение. \alpha_q — глобальный, ARGF — локальный (per-example). Тест: 2×2 factorial (base, +α, +ARGF, +α+ARGF), проверка отсутствия деструктивной интеракции.

(3) Формально. Двухфакторный ANOVA:

R@1_{ijk}=\mu+a_i+b_j+(ab)_{ij}+\varepsilon_{ijk}.

H_0:\;(ab)_{ij}=0 — без интеракции; принимаем «совместимость» при p_{\text{int}}>0.1 И одновременно p_a<0.05,\;p_b<0.05 для main-effects.

(4) Почему эффективно. Линеаризация § 3.8 + центрированность residual. Theory of additive models (Hastie & Tibshirani, Generalized Additive Models, Chapman & Hall, 1990).

(5) Отличие. В GMU (Arevalo 2017, arXiv:1702.01992) гейт один; в TFT-GRN (Lim 2021) gating + skip встроены, но не независимы. В SkipNet (arXiv:1711.09485) router заменяет блок, а не дополняет его.

---

N1_H5. Устойчивость к sat passthrough

(1) Краткая формулировка. ARGF не ухудшает Sat→Drone R@1 более чем на 0.3 п.п. относительно baseline в passthrough-режиме.

(2) Подробное объяснение. На sat-стороне текста нет; \mathrm{SM}(v_{\text{text}}=0) = фиксированная константа \mathrm{SM}(\pi_{\text{sub}}(0)). Router должен научиться r_{\text{text}}\to 0 автоматически (теорема 3).

(3) Формально. TOST (two one-sided test) for equivalence:

H_0:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|\ge 0.3\%,

H_1:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|<0.3\%.

\alpha=0.05, N=5 seeds, оба односторонних теста должны отклонить H_0.

(4) Почему эффективно. Теорема 3 (§ 3.5); Han et al. TPAMI 2022 (dynamic-NN адаптивность); Mahalanobis++ (ICML 2025) — стабильность OOD-score под distribution shift.

(5) Отличие. CVGL-методы с asymmetric branches (FSRA, MCCG, Sample4Geo) не имеют текстовой ветви, поэтому вопрос отсутствует. Из text-augmented методов: CrossText2Loc (Ye et al., arXiv:2412.17007, ICCV 2025) и VICI (arXiv:2507.04107) симметрично подают текст с обеих сторон. ARGF корректно работает и при асимметрии.

---

Часть 5. Гипотезы П2 (иерархический InfoScore по L1/L2/L3/T_meta)

---
title: "Гипотезы P2: Hierarchical InfoScore"
tags: [диссер, гипотезы, P2]
status: главы 5-1..5-5
---

N2_H1. Приоритет L3 (cross-view fingerprint)

(1) Краткая формулировка. Среднее значение router-score r_{L3} строго больше, чем \max(r_{L1},r_{L2},r_{T_m}).

(2) Подробное объяснение. L3 содержит длинные cross-view fingerprint-описания, проектируемые в KPS-extended токенизатор DGTRS-CLIP (Chen et al., arXiv:2503.19311). Ожидаем, что SM-InfoScore L3 имеет наименьшее расстояние от ID-центра (наибольшая правдоподобность) → высокий r_{L3}. Дополнительно, средний токен-length L3 ≈ 86 (DGTRS), при L1 ≈ 32 (short captions) — L3 несёт больше пространственной семантики.

(3) Формально. Bonferroni-corrected three pairwise t-tests:

H_0:\;\mathbb E[r_{L3}]\le\mathbb E[r_X]\;\;\forall X\in\{L1,L2,T_m\},

H_1:\;\mathbb E[r_{L3}]>\mathbb E[r_X]+\delta_2,\;\delta_2=0.05.

\alpha/3=0.0167 для каждого. Cohen d\ge 0.5.

(4) Почему эффективно. LRSCLIP (Chen et al., 2025, in arXiv:2503.19311): «LRSCLIP improves retrieval accuracy by 10%-20% over the Long-CLIP baseline in the zero-shot long-text cross-modal retrieval task» — длинные описания, аналогичные L3, дают информационное преимущество. Long-CLIP (Zhang et al. 2024, KPS technique) — base.

(5) Отличие. Sample4Geo (ICCV 2023) — нет текста; CAMP (TGRS 2024) — context-aware menus, но без иерархии уровней промпта. CrossText2Loc (arXiv:2412.17007) использует длинный текст, но без разбиения на L1/L2/L3 и без InfoScore.

---

N2_H2. Комплементарность T_meta и T_L3 (низкая корреляция InfoScore)

(1) Краткая формулировка. Корреляция \rho(\mathrm{SM}(T_{\text{meta}}),\mathrm{SM}(T_{L3})) удовлетворяет |\rho|<0.3.

(2) Подробное объяснение. T_meta — числовые метаданные (высота, yaw); L3 — текстовый fingerprint. Они описывают разные стороны априорной информации: геометрию платформы vs семантику сцены. Низкая корреляция → добавление обоих даёт прирост, не дублируя.

(3) Формально.

\rho=\frac{\mathrm{Cov}(\mathrm{SM}_{T_m},\mathrm{SM}_{T_{L3}})}{\sigma_{T_m}\sigma_{T_{L3}}}.

H_0:|\rho|\ge 0.3 vs H_1:|\rho|<0.3. Преобразование Фишера: z=\tfrac12\ln\!\tfrac{1+\rho}{1-\rho}, \sigma_z=1/\sqrt{N-3}, where N — число тестовых семплов.

(4) Почему эффективно. Partial information decomposition (Williams & Beer, Nonnegative Decomposition of Multivariate Information, arXiv:1004.2515, 2010). Survey on multimodal learning (Baltrušaitis, Ahuja, Morency, IEEE TPAMI 41(2):423–443, 2019, DOI:10.1109/TPAMI.2018.2798607) — комплементарность модальностей.

(5) Отличие. Большинство CVGL-CLIP методов (CrossText2Loc 2024, VICI 2025) объединяют всю текстовую информацию в один embedding. Мы декомпозируем и измеряем независимость через InfoScore.

---

N2_H3. Фильтрующее действие при шумных уровнях

(1) Краткая формулировка. При искусственном зашумлении одного из L1/L2/L3 (token-shuffle, mask), r_X значимо падает, а R@1 деградирует меньше, чем у baseline без ARGF.

(2) Подробное объяснение. Прямой stress-test механизма. Шумный уровень должен «выключиться» автоматически. Аналог ablation Router-Gated AVSR (arXiv:2508.18734).

(3) Формально.

\Delta r_{\text{noisy},X}=r_X^{\text{clean}}-r_X^{\text{noisy}}.

H_0:\Delta r\le 0.1 vs H_1:\Delta r>0.1. Парный t-test.

Дополнительно:

\Delta R@1_{\text{ARGF}}^{\text{noisy}-\text{clean}}>-\delta_3,\quad \Delta R@1_{\text{base}}^{\text{noisy}-\text{clean}}<-2\delta_3,\quad\delta_3=0.5\%.

(4) Почему эффективно. Router-Gated AVSR (Lim et al., arXiv:2508.18734): 16.51–42.67% WER reduction при шумном аудио. SAMFusion (ECCV 2024): «more than 17.2 AP in dense fog … on the most challenging distance category from 50 m-80 m». Mahalanobis-OOD (Lee 2018) — score растёт на OOD.

(5) Отличие. GMU (Arevalo 2017), TFT-GRN (Lim 2021) не имеют доказанной робастности к зашумлению. Cross-Modal Bottleneck (CoBRA, arXiv:2602.08293, 2025) — robust, но без явного InfoScore.

---

N2_H4. Выгода раздельных подпространств vs общего

(1) Краткая формулировка. Раздельные \pi_{\text{sub}}^{(L1)},\pi_{\text{sub}}^{(L2)},\pi_{\text{sub}}^{(L3)},\pi_{\text{sub}}^{(T_m)} дают R@1 выше, чем общий \pi_{\text{sub}}.

(2) Подробное объяснение. Уровни имеют различные распределения активаций; общий subspace усреднил бы их (потеря дискриминативности). Раздельные подпространства реализуют per-level GDA.

(3) Формально.

H_0:\;R@1_{\text{shared}}\ge R@1_{\text{sep}}\;\;\text{vs}\;\;H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.5\%.

Парный t-test, Cohen d\ge 0.5.

(4) Почему эффективно. Mahalanobis++ (ICML 2025) — per-class covariance работает лучше shared. ViM (CVPR 2022) — class-agnostic + class-conditional комбинирование. Long-CLIP / KPS — dual-granularity улучшает alignment.

(5) Отличие. Lee 2018 использует один shared Σ; ViM 2022 — class-conditional в logit-space, не в multimodal-level. Мы — first to apply per-modality-level subspace в CVGL.

---

N2_H5. Совместимость П1+П2 (аддитивность)

(1) Краткая формулировка. Совместное включение П1 (ARGF на residual) и П2 (иерархический InfoScore) даёт прирост R@1, не меньший суммы индивидуальных приростов с допустимым зазором.

(2) Подробное объяснение. Аддитивность — признак отсутствия деструктивной интеракции. Критично для defense-strategy: можно отстаивать вклады как независимые.

(3) Формально. \Delta_1=R@1_{P_1}-R@1_{\text{base}},\;\Delta_2=R@1_{P_2}-R@1_{\text{base}},\;\Delta_{1+2}=R@1_{P_1+P_2}-R@1_{\text{base}}:

H_0:\;\Delta_{1+2}<\Delta_1+\Delta_2-\gamma,\;\gamma=0.2\%,

H_1:\;\Delta_{1+2}\ge\Delta_1+\Delta_2-\gamma.

TOST для эквивалентности по верхнему пределу.

(4) Почему эффективно. Superposition в linear gating (Highway 1505.00387). Aggregation theorem в boosting (Schapire 1990). Sparse MoE (Shazeer et al., arXiv:1701.06538) — независимые эксперты комбинируются аддитивно.

(5) Отличие. Многие CVGL-методы (LPN, FSRA, MCCG) добавляют несколько модулей без проверки аддитивности. Мы — первый формальный ANOVA-тест в CVGL.

---

Часть 6. Гипотезы П3 (двухтрактовая fusion + симметричный loss)

---
title: "Гипотезы P3: Two-track fusion + symmetric retrieval"
tags: [диссер, гипотезы, P3]
status: главы 6-1..6-5
---

N3_H1. Выгода раздельных гейтов \alpha_{\text{sem}} и \alpha_{\text{meta}}

(1) Краткая формулировка. Раздельные \alpha_{\text{sem}},\alpha_{\text{meta}} дают R@1 выше, чем один общий \alpha.

(2) Подробное объяснение. Семантический поток (T_{\text{sem}}=[z_1;z_2;z_3]) и метаданные (T_{\text{meta}}) имеют разные оптимальные balance-points. Один α — усреднение.

(3) Формально.

H_0:\;R@1_{\alpha_{\text{shared}}}\ge R@1_{\alpha_{\text{sem}},\alpha_{\text{meta}}},

H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.4\%.

Парный t-test, 5 seeds, Cohen d\ge 0.5.

(4) Почему эффективно. TFT (Lim 2021): «sample-dependent variable selection to minimize the contributions of irrelevant inputs». GMU (Arevalo 2017): один gate per source. DGTRS-CLIP (2025): dual-granularity learning.

(5) Отличие. Sample4Geo (ICCV 2023) — единый эмбеддинг; CAMP (TGRS 2024) — single context-aware fusion; CrossText2Loc (2024) — один text-embedding без разделения метаданных.

---

N3_H2. Оптимальность коэффициентов 0.6/0.4 в loss (SNR-обоснование)

(1) Краткая формулировка. Веса 0.6 для \mathrm{CE}(q\to g) и 0.4 для \mathrm{CE}(g\to q) дают R@1 выше, чем 0.5/0.5, и обоснованы SNR-асимметрией drone (rich-text) / sat (passthrough).

(2) Подробное объяснение. Drone-сторона имеет более информативный query (текст + img), направление q→g «сильнее регуляризовано». Sat — passthrough, симметричная регуляризация была бы избыточна.

(3) Формально. Grid \{(0.5,0.5),(0.55,0.45),(0.6,0.4),(0.65,0.35),(0.7,0.3)\}; квадратичная регрессионная модель

R@1=\beta_0+\beta_1 w+\beta_2 w^2+\varepsilon.

H_1: оптимум w^*=-\beta_1/(2\beta_2)\in[0.55,0.65] с 95% CI.

(4) Почему эффективно. SNR-асимметрия § 1.8. CLIP InfoNCE (Radford et al. 2021) — симметричен лишь при сбалансированных модальностях. iSogCLR (Zhang et al., arXiv:2305.11965, ICML 2023): «automatic temperature individualization». Геометрия InfoNCE и modality gap (arXiv:2601.19597, 2026): «symmetric InfoNCE contains a persistent negative symmetric divergence coupling».

(5) Отличие. Sample4Geo, CAMP — симметричная contrastive loss 0.5/0.5. CrossText2Loc — однонаправленная. Наша асимметрия — formal SNR-based.

---

N3_H3. Learnable τ vs fixed

(1) Краткая формулировка. Learnable \tau (init=0.07, clamp [0.01,0.5]) даёт R@1 выше, чем fixed \tau=0.07.

(2) Подробное объяснение. Температура регулирует жёсткость softmax; в multimodal CVGL оптимум смещается по эпохам.

(3) Формально.

H_0:\;R@1_{\tau_{\text{learn}}}\le R@1_{\tau=0.07},\;\;H_1:\;R@1_{\tau_{\text{learn}}}-R@1_{\tau=0.07}>+0.3\%.

Парный t-test. Мониторинг сходимости \tau\to\tau^*.

(4) Почему эффективно. CLIP (Radford et al. 2021) — first learnable τ. iSogCLR (Zhang 2023, arXiv:2305.11965). DyStress (Dey et al., arXiv:2308.01140, 2023) — cosine-dependent dynamic τ. Kukleva et al. 2023 — scheduled τ.

(5) Отличие. Sample4Geo — learnable τ без clamping; мы clamp для устойчивости edge-inference. Temperature-Free Loss (arXiv:2501.17683, 2025) предлагает убрать τ — мы оставляем как safety-knob.

---

N3_H4. Эквивалентность passthrough и SM-InfoScore→0

(1) Краткая формулировка. При sat-passthrough распределение \mathrm{SM}(v_{\text{text}}) концентрируется около \mathrm{SM}(\pi_{\text{sub}}(0)), и router r_{T}\to 0 — фактически отключает ARGF на этой ветви.

(2) Подробное объяснение. Эмпирическая проверка теоремы 3 (§ 3.5). На sat-batch роутер не должен «впрыскивать» текстовый residual.

(3) Формально.

H_0:\;\bar r_T^{\text{sat-batch}}\ge 0.1,\;\;H_1:\;\bar r_T^{\text{sat-batch}}<0.05.

One-sample t-test против 0.05.

(4) Почему эффективно. Теорема 3; Lee 2018 / ViM 2022 — Mahalanobis-score detect OOD; Mahalanobis++ (ICML 2025) — стабильность score под distribution shift.

(5) Отличие. Asymmetric multimodal works (Vaezi Joze et al., CVPR 2020) не имеют автоматического отключения; SAMFusion attention уменьшает, но не зануляет. ARGF математически гарантирует r\to 0.

---

N3_H5. Edge-применимость + совместимость с дистилляцией

(1) Краткая формулировка. ARGF добавляет ≤ 0.5 M параметров и ≤ 5 ms latency на NVIDIA Jetson Orin Nano и совместим с distillation DINOv3 ViT-L/16 (303 M) → DINOv3 ViT-S/16.

(2) Подробное объяснение. Параметры ARGF: \pi_{\text{sub}} (2\cdot 512\cdot 128\approx 131 k) × 4 уровня + router (W_q\in\mathbb R^{1\times 2} — пренебрежимо) ≈ 0.5 M. Latency: 4\times(O(kr)+O(r^3)) при k=64,r=8 ≪ ViT-L forward. Distillation: ARGF-блок остаётся неизменным; меняется лишь backbone.

(3) Формально.

H_0:\;\Delta P>0.5M\;\text{or}\;\Delta t>5\text{ms},

H_1:\;\Delta P\le 0.5M\;\text{and}\;\Delta t\le 5\text{ms}.

Точечная оценка + 95% CI для latency на 1000 inference passes (warm-up=100). Дополнительно: R@1_{\text{distilled}}\ge 0.9\cdot R@1_{\text{teacher}}.

(4) Почему эффективно. DINOv3 (Siméoni et al., arXiv:2508.10104, 2025) поддерживает distillation в ViT-S/B/L/H+ и ConvNeXt out of the box: «Family of Models: Distilled into ViT-S, B, L, H+, and ConvNeXt variants». Mona adapters (Yin, Hu et al., CVPR 2025, arXiv:2408.08345 / 2311.15010): «5%>100%: Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks». Han et al. TPAMI 2022 (DOI:10.1109/TPAMI.2021.3117837): «strategically allocate computations on demand at test time, by selectively activating model components».

(5) Отличие. Sample4Geo / CAMP — ConvNeXt-B (~89 M, тяжелее на edge). CrossText2Loc — CLIP-L/14 без edge-оптимизации. WELN, FSRA — нет distillation-pipeline. ARGF добавляет минимально к frozen-foundational-models.

---

Приложение А. Каверзы и ограничения (для всех 15 гипотез)

1. Калибровка δ-thresholds. Все δ откалиброваны по std seed-replication на University-1652 (~0.3 п.п. для R@1) и SUES-200 (Zhu et al., IEEE TCSVT 33(9):4825–4839, DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704), где «SUES-200 collects data from the same scene at four heights (150 m, 200 m, 250 m, 300 m)». Современные методы (CAMP/Sample4Geo/MCCG) на SUES-200 при 200 m имеют R@1 ≈ 92–98%; (MGS)²-Net (2025 preprint, не peer-reviewed) заявляет до 99.78% R@1 на 300 m.
2. Статистические критерии. Следуем Demšar (JMLR 7:1–30, 2006): Wilcoxon signed-rank для пары методов, Friedman + Nemenyi post-hoc для \ge 3 методов. Bonferroni-коррекция для множественных сравнений уровня.
3. Размер эффекта. Cohen's d: 0.2/0.5/0.8 = small/medium/large; Hedges' g — bias-corrected версия для N<30.
4. Воспроизводимость. Все ablation — на одинаковых seeds, фиксированной $\tau$-инициализации, фиксированной batch-size, без data leakage между train/val/test.
5. Edge-метрики H5. Цель Jetson Orin Nano, INT8/bf16, batch=1, измерение по nvidia-smi + torch.profiler.
6. Уязвимости теоремы 1. Модель шума n\sim\mathcal N(0,\sigma_n^2 I) — изотропная; реальный шум CLIP-эмбеддингов анизотропен. В этом случае «удвоение шума» нужно понимать в смысле trace(Cov) (что инвариантно к базису).
7. Уязвимости теоремы 2. Гауссовость \pi_{\text{sub}}(v) — модельное допущение; $\ell_2$-нормализация Mahalanobis++ его улучшает, но не гарантирует строго.

---

Приложение Б. Сводный список цитированных работ (DOI / arXiv)

1. Arevalo et al., GMU. arXiv:1702.01992 (ICLR-W 2017). DOI: 10.48550/arXiv.1702.01992.
2. Srivastava, Greff, Schmidhuber, Highway Networks. arXiv:1505.00387 (ICML-W 2015). DOI: 10.48550/arXiv.1505.00387.
3. Lim, Arık, Loeff, Pfister, TFT. Int. J. Forecasting 37(4):1748–1764. DOI: 10.1016/j.ijforecast.2021.03.012.
4. Dauphin, Fan, Auli, Grangier, GLU. arXiv:1612.08083 (ICML 2017).
5. Balduzzi et al., Shattered Gradients. arXiv:1702.08591 (ICML 2017).
6. Shazeer et al., Sparse MoE. arXiv:1701.06538 (ICLR 2017).
7. Wang et al., SkipNet. arXiv:1711.09485 (ECCV 2018).
8. Wu et al., BlockDrop. arXiv:1711.08393 (CVPR 2018).
9. Han et al., Dynamic NN Survey. DOI:10.1109/TPAMI.2021.3117837 (IEEE TPAMI 44(11):7436–7456, 2022). arXiv:2102.04906.
10. Shwartz-Ziv & Tishby. arXiv:1703.00810 (2017).
11. Alemi et al., Deep VIB. arXiv:1612.00410 (ICLR 2017).
12. Saxe et al. On IB theory of deep learning. J. Stat. Mech. (2019) 124020.
13. Müller & Hein, Mahalanobis++. arXiv:2505.18032 (ICML 2025, PMLR 267:45151–45184).
14. Lee, Lee, Lee, Shin. A Simple Unified Framework for OOD/Adversarial. NeurIPS 2018.
15. Wang, Li, Feng, Zhang, ViM. arXiv:2203.10807 (CVPR 2022).
16. Ioffe, Szegedy, BatchNorm. arXiv:1502.03167 (ICML 2015).
17. Morales-Brotons, Vogels, Hendrikx, EMA of Weights. arXiv:2411.18704 (TMLR 2024).
18. Seeger et al., Auto-Diff Linear Algebra. arXiv:1710.08717 (2017).
19. Demšar. Statistical Comparisons of Classifiers. JMLR 7:1–30 (2006).
20. Baltrušaitis, Ahuja, Morency. Multimodal ML Survey. IEEE TPAMI 41(2):423–443, DOI:10.1109/TPAMI.2018.2798607.
21. Siméoni et al., DINOv3. arXiv:2508.10104 (2025).
22. Yin, Hu et al., MONA / Adapter is All You Need. arXiv:2311.15010 / arXiv:2408.08345 (CVPR 2025).
23. Chen, Chen, Deng et al., DGTRS-CLIP / LRSCLIP. arXiv:2503.19311 (2025).
24. Lim DH, Kim YC, Kim DH, Yang DH, Chang JH. Router-Gated AVSR. arXiv:2508.18734 (2025).
25. Palladin, Dietze, Narayanan, Bijelic, Heide, SAMFusion. DOI:10.1007/978-3-031-73030-6_27 (ECCV 2024). arXiv:2508.16408.
26. Deuser, Habel, Oswald, Sample4Geo. arXiv:2303.11851 (ICCV 2023).
27. Wu et al., CAMP. DOI:10.1109/TGRS.2024.3448499 (IEEE TGRS 2024).
28. Zhu, Yin, Yang, Wu, Yang, Hu, SUES-200. DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704 (IEEE TCSVT 33(9):4825–4839, 2023).
29. Zheng, Wei, Yang, University-1652. Proc. ACM MM 2020, pp. 1395–1403.
30. Ye, Lin, Ou et al., CrossText2Loc. arXiv:2412.17007 (ICCV 2025).
31. Patsenker, Li, Kluger. Exponential weight averaging as damped harmonic motion. arXiv:2310.13854 (2023).
32. Zhang et al., iSogCLR. arXiv:2305.11965 (ICML 2023).
33. Dey et al., DyStress. arXiv:2308.01140 (2023).

---

TL;DR (3 пункта, к защите)

1. П1 (ARGF + SM-InfoScore) — теоретически обоснованная (леммы 1, теоремы 1–3) и эмпирически верифицируемая адаптивная маршрутизация residual для модальностей с переменным SNR, дающая прирост Drone→Sat R@1 ≥ +1.5 п.п. на University-1652.
2. П2 (Hierarchical InfoScore по L1/L2/L3/T_meta) — приоритизация cross-view fingerprint (L3) и комплементарность с T_meta, статистически проверяемые через Fisher z-test и Bonferroni-corrected t-tests.
3. П3 (двухтрактовая fusion + symmetric loss 0.6/0.4 + learnable τ) — edge-применимость (≤ 0.5 M доп. параметров, ≤ 5 ms latency на Jetson Orin Nano) при совместимости с DINOv3-distillation. Все 15 гипотез имеют формализованные H_0/H_1, тестовые статистики, δ-thresholds и эффект-сайзы по Cohen.