659 lines
53 KiB
Markdown
659 lines
53 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
[[InfoScore for residual routing]]
|
||
# Радикальное расширение шести заметок диссертации (спец. 2.3.1 ВАК РФ)
|
||
## Тема: Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для CVGL БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем
|
||
|
||
> **Контекст пайплайна автора (без изменений во всём документе):**
|
||
> Drone branch — DINOv3 ViT-L/16 (303M, frozen) + MONA (3.5M, bf16) → CLS [B,1024] → Linear(1024→512) → $d_{\text{img}}\in\mathbb R^{512}$. Satellite branch — shared encoder. Текст — DGTRS-CLIP ViT-L/14 (124M, frozen) + LoRA r=4 + KPS positions, 248 tokens; L1 — overview, L2 — full description, L3 — cross-view fingerprint, $T_{\text{meta}}$ — численные метаданные; $z_1,z_2,z_3\in\mathbb R^{768}$ → cat $\in\mathbb R^{2304}$ → TextFusionMLP (1.5M) → $d_{\text{txt}}\in\mathbb R^{512}$. GatedFusion: $q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}$, $\hat q=q/\lVert q\rVert_2$. Symmetric retrieval: $\mathrm{sim}=\hat q\hat g^\top/\tau$, $\tau$ — learnable, init=0.07, clamp $[0.01,0.5]$. Loss $=0.6\,\mathrm{CE}(q\!\to\!g)+0.4\,\mathrm{CE}(g\!\to\!q)$, label smoothing 0.1. Sat без caption — passthrough $g=s_{\text{img}}$.
|
||
|
||
---
|
||
|
||
## Часть 1. SNR-исследование деструктивности простой остаточной связи для Gate-механизмов
|
||
|
||
```yaml
|
||
---
|
||
title: "SNR-анализ деструктивности residual в Gate-Fusion"
|
||
tags: [диссер, ARGF, SNR, gated-fusion]
|
||
status: глава 1
|
||
---
|
||
```
|
||
|
||
### § 1.1. Постановка задачи и базовые формулы Gate-Fusion
|
||
|
||
Каноническая Gated Multimodal Unit (Arevalo, Solorio, Montes-y-Gómez, González, *Gated Multimodal Units for Information Fusion*, arXiv:1702.01992, ICLR-W 2017) задаётся
|
||
$$
|
||
h_v=\tanh(W_v v),\quad h_t=\tanh(W_t t),\quad g=\sigma(W_g[v;t]),
|
||
$$
|
||
$$
|
||
\mathrm{fused}=g\odot h_v+(1-g)\odot h_t,\qquad g\in[0,1]^d.
|
||
$$
|
||
Авторская реализация — скалярная: $q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}$. Преемственность: Highway Networks (Srivastava, Greff, Schmidhuber, *Highway Networks*, arXiv:1505.00387, ICML-W 2015) и Gated Residual Network в Temporal Fusion Transformer (Lim, Arık, Loeff, Pfister, *Temporal Fusion Transformers for interpretable multi-horizon time series forecasting*, *International Journal of Forecasting* **37(4)**:1748–1764, 2021, DOI:10.1016/j.ijforecast.2021.03.012):
|
||
$$
|
||
\mathrm{GRN}_\omega(a,c)=\mathrm{LayerNorm}\!\bigl(a+\mathrm{GLU}_\omega(\eta_1)\bigr).
|
||
$$
|
||
Gated Linear Units (Dauphin, Fan, Auli, Grangier, *Language Modeling with Gated Convolutional Networks*, arXiv:1612.08083, ICML 2017): «a novel gating mechanism that eases gradient propagation» — гейт сам по себе сохраняет градиентный поток, что является ключевым контр-аргументом необходимости *аддитивного* identity-residual параллельно с гейтом.
|
||
|
||
### § 1.2. Декомпозиция сигнал/шум модальности
|
||
Пусть $v_{\text{text}}=s+n$, $s\in\mathbb R^d$ — полезный сигнал, $n\sim\mathcal N(0,\sigma_n^2 I)$, $\mathbb E[s^\top n]=0$. Введём
|
||
$$
|
||
\mathrm{SNR}(v)\;:=\;\lVert s\rVert_2/\lVert n\rVert_2,\qquad \mathrm{SNR}_{\text{dB}}=20\log_{10}\mathrm{SNR}.
|
||
$$
|
||
Модальность называется **шумной**, если $\mathrm{SNR}<1$ ($\mathrm{SNR}_{\text{dB}}<0$).
|
||
|
||
### § 1.3. Лемма 1 (формула шума при остаточной связи).
|
||
**Лемма 1.** Пусть в SRGF-конфигурации (Simple Residual Gated Fusion) на шумной модальности используется *антикоррелированный* residual
|
||
$$
|
||
\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}+v_{\text{text}}.
|
||
$$
|
||
Тогда покомпонентный вклад шума равен
|
||
$$
|
||
\boxed{\;\mathrm{noise\_total}(g)=(2-g)\odot n.\;}
|
||
$$
|
||
*Доказательство.* Подстановкой $v_{\text{text}}=s+n$ и линейностью:
|
||
$$
|
||
\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot(s+n)+(s+n)=g\odot v_{\text{img}}+(2-g)\odot s+(2-g)\odot n.
|
||
$$
|
||
Шумовая часть равна $(2-g)\odot n$. $\blacksquare$
|
||
|
||
### § 1.4. Теорема 1 (условие деструктивности residual).
|
||
**Теорема 1.** В условиях леммы 1
|
||
$$
|
||
\lim_{g\to 1}\mathrm{noise\_total}=n,\qquad \lim_{g\to 0}\mathrm{noise\_total}=2n,
|
||
$$
|
||
и суммарная дисперсия шума на выходе при $g=0$ учетверяется: $\mathrm{Var}[\mathrm{noise\_total}(0)]=4\sigma_n^2 I$.
|
||
|
||
*Доказательство.* Применение $\mathrm{Var}[\lambda n]=\lambda^2\mathrm{Var}[n]$ к лемме 1. При $g\to 0$ доверие сдвинуто к $v_{\text{text}}$ (шумной модальности), и identity-residual удваивает её, что и порождает учетверение дисперсии. $\blacksquare$
|
||
|
||
### § 1.5. Следствие (оптимальное $g^*$).
|
||
Запишем выходной SNR:
|
||
$$
|
||
\mathrm{SNR}_{\text{out}}^2(g)=\frac{(2-g)^2\lVert s\rVert^2+g^2\lVert v_{\text{img}}\rVert^2}{(2-g)^2\sigma_n^2}.
|
||
$$
|
||
Дифференцируя по $g$ и решая $d/dg=0$, получаем, что при $\lVert v_{\text{img}}\rVert\gg\lVert s\rVert$ оптимум $g^*\to 1$ как при $\lVert n\rVert\to\infty$ (полное доверие к img), так и при $\lVert n\rVert\to 0$ (зашумлённая модальность подменена в пределе чистым $v_{\text{img}}$). Тем самым **аддитивный residual** на шумной стороне *препятствует* достижению оптимума.
|
||
|
||
### § 1.6. Эмпирическая верификация
|
||
- **Router-Gated Cross-Modal Fusion для AVSR** (DongHoon Lim, YoungChae Kim, Dong-Hyun Kim, Da-Hee Yang, Joon-Hyuk Chang, *Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion*, arXiv:2508.18734, 26.08.2025): «We demonstrate consistent word error rate reductions of 16.51–42.67% on LRS3 under various noise conditions, surpassing AV-HuBERT».
|
||
- **SAMFusion** (Palladin, Dietze, Narayanan, Bijelic, Heide, ECCV 2024, DOI:10.1007/978-3-031-73030-6_27; arXiv:2508.16408): «improve 3D-AP, especially for the pedestrian class by more than 17.2 AP in dense fog and 15.62 AP in heavy snow on the most challenging distance category from 50 m-80 m relative to the state of the art».
|
||
- **Shattered Gradients** (Balduzzi, Frean, Leary, Lewis, Ma, McWilliams, *The Shattered Gradients Problem*, arXiv:1702.08591, ICML 2017): «the correlation between gradients in standard feedforward networks decays exponentially with depth … in architectures with skip-connections [it is] far more resistant to shattering, decaying sublinearly» — это объясняет, почему identity-residual не *убивает градиент*, но не оправдывает его *семантической* пользы.
|
||
- **GLU** (Dauphin et al. 2017, arXiv:1612.08083): «a novel gating mechanism that eases gradient propagation» — гейт сам сохраняет градиент.
|
||
|
||
### § 1.7. Связь с Information Bottleneck
|
||
Согласно Tishby \& Zaslavsky (2015) и Shwartz-Ziv, Tishby (*Opening the Black Box of Deep Neural Networks via Information*, arXiv:1703.00810, 2017),
|
||
$$
|
||
\mathcal L_{IB}=I(Y;Z)-\beta\,I(X;Z).
|
||
$$
|
||
Saxe et al. (*On the Information Bottleneck Theory of Deep Learning*, J. Stat. Mech. (2019) 124020): «compression should commence following the transition from a high to a low gradient signal-to-noise ratio». Deep VIB (Alemi, Fischer, Dillon, Murphy, *Deep Variational Information Bottleneck*, arXiv:1612.00410, ICLR 2017) даёт параметрическую реализацию. Вывод: при $\mathrm{SNR}(v_{\text{text}})\to 0$ канал не несёт нового $I(Z;Y)$, а аддитивный residual только повышает $I(X;Z)$, нарушая IB-оптимум.
|
||
|
||
### § 1.8. Применимость к CVGL пайплайну
|
||
- **Drone-side**: rich L1+L2+L3+T_meta (KPS 248 tokens) — high-SNR;
|
||
- **Satellite-side passthrough** ($g=s_{\text{img}}$, текста нет) — эффективный SNR≈0, аддитивный residual через лемму 1 удваивает шум.
|
||
|
||
**Прогноз:** identity-residual деструктивен на sat-стороне; необходима *адаптивная* маршрутизация — ARGF (§ 3).
|
||
|
||
---
|
||
|
||
## Часть 2. InfoScore — идея, составляющие, принцип действия, мат. обоснование
|
||
|
||
```yaml
|
||
---
|
||
title: "SM-InfoScore: Subspace-Mahalanobis Information Score"
|
||
tags: [диссер, InfoScore, Mahalanobis, OOD]
|
||
status: глава 2
|
||
---
|
||
```
|
||
|
||
### § 2.1. Концепция информативности признака модальности
|
||
Гейт $g\in[0,1]$ выбирает *направление* смешения, но не измеряет, насколько каждая модальность информативна. Требуется онлайн-скаляр $S(v)\in\mathbb R$, оценивающий пригодность вектора признаков для retrieval. Различаем:
|
||
1. *Information content* (Shannon, $H(X)$) — глобальная мера, не per-example;
|
||
2. *Confidence* (MSP) — лишь в supervised-сетапах;
|
||
3. **Informativeness** (наш термин) — мера соответствия $v$ ID-распределению модальности.
|
||
|
||
### § 2.2. Кандидаты на InfoScore (сводная критика)
|
||
|
||
| Кандидат | Формула | Сложность | Замечания |
|
||
|---|---|---|---|
|
||
| Норм. энтропия $H_{\text{norm}}(v)$ | $-\!\sum_i p_i\log p_i/\log d$ | $O(d)$ | требует softmax-интерпретации |
|
||
| $\lVert v\rVert_2$ | $\sqrt{v^\top v}$ | $O(d)$ | вырождается для $\ell_2$-нормированных эмбеддингов |
|
||
| $\mathrm{Var}(v)$, $\mathrm{CV}(v)$ | $\sigma^2,\sigma/\mu$ | $O(d)$ | без класс-структуры |
|
||
| TAS | $\langle v_t,v_i\rangle/(\lVert v_t\rVert\lVert v_i\rVert)$ | $O(d)$ | симметричен |
|
||
| EffRank | $(\sum\lambda_i)^2/\sum\lambda_i^2$ | $O(d^3)$ | per-batch, не per-example |
|
||
| MINE | $\sup_T\,\mathbb E_{p(xy)}T-\log\mathbb E e^T$ | $O(N^2)$ | нестабилен |
|
||
|
||
### § 2.3. Выбор: SM-InfoScore (Subspace-Mahalanobis)
|
||
$\pi_{\text{sub}}:\mathbb R^d\to\mathbb R^k$ — обучаемая проекция; $\mu_{\text{sub}},\Sigma_{\text{sub}}$ — EMA-статистики; определение
|
||
$$
|
||
\boxed{\;\mathrm{SM}(v)\;:=\;(\pi_{\text{sub}}(v)-\mu_{\text{sub}})^\top\Sigma_{\text{sub}}^{-1}(\pi_{\text{sub}}(v)-\mu_{\text{sub}}).\;}
|
||
$$
|
||
По Müller \& Hein (*Mahalanobis++: Improving OOD Detection via Feature Normalization*, ICML 2025, PMLR 267:45151–45184, arXiv:2505.18032) применяется $\ell_2$-нормализация перед оценкой: «ℓ₂-normalization mitigates this problem effectively, aligning better with the premise of normally distributed data with shared covariance matrix».
|
||
|
||
### § 2.4. Теорема 2 (Mahalanobis ≡ log-likelihood GDA).
|
||
**Теорема 2.** Пусть $x\sim\mathcal N(\mu,\Sigma)$, $\Sigma\succ 0$, $x\in\mathbb R^k$. Тогда
|
||
$$
|
||
-2\log p(x)\;=\;d_M^2(x;\mu,\Sigma)+k\log(2\pi)+\log\det\Sigma.
|
||
$$
|
||
*Доказательство.* Многомерная гауссиана:
|
||
$$
|
||
p(x)=(2\pi)^{-k/2}(\det\Sigma)^{-1/2}\exp\!\bigl(-\tfrac12 d_M^2(x)\bigr).
|
||
$$
|
||
Логарифмируя: $\log p(x)=-\tfrac k2\log 2\pi-\tfrac12\log\det\Sigma-\tfrac12 d_M^2(x)$. Умножая на $-2$ и группируя константы, получаем требуемое. $\blacksquare$
|
||
|
||
**Следствие.** SM-InfoScore есть аффинная функция $-\log p_\pi(v)$. Это лежит в основе SOTA-OOD-метода Lee, Lee, Lee, Shin (*A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks*, NeurIPS 2018) и подтверждено на 44 моделях (Mahalanobis++, ICML 2025): «Extensive experiments on 44 models across diverse architectures and pretraining schemes show that ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently».
|
||
|
||
### § 2.5. Обучаемое подпространство $\pi_{\text{sub}}$
|
||
$\pi_{\text{sub}}(v)=W_2\mathrm{GELU}(W_1 v+b_1)+b_2$, $W_1\in\mathbb R^{2k\times d}$, $W_2\in\mathbb R^{k\times 2k}$. Связь с **ViM** (Wang, Li, Feng, Zhang, *ViM: Out-Of-Distribution with Virtual-logit Matching*, CVPR 2022, arXiv:2203.10807): там residual против principal space играет роль OOD-индикатора; у нас $\pi_{\text{sub}}$ — *обучаемая* аппроксимация principal-space, дифференцируемая по retrieval-loss. PCA — нелинейный частный случай $\pi_{\text{sub}}$ при $W_2=0$, $b=0$, $W_1=U^\top$.
|
||
|
||
### § 2.6. EMA-обновление статистик
|
||
$$
|
||
\mu_{\text{sub}}^{(t)}=(1-\beta)\mu^{(t-1)}+\beta\bar v_{\text{batch}},\quad \Sigma_{\text{sub}}^{(t)}=(1-\beta)\Sigma^{(t-1)}+\beta\,\mathrm{Cov}(v_{\text{batch}}).
|
||
$$
|
||
Согласно Morales-Brotons, Vogels, Hendrikx (*Exponential Moving Average of Weights in Deep Learning: Dynamics and Benefits*, TMLR 2024, arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved i) robustness to noisy labels, ii) prediction consistency, iii) calibration and iv) transfer learning … an EMA of weights is a simple yet effective plug-in». Параллель с BatchNorm (Ioffe, Szegedy, *Batch Normalization*, arXiv:1502.03167, ICML 2015). Принимаем $\beta=0.01$ (эффективное окно $\sim$100 шагов).
|
||
|
||
### § 2.7. Численная стабильность
|
||
Регуляризация $\Sigma_{\text{sub}}\leftarrow\Sigma_{\text{sub}}+\varepsilon I$, $\varepsilon=10^{-5}$. Low-rank + diagonal $\Sigma=D+UU^\top$, $U\in\mathbb R^{k\times r}$, $r=8$. Sherman–Morrison–Woodbury:
|
||
$$
|
||
(D+UU^\top)^{-1}=D^{-1}-D^{-1}U(I_r+U^\top D^{-1}U)^{-1}U^\top D^{-1}.
|
||
$$
|
||
Cholesky $\Sigma=LL^\top$ (Seeger, Hetzel, Dai, Lawrence, *Auto-Differentiating Linear Algebra*, arXiv:1710.08717, 2017): «We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators».
|
||
|
||
### § 2.8. Алгоритмическая сложность
|
||
|
||
| Вариант | Вычисление $S$ | Backprop (обновление) |
|
||
|---|---|---|
|
||
| Полная $\Sigma$ | $O(k^2)$ | $O(k^3)$ |
|
||
| Low-rank ($r\ll k$) | $O(kr)$ | $O(r^3)$ |
|
||
| Diagonal | $O(k)$ | $O(k)$ |
|
||
|
||
Принимаем low-rank ($k=64$, $r=8$) — pragmatic edge-compromise.
|
||
|
||
### § 2.9. Pseudocode (PyTorch-style)
|
||
```python
|
||
class SMInfoScore(nn.Module):
|
||
def __init__(self, d=512, k=64, r=8, beta=0.01, eps=1e-5):
|
||
super().__init__()
|
||
self.proj = nn.Sequential(nn.Linear(d, 2*k), nn.GELU(),
|
||
nn.Linear(2*k, k))
|
||
self.register_buffer('mu', torch.zeros(k))
|
||
self.register_buffer('D', torch.ones(k))
|
||
self.register_buffer('U', torch.zeros(k, r))
|
||
self.beta, self.eps = beta, eps
|
||
|
||
def forward(self, v):
|
||
z = F.normalize(self.proj(v), dim=-1) # Mahalanobis++ L2-norm
|
||
if self.training:
|
||
with torch.no_grad():
|
||
mb = z.mean(0); diff = z - mb
|
||
cov_b = (diff.T @ diff)/(z.size(0)-1)
|
||
self.mu.mul_(1-self.beta).add_(self.beta*mb)
|
||
self.D.mul_(1-self.beta).add_(self.beta*cov_b.diagonal())
|
||
# U низкоранговая SVD от off-diagonal part of cov_b
|
||
diff = z - self.mu
|
||
Dinv = 1.0/(self.D + self.eps)
|
||
# SMW для (D + UU^T)^{-1} diff
|
||
UTDinv = (Dinv.unsqueeze(0) * self.U.T)
|
||
M = torch.eye(self.U.size(1), device=v.device) + UTDinv @ self.U
|
||
Sinv = Dinv*diff - (Dinv.unsqueeze(0)*self.U) @ \
|
||
torch.linalg.solve(M, UTDinv @ diff.T).T
|
||
return (diff * Sinv).sum(-1)
|
||
```
|
||
|
||
### § 2.10. Тройная интерпретация SM-InfoScore
|
||
(1) **log-правдоподобие GDA** — теорема 2 даёт точное эквивалентное представление;
|
||
(2) **OOD-мера** — Lee 2018 → ViM 2022 → Mahalanobis++ 2025: SOTA-семейство;
|
||
(3) **компонент IB-регуляризации** — Tishby/Shwartz-Ziv: $\mathrm{SM}$ контролирует $I(X;Z)$.
|
||
|
||
Эта тройная интерпретация — методологический козырь на защите: одна величина обоснована тремя независимыми теоретическими рамками.
|
||
|
||
---
|
||
|
||
## Часть 3. ARGF — идея Adaptive Residual Routing на основе InfoScore
|
||
|
||
```yaml
|
||
---
|
||
title: "ARGF: Adaptive Residual Gated Fusion"
|
||
tags: [диссер, ARGF, маршрутизация]
|
||
status: глава 3
|
||
---
|
||
```
|
||
|
||
### § 3.1. Постановка задачи адаптивной маршрутизации
|
||
В § 1 показано: identity-residual деструктивен при $\mathrm{SNR}<1$. ARGF делает residual *условным* — управляемым InfoScore.
|
||
|
||
### § 3.2. Вариант A — маршрутизация через $\lVert v\rVert_2$
|
||
$$
|
||
r_{\text{text}}=\sigma\!\bigl(w\cdot\lVert v_{\text{text}}\rVert/(\lVert v_{\text{img}}\rVert+\epsilon)+b\bigr).
|
||
$$
|
||
Связь с Park et al. ICCV 2023 «Feature Norm for OOD». **Минус**: при $\ell_2$-нормированных эмбеддингах знаменатель ≡ 1, теряется дифференциация.
|
||
|
||
### § 3.3. Вариант B — tied-to-gate
|
||
$r_{\text{text}}=1-g,\;r_{\text{img}}=g$: эквивалентно scaling baseline на 2; не вносит новой информации.
|
||
|
||
### § 3.4. ПРЕДЛАГАЕМЫЙ — Вариант C: ARGF через SM-InfoScore
|
||
$$
|
||
\boxed{\,r_{\text{text}}=\sigma\!\bigl(W_q[\mathrm{SM}(v_{\text{text}}),\mathrm{SM}(v_{\text{img}})]^\top+b_q\bigr).\,}
|
||
$$
|
||
Полная схема ARGF:
|
||
$$
|
||
\mathrm{fused}=\underbrace{g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}}_{\text{gate\_out}}+r_{\text{img}}\odot v_{\text{img}}+r_{\text{text}}\odot v_{\text{text}}.
|
||
$$
|
||
Параметризация: $W_q\in\mathbb R^{1\times 2}$, $b_q\in\mathbb R$ — два роутера на источник (text/img).
|
||
|
||
### § 3.5. Теорема 3 (свойства ARGF при граничных условиях).
|
||
**Теорема 3.** $\mathrm{SM}(\cdot)\ge 0$. При $W_q^{(1)}<0,W_q^{(2)}>0$:
|
||
(i) $\mathrm{SM}(v_{\text{text}})\to 0$ (надёжная модальность, near ID-center) $\Rightarrow r_{\text{text}}\to 1$;
|
||
(ii) $\mathrm{SM}(v_{\text{text}})\to\infty$ (OOD) $\Rightarrow r_{\text{text}}\to 0$.
|
||
|
||
«Парадоксальная инверсия» мнимая: $\mathrm{SM}$ есть расстояние от ID-центра (не сила сигнала). Низкая $\mathrm{SM}$ ⇔ модальность близка к обученному распределению ⇒ residual *оставляется*; высокая $\mathrm{SM}$ ⇔ OOD-сигнал ⇒ residual *подавляется*. $\blacksquare$
|
||
|
||
### § 3.6. Дифференциальные свойства
|
||
$\partial L/\partial\mu_{\text{sub}}$ и $\partial L/\partial\Sigma_{\text{sub}}$ — stop-gradient (по аналогии с running-stats BatchNorm). Градиент течёт через $\pi_{\text{sub}}$:
|
||
$$
|
||
\frac{\partial\mathrm{SM}}{\partial v}=2\,J_{\pi_{\text{sub}}}^\top\Sigma^{-1}(\pi_{\text{sub}}(v)-\mu),
|
||
$$
|
||
где $J_{\pi_{\text{sub}}}$ — якобиан проектора. Cholesky $\Sigma=LL^\top$ даёт $\Sigma^{-1}(\cdot)$ через два triangular-solve, дифференцируемых по Murray (2016).
|
||
|
||
### § 3.7. ARGF в контексте dynamic NN
|
||
- Han, Huang, Song, Yang, Wang, Wang, *Dynamic Neural Networks: A Survey*, IEEE TPAMI **44(11)**:7436–7456, DOI:10.1109/TPAMI.2021.3117837: «dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness».
|
||
- **SkipNet** (Wang, Yu, Dou, Darrell, Gonzalez, ECCV 2018, arXiv:1711.09485): «a gating network to selectively skip convolutional blocks based on the activations of the previous layer».
|
||
- **BlockDrop** (Wu, Nagarajan, Kumar, Rennie, Davis, Grauman, Feris, CVPR 2018, arXiv:1711.08393).
|
||
- **Sparse MoE** (Shazeer, Mirhoseini, Maziarz, Davis, Le, Hinton, Dean, *Outrageously Large Neural Networks*, ICLR 2017, arXiv:1701.06538): «A trainable gating network determines a sparse combination of these experts to use for each example».
|
||
|
||
### § 3.8. Связь ARGF с trainable $\alpha$
|
||
$\alpha_q$ — *глобальный* (одно значение для всего датасета); ARGF — *per-example*. Сумма
|
||
$$
|
||
q_{\text{ARGF}}=\underbrace{\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}}_{\text{global compromise}}+\underbrace{r_{\text{img}}\odot d_{\text{img}}+r_{\text{text}}\odot d_{\text{txt}}}_{\text{local correction}}
|
||
$$
|
||
аддитивна; при $\mathbb E[r^*]\approx 0$ (центрированный residual) глобальный $\sigma(\alpha_q^*)$ не возмущает локальный оптимум $r^*$.
|
||
|
||
### § 3.9. Полная двухтрактовая ARGF (для П3 НН)
|
||
$T_{\text{sem}}=[z_1;z_2;z_3]$ (L1/L2/L3) и $T_{\text{meta}}$ (высота, yaw):
|
||
$$
|
||
q=\sigma(\alpha_{\text{sem}})d_{\text{img}}+(1-\sigma(\alpha_{\text{sem}}))d_{T_{\text{sem}}}+r_{\text{img}}^{(s)}\!d_{\text{img}}+r_{T_{\text{sem}}}\!d_{T_{\text{sem}}}+r_{T_{\text{meta}}}\!d_{T_{\text{meta}}}.
|
||
$$
|
||
Это устраняет конфликт «семантика vs числовые метаданные», характерный для DGTRS-CLIP (Chen et al., arXiv:2503.19311), где средние семантические токены и численные метки имеют различающиеся распределения.
|
||
|
||
---
|
||
|
||
## Часть 4. Гипотезы П1 (ARGF-InfoScore на residual)
|
||
|
||
```yaml
|
||
---
|
||
title: "Гипотезы P1: ARGF-InfoScore"
|
||
tags: [диссер, гипотезы, P1]
|
||
status: главы 4-1..4-5
|
||
---
|
||
```
|
||
|
||
### N1_H1. SNR-деструктивность residual
|
||
|
||
**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual.
|
||
|
||
**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%.
|
||
$$
|
||
Парный t-test по $N=5$ seeds: $t=\bar d/(s_d/\sqrt N)$, df $=N-1$. Принимается $H_1$ при $p<0.05$ и Cohen's $d=|\bar d|/s_d\ge 0.8$ (large).
|
||
|
||
**(4) Почему эффективно.** Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv \& Tishby arXiv:1703.00810 (при низком $I(Z;Y)$ residual только наращивает $I(X;Z)$, нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention».
|
||
|
||
**(5) Отличие.** Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual *по умолчанию*. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для $\mathrm{SNR}<1$.
|
||
|
||
---
|
||
|
||
### N1_H2. Эффективность SM-InfoScore (R@1 ≥ +1.5%)
|
||
|
||
**(1) Краткая формулировка.** Включение ARGF с SM-InfoScore даёт прирост Drone→Satellite R@1 на University-1652 ≥ +1.5 п.п. относительно baseline-GMU.
|
||
|
||
**(2) Подробное объяснение.** Целевой $\delta=+1.5$ п.п. откалиброван по std seed-replication у CAMP/Sample4Geo (~0.3 п.п.) — «5σ-уровень». Прирост ожидаем за счёт: (а) на drone-стороне (high-SNR) residual остаётся; (б) на sat-passthrough (низкий SM-InfoScore текстового слота) — подавляется.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\mathbb E[R@1_{\text{ARGF}}-R@1_{\text{base}}]\le 1.5\%\quad\text{vs}\quad H_1:\;>1.5\%.
|
||
$$
|
||
Wilcoxon signed-rank test (рекомендован Demšar, *Statistical Comparisons of Classifiers over Multiple Data Sets*, JMLR **7**:1–30, 2006): $W=\sum_{i:d_i>0}\mathrm{rank}|d_i|$, $\alpha=0.05$. Размер эффекта Cohen's $d=\bar d/s_d\ge 0.5$ (medium).
|
||
|
||
**(4) Почему эффективно.** Mahalanobis++ (Müller \& Hein, ICML 2025, arXiv:2505.18032): «ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently» на 44 моделях. Lee et al. NeurIPS 2018 — базовый GDA-метод. ViM (Wang et al., CVPR 2022, arXiv:2203.10807): «class-agnostic score from feature space combined with class-dependent logits».
|
||
|
||
**(5) Отличие.** Конкретные SOTA-методы CVGL без подобной схемы:
|
||
- **CAMP** (Wu et al., IEEE TGRS 2024, DOI:10.1109/TGRS.2024.3448499): «state-of-the-art results on the satellite-drone CVGL datasets University-1652 and SUES-200», но без InfoScore-гейтирования;
|
||
- **Sample4Geo** (Deuser, Habel, Oswald, ICCV 2023, arXiv:2303.11851) — ConvNeXt-B + симметричный InfoNCE, без текстовой модальности;
|
||
- **WELN** (2024) — Drone→Sat R@1=92.87% без subspace-Mahalanobis.
|
||
|
||
---
|
||
|
||
### N1_H3. Предпочтительность EMA-статистик над per-batch
|
||
|
||
**(1) Краткая формулировка.** EMA-оценки $\mu_{\text{sub}},\Sigma_{\text{sub}}$ дают более стабильную сходимость и выше R@1, чем per-batch оценки.
|
||
|
||
**(2) Подробное объяснение.** Per-batch выборочная $\Sigma$ при $B=128$, $k=64$ имеет ранг $\le B-1$, что нестабильно для инверсии. EMA сглаживает и обеспечивает рангополноту по конструкции.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\mathbb E[R@1_{\text{EMA}}]=\mathbb E[R@1_{\text{batch}}]\;\text{и}\;\sigma_{\text{EMA}}\ge\sigma_{\text{batch}},
|
||
$$
|
||
$$
|
||
H_1:\;\mathbb E[R@1_{\text{EMA}}]>\mathbb E[R@1_{\text{batch}}]+0.3\%\;\text{и}\;\sigma_{\text{EMA}}<\sigma_{\text{batch}}.
|
||
$$
|
||
Парный t-test (mean) + F-test (variance), $\alpha=0.05$. Cohen $d\ge 0.5$.
|
||
|
||
**(4) Почему эффективно.** Morales-Brotons et al. TMLR 2024 (arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved … robustness to noisy labels, prediction consistency, calibration and transfer learning». BatchNorm running-stats (Ioffe \& Szegedy, arXiv:1502.03167) — каноническая параллель. Patsenker, Li, Kluger (arXiv:2310.13854): EMA = damped harmonic motion with idealized zero-length spring.
|
||
|
||
**(5) Отличие.** В Lee 2018 и ViM 2022 Mahalanobis считается *post-hoc* на полном train-set (offline). Мы делаем *онлайн* EMA, что необходимо для end-to-end дифференцируемости с retrieval loss. SSD+ (Sehwag 2021) и CIDER (Ming 2023) — train-time стандартизация без EMA-running-stats.
|
||
|
||
---
|
||
|
||
### N1_H4. Совместимость с learnable $\alpha$ (аддитивность)
|
||
|
||
**(1) Краткая формулировка.** Включение ARGF не вступает в конфликт с learnable $\alpha_q$; оба механизма аддитивно улучшают R@1.
|
||
|
||
**(2) Подробное объяснение.** $\alpha_q$ — глобальный, ARGF — локальный (per-example). Тест: 2×2 factorial (base, +α, +ARGF, +α+ARGF), проверка отсутствия деструктивной интеракции.
|
||
|
||
**(3) Формально.** Двухфакторный ANOVA:
|
||
$$
|
||
R@1_{ijk}=\mu+a_i+b_j+(ab)_{ij}+\varepsilon_{ijk}.
|
||
$$
|
||
$H_0:\;(ab)_{ij}=0$ — без интеракции; принимаем «совместимость» при $p_{\text{int}}>0.1$ И одновременно $p_a<0.05,\;p_b<0.05$ для main-effects.
|
||
|
||
**(4) Почему эффективно.** Линеаризация § 3.8 + центрированность residual. Theory of additive models (Hastie \& Tibshirani, *Generalized Additive Models*, Chapman \& Hall, 1990).
|
||
|
||
**(5) Отличие.** В GMU (Arevalo 2017, arXiv:1702.01992) гейт один; в TFT-GRN (Lim 2021) gating + skip встроены, но не независимы. В SkipNet (arXiv:1711.09485) router *заменяет* блок, а не дополняет его.
|
||
|
||
---
|
||
|
||
### N1_H5. Устойчивость к sat passthrough
|
||
|
||
**(1) Краткая формулировка.** ARGF не ухудшает Sat→Drone R@1 более чем на 0.3 п.п. относительно baseline в passthrough-режиме.
|
||
|
||
**(2) Подробное объяснение.** На sat-стороне текста нет; $\mathrm{SM}(v_{\text{text}}=0)$ = фиксированная константа $\mathrm{SM}(\pi_{\text{sub}}(0))$. Router должен научиться $r_{\text{text}}\to 0$ автоматически (теорема 3).
|
||
|
||
**(3) Формально.** TOST (two one-sided test) for equivalence:
|
||
$$
|
||
H_0:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|\ge 0.3\%,
|
||
$$
|
||
$$
|
||
H_1:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|<0.3\%.
|
||
$$
|
||
$\alpha=0.05$, $N=5$ seeds, оба односторонних теста должны отклонить $H_0$.
|
||
|
||
**(4) Почему эффективно.** Теорема 3 (§ 3.5); Han et al. TPAMI 2022 (dynamic-NN адаптивность); Mahalanobis++ (ICML 2025) — стабильность OOD-score под distribution shift.
|
||
|
||
**(5) Отличие.** CVGL-методы с asymmetric branches (FSRA, MCCG, Sample4Geo) не имеют текстовой ветви, поэтому вопрос отсутствует. Из text-augmented методов: CrossText2Loc (Ye et al., arXiv:2412.17007, ICCV 2025) и VICI (arXiv:2507.04107) симметрично подают текст с обеих сторон. ARGF корректно работает и при асимметрии.
|
||
|
||
---
|
||
|
||
## Часть 5. Гипотезы П2 (иерархический InfoScore по L1/L2/L3/T_meta)
|
||
|
||
```yaml
|
||
---
|
||
title: "Гипотезы P2: Hierarchical InfoScore"
|
||
tags: [диссер, гипотезы, P2]
|
||
status: главы 5-1..5-5
|
||
---
|
||
```
|
||
|
||
### N2_H1. Приоритет L3 (cross-view fingerprint)
|
||
|
||
**(1) Краткая формулировка.** Среднее значение router-score $r_{L3}$ строго больше, чем $\max(r_{L1},r_{L2},r_{T_m})$.
|
||
|
||
**(2) Подробное объяснение.** L3 содержит длинные cross-view fingerprint-описания, проектируемые в KPS-extended токенизатор DGTRS-CLIP (Chen et al., arXiv:2503.19311). Ожидаем, что SM-InfoScore L3 имеет наименьшее расстояние от ID-центра (наибольшая правдоподобность) → высокий $r_{L3}$. Дополнительно, средний токен-length L3 ≈ 86 (DGTRS), при L1 ≈ 32 (short captions) — L3 несёт больше пространственной семантики.
|
||
|
||
**(3) Формально.** Bonferroni-corrected three pairwise t-tests:
|
||
$$
|
||
H_0:\;\mathbb E[r_{L3}]\le\mathbb E[r_X]\;\;\forall X\in\{L1,L2,T_m\},
|
||
$$
|
||
$$
|
||
H_1:\;\mathbb E[r_{L3}]>\mathbb E[r_X]+\delta_2,\;\delta_2=0.05.
|
||
$$
|
||
$\alpha/3=0.0167$ для каждого. Cohen $d\ge 0.5$.
|
||
|
||
**(4) Почему эффективно.** LRSCLIP (Chen et al., 2025, in arXiv:2503.19311): «LRSCLIP improves retrieval accuracy by 10%-20% over the Long-CLIP baseline in the zero-shot long-text cross-modal retrieval task» — длинные описания, аналогичные L3, дают информационное преимущество. Long-CLIP (Zhang et al. 2024, KPS technique) — base.
|
||
|
||
**(5) Отличие.** Sample4Geo (ICCV 2023) — нет текста; CAMP (TGRS 2024) — context-aware menus, но без иерархии уровней промпта. CrossText2Loc (arXiv:2412.17007) использует длинный текст, но без разбиения на L1/L2/L3 и без InfoScore.
|
||
|
||
---
|
||
|
||
### N2_H2. Комплементарность T_meta и T_L3 (низкая корреляция InfoScore)
|
||
|
||
**(1) Краткая формулировка.** Корреляция $\rho(\mathrm{SM}(T_{\text{meta}}),\mathrm{SM}(T_{L3}))$ удовлетворяет $|\rho|<0.3$.
|
||
|
||
**(2) Подробное объяснение.** T_meta — числовые метаданные (высота, yaw); L3 — текстовый fingerprint. Они описывают *разные* стороны априорной информации: геометрию платформы vs семантику сцены. Низкая корреляция → добавление обоих даёт прирост, не дублируя.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
\rho=\frac{\mathrm{Cov}(\mathrm{SM}_{T_m},\mathrm{SM}_{T_{L3}})}{\sigma_{T_m}\sigma_{T_{L3}}}.
|
||
$$
|
||
$H_0:|\rho|\ge 0.3$ vs $H_1:|\rho|<0.3$. Преобразование Фишера: $z=\tfrac12\ln\!\tfrac{1+\rho}{1-\rho}$, $\sigma_z=1/\sqrt{N-3}$, where $N$ — число тестовых семплов.
|
||
|
||
**(4) Почему эффективно.** Partial information decomposition (Williams \& Beer, *Nonnegative Decomposition of Multivariate Information*, arXiv:1004.2515, 2010). Survey on multimodal learning (Baltrušaitis, Ahuja, Morency, IEEE TPAMI **41(2)**:423–443, 2019, DOI:10.1109/TPAMI.2018.2798607) — комплементарность модальностей.
|
||
|
||
**(5) Отличие.** Большинство CVGL-CLIP методов (CrossText2Loc 2024, VICI 2025) объединяют всю текстовую информацию в один embedding. Мы декомпозируем и измеряем независимость через InfoScore.
|
||
|
||
---
|
||
|
||
### N2_H3. Фильтрующее действие при шумных уровнях
|
||
|
||
**(1) Краткая формулировка.** При искусственном зашумлении одного из L1/L2/L3 (token-shuffle, mask), $r_X$ значимо падает, а R@1 деградирует меньше, чем у baseline без ARGF.
|
||
|
||
**(2) Подробное объяснение.** Прямой stress-test механизма. Шумный уровень должен «выключиться» автоматически. Аналог ablation Router-Gated AVSR (arXiv:2508.18734).
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
\Delta r_{\text{noisy},X}=r_X^{\text{clean}}-r_X^{\text{noisy}}.
|
||
$$
|
||
$H_0:\Delta r\le 0.1$ vs $H_1:\Delta r>0.1$. Парный t-test.
|
||
|
||
Дополнительно:
|
||
$$
|
||
\Delta R@1_{\text{ARGF}}^{\text{noisy}-\text{clean}}>-\delta_3,\quad \Delta R@1_{\text{base}}^{\text{noisy}-\text{clean}}<-2\delta_3,\quad\delta_3=0.5\%.
|
||
$$
|
||
|
||
**(4) Почему эффективно.** Router-Gated AVSR (Lim et al., arXiv:2508.18734): 16.51–42.67% WER reduction при шумном аудио. SAMFusion (ECCV 2024): «more than 17.2 AP in dense fog … on the most challenging distance category from 50 m-80 m». Mahalanobis-OOD (Lee 2018) — score растёт на OOD.
|
||
|
||
**(5) Отличие.** GMU (Arevalo 2017), TFT-GRN (Lim 2021) не имеют *доказанной* робастности к зашумлению. Cross-Modal Bottleneck (CoBRA, arXiv:2602.08293, 2025) — robust, но без явного InfoScore.
|
||
|
||
---
|
||
|
||
### N2_H4. Выгода раздельных подпространств vs общего
|
||
|
||
**(1) Краткая формулировка.** Раздельные $\pi_{\text{sub}}^{(L1)},\pi_{\text{sub}}^{(L2)},\pi_{\text{sub}}^{(L3)},\pi_{\text{sub}}^{(T_m)}$ дают R@1 выше, чем общий $\pi_{\text{sub}}$.
|
||
|
||
**(2) Подробное объяснение.** Уровни имеют различные распределения активаций; общий subspace усреднил бы их (потеря дискриминативности). Раздельные подпространства реализуют per-level GDA.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;R@1_{\text{shared}}\ge R@1_{\text{sep}}\;\;\text{vs}\;\;H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.5\%.
|
||
$$
|
||
Парный t-test, Cohen $d\ge 0.5$.
|
||
|
||
**(4) Почему эффективно.** Mahalanobis++ (ICML 2025) — per-class covariance работает лучше shared. ViM (CVPR 2022) — class-agnostic + class-conditional комбинирование. Long-CLIP / KPS — dual-granularity улучшает alignment.
|
||
|
||
**(5) Отличие.** Lee 2018 использует один shared Σ; ViM 2022 — class-conditional в logit-space, не в multimodal-level. Мы — first to apply per-modality-level subspace в CVGL.
|
||
|
||
---
|
||
|
||
### N2_H5. Совместимость П1+П2 (аддитивность)
|
||
|
||
**(1) Краткая формулировка.** Совместное включение П1 (ARGF на residual) и П2 (иерархический InfoScore) даёт прирост R@1, не меньший суммы индивидуальных приростов с допустимым зазором.
|
||
|
||
**(2) Подробное объяснение.** Аддитивность — признак отсутствия деструктивной интеракции. Критично для defense-strategy: можно отстаивать вклады как независимые.
|
||
|
||
**(3) Формально.** $\Delta_1=R@1_{P_1}-R@1_{\text{base}},\;\Delta_2=R@1_{P_2}-R@1_{\text{base}},\;\Delta_{1+2}=R@1_{P_1+P_2}-R@1_{\text{base}}$:
|
||
$$
|
||
H_0:\;\Delta_{1+2}<\Delta_1+\Delta_2-\gamma,\;\gamma=0.2\%,
|
||
$$
|
||
$$
|
||
H_1:\;\Delta_{1+2}\ge\Delta_1+\Delta_2-\gamma.
|
||
$$
|
||
TOST для эквивалентности по верхнему пределу.
|
||
|
||
**(4) Почему эффективно.** Superposition в linear gating (Highway 1505.00387). Aggregation theorem в boosting (Schapire 1990). Sparse MoE (Shazeer et al., arXiv:1701.06538) — независимые эксперты комбинируются аддитивно.
|
||
|
||
**(5) Отличие.** Многие CVGL-методы (LPN, FSRA, MCCG) добавляют несколько модулей без проверки аддитивности. Мы — первый формальный ANOVA-тест в CVGL.
|
||
|
||
---
|
||
|
||
## Часть 6. Гипотезы П3 (двухтрактовая fusion + симметричный loss)
|
||
|
||
```yaml
|
||
---
|
||
title: "Гипотезы P3: Two-track fusion + symmetric retrieval"
|
||
tags: [диссер, гипотезы, P3]
|
||
status: главы 6-1..6-5
|
||
---
|
||
```
|
||
|
||
### N3_H1. Выгода раздельных гейтов $\alpha_{\text{sem}}$ и $\alpha_{\text{meta}}$
|
||
|
||
**(1) Краткая формулировка.** Раздельные $\alpha_{\text{sem}},\alpha_{\text{meta}}$ дают R@1 выше, чем один общий $\alpha$.
|
||
|
||
**(2) Подробное объяснение.** Семантический поток ($T_{\text{sem}}=[z_1;z_2;z_3]$) и метаданные ($T_{\text{meta}}$) имеют разные оптимальные balance-points. Один α — усреднение.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;R@1_{\alpha_{\text{shared}}}\ge R@1_{\alpha_{\text{sem}},\alpha_{\text{meta}}},
|
||
$$
|
||
$$
|
||
H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.4\%.
|
||
$$
|
||
Парный t-test, 5 seeds, Cohen $d\ge 0.5$.
|
||
|
||
**(4) Почему эффективно.** TFT (Lim 2021): «sample-dependent variable selection to minimize the contributions of irrelevant inputs». GMU (Arevalo 2017): один gate per source. DGTRS-CLIP (2025): dual-granularity learning.
|
||
|
||
**(5) Отличие.** Sample4Geo (ICCV 2023) — единый эмбеддинг; CAMP (TGRS 2024) — single context-aware fusion; CrossText2Loc (2024) — один text-embedding без разделения метаданных.
|
||
|
||
---
|
||
|
||
### N3_H2. Оптимальность коэффициентов 0.6/0.4 в loss (SNR-обоснование)
|
||
|
||
**(1) Краткая формулировка.** Веса 0.6 для $\mathrm{CE}(q\to g)$ и 0.4 для $\mathrm{CE}(g\to q)$ дают R@1 выше, чем 0.5/0.5, и обоснованы SNR-асимметрией drone (rich-text) / sat (passthrough).
|
||
|
||
**(2) Подробное объяснение.** Drone-сторона имеет более информативный query (текст + img), направление q→g «сильнее регуляризовано». Sat — passthrough, симметричная регуляризация была бы избыточна.
|
||
|
||
**(3) Формально.** Grid $\{(0.5,0.5),(0.55,0.45),(0.6,0.4),(0.65,0.35),(0.7,0.3)\}$; квадратичная регрессионная модель
|
||
$$
|
||
R@1=\beta_0+\beta_1 w+\beta_2 w^2+\varepsilon.
|
||
$$
|
||
$H_1:$ оптимум $w^*=-\beta_1/(2\beta_2)\in[0.55,0.65]$ с 95% CI.
|
||
|
||
**(4) Почему эффективно.** SNR-асимметрия § 1.8. CLIP InfoNCE (Radford et al. 2021) — симметричен лишь при сбалансированных модальностях. iSogCLR (Zhang et al., arXiv:2305.11965, ICML 2023): «automatic temperature individualization». Геометрия InfoNCE и modality gap (arXiv:2601.19597, 2026): «symmetric InfoNCE contains a persistent negative symmetric divergence coupling».
|
||
|
||
**(5) Отличие.** Sample4Geo, CAMP — симметричная contrastive loss 0.5/0.5. CrossText2Loc — однонаправленная. Наша асимметрия — formal SNR-based.
|
||
|
||
---
|
||
|
||
### N3_H3. Learnable τ vs fixed
|
||
|
||
**(1) Краткая формулировка.** Learnable $\tau$ (init=0.07, clamp $[0.01,0.5]$) даёт R@1 выше, чем fixed $\tau=0.07$.
|
||
|
||
**(2) Подробное объяснение.** Температура регулирует жёсткость softmax; в multimodal CVGL оптимум смещается по эпохам.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;R@1_{\tau_{\text{learn}}}\le R@1_{\tau=0.07},\;\;H_1:\;R@1_{\tau_{\text{learn}}}-R@1_{\tau=0.07}>+0.3\%.
|
||
$$
|
||
Парный t-test. Мониторинг сходимости $\tau\to\tau^*$.
|
||
|
||
**(4) Почему эффективно.** CLIP (Radford et al. 2021) — first learnable τ. iSogCLR (Zhang 2023, arXiv:2305.11965). DyStress (Dey et al., arXiv:2308.01140, 2023) — cosine-dependent dynamic τ. Kukleva et al. 2023 — scheduled τ.
|
||
|
||
**(5) Отличие.** Sample4Geo — learnable τ без clamping; мы clamp для устойчивости edge-inference. Temperature-Free Loss (arXiv:2501.17683, 2025) предлагает убрать τ — мы оставляем как safety-knob.
|
||
|
||
---
|
||
|
||
### N3_H4. Эквивалентность passthrough и SM-InfoScore→0
|
||
|
||
**(1) Краткая формулировка.** При sat-passthrough распределение $\mathrm{SM}(v_{\text{text}})$ концентрируется около $\mathrm{SM}(\pi_{\text{sub}}(0))$, и router $r_{T}\to 0$ — фактически отключает ARGF на этой ветви.
|
||
|
||
**(2) Подробное объяснение.** Эмпирическая проверка теоремы 3 (§ 3.5). На sat-batch роутер не должен «впрыскивать» текстовый residual.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\bar r_T^{\text{sat-batch}}\ge 0.1,\;\;H_1:\;\bar r_T^{\text{sat-batch}}<0.05.
|
||
$$
|
||
One-sample t-test против 0.05.
|
||
|
||
**(4) Почему эффективно.** Теорема 3; Lee 2018 / ViM 2022 — Mahalanobis-score detect OOD; Mahalanobis++ (ICML 2025) — стабильность score под distribution shift.
|
||
|
||
**(5) Отличие.** Asymmetric multimodal works (Vaezi Joze et al., CVPR 2020) не имеют автоматического отключения; SAMFusion attention уменьшает, но не зануляет. ARGF математически гарантирует $r\to 0$.
|
||
|
||
---
|
||
|
||
### N3_H5. Edge-применимость + совместимость с дистилляцией
|
||
|
||
**(1) Краткая формулировка.** ARGF добавляет ≤ 0.5 M параметров и ≤ 5 ms latency на NVIDIA Jetson Orin Nano и совместим с distillation DINOv3 ViT-L/16 (303 M) → DINOv3 ViT-S/16.
|
||
|
||
**(2) Подробное объяснение.** Параметры ARGF: $\pi_{\text{sub}}$ ($2\cdot 512\cdot 128\approx 131$ k) × 4 уровня + router ($W_q\in\mathbb R^{1\times 2}$ — пренебрежимо) ≈ 0.5 M. Latency: $4\times(O(kr)+O(r^3))$ при $k=64,r=8$ ≪ ViT-L forward. Distillation: ARGF-блок остаётся неизменным; меняется лишь backbone.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\Delta P>0.5M\;\text{or}\;\Delta t>5\text{ms},
|
||
$$
|
||
$$
|
||
H_1:\;\Delta P\le 0.5M\;\text{and}\;\Delta t\le 5\text{ms}.
|
||
$$
|
||
Точечная оценка + 95% CI для latency на 1000 inference passes (warm-up=100).
|
||
Дополнительно: $R@1_{\text{distilled}}\ge 0.9\cdot R@1_{\text{teacher}}$.
|
||
|
||
**(4) Почему эффективно.** DINOv3 (Siméoni et al., arXiv:2508.10104, 2025) поддерживает distillation в ViT-S/B/L/H+ и ConvNeXt out of the box: «Family of Models: Distilled into ViT-S, B, L, H+, and ConvNeXt variants». Mona adapters (Yin, Hu et al., CVPR 2025, arXiv:2408.08345 / 2311.15010): «5%>100%: Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks». Han et al. TPAMI 2022 (DOI:10.1109/TPAMI.2021.3117837): «strategically allocate computations on demand at test time, by selectively activating model components».
|
||
|
||
**(5) Отличие.** Sample4Geo / CAMP — ConvNeXt-B (~89 M, тяжелее на edge). CrossText2Loc — CLIP-L/14 без edge-оптимизации. WELN, FSRA — нет distillation-pipeline. ARGF добавляет минимально к frozen-foundational-models.
|
||
|
||
---
|
||
|
||
## Приложение А. Каверзы и ограничения (для всех 15 гипотез)
|
||
|
||
1. **Калибровка δ-thresholds.** Все δ откалиброваны по std seed-replication на University-1652 (~0.3 п.п. для R@1) и SUES-200 (Zhu et al., IEEE TCSVT **33(9)**:4825–4839, DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704), где «SUES-200 collects data from the same scene at four heights (150 m, 200 m, 250 m, 300 m)». Современные методы (CAMP/Sample4Geo/MCCG) на SUES-200 при 200 m имеют R@1 ≈ 92–98%; (MGS)²-Net (2025 preprint, не peer-reviewed) заявляет до 99.78% R@1 на 300 m.
|
||
2. **Статистические критерии.** Следуем Demšar (JMLR **7**:1–30, 2006): Wilcoxon signed-rank для пары методов, Friedman + Nemenyi post-hoc для $\ge 3$ методов. Bonferroni-коррекция для множественных сравнений уровня.
|
||
3. **Размер эффекта.** Cohen's $d$: 0.2/0.5/0.8 = small/medium/large; Hedges' $g$ — bias-corrected версия для $N<30$.
|
||
4. **Воспроизводимость.** Все ablation — на одинаковых seeds, фиксированной $\tau$-инициализации, фиксированной batch-size, без data leakage между train/val/test.
|
||
5. **Edge-метрики H5.** Цель Jetson Orin Nano, INT8/bf16, batch=1, измерение по nvidia-smi + torch.profiler.
|
||
6. **Уязвимости теоремы 1.** Модель шума $n\sim\mathcal N(0,\sigma_n^2 I)$ — изотропная; реальный шум CLIP-эмбеддингов анизотропен. В этом случае «удвоение шума» нужно понимать в смысле trace(Cov) (что инвариантно к базису).
|
||
7. **Уязвимости теоремы 2.** Гауссовость $\pi_{\text{sub}}(v)$ — модельное допущение; $\ell_2$-нормализация Mahalanobis++ его улучшает, но не гарантирует строго.
|
||
|
||
---
|
||
|
||
## Приложение Б. Сводный список цитированных работ (DOI / arXiv)
|
||
|
||
1. Arevalo et al., GMU. arXiv:1702.01992 (ICLR-W 2017). DOI: 10.48550/arXiv.1702.01992.
|
||
2. Srivastava, Greff, Schmidhuber, Highway Networks. arXiv:1505.00387 (ICML-W 2015). DOI: 10.48550/arXiv.1505.00387.
|
||
3. Lim, Arık, Loeff, Pfister, TFT. *Int. J. Forecasting* **37(4)**:1748–1764. DOI: 10.1016/j.ijforecast.2021.03.012.
|
||
4. Dauphin, Fan, Auli, Grangier, GLU. arXiv:1612.08083 (ICML 2017).
|
||
5. Balduzzi et al., Shattered Gradients. arXiv:1702.08591 (ICML 2017).
|
||
6. Shazeer et al., Sparse MoE. arXiv:1701.06538 (ICLR 2017).
|
||
7. Wang et al., SkipNet. arXiv:1711.09485 (ECCV 2018).
|
||
8. Wu et al., BlockDrop. arXiv:1711.08393 (CVPR 2018).
|
||
9. Han et al., Dynamic NN Survey. DOI:10.1109/TPAMI.2021.3117837 (IEEE TPAMI **44(11)**:7436–7456, 2022). arXiv:2102.04906.
|
||
10. Shwartz-Ziv \& Tishby. arXiv:1703.00810 (2017).
|
||
11. Alemi et al., Deep VIB. arXiv:1612.00410 (ICLR 2017).
|
||
12. Saxe et al. On IB theory of deep learning. J. Stat. Mech. (2019) 124020.
|
||
13. Müller \& Hein, Mahalanobis++. arXiv:2505.18032 (ICML 2025, PMLR 267:45151–45184).
|
||
14. Lee, Lee, Lee, Shin. A Simple Unified Framework for OOD/Adversarial. NeurIPS 2018.
|
||
15. Wang, Li, Feng, Zhang, ViM. arXiv:2203.10807 (CVPR 2022).
|
||
16. Ioffe, Szegedy, BatchNorm. arXiv:1502.03167 (ICML 2015).
|
||
17. Morales-Brotons, Vogels, Hendrikx, EMA of Weights. arXiv:2411.18704 (TMLR 2024).
|
||
18. Seeger et al., Auto-Diff Linear Algebra. arXiv:1710.08717 (2017).
|
||
19. Demšar. Statistical Comparisons of Classifiers. JMLR **7**:1–30 (2006).
|
||
20. Baltrušaitis, Ahuja, Morency. Multimodal ML Survey. IEEE TPAMI **41(2)**:423–443, DOI:10.1109/TPAMI.2018.2798607.
|
||
21. Siméoni et al., DINOv3. arXiv:2508.10104 (2025).
|
||
22. Yin, Hu et al., MONA / Adapter is All You Need. arXiv:2311.15010 / arXiv:2408.08345 (CVPR 2025).
|
||
23. Chen, Chen, Deng et al., DGTRS-CLIP / LRSCLIP. arXiv:2503.19311 (2025).
|
||
24. Lim DH, Kim YC, Kim DH, Yang DH, Chang JH. Router-Gated AVSR. arXiv:2508.18734 (2025).
|
||
25. Palladin, Dietze, Narayanan, Bijelic, Heide, SAMFusion. DOI:10.1007/978-3-031-73030-6_27 (ECCV 2024). arXiv:2508.16408.
|
||
26. Deuser, Habel, Oswald, Sample4Geo. arXiv:2303.11851 (ICCV 2023).
|
||
27. Wu et al., CAMP. DOI:10.1109/TGRS.2024.3448499 (IEEE TGRS 2024).
|
||
28. Zhu, Yin, Yang, Wu, Yang, Hu, SUES-200. DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704 (IEEE TCSVT **33(9)**:4825–4839, 2023).
|
||
29. Zheng, Wei, Yang, University-1652. *Proc. ACM MM 2020*, pp. 1395–1403.
|
||
30. Ye, Lin, Ou et al., CrossText2Loc. arXiv:2412.17007 (ICCV 2025).
|
||
31. Patsenker, Li, Kluger. Exponential weight averaging as damped harmonic motion. arXiv:2310.13854 (2023).
|
||
32. Zhang et al., iSogCLR. arXiv:2305.11965 (ICML 2023).
|
||
33. Dey et al., DyStress. arXiv:2308.01140 (2023).
|
||
|
||
---
|
||
|
||
### TL;DR (3 пункта, к защите)
|
||
1. **П1 (ARGF + SM-InfoScore)** — теоретически обоснованная (леммы 1, теоремы 1–3) и эмпирически верифицируемая адаптивная маршрутизация residual для модальностей с переменным SNR, дающая прирост Drone→Sat R@1 ≥ +1.5 п.п. на University-1652.
|
||
2. **П2 (Hierarchical InfoScore по L1/L2/L3/T_meta)** — приоритизация cross-view fingerprint (L3) и комплементарность с T_meta, статистически проверяемые через Fisher z-test и Bonferroni-corrected t-tests.
|
||
3. **П3 (двухтрактовая fusion + symmetric loss 0.6/0.4 + learnable τ)** — edge-применимость (≤ 0.5 M доп. параметров, ≤ 5 ms latency на Jetson Orin Nano) при совместимости с DINOv3-distillation. Все 15 гипотез имеют формализованные $H_0/H_1$, тестовые статистики, δ-thresholds и эффект-сайзы по Cohen. |