From 66564224957cf1b9c3518840421410b399b6e50e Mon Sep 17 00:00:00 2001 From: Pavlenko_B Date: Thu, 14 May 2026 14:30:44 +0300 Subject: [PATCH] 14_05_chkpnt --- 2_hypotheses/InfoScore расширение.md | 659 ++++++++++++++++++ 2_hypotheses/Гипотезы N1.md | 23 +- .../Научная_новизна_актуализация.md | 4 +- ...инализация трёх пунктов научной новизны.md | 11 +- ДИССЕР.md | 4 +- 5 files changed, 684 insertions(+), 17 deletions(-) create mode 100644 2_hypotheses/InfoScore расширение.md diff --git a/2_hypotheses/InfoScore расширение.md b/2_hypotheses/InfoScore расширение.md new file mode 100644 index 0000000..d6b9f47 --- /dev/null +++ b/2_hypotheses/InfoScore расширение.md @@ -0,0 +1,659 @@ +--- +tags: + - диссер +--- +[[InfoScore for residual routing]] +# Радикальное расширение шести заметок диссертации (спец. 2.3.1 ВАК РФ) +## Тема: Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для CVGL БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем + +> **Контекст пайплайна автора (без изменений во всём документе):** +> Drone branch — DINOv3 ViT-L/16 (303M, frozen) + MONA (3.5M, bf16) → CLS [B,1024] → Linear(1024→512) → $d_{\text{img}}\in\mathbb R^{512}$. Satellite branch — shared encoder. Текст — DGTRS-CLIP ViT-L/14 (124M, frozen) + LoRA r=4 + KPS positions, 248 tokens; L1 — overview, L2 — full description, L3 — cross-view fingerprint, $T_{\text{meta}}$ — численные метаданные; $z_1,z_2,z_3\in\mathbb R^{768}$ → cat $\in\mathbb R^{2304}$ → TextFusionMLP (1.5M) → $d_{\text{txt}}\in\mathbb R^{512}$. GatedFusion: $q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}$, $\hat q=q/\lVert q\rVert_2$. Symmetric retrieval: $\mathrm{sim}=\hat q\hat g^\top/\tau$, $\tau$ — learnable, init=0.07, clamp $[0.01,0.5]$. Loss $=0.6\,\mathrm{CE}(q\!\to\!g)+0.4\,\mathrm{CE}(g\!\to\!q)$, label smoothing 0.1. Sat без caption — passthrough $g=s_{\text{img}}$. + +--- + +## Часть 1. SNR-исследование деструктивности простой остаточной связи для Gate-механизмов + +```yaml +--- +title: "SNR-анализ деструктивности residual в Gate-Fusion" +tags: [диссер, ARGF, SNR, gated-fusion] +status: глава 1 +--- +``` + +### § 1.1. Постановка задачи и базовые формулы Gate-Fusion + +Каноническая Gated Multimodal Unit (Arevalo, Solorio, Montes-y-Gómez, González, *Gated Multimodal Units for Information Fusion*, arXiv:1702.01992, ICLR-W 2017) задаётся +$$ +h_v=\tanh(W_v v),\quad h_t=\tanh(W_t t),\quad g=\sigma(W_g[v;t]), +$$ +$$ +\mathrm{fused}=g\odot h_v+(1-g)\odot h_t,\qquad g\in[0,1]^d. +$$ +Авторская реализация — скалярная: $q=\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}$. Преемственность: Highway Networks (Srivastava, Greff, Schmidhuber, *Highway Networks*, arXiv:1505.00387, ICML-W 2015) и Gated Residual Network в Temporal Fusion Transformer (Lim, Arık, Loeff, Pfister, *Temporal Fusion Transformers for interpretable multi-horizon time series forecasting*, *International Journal of Forecasting* **37(4)**:1748–1764, 2021, DOI:10.1016/j.ijforecast.2021.03.012): +$$ +\mathrm{GRN}_\omega(a,c)=\mathrm{LayerNorm}\!\bigl(a+\mathrm{GLU}_\omega(\eta_1)\bigr). +$$ +Gated Linear Units (Dauphin, Fan, Auli, Grangier, *Language Modeling with Gated Convolutional Networks*, arXiv:1612.08083, ICML 2017): «a novel gating mechanism that eases gradient propagation» — гейт сам по себе сохраняет градиентный поток, что является ключевым контр-аргументом необходимости *аддитивного* identity-residual параллельно с гейтом. + +### § 1.2. Декомпозиция сигнал/шум модальности +Пусть $v_{\text{text}}=s+n$, $s\in\mathbb R^d$ — полезный сигнал, $n\sim\mathcal N(0,\sigma_n^2 I)$, $\mathbb E[s^\top n]=0$. Введём +$$ +\mathrm{SNR}(v)\;:=\;\lVert s\rVert_2/\lVert n\rVert_2,\qquad \mathrm{SNR}_{\text{dB}}=20\log_{10}\mathrm{SNR}. +$$ +Модальность называется **шумной**, если $\mathrm{SNR}<1$ ($\mathrm{SNR}_{\text{dB}}<0$). + +### § 1.3. Лемма 1 (формула шума при остаточной связи). +**Лемма 1.** Пусть в SRGF-конфигурации (Simple Residual Gated Fusion) на шумной модальности используется *антикоррелированный* residual +$$ +\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}+v_{\text{text}}. +$$ +Тогда покомпонентный вклад шума равен +$$ +\boxed{\;\mathrm{noise\_total}(g)=(2-g)\odot n.\;} +$$ +*Доказательство.* Подстановкой $v_{\text{text}}=s+n$ и линейностью: +$$ +\mathrm{fused}=g\odot v_{\text{img}}+(1-g)\odot(s+n)+(s+n)=g\odot v_{\text{img}}+(2-g)\odot s+(2-g)\odot n. +$$ +Шумовая часть равна $(2-g)\odot n$. $\blacksquare$ + +### § 1.4. Теорема 1 (условие деструктивности residual). +**Теорема 1.** В условиях леммы 1 +$$ +\lim_{g\to 1}\mathrm{noise\_total}=n,\qquad \lim_{g\to 0}\mathrm{noise\_total}=2n, +$$ +и суммарная дисперсия шума на выходе при $g=0$ учетверяется: $\mathrm{Var}[\mathrm{noise\_total}(0)]=4\sigma_n^2 I$. + +*Доказательство.* Применение $\mathrm{Var}[\lambda n]=\lambda^2\mathrm{Var}[n]$ к лемме 1. При $g\to 0$ доверие сдвинуто к $v_{\text{text}}$ (шумной модальности), и identity-residual удваивает её, что и порождает учетверение дисперсии. $\blacksquare$ + +### § 1.5. Следствие (оптимальное $g^*$). +Запишем выходной SNR: +$$ +\mathrm{SNR}_{\text{out}}^2(g)=\frac{(2-g)^2\lVert s\rVert^2+g^2\lVert v_{\text{img}}\rVert^2}{(2-g)^2\sigma_n^2}. +$$ +Дифференцируя по $g$ и решая $d/dg=0$, получаем, что при $\lVert v_{\text{img}}\rVert\gg\lVert s\rVert$ оптимум $g^*\to 1$ как при $\lVert n\rVert\to\infty$ (полное доверие к img), так и при $\lVert n\rVert\to 0$ (зашумлённая модальность подменена в пределе чистым $v_{\text{img}}$). Тем самым **аддитивный residual** на шумной стороне *препятствует* достижению оптимума. + +### § 1.6. Эмпирическая верификация +- **Router-Gated Cross-Modal Fusion для AVSR** (DongHoon Lim, YoungChae Kim, Dong-Hyun Kim, Da-Hee Yang, Joon-Hyuk Chang, *Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion*, arXiv:2508.18734, 26.08.2025): «We demonstrate consistent word error rate reductions of 16.51–42.67% on LRS3 under various noise conditions, surpassing AV-HuBERT». +- **SAMFusion** (Palladin, Dietze, Narayanan, Bijelic, Heide, ECCV 2024, DOI:10.1007/978-3-031-73030-6_27; arXiv:2508.16408): «improve 3D-AP, especially for the pedestrian class by more than 17.2 AP in dense fog and 15.62 AP in heavy snow on the most challenging distance category from 50 m-80 m relative to the state of the art». +- **Shattered Gradients** (Balduzzi, Frean, Leary, Lewis, Ma, McWilliams, *The Shattered Gradients Problem*, arXiv:1702.08591, ICML 2017): «the correlation between gradients in standard feedforward networks decays exponentially with depth … in architectures with skip-connections [it is] far more resistant to shattering, decaying sublinearly» — это объясняет, почему identity-residual не *убивает градиент*, но не оправдывает его *семантической* пользы. +- **GLU** (Dauphin et al. 2017, arXiv:1612.08083): «a novel gating mechanism that eases gradient propagation» — гейт сам сохраняет градиент. + +### § 1.7. Связь с Information Bottleneck +Согласно Tishby \& Zaslavsky (2015) и Shwartz-Ziv, Tishby (*Opening the Black Box of Deep Neural Networks via Information*, arXiv:1703.00810, 2017), +$$ +\mathcal L_{IB}=I(Y;Z)-\beta\,I(X;Z). +$$ +Saxe et al. (*On the Information Bottleneck Theory of Deep Learning*, J. Stat. Mech. (2019) 124020): «compression should commence following the transition from a high to a low gradient signal-to-noise ratio». Deep VIB (Alemi, Fischer, Dillon, Murphy, *Deep Variational Information Bottleneck*, arXiv:1612.00410, ICLR 2017) даёт параметрическую реализацию. Вывод: при $\mathrm{SNR}(v_{\text{text}})\to 0$ канал не несёт нового $I(Z;Y)$, а аддитивный residual только повышает $I(X;Z)$, нарушая IB-оптимум. + +### § 1.8. Применимость к CVGL пайплайну +- **Drone-side**: rich L1+L2+L3+T_meta (KPS 248 tokens) — high-SNR; +- **Satellite-side passthrough** ($g=s_{\text{img}}$, текста нет) — эффективный SNR≈0, аддитивный residual через лемму 1 удваивает шум. + +**Прогноз:** identity-residual деструктивен на sat-стороне; необходима *адаптивная* маршрутизация — ARGF (§ 3). + +--- + +## Часть 2. InfoScore — идея, составляющие, принцип действия, мат. обоснование + +```yaml +--- +title: "SM-InfoScore: Subspace-Mahalanobis Information Score" +tags: [диссер, InfoScore, Mahalanobis, OOD] +status: глава 2 +--- +``` + +### § 2.1. Концепция информативности признака модальности +Гейт $g\in[0,1]$ выбирает *направление* смешения, но не измеряет, насколько каждая модальность информативна. Требуется онлайн-скаляр $S(v)\in\mathbb R$, оценивающий пригодность вектора признаков для retrieval. Различаем: +1. *Information content* (Shannon, $H(X)$) — глобальная мера, не per-example; +2. *Confidence* (MSP) — лишь в supervised-сетапах; +3. **Informativeness** (наш термин) — мера соответствия $v$ ID-распределению модальности. + +### § 2.2. Кандидаты на InfoScore (сводная критика) + +| Кандидат | Формула | Сложность | Замечания | +|---|---|---|---| +| Норм. энтропия $H_{\text{norm}}(v)$ | $-\!\sum_i p_i\log p_i/\log d$ | $O(d)$ | требует softmax-интерпретации | +| $\lVert v\rVert_2$ | $\sqrt{v^\top v}$ | $O(d)$ | вырождается для $\ell_2$-нормированных эмбеддингов | +| $\mathrm{Var}(v)$, $\mathrm{CV}(v)$ | $\sigma^2,\sigma/\mu$ | $O(d)$ | без класс-структуры | +| TAS | $\langle v_t,v_i\rangle/(\lVert v_t\rVert\lVert v_i\rVert)$ | $O(d)$ | симметричен | +| EffRank | $(\sum\lambda_i)^2/\sum\lambda_i^2$ | $O(d^3)$ | per-batch, не per-example | +| MINE | $\sup_T\,\mathbb E_{p(xy)}T-\log\mathbb E e^T$ | $O(N^2)$ | нестабилен | + +### § 2.3. Выбор: SM-InfoScore (Subspace-Mahalanobis) +$\pi_{\text{sub}}:\mathbb R^d\to\mathbb R^k$ — обучаемая проекция; $\mu_{\text{sub}},\Sigma_{\text{sub}}$ — EMA-статистики; определение +$$ +\boxed{\;\mathrm{SM}(v)\;:=\;(\pi_{\text{sub}}(v)-\mu_{\text{sub}})^\top\Sigma_{\text{sub}}^{-1}(\pi_{\text{sub}}(v)-\mu_{\text{sub}}).\;} +$$ +По Müller \& Hein (*Mahalanobis++: Improving OOD Detection via Feature Normalization*, ICML 2025, PMLR 267:45151–45184, arXiv:2505.18032) применяется $\ell_2$-нормализация перед оценкой: «ℓ₂-normalization mitigates this problem effectively, aligning better with the premise of normally distributed data with shared covariance matrix». + +### § 2.4. Теорема 2 (Mahalanobis ≡ log-likelihood GDA). +**Теорема 2.** Пусть $x\sim\mathcal N(\mu,\Sigma)$, $\Sigma\succ 0$, $x\in\mathbb R^k$. Тогда +$$ +-2\log p(x)\;=\;d_M^2(x;\mu,\Sigma)+k\log(2\pi)+\log\det\Sigma. +$$ +*Доказательство.* Многомерная гауссиана: +$$ +p(x)=(2\pi)^{-k/2}(\det\Sigma)^{-1/2}\exp\!\bigl(-\tfrac12 d_M^2(x)\bigr). +$$ +Логарифмируя: $\log p(x)=-\tfrac k2\log 2\pi-\tfrac12\log\det\Sigma-\tfrac12 d_M^2(x)$. Умножая на $-2$ и группируя константы, получаем требуемое. $\blacksquare$ + +**Следствие.** SM-InfoScore есть аффинная функция $-\log p_\pi(v)$. Это лежит в основе SOTA-OOD-метода Lee, Lee, Lee, Shin (*A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks*, NeurIPS 2018) и подтверждено на 44 моделях (Mahalanobis++, ICML 2025): «Extensive experiments on 44 models across diverse architectures and pretraining schemes show that ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently». + +### § 2.5. Обучаемое подпространство $\pi_{\text{sub}}$ +$\pi_{\text{sub}}(v)=W_2\mathrm{GELU}(W_1 v+b_1)+b_2$, $W_1\in\mathbb R^{2k\times d}$, $W_2\in\mathbb R^{k\times 2k}$. Связь с **ViM** (Wang, Li, Feng, Zhang, *ViM: Out-Of-Distribution with Virtual-logit Matching*, CVPR 2022, arXiv:2203.10807): там residual против principal space играет роль OOD-индикатора; у нас $\pi_{\text{sub}}$ — *обучаемая* аппроксимация principal-space, дифференцируемая по retrieval-loss. PCA — нелинейный частный случай $\pi_{\text{sub}}$ при $W_2=0$, $b=0$, $W_1=U^\top$. + +### § 2.6. EMA-обновление статистик +$$ +\mu_{\text{sub}}^{(t)}=(1-\beta)\mu^{(t-1)}+\beta\bar v_{\text{batch}},\quad \Sigma_{\text{sub}}^{(t)}=(1-\beta)\Sigma^{(t-1)}+\beta\,\mathrm{Cov}(v_{\text{batch}}). +$$ +Согласно Morales-Brotons, Vogels, Hendrikx (*Exponential Moving Average of Weights in Deep Learning: Dynamics and Benefits*, TMLR 2024, arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved i) robustness to noisy labels, ii) prediction consistency, iii) calibration and iv) transfer learning … an EMA of weights is a simple yet effective plug-in». Параллель с BatchNorm (Ioffe, Szegedy, *Batch Normalization*, arXiv:1502.03167, ICML 2015). Принимаем $\beta=0.01$ (эффективное окно $\sim$100 шагов). + +### § 2.7. Численная стабильность +Регуляризация $\Sigma_{\text{sub}}\leftarrow\Sigma_{\text{sub}}+\varepsilon I$, $\varepsilon=10^{-5}$. Low-rank + diagonal $\Sigma=D+UU^\top$, $U\in\mathbb R^{k\times r}$, $r=8$. Sherman–Morrison–Woodbury: +$$ +(D+UU^\top)^{-1}=D^{-1}-D^{-1}U(I_r+U^\top D^{-1}U)^{-1}U^\top D^{-1}. +$$ +Cholesky $\Sigma=LL^\top$ (Seeger, Hetzel, Dai, Lawrence, *Auto-Differentiating Linear Algebra*, arXiv:1710.08717, 2017): «We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators». + +### § 2.8. Алгоритмическая сложность + +| Вариант | Вычисление $S$ | Backprop (обновление) | +|---|---|---| +| Полная $\Sigma$ | $O(k^2)$ | $O(k^3)$ | +| Low-rank ($r\ll k$) | $O(kr)$ | $O(r^3)$ | +| Diagonal | $O(k)$ | $O(k)$ | + +Принимаем low-rank ($k=64$, $r=8$) — pragmatic edge-compromise. + +### § 2.9. Pseudocode (PyTorch-style) +```python +class SMInfoScore(nn.Module): + def __init__(self, d=512, k=64, r=8, beta=0.01, eps=1e-5): + super().__init__() + self.proj = nn.Sequential(nn.Linear(d, 2*k), nn.GELU(), + nn.Linear(2*k, k)) + self.register_buffer('mu', torch.zeros(k)) + self.register_buffer('D', torch.ones(k)) + self.register_buffer('U', torch.zeros(k, r)) + self.beta, self.eps = beta, eps + + def forward(self, v): + z = F.normalize(self.proj(v), dim=-1) # Mahalanobis++ L2-norm + if self.training: + with torch.no_grad(): + mb = z.mean(0); diff = z - mb + cov_b = (diff.T @ diff)/(z.size(0)-1) + self.mu.mul_(1-self.beta).add_(self.beta*mb) + self.D.mul_(1-self.beta).add_(self.beta*cov_b.diagonal()) + # U низкоранговая SVD от off-diagonal part of cov_b + diff = z - self.mu + Dinv = 1.0/(self.D + self.eps) + # SMW для (D + UU^T)^{-1} diff + UTDinv = (Dinv.unsqueeze(0) * self.U.T) + M = torch.eye(self.U.size(1), device=v.device) + UTDinv @ self.U + Sinv = Dinv*diff - (Dinv.unsqueeze(0)*self.U) @ \ + torch.linalg.solve(M, UTDinv @ diff.T).T + return (diff * Sinv).sum(-1) +``` + +### § 2.10. Тройная интерпретация SM-InfoScore +(1) **log-правдоподобие GDA** — теорема 2 даёт точное эквивалентное представление; +(2) **OOD-мера** — Lee 2018 → ViM 2022 → Mahalanobis++ 2025: SOTA-семейство; +(3) **компонент IB-регуляризации** — Tishby/Shwartz-Ziv: $\mathrm{SM}$ контролирует $I(X;Z)$. + +Эта тройная интерпретация — методологический козырь на защите: одна величина обоснована тремя независимыми теоретическими рамками. + +--- + +## Часть 3. ARGF — идея Adaptive Residual Routing на основе InfoScore + +```yaml +--- +title: "ARGF: Adaptive Residual Gated Fusion" +tags: [диссер, ARGF, маршрутизация] +status: глава 3 +--- +``` + +### § 3.1. Постановка задачи адаптивной маршрутизации +В § 1 показано: identity-residual деструктивен при $\mathrm{SNR}<1$. ARGF делает residual *условным* — управляемым InfoScore. + +### § 3.2. Вариант A — маршрутизация через $\lVert v\rVert_2$ +$$ +r_{\text{text}}=\sigma\!\bigl(w\cdot\lVert v_{\text{text}}\rVert/(\lVert v_{\text{img}}\rVert+\epsilon)+b\bigr). +$$ +Связь с Park et al. ICCV 2023 «Feature Norm for OOD». **Минус**: при $\ell_2$-нормированных эмбеддингах знаменатель ≡ 1, теряется дифференциация. + +### § 3.3. Вариант B — tied-to-gate +$r_{\text{text}}=1-g,\;r_{\text{img}}=g$: эквивалентно scaling baseline на 2; не вносит новой информации. + +### § 3.4. ПРЕДЛАГАЕМЫЙ — Вариант C: ARGF через SM-InfoScore +$$ +\boxed{\,r_{\text{text}}=\sigma\!\bigl(W_q[\mathrm{SM}(v_{\text{text}}),\mathrm{SM}(v_{\text{img}})]^\top+b_q\bigr).\,} +$$ +Полная схема ARGF: +$$ +\mathrm{fused}=\underbrace{g\odot v_{\text{img}}+(1-g)\odot v_{\text{text}}}_{\text{gate\_out}}+r_{\text{img}}\odot v_{\text{img}}+r_{\text{text}}\odot v_{\text{text}}. +$$ +Параметризация: $W_q\in\mathbb R^{1\times 2}$, $b_q\in\mathbb R$ — два роутера на источник (text/img). + +### § 3.5. Теорема 3 (свойства ARGF при граничных условиях). +**Теорема 3.** $\mathrm{SM}(\cdot)\ge 0$. При $W_q^{(1)}<0,W_q^{(2)}>0$: +(i) $\mathrm{SM}(v_{\text{text}})\to 0$ (надёжная модальность, near ID-center) $\Rightarrow r_{\text{text}}\to 1$; +(ii) $\mathrm{SM}(v_{\text{text}})\to\infty$ (OOD) $\Rightarrow r_{\text{text}}\to 0$. + +«Парадоксальная инверсия» мнимая: $\mathrm{SM}$ есть расстояние от ID-центра (не сила сигнала). Низкая $\mathrm{SM}$ ⇔ модальность близка к обученному распределению ⇒ residual *оставляется*; высокая $\mathrm{SM}$ ⇔ OOD-сигнал ⇒ residual *подавляется*. $\blacksquare$ + +### § 3.6. Дифференциальные свойства +$\partial L/\partial\mu_{\text{sub}}$ и $\partial L/\partial\Sigma_{\text{sub}}$ — stop-gradient (по аналогии с running-stats BatchNorm). Градиент течёт через $\pi_{\text{sub}}$: +$$ +\frac{\partial\mathrm{SM}}{\partial v}=2\,J_{\pi_{\text{sub}}}^\top\Sigma^{-1}(\pi_{\text{sub}}(v)-\mu), +$$ +где $J_{\pi_{\text{sub}}}$ — якобиан проектора. Cholesky $\Sigma=LL^\top$ даёт $\Sigma^{-1}(\cdot)$ через два triangular-solve, дифференцируемых по Murray (2016). + +### § 3.7. ARGF в контексте dynamic NN +- Han, Huang, Song, Yang, Wang, Wang, *Dynamic Neural Networks: A Survey*, IEEE TPAMI **44(11)**:7436–7456, DOI:10.1109/TPAMI.2021.3117837: «dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness». +- **SkipNet** (Wang, Yu, Dou, Darrell, Gonzalez, ECCV 2018, arXiv:1711.09485): «a gating network to selectively skip convolutional blocks based on the activations of the previous layer». +- **BlockDrop** (Wu, Nagarajan, Kumar, Rennie, Davis, Grauman, Feris, CVPR 2018, arXiv:1711.08393). +- **Sparse MoE** (Shazeer, Mirhoseini, Maziarz, Davis, Le, Hinton, Dean, *Outrageously Large Neural Networks*, ICLR 2017, arXiv:1701.06538): «A trainable gating network determines a sparse combination of these experts to use for each example». + +### § 3.8. Связь ARGF с trainable $\alpha$ +$\alpha_q$ — *глобальный* (одно значение для всего датасета); ARGF — *per-example*. Сумма +$$ +q_{\text{ARGF}}=\underbrace{\sigma(\alpha_q)d_{\text{img}}+(1-\sigma(\alpha_q))d_{\text{txt}}}_{\text{global compromise}}+\underbrace{r_{\text{img}}\odot d_{\text{img}}+r_{\text{text}}\odot d_{\text{txt}}}_{\text{local correction}} +$$ +аддитивна; при $\mathbb E[r^*]\approx 0$ (центрированный residual) глобальный $\sigma(\alpha_q^*)$ не возмущает локальный оптимум $r^*$. + +### § 3.9. Полная двухтрактовая ARGF (для П3 НН) +$T_{\text{sem}}=[z_1;z_2;z_3]$ (L1/L2/L3) и $T_{\text{meta}}$ (высота, yaw): +$$ +q=\sigma(\alpha_{\text{sem}})d_{\text{img}}+(1-\sigma(\alpha_{\text{sem}}))d_{T_{\text{sem}}}+r_{\text{img}}^{(s)}\!d_{\text{img}}+r_{T_{\text{sem}}}\!d_{T_{\text{sem}}}+r_{T_{\text{meta}}}\!d_{T_{\text{meta}}}. +$$ +Это устраняет конфликт «семантика vs числовые метаданные», характерный для DGTRS-CLIP (Chen et al., arXiv:2503.19311), где средние семантические токены и численные метки имеют различающиеся распределения. + +--- + +## Часть 4. Гипотезы П1 (ARGF-InfoScore на residual) + +```yaml +--- +title: "Гипотезы P1: ARGF-InfoScore" +tags: [диссер, гипотезы, P1] +status: главы 4-1..4-5 +--- +``` + +### N1_H1. SNR-деструктивность residual + +**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual. + +**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing. + +**(3) Формально.** +$$ +H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%. +$$ +Парный t-test по $N=5$ seeds: $t=\bar d/(s_d/\sqrt N)$, df $=N-1$. Принимается $H_1$ при $p<0.05$ и Cohen's $d=|\bar d|/s_d\ge 0.8$ (large). + +**(4) Почему эффективно.** Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv \& Tishby arXiv:1703.00810 (при низком $I(Z;Y)$ residual только наращивает $I(X;Z)$, нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention». + +**(5) Отличие.** Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual *по умолчанию*. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для $\mathrm{SNR}<1$. + +--- + +### N1_H2. Эффективность SM-InfoScore (R@1 ≥ +1.5%) + +**(1) Краткая формулировка.** Включение ARGF с SM-InfoScore даёт прирост Drone→Satellite R@1 на University-1652 ≥ +1.5 п.п. относительно baseline-GMU. + +**(2) Подробное объяснение.** Целевой $\delta=+1.5$ п.п. откалиброван по std seed-replication у CAMP/Sample4Geo (~0.3 п.п.) — «5σ-уровень». Прирост ожидаем за счёт: (а) на drone-стороне (high-SNR) residual остаётся; (б) на sat-passthrough (низкий SM-InfoScore текстового слота) — подавляется. + +**(3) Формально.** +$$ +H_0:\;\mathbb E[R@1_{\text{ARGF}}-R@1_{\text{base}}]\le 1.5\%\quad\text{vs}\quad H_1:\;>1.5\%. +$$ +Wilcoxon signed-rank test (рекомендован Demšar, *Statistical Comparisons of Classifiers over Multiple Data Sets*, JMLR **7**:1–30, 2006): $W=\sum_{i:d_i>0}\mathrm{rank}|d_i|$, $\alpha=0.05$. Размер эффекта Cohen's $d=\bar d/s_d\ge 0.5$ (medium). + +**(4) Почему эффективно.** Mahalanobis++ (Müller \& Hein, ICML 2025, arXiv:2505.18032): «ℓ₂-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently» на 44 моделях. Lee et al. NeurIPS 2018 — базовый GDA-метод. ViM (Wang et al., CVPR 2022, arXiv:2203.10807): «class-agnostic score from feature space combined with class-dependent logits». + +**(5) Отличие.** Конкретные SOTA-методы CVGL без подобной схемы: +- **CAMP** (Wu et al., IEEE TGRS 2024, DOI:10.1109/TGRS.2024.3448499): «state-of-the-art results on the satellite-drone CVGL datasets University-1652 and SUES-200», но без InfoScore-гейтирования; +- **Sample4Geo** (Deuser, Habel, Oswald, ICCV 2023, arXiv:2303.11851) — ConvNeXt-B + симметричный InfoNCE, без текстовой модальности; +- **WELN** (2024) — Drone→Sat R@1=92.87% без subspace-Mahalanobis. + +--- + +### N1_H3. Предпочтительность EMA-статистик над per-batch + +**(1) Краткая формулировка.** EMA-оценки $\mu_{\text{sub}},\Sigma_{\text{sub}}$ дают более стабильную сходимость и выше R@1, чем per-batch оценки. + +**(2) Подробное объяснение.** Per-batch выборочная $\Sigma$ при $B=128$, $k=64$ имеет ранг $\le B-1$, что нестабильно для инверсии. EMA сглаживает и обеспечивает рангополноту по конструкции. + +**(3) Формально.** +$$ +H_0:\;\mathbb E[R@1_{\text{EMA}}]=\mathbb E[R@1_{\text{batch}}]\;\text{и}\;\sigma_{\text{EMA}}\ge\sigma_{\text{batch}}, +$$ +$$ +H_1:\;\mathbb E[R@1_{\text{EMA}}]>\mathbb E[R@1_{\text{batch}}]+0.3\%\;\text{и}\;\sigma_{\text{EMA}}<\sigma_{\text{batch}}. +$$ +Парный t-test (mean) + F-test (variance), $\alpha=0.05$. Cohen $d\ge 0.5$. + +**(4) Почему эффективно.** Morales-Brotons et al. TMLR 2024 (arXiv:2411.18704): «EMA models not only generalize better but also exhibit improved … robustness to noisy labels, prediction consistency, calibration and transfer learning». BatchNorm running-stats (Ioffe \& Szegedy, arXiv:1502.03167) — каноническая параллель. Patsenker, Li, Kluger (arXiv:2310.13854): EMA = damped harmonic motion with idealized zero-length spring. + +**(5) Отличие.** В Lee 2018 и ViM 2022 Mahalanobis считается *post-hoc* на полном train-set (offline). Мы делаем *онлайн* EMA, что необходимо для end-to-end дифференцируемости с retrieval loss. SSD+ (Sehwag 2021) и CIDER (Ming 2023) — train-time стандартизация без EMA-running-stats. + +--- + +### N1_H4. Совместимость с learnable $\alpha$ (аддитивность) + +**(1) Краткая формулировка.** Включение ARGF не вступает в конфликт с learnable $\alpha_q$; оба механизма аддитивно улучшают R@1. + +**(2) Подробное объяснение.** $\alpha_q$ — глобальный, ARGF — локальный (per-example). Тест: 2×2 factorial (base, +α, +ARGF, +α+ARGF), проверка отсутствия деструктивной интеракции. + +**(3) Формально.** Двухфакторный ANOVA: +$$ +R@1_{ijk}=\mu+a_i+b_j+(ab)_{ij}+\varepsilon_{ijk}. +$$ +$H_0:\;(ab)_{ij}=0$ — без интеракции; принимаем «совместимость» при $p_{\text{int}}>0.1$ И одновременно $p_a<0.05,\;p_b<0.05$ для main-effects. + +**(4) Почему эффективно.** Линеаризация § 3.8 + центрированность residual. Theory of additive models (Hastie \& Tibshirani, *Generalized Additive Models*, Chapman \& Hall, 1990). + +**(5) Отличие.** В GMU (Arevalo 2017, arXiv:1702.01992) гейт один; в TFT-GRN (Lim 2021) gating + skip встроены, но не независимы. В SkipNet (arXiv:1711.09485) router *заменяет* блок, а не дополняет его. + +--- + +### N1_H5. Устойчивость к sat passthrough + +**(1) Краткая формулировка.** ARGF не ухудшает Sat→Drone R@1 более чем на 0.3 п.п. относительно baseline в passthrough-режиме. + +**(2) Подробное объяснение.** На sat-стороне текста нет; $\mathrm{SM}(v_{\text{text}}=0)$ = фиксированная константа $\mathrm{SM}(\pi_{\text{sub}}(0))$. Router должен научиться $r_{\text{text}}\to 0$ автоматически (теорема 3). + +**(3) Формально.** TOST (two one-sided test) for equivalence: +$$ +H_0:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|\ge 0.3\%, +$$ +$$ +H_1:\;|R@1_{\text{ARGF}}^{\text{S}\to\text{D}}-R@1_{\text{base}}^{\text{S}\to\text{D}}|<0.3\%. +$$ +$\alpha=0.05$, $N=5$ seeds, оба односторонних теста должны отклонить $H_0$. + +**(4) Почему эффективно.** Теорема 3 (§ 3.5); Han et al. TPAMI 2022 (dynamic-NN адаптивность); Mahalanobis++ (ICML 2025) — стабильность OOD-score под distribution shift. + +**(5) Отличие.** CVGL-методы с asymmetric branches (FSRA, MCCG, Sample4Geo) не имеют текстовой ветви, поэтому вопрос отсутствует. Из text-augmented методов: CrossText2Loc (Ye et al., arXiv:2412.17007, ICCV 2025) и VICI (arXiv:2507.04107) симметрично подают текст с обеих сторон. ARGF корректно работает и при асимметрии. + +--- + +## Часть 5. Гипотезы П2 (иерархический InfoScore по L1/L2/L3/T_meta) + +```yaml +--- +title: "Гипотезы P2: Hierarchical InfoScore" +tags: [диссер, гипотезы, P2] +status: главы 5-1..5-5 +--- +``` + +### N2_H1. Приоритет L3 (cross-view fingerprint) + +**(1) Краткая формулировка.** Среднее значение router-score $r_{L3}$ строго больше, чем $\max(r_{L1},r_{L2},r_{T_m})$. + +**(2) Подробное объяснение.** L3 содержит длинные cross-view fingerprint-описания, проектируемые в KPS-extended токенизатор DGTRS-CLIP (Chen et al., arXiv:2503.19311). Ожидаем, что SM-InfoScore L3 имеет наименьшее расстояние от ID-центра (наибольшая правдоподобность) → высокий $r_{L3}$. Дополнительно, средний токен-length L3 ≈ 86 (DGTRS), при L1 ≈ 32 (short captions) — L3 несёт больше пространственной семантики. + +**(3) Формально.** Bonferroni-corrected three pairwise t-tests: +$$ +H_0:\;\mathbb E[r_{L3}]\le\mathbb E[r_X]\;\;\forall X\in\{L1,L2,T_m\}, +$$ +$$ +H_1:\;\mathbb E[r_{L3}]>\mathbb E[r_X]+\delta_2,\;\delta_2=0.05. +$$ +$\alpha/3=0.0167$ для каждого. Cohen $d\ge 0.5$. + +**(4) Почему эффективно.** LRSCLIP (Chen et al., 2025, in arXiv:2503.19311): «LRSCLIP improves retrieval accuracy by 10%-20% over the Long-CLIP baseline in the zero-shot long-text cross-modal retrieval task» — длинные описания, аналогичные L3, дают информационное преимущество. Long-CLIP (Zhang et al. 2024, KPS technique) — base. + +**(5) Отличие.** Sample4Geo (ICCV 2023) — нет текста; CAMP (TGRS 2024) — context-aware menus, но без иерархии уровней промпта. CrossText2Loc (arXiv:2412.17007) использует длинный текст, но без разбиения на L1/L2/L3 и без InfoScore. + +--- + +### N2_H2. Комплементарность T_meta и T_L3 (низкая корреляция InfoScore) + +**(1) Краткая формулировка.** Корреляция $\rho(\mathrm{SM}(T_{\text{meta}}),\mathrm{SM}(T_{L3}))$ удовлетворяет $|\rho|<0.3$. + +**(2) Подробное объяснение.** T_meta — числовые метаданные (высота, yaw); L3 — текстовый fingerprint. Они описывают *разные* стороны априорной информации: геометрию платформы vs семантику сцены. Низкая корреляция → добавление обоих даёт прирост, не дублируя. + +**(3) Формально.** +$$ +\rho=\frac{\mathrm{Cov}(\mathrm{SM}_{T_m},\mathrm{SM}_{T_{L3}})}{\sigma_{T_m}\sigma_{T_{L3}}}. +$$ +$H_0:|\rho|\ge 0.3$ vs $H_1:|\rho|<0.3$. Преобразование Фишера: $z=\tfrac12\ln\!\tfrac{1+\rho}{1-\rho}$, $\sigma_z=1/\sqrt{N-3}$, where $N$ — число тестовых семплов. + +**(4) Почему эффективно.** Partial information decomposition (Williams \& Beer, *Nonnegative Decomposition of Multivariate Information*, arXiv:1004.2515, 2010). Survey on multimodal learning (Baltrušaitis, Ahuja, Morency, IEEE TPAMI **41(2)**:423–443, 2019, DOI:10.1109/TPAMI.2018.2798607) — комплементарность модальностей. + +**(5) Отличие.** Большинство CVGL-CLIP методов (CrossText2Loc 2024, VICI 2025) объединяют всю текстовую информацию в один embedding. Мы декомпозируем и измеряем независимость через InfoScore. + +--- + +### N2_H3. Фильтрующее действие при шумных уровнях + +**(1) Краткая формулировка.** При искусственном зашумлении одного из L1/L2/L3 (token-shuffle, mask), $r_X$ значимо падает, а R@1 деградирует меньше, чем у baseline без ARGF. + +**(2) Подробное объяснение.** Прямой stress-test механизма. Шумный уровень должен «выключиться» автоматически. Аналог ablation Router-Gated AVSR (arXiv:2508.18734). + +**(3) Формально.** +$$ +\Delta r_{\text{noisy},X}=r_X^{\text{clean}}-r_X^{\text{noisy}}. +$$ +$H_0:\Delta r\le 0.1$ vs $H_1:\Delta r>0.1$. Парный t-test. + +Дополнительно: +$$ +\Delta R@1_{\text{ARGF}}^{\text{noisy}-\text{clean}}>-\delta_3,\quad \Delta R@1_{\text{base}}^{\text{noisy}-\text{clean}}<-2\delta_3,\quad\delta_3=0.5\%. +$$ + +**(4) Почему эффективно.** Router-Gated AVSR (Lim et al., arXiv:2508.18734): 16.51–42.67% WER reduction при шумном аудио. SAMFusion (ECCV 2024): «more than 17.2 AP in dense fog … on the most challenging distance category from 50 m-80 m». Mahalanobis-OOD (Lee 2018) — score растёт на OOD. + +**(5) Отличие.** GMU (Arevalo 2017), TFT-GRN (Lim 2021) не имеют *доказанной* робастности к зашумлению. Cross-Modal Bottleneck (CoBRA, arXiv:2602.08293, 2025) — robust, но без явного InfoScore. + +--- + +### N2_H4. Выгода раздельных подпространств vs общего + +**(1) Краткая формулировка.** Раздельные $\pi_{\text{sub}}^{(L1)},\pi_{\text{sub}}^{(L2)},\pi_{\text{sub}}^{(L3)},\pi_{\text{sub}}^{(T_m)}$ дают R@1 выше, чем общий $\pi_{\text{sub}}$. + +**(2) Подробное объяснение.** Уровни имеют различные распределения активаций; общий subspace усреднил бы их (потеря дискриминативности). Раздельные подпространства реализуют per-level GDA. + +**(3) Формально.** +$$ +H_0:\;R@1_{\text{shared}}\ge R@1_{\text{sep}}\;\;\text{vs}\;\;H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.5\%. +$$ +Парный t-test, Cohen $d\ge 0.5$. + +**(4) Почему эффективно.** Mahalanobis++ (ICML 2025) — per-class covariance работает лучше shared. ViM (CVPR 2022) — class-agnostic + class-conditional комбинирование. Long-CLIP / KPS — dual-granularity улучшает alignment. + +**(5) Отличие.** Lee 2018 использует один shared Σ; ViM 2022 — class-conditional в logit-space, не в multimodal-level. Мы — first to apply per-modality-level subspace в CVGL. + +--- + +### N2_H5. Совместимость П1+П2 (аддитивность) + +**(1) Краткая формулировка.** Совместное включение П1 (ARGF на residual) и П2 (иерархический InfoScore) даёт прирост R@1, не меньший суммы индивидуальных приростов с допустимым зазором. + +**(2) Подробное объяснение.** Аддитивность — признак отсутствия деструктивной интеракции. Критично для defense-strategy: можно отстаивать вклады как независимые. + +**(3) Формально.** $\Delta_1=R@1_{P_1}-R@1_{\text{base}},\;\Delta_2=R@1_{P_2}-R@1_{\text{base}},\;\Delta_{1+2}=R@1_{P_1+P_2}-R@1_{\text{base}}$: +$$ +H_0:\;\Delta_{1+2}<\Delta_1+\Delta_2-\gamma,\;\gamma=0.2\%, +$$ +$$ +H_1:\;\Delta_{1+2}\ge\Delta_1+\Delta_2-\gamma. +$$ +TOST для эквивалентности по верхнему пределу. + +**(4) Почему эффективно.** Superposition в linear gating (Highway 1505.00387). Aggregation theorem в boosting (Schapire 1990). Sparse MoE (Shazeer et al., arXiv:1701.06538) — независимые эксперты комбинируются аддитивно. + +**(5) Отличие.** Многие CVGL-методы (LPN, FSRA, MCCG) добавляют несколько модулей без проверки аддитивности. Мы — первый формальный ANOVA-тест в CVGL. + +--- + +## Часть 6. Гипотезы П3 (двухтрактовая fusion + симметричный loss) + +```yaml +--- +title: "Гипотезы P3: Two-track fusion + symmetric retrieval" +tags: [диссер, гипотезы, P3] +status: главы 6-1..6-5 +--- +``` + +### N3_H1. Выгода раздельных гейтов $\alpha_{\text{sem}}$ и $\alpha_{\text{meta}}$ + +**(1) Краткая формулировка.** Раздельные $\alpha_{\text{sem}},\alpha_{\text{meta}}$ дают R@1 выше, чем один общий $\alpha$. + +**(2) Подробное объяснение.** Семантический поток ($T_{\text{sem}}=[z_1;z_2;z_3]$) и метаданные ($T_{\text{meta}}$) имеют разные оптимальные balance-points. Один α — усреднение. + +**(3) Формально.** +$$ +H_0:\;R@1_{\alpha_{\text{shared}}}\ge R@1_{\alpha_{\text{sem}},\alpha_{\text{meta}}}, +$$ +$$ +H_1:\;R@1_{\text{sep}}-R@1_{\text{shared}}>0.4\%. +$$ +Парный t-test, 5 seeds, Cohen $d\ge 0.5$. + +**(4) Почему эффективно.** TFT (Lim 2021): «sample-dependent variable selection to minimize the contributions of irrelevant inputs». GMU (Arevalo 2017): один gate per source. DGTRS-CLIP (2025): dual-granularity learning. + +**(5) Отличие.** Sample4Geo (ICCV 2023) — единый эмбеддинг; CAMP (TGRS 2024) — single context-aware fusion; CrossText2Loc (2024) — один text-embedding без разделения метаданных. + +--- + +### N3_H2. Оптимальность коэффициентов 0.6/0.4 в loss (SNR-обоснование) + +**(1) Краткая формулировка.** Веса 0.6 для $\mathrm{CE}(q\to g)$ и 0.4 для $\mathrm{CE}(g\to q)$ дают R@1 выше, чем 0.5/0.5, и обоснованы SNR-асимметрией drone (rich-text) / sat (passthrough). + +**(2) Подробное объяснение.** Drone-сторона имеет более информативный query (текст + img), направление q→g «сильнее регуляризовано». Sat — passthrough, симметричная регуляризация была бы избыточна. + +**(3) Формально.** Grid $\{(0.5,0.5),(0.55,0.45),(0.6,0.4),(0.65,0.35),(0.7,0.3)\}$; квадратичная регрессионная модель +$$ +R@1=\beta_0+\beta_1 w+\beta_2 w^2+\varepsilon. +$$ +$H_1:$ оптимум $w^*=-\beta_1/(2\beta_2)\in[0.55,0.65]$ с 95% CI. + +**(4) Почему эффективно.** SNR-асимметрия § 1.8. CLIP InfoNCE (Radford et al. 2021) — симметричен лишь при сбалансированных модальностях. iSogCLR (Zhang et al., arXiv:2305.11965, ICML 2023): «automatic temperature individualization». Геометрия InfoNCE и modality gap (arXiv:2601.19597, 2026): «symmetric InfoNCE contains a persistent negative symmetric divergence coupling». + +**(5) Отличие.** Sample4Geo, CAMP — симметричная contrastive loss 0.5/0.5. CrossText2Loc — однонаправленная. Наша асимметрия — formal SNR-based. + +--- + +### N3_H3. Learnable τ vs fixed + +**(1) Краткая формулировка.** Learnable $\tau$ (init=0.07, clamp $[0.01,0.5]$) даёт R@1 выше, чем fixed $\tau=0.07$. + +**(2) Подробное объяснение.** Температура регулирует жёсткость softmax; в multimodal CVGL оптимум смещается по эпохам. + +**(3) Формально.** +$$ +H_0:\;R@1_{\tau_{\text{learn}}}\le R@1_{\tau=0.07},\;\;H_1:\;R@1_{\tau_{\text{learn}}}-R@1_{\tau=0.07}>+0.3\%. +$$ +Парный t-test. Мониторинг сходимости $\tau\to\tau^*$. + +**(4) Почему эффективно.** CLIP (Radford et al. 2021) — first learnable τ. iSogCLR (Zhang 2023, arXiv:2305.11965). DyStress (Dey et al., arXiv:2308.01140, 2023) — cosine-dependent dynamic τ. Kukleva et al. 2023 — scheduled τ. + +**(5) Отличие.** Sample4Geo — learnable τ без clamping; мы clamp для устойчивости edge-inference. Temperature-Free Loss (arXiv:2501.17683, 2025) предлагает убрать τ — мы оставляем как safety-knob. + +--- + +### N3_H4. Эквивалентность passthrough и SM-InfoScore→0 + +**(1) Краткая формулировка.** При sat-passthrough распределение $\mathrm{SM}(v_{\text{text}})$ концентрируется около $\mathrm{SM}(\pi_{\text{sub}}(0))$, и router $r_{T}\to 0$ — фактически отключает ARGF на этой ветви. + +**(2) Подробное объяснение.** Эмпирическая проверка теоремы 3 (§ 3.5). На sat-batch роутер не должен «впрыскивать» текстовый residual. + +**(3) Формально.** +$$ +H_0:\;\bar r_T^{\text{sat-batch}}\ge 0.1,\;\;H_1:\;\bar r_T^{\text{sat-batch}}<0.05. +$$ +One-sample t-test против 0.05. + +**(4) Почему эффективно.** Теорема 3; Lee 2018 / ViM 2022 — Mahalanobis-score detect OOD; Mahalanobis++ (ICML 2025) — стабильность score под distribution shift. + +**(5) Отличие.** Asymmetric multimodal works (Vaezi Joze et al., CVPR 2020) не имеют автоматического отключения; SAMFusion attention уменьшает, но не зануляет. ARGF математически гарантирует $r\to 0$. + +--- + +### N3_H5. Edge-применимость + совместимость с дистилляцией + +**(1) Краткая формулировка.** ARGF добавляет ≤ 0.5 M параметров и ≤ 5 ms latency на NVIDIA Jetson Orin Nano и совместим с distillation DINOv3 ViT-L/16 (303 M) → DINOv3 ViT-S/16. + +**(2) Подробное объяснение.** Параметры ARGF: $\pi_{\text{sub}}$ ($2\cdot 512\cdot 128\approx 131$ k) × 4 уровня + router ($W_q\in\mathbb R^{1\times 2}$ — пренебрежимо) ≈ 0.5 M. Latency: $4\times(O(kr)+O(r^3))$ при $k=64,r=8$ ≪ ViT-L forward. Distillation: ARGF-блок остаётся неизменным; меняется лишь backbone. + +**(3) Формально.** +$$ +H_0:\;\Delta P>0.5M\;\text{or}\;\Delta t>5\text{ms}, +$$ +$$ +H_1:\;\Delta P\le 0.5M\;\text{and}\;\Delta t\le 5\text{ms}. +$$ +Точечная оценка + 95% CI для latency на 1000 inference passes (warm-up=100). +Дополнительно: $R@1_{\text{distilled}}\ge 0.9\cdot R@1_{\text{teacher}}$. + +**(4) Почему эффективно.** DINOv3 (Siméoni et al., arXiv:2508.10104, 2025) поддерживает distillation в ViT-S/B/L/H+ и ConvNeXt out of the box: «Family of Models: Distilled into ViT-S, B, L, H+, and ConvNeXt variants». Mona adapters (Yin, Hu et al., CVPR 2025, arXiv:2408.08345 / 2311.15010): «5%>100%: Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks». Han et al. TPAMI 2022 (DOI:10.1109/TPAMI.2021.3117837): «strategically allocate computations on demand at test time, by selectively activating model components». + +**(5) Отличие.** Sample4Geo / CAMP — ConvNeXt-B (~89 M, тяжелее на edge). CrossText2Loc — CLIP-L/14 без edge-оптимизации. WELN, FSRA — нет distillation-pipeline. ARGF добавляет минимально к frozen-foundational-models. + +--- + +## Приложение А. Каверзы и ограничения (для всех 15 гипотез) + +1. **Калибровка δ-thresholds.** Все δ откалиброваны по std seed-replication на University-1652 (~0.3 п.п. для R@1) и SUES-200 (Zhu et al., IEEE TCSVT **33(9)**:4825–4839, DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704), где «SUES-200 collects data from the same scene at four heights (150 m, 200 m, 250 m, 300 m)». Современные методы (CAMP/Sample4Geo/MCCG) на SUES-200 при 200 m имеют R@1 ≈ 92–98%; (MGS)²-Net (2025 preprint, не peer-reviewed) заявляет до 99.78% R@1 на 300 m. +2. **Статистические критерии.** Следуем Demšar (JMLR **7**:1–30, 2006): Wilcoxon signed-rank для пары методов, Friedman + Nemenyi post-hoc для $\ge 3$ методов. Bonferroni-коррекция для множественных сравнений уровня. +3. **Размер эффекта.** Cohen's $d$: 0.2/0.5/0.8 = small/medium/large; Hedges' $g$ — bias-corrected версия для $N<30$. +4. **Воспроизводимость.** Все ablation — на одинаковых seeds, фиксированной $\tau$-инициализации, фиксированной batch-size, без data leakage между train/val/test. +5. **Edge-метрики H5.** Цель Jetson Orin Nano, INT8/bf16, batch=1, измерение по nvidia-smi + torch.profiler. +6. **Уязвимости теоремы 1.** Модель шума $n\sim\mathcal N(0,\sigma_n^2 I)$ — изотропная; реальный шум CLIP-эмбеддингов анизотропен. В этом случае «удвоение шума» нужно понимать в смысле trace(Cov) (что инвариантно к базису). +7. **Уязвимости теоремы 2.** Гауссовость $\pi_{\text{sub}}(v)$ — модельное допущение; $\ell_2$-нормализация Mahalanobis++ его улучшает, но не гарантирует строго. + +--- + +## Приложение Б. Сводный список цитированных работ (DOI / arXiv) + +1. Arevalo et al., GMU. arXiv:1702.01992 (ICLR-W 2017). DOI: 10.48550/arXiv.1702.01992. +2. Srivastava, Greff, Schmidhuber, Highway Networks. arXiv:1505.00387 (ICML-W 2015). DOI: 10.48550/arXiv.1505.00387. +3. Lim, Arık, Loeff, Pfister, TFT. *Int. J. Forecasting* **37(4)**:1748–1764. DOI: 10.1016/j.ijforecast.2021.03.012. +4. Dauphin, Fan, Auli, Grangier, GLU. arXiv:1612.08083 (ICML 2017). +5. Balduzzi et al., Shattered Gradients. arXiv:1702.08591 (ICML 2017). +6. Shazeer et al., Sparse MoE. arXiv:1701.06538 (ICLR 2017). +7. Wang et al., SkipNet. arXiv:1711.09485 (ECCV 2018). +8. Wu et al., BlockDrop. arXiv:1711.08393 (CVPR 2018). +9. Han et al., Dynamic NN Survey. DOI:10.1109/TPAMI.2021.3117837 (IEEE TPAMI **44(11)**:7436–7456, 2022). arXiv:2102.04906. +10. Shwartz-Ziv \& Tishby. arXiv:1703.00810 (2017). +11. Alemi et al., Deep VIB. arXiv:1612.00410 (ICLR 2017). +12. Saxe et al. On IB theory of deep learning. J. Stat. Mech. (2019) 124020. +13. Müller \& Hein, Mahalanobis++. arXiv:2505.18032 (ICML 2025, PMLR 267:45151–45184). +14. Lee, Lee, Lee, Shin. A Simple Unified Framework for OOD/Adversarial. NeurIPS 2018. +15. Wang, Li, Feng, Zhang, ViM. arXiv:2203.10807 (CVPR 2022). +16. Ioffe, Szegedy, BatchNorm. arXiv:1502.03167 (ICML 2015). +17. Morales-Brotons, Vogels, Hendrikx, EMA of Weights. arXiv:2411.18704 (TMLR 2024). +18. Seeger et al., Auto-Diff Linear Algebra. arXiv:1710.08717 (2017). +19. Demšar. Statistical Comparisons of Classifiers. JMLR **7**:1–30 (2006). +20. Baltrušaitis, Ahuja, Morency. Multimodal ML Survey. IEEE TPAMI **41(2)**:423–443, DOI:10.1109/TPAMI.2018.2798607. +21. Siméoni et al., DINOv3. arXiv:2508.10104 (2025). +22. Yin, Hu et al., MONA / Adapter is All You Need. arXiv:2311.15010 / arXiv:2408.08345 (CVPR 2025). +23. Chen, Chen, Deng et al., DGTRS-CLIP / LRSCLIP. arXiv:2503.19311 (2025). +24. Lim DH, Kim YC, Kim DH, Yang DH, Chang JH. Router-Gated AVSR. arXiv:2508.18734 (2025). +25. Palladin, Dietze, Narayanan, Bijelic, Heide, SAMFusion. DOI:10.1007/978-3-031-73030-6_27 (ECCV 2024). arXiv:2508.16408. +26. Deuser, Habel, Oswald, Sample4Geo. arXiv:2303.11851 (ICCV 2023). +27. Wu et al., CAMP. DOI:10.1109/TGRS.2024.3448499 (IEEE TGRS 2024). +28. Zhu, Yin, Yang, Wu, Yang, Hu, SUES-200. DOI:10.1109/TCSVT.2023.3249204; arXiv:2204.10704 (IEEE TCSVT **33(9)**:4825–4839, 2023). +29. Zheng, Wei, Yang, University-1652. *Proc. ACM MM 2020*, pp. 1395–1403. +30. Ye, Lin, Ou et al., CrossText2Loc. arXiv:2412.17007 (ICCV 2025). +31. Patsenker, Li, Kluger. Exponential weight averaging as damped harmonic motion. arXiv:2310.13854 (2023). +32. Zhang et al., iSogCLR. arXiv:2305.11965 (ICML 2023). +33. Dey et al., DyStress. arXiv:2308.01140 (2023). + +--- + +### TL;DR (3 пункта, к защите) +1. **П1 (ARGF + SM-InfoScore)** — теоретически обоснованная (леммы 1, теоремы 1–3) и эмпирически верифицируемая адаптивная маршрутизация residual для модальностей с переменным SNR, дающая прирост Drone→Sat R@1 ≥ +1.5 п.п. на University-1652. +2. **П2 (Hierarchical InfoScore по L1/L2/L3/T_meta)** — приоритизация cross-view fingerprint (L3) и комплементарность с T_meta, статистически проверяемые через Fisher z-test и Bonferroni-corrected t-tests. +3. **П3 (двухтрактовая fusion + symmetric loss 0.6/0.4 + learnable τ)** — edge-применимость (≤ 0.5 M доп. параметров, ≤ 5 ms latency на Jetson Orin Nano) при совместимости с DINOv3-distillation. Все 15 гипотез имеют формализованные $H_0/H_1$, тестовые статистики, δ-thresholds и эффект-сайзы по Cohen. \ No newline at end of file diff --git a/2_hypotheses/Гипотезы N1.md b/2_hypotheses/Гипотезы N1.md index 0ee5f4a..108344f 100644 --- a/2_hypotheses/Гипотезы N1.md +++ b/2_hypotheses/Гипотезы N1.md @@ -7,11 +7,7 @@ tags: ### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. -#### N1_H1 — Гипотеза SNR-деструктивности. -- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). -- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. -- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). -- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. + #### N1_H2 — Гипотеза эффективности SM-InfoScore. - *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). - *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. @@ -33,4 +29,21 @@ tags: * *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. * *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). +### N1_H1. SNR-деструктивность residual + + + +**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual. + +**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing. + +**(3) Формально.** +$$ +H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%. +$$ +Парный t-test по $N=5$ seeds: $t=\bar d/(s_d/\sqrt N)$, df $=N-1$. Принимается $H_1$ при $p<0.05$ и Cohen's $d=|\bar d|/s_d\ge 0.8$ (large). + +**(4) Почему эффективно.** Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv \& Tishby arXiv:1703.00810 (при низком $I(Z;Y)$ residual только наращивает $I(X;Z)$, нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention». + +**(5) Отличие.** Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual *по умолчанию*. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для $\mathrm{SNR}<1$. diff --git a/4_questions_and_problems/Научная_новизна_актуализация.md b/4_questions_and_problems/Научная_новизна_актуализация.md index 2e06992..430c721 100644 --- a/4_questions_and_problems/Научная_новизна_актуализация.md +++ b/4_questions_and_problems/Научная_новизна_актуализация.md @@ -49,9 +49,9 @@ tags: **Гипотезы:** [[Гипотезы N2]] --- -### П3. Двухтрактовое информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью +### П3. Информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью -**Защищаемое положение.** Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что: +**Защищаемое положение.** Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) входов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что: 1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; 2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough); 3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, — diff --git a/4_questions_and_problems/Финализация трёх пунктов научной новизны.md b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md index 5b00f4d..13313b9 100644 --- a/4_questions_and_problems/Финализация трёх пунктов научной новизны.md +++ b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md @@ -77,7 +77,7 @@ tags: | DGTRS-CLIP (arXiv:2503.19311) | 2025 | dual-granularity RS, 2 уровня, не 3 + meta | | Mahalanobis++ (arXiv:2505.18032) | 2025 | OOD detection, не fusion routing | -**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как драйвер адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.== +**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как для адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.== ### 1.6. Риски недоказуемости @@ -171,16 +171,11 @@ tags: * *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. * *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. * *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. -#### N2_H5 — Гипотеза совместимости П1 + П2. -* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. -* *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). -* *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. -* *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. --- -### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов +### П3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных (T_meta) -Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. +Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. #### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. * *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. diff --git a/ДИССЕР.md b/ДИССЕР.md index 13865bc..8ecbe65 100644 --- a/ДИССЕР.md +++ b/ДИССЕР.md @@ -5,7 +5,7 @@ tags: - "#диссер" - глубокое_обучение --- -[[Gate Fusion]] +[[Gate Fusion]], [[InfoScore for residual routing]] [[Финализация трёх пунктов научной новизны]] [[Научная_новизна_актуализация]] [[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]] @@ -26,7 +26,7 @@ tags: #### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта **Гипотезы** [[Гипотезы N2]] -#### 3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов +#### 3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных(T_meta) **Гипотезы** [[Гипотезы N3]]