14_05_chkpnt

This commit is contained in:
2026-05-14 14:30:44 +03:00
parent 573aa66447
commit 6656422495
5 changed files with 684 additions and 17 deletions

View File

@@ -7,11 +7,7 @@ tags:
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию captionов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
#### N1_H1 — Гипотеза SNR-деструктивности.
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off).
- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях.
- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков).
- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
@@ -33,4 +29,21 @@ tags:
* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное.
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
### N1_H1. SNR-деструктивность residual
**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual.
**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing.
**(3) Формально.**
$$
H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%.
$$
Парный t-test по $N=5$ seeds: $t=\bar d/(s_d/\sqrt N)$, df $=N-1$. Принимается $H_1$ при $p<0.05$ и Cohen's $d=|\bar d|/s_d\ge 0.8$ (large).
**(4) Почему эффективно.** Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv \& Tishby arXiv:1703.00810 (при низком $I(Z;Y)$ residual только наращивает $I(X;Z)$, нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention».
**(5) Отличие.** Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual *по умолчанию*. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для $\mathrm{SNR}<1$.