Files
Pavlenko_disser/2_hypotheses/Гипотезы N1.md
2026-05-14 14:30:44 +03:00

8.8 KiB
Raw Blame History

aliases, tags
aliases tags
hypo
диссер

П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации

Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию captionов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.

N1_H2 — Гипотеза эффективности SM-InfoScore.

  • Формулировка: замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
  • Обоснование: Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
  • Критерий проверки: R@1(SM-routed) R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах.
  • Эксперимент: реализация ARGFInfoScore модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.

N1_H3 — Гипотеза предпочтительности EMA-статистик.

  • Формулировка: EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения.
  • Обоснование: в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score.
  • Критерий проверки: R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме.
  • Эксперимент: grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.

N1_H4 — Гипотеза совместимости с learnable α.

  • Формулировка: ARGF-InfoScore не конфликтует с обучаемым скаляром αα сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1.
  • Обоснование: C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу.
  • Критерий проверки: R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) R@1(baseline) 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05).
  • Эксперимент: ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.

N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне.

  • Формулировка: при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline.
  • Обоснование: поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа.
  • Критерий проверки: sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное.
  • Эксперимент: анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).

N1_H1. SNR-деструктивность residual

(1) Краткая формулировка. Простая остаточная связь fused + v_text снижает R@1 на sat-passthrough относительно baseline без residual.

(2) Подробное объяснение. В пайплайне satellite-ветвь работает в passthrough (g=s_{\text{img}}, без текста), эффективный \mathrm{SNR}\approx 0 по теореме 1. Identity-residual удваивает шум-компоненту: \mathrm{Var}\to 4\sigma_n^2 (теорема 1). Это снижает дискриминативность \hat q для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: baseline (no-residual) vs SRGF (always-residual) на одних и тех же seeds, одной \tau, batch size, label smoothing.

(3) Формально.


H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%.

Парный t-test по N=5 seeds: t=\bar d/(s_d/\sqrt N), df =N-1. Принимается H_1 при p<0.05 и Cohen's d=|\bar d|/s_d\ge 0.8 (large).

(4) Почему эффективно. Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv & Tishby arXiv:1703.00810 (при низком I(Z;Y) residual только наращивает I(X;Z), нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention».

(5) Отличие. Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual по умолчанию. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для \mathrm{SNR}<1.