49 lines
8.8 KiB
Markdown
49 lines
8.8 KiB
Markdown
---
|
||
aliases:
|
||
- hypo
|
||
tags:
|
||
- диссер
|
||
---
|
||
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
|
||
|
||
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
|
||
|
||
#### N1_H1. SNR-деструктивность residual
|
||
|
||
**(1) Краткая формулировка.** Простая остаточная связь `fused + v_text` снижает R@1 на sat-passthrough относительно baseline без residual.
|
||
|
||
**(2) Подробное объяснение.** В пайплайне satellite-ветвь работает в passthrough ($g=s_{\text{img}}$, без текста), эффективный $\mathrm{SNR}\approx 0$ по теореме 1. Identity-residual удваивает шум-компоненту: $\mathrm{Var}\to 4\sigma_n^2$ (теорема 1). Это снижает дискриминативность $\hat q$ для cosine-similarity на отрицательных парах, что напрямую ухудшает R@1. Тест: `baseline (no-residual)` vs `SRGF (always-residual)` на одних и тех же seeds, одной $\tau$, batch size, label smoothing.
|
||
|
||
**(3) Формально.**
|
||
$$
|
||
H_0:\;\mathbb E[\Delta R@1_{\text{SRGF}-\text{base}}]\ge 0\;\;\text{vs}\;\;H_1:\;\mathbb E[\Delta R@1]<-\delta_1,\;\delta_1=0.5\%.
|
||
$$
|
||
Парный t-test по $N=5$ seeds: $t=\bar d/(s_d/\sqrt N)$, df $=N-1$. Принимается $H_1$ при $p<0.05$ и Cohen's $d=|\bar d|/s_d\ge 0.8$ (large).
|
||
|
||
**(4) Почему эффективно.** Поддерживают: Balduzzi et al. arXiv:1702.08591 (gradient decay sublinear в skip-conns, but signal carry — нет); Shwartz-Ziv \& Tishby arXiv:1703.00810 (при низком $I(Z;Y)$ residual только наращивает $I(X;Z)$, нарушая IB-оптимум); Router-Gated AVSR arXiv:2508.18734 (2025): «down-weights unreliable audio tokens and reinforces visual cues through gated cross-attention».
|
||
|
||
**(5) Отличие.** Highway Networks (arXiv:1505.00387) и TFT-GRN (Lim 2021, IJF 37(4)) добавляют identity-residual *по умолчанию*. SAMFusion (DOI:10.1007/978-3-031-73030-6_27, ECCV 2024) использует attentive blending на BEV-плане без скалярной маршрутизации. Наш вклад — формальная демонстрация условной деструктивности для $\mathrm{SNR}<1$.
|
||
|
||
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
|
||
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
|
||
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
|
||
- *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах.
|
||
- *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.
|
||
#### N1_H3 — Гипотеза предпочтительности EMA-статистик.
|
||
* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения.
|
||
* *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score.
|
||
* *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме.
|
||
* *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.
|
||
#### N1_H4 — Гипотеза совместимости с learnable α.
|
||
* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1.
|
||
* *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу.
|
||
* *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05).
|
||
* *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.
|
||
#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне.
|
||
* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline.
|
||
* *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа.
|
||
* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное.
|
||
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
|
||
|
||
|