42 lines
7.8 KiB
Markdown
42 lines
7.8 KiB
Markdown
---
|
||
aliases:
|
||
- hypo
|
||
tags:
|
||
- диссер
|
||
---
|
||
### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов
|
||
|
||
Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.
|
||
|
||
#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.
|
||
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α.
|
||
* *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом.
|
||
* *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %.
|
||
* *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.
|
||
#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4.
|
||
* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo).
|
||
* *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval.
|
||
* *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65].
|
||
* *Эксперимент:* sweep w_q на University-1652 + SUES-200.
|
||
#### N3_H3 — Гипотеза о learnable τ.
|
||
* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс.
|
||
* *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ.
|
||
* *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %.
|
||
* *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.
|
||
#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore.
|
||
* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore.
|
||
* *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям.
|
||
* *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough).
|
||
* *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.
|
||
#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией.
|
||
* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference.
|
||
* *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection.
|
||
* *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %.
|
||
* *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.
|
||
|
||
|
||
|
||
|
||
|
||
|