Added new Sci-Nov description
This commit is contained in:
@@ -8,18 +8,29 @@ tags:
|
||||
|
||||
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
|
||||
#### N1_H1 — Гипотеза SNR-деструктивности.
|
||||
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
|
||||
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off).
|
||||
- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях.
|
||||
- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков).
|
||||
- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
|
||||
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
|
||||
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.
|
||||
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
|
||||
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
|
||||
- *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах.
|
||||
- *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.
|
||||
#### N1_H3 — Гипотеза предпочтительности EMA-статистик.
|
||||
* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.
|
||||
* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения.
|
||||
* *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score.
|
||||
* *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме.
|
||||
* *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.
|
||||
#### N1_H4 — Гипотеза совместимости с learnable α.
|
||||
* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.
|
||||
* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1.
|
||||
* *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу.
|
||||
* *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05).
|
||||
* *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.
|
||||
#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне.
|
||||
* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
|
||||
|
||||
|
||||
|
||||
|
||||
* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline.
|
||||
* *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа.
|
||||
* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное.
|
||||
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
|
||||
|
||||
|
||||
|
||||
@@ -8,15 +8,31 @@ tags:
|
||||
|
||||
Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.
|
||||
#### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint).
|
||||
- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах.
|
||||
- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2.
|
||||
- *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment.
|
||||
- *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05.
|
||||
- *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах.
|
||||
#### N2_H2 — Гипотеза комплементарности T_meta и T_L3.
|
||||
* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот).
|
||||
* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %.
|
||||
* *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний.
|
||||
* *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %.
|
||||
* *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот).
|
||||
#### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях.
|
||||
* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV.
|
||||
* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %).
|
||||
* *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility.
|
||||
* *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %.
|
||||
* *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV.
|
||||
#### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего.
|
||||
* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.
|
||||
* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое).
|
||||
* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания.
|
||||
* *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05.
|
||||
* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.
|
||||
#### N2_H5 — Гипотеза совместимости П1 + П2.
|
||||
* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200.
|
||||
* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс.
|
||||
* *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях).
|
||||
* *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %.
|
||||
* *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -9,15 +9,30 @@ tags:
|
||||
Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.
|
||||
|
||||
#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.
|
||||
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.
|
||||
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α.
|
||||
* *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом.
|
||||
* *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %.
|
||||
* *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.
|
||||
#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4.
|
||||
* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200.
|
||||
* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo).
|
||||
* *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval.
|
||||
* *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65].
|
||||
* *Эксперимент:* sweep w_q на University-1652 + SUES-200.
|
||||
#### N3_H3 — Гипотеза о learnable τ.
|
||||
* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.
|
||||
* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс.
|
||||
* *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ.
|
||||
* *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %.
|
||||
* *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.
|
||||
#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore.
|
||||
* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.
|
||||
* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore.
|
||||
* *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям.
|
||||
* *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough).
|
||||
* *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.
|
||||
#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией.
|
||||
* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.
|
||||
* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference.
|
||||
* *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection.
|
||||
* *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %.
|
||||
* *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user