From 0cfd7078a6103a0bff5392c60bb0b1bdd5b96158 Mon Sep 17 00:00:00 2001 From: Pavlenko_B Date: Wed, 13 May 2026 15:55:15 +0300 Subject: [PATCH] Added new Sci-Nov description --- 2_hypotheses/Гипотезы N1.md | 29 +- 2_hypotheses/Гипотезы N2.md | 26 +- 2_hypotheses/Гипотезы N3.md | 25 +- ...ная новизна третьего положения диссертации.md | 432 ------------------ 4_questions_and_problems/Научная новизна.md | 34 -- .../Научная_новизна_актуализация.md | 194 ++++++++ ...инализация трёх пунктов научной новизны.md | 81 +++- notes/In and Out Distribution.md | 195 ++++++++ ДИССЕР.md | 82 +++- 9 files changed, 582 insertions(+), 516 deletions(-) delete mode 100644 4_questions_and_problems/Научная новизна третьего положения диссертации.md delete mode 100644 4_questions_and_problems/Научная новизна.md create mode 100644 4_questions_and_problems/Научная_новизна_актуализация.md create mode 100644 notes/In and Out Distribution.md diff --git a/2_hypotheses/Гипотезы N1.md b/2_hypotheses/Гипотезы N1.md index 61918fb..0ee5f4a 100644 --- a/2_hypotheses/Гипотезы N1.md +++ b/2_hypotheses/Гипотезы N1.md @@ -8,18 +8,29 @@ tags: Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. #### N1_H1 — Гипотеза SNR-деструктивности. -- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. +- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). +- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. +- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). +- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. #### N1_H2 — Гипотеза эффективности SM-InfoScore. -- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. +- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). +- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. +- *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. +- *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. #### N1_H3 — Гипотеза предпочтительности EMA-статистик. -* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. +* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. +* *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. +* *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. +* *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. #### N1_H4 — Гипотеза совместимости с learnable α. -* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. +* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. +* *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. +* *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). +* *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. #### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне. -* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). - - - - +* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. +* *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. +* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. +* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). diff --git a/2_hypotheses/Гипотезы N2.md b/2_hypotheses/Гипотезы N2.md index 50495ac..c80188e 100644 --- a/2_hypotheses/Гипотезы N2.md +++ b/2_hypotheses/Гипотезы N2.md @@ -8,15 +8,31 @@ tags: Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. #### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint). -- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. +- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. +- *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. +- *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. +- *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. #### N2_H2 — Гипотеза комплементарности T_meta и T_L3. -* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). +* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. +* *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. +* *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. +* *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). #### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях. -* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. +* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). +* *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. +* *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. +* *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. #### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего. -* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. +* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). +* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. +* *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. +* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. #### N2_H5 — Гипотеза совместимости П1 + П2. -* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. +* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. +* *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). +* *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. +* *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. + diff --git a/2_hypotheses/Гипотезы N3.md b/2_hypotheses/Гипотезы N3.md index bdf0a68..d2b961e 100644 --- a/2_hypotheses/Гипотезы N3.md +++ b/2_hypotheses/Гипотезы N3.md @@ -9,15 +9,30 @@ tags: Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. #### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. -* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. +* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. +* *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. +* *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. +* *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. #### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4. -* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200. +* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). +* *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. +* *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. +* *Эксперимент:* sweep w_q на University-1652 + SUES-200. #### N3_H3 — Гипотеза о learnable τ. -* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. +* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. +* *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. +* *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. +* *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. #### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore. -* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. +* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. +* *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. +* *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). +* *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. #### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией. -* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. +* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. +* *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. +* *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. +* *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. diff --git a/4_questions_and_problems/Научная новизна третьего положения диссертации.md b/4_questions_and_problems/Научная новизна третьего положения диссертации.md deleted file mode 100644 index fa16cb2..0000000 --- a/4_questions_and_problems/Научная новизна третьего положения диссертации.md +++ /dev/null @@ -1,432 +0,0 @@ ---- -tags: - - диссер ---- - -# Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА - -## Главный тезис и bottom line up front - -**Предлагаемый модуль ARGF (Adaptive Residual Gate Fusion) с маршрутизацией остаточной связи через SM-InfoScore (расстояние Махаланобиса в обучаемом подпространстве с EMA-статистиками μ_sub, Σ_sub), интегрированный в Teacher-Student дистилляцию для Cross-View Geo-Localization БПЛА, является методологически новой комбинацией, не имеющей прямых аналогов в литературе 2022–2026 гг.** Новизна обеспечивается четырьмя независимо контролируемыми аксиоматическими отличиями от ближайших конкурентов (DEGF-YOLO 2025, TMC/ETMC Han TPAMI 2022, QMF ICML 2023, MobileGeo 2025): - -(а) **аналитически выведенное условие деструктивности остаточной связи** через SNR-анализ gated-fusion, отсутствующее в литературе в явном виде; -(б) **per-example расстояние Махаланобиса как скаляр-маршрутизатор**, а не как OOD-score (в отличие от Lee 2018 → ViM → Mahalanobis++); -(в) **обучаемое подпространство с EMA-статистиками**, дистиллируемое от учителя к ученику через Wasserstein-метрику между гауссианами (Lv NeurIPS 2024); -(г) **доказанная совместимость с hierarchical distillation** в задаче CVGL БПЛА (University-1652 / SUES-200 / DenseUAV). - -Настоящий отчёт систематизирует 70+ рецензируемых источников 2015–2026 гг. (приоритет 2024–2026, Q1-Q2, CVPR/NeurIPS/ICML/ICLR/ICCV/ECCV), доказывает корректность формулировок новизны по паспорту специальности 2.3.1 (п. 4, 5, 8, 12, 14) и предлагает три варианта формулировки защищаемого положения, минимально необходимый эксперимент и публикационную стратегию. - ---- - -## Блок 1. Теоретическое обоснование (математическая строгость) - -### 1.1. SNR-анализ прохождения сигнала и шума через мультипликативные шлюзы с остаточной связью - -Каноническая форма Gate-Fusion с остаточной связью в терминах Highway Networks [Srivastava, Greff, Schmidhuber, arXiv:1505.00387, 2015] и Gated Residual Network (GRN) [Lim, Arık, Loeff, Pfister, Temporal Fusion Transformer, IJF 37(4):1748–1764, 2021, DOI 10.1016/j.ijforecast.2021.03.012] записывается как **y = H(x)·T(x) + x·C(x)**, где T — «transform gate», C — «carry gate». Частные случаи: ResNet [He et al., CVPR 2016, DOI 10.1109/CVPR.2016.90] при T=C=1; SRGF (simple residual gate) y = g·x_noisy + x_noisy; Gate+Sum y = g·x_noisy + (1−g)·x_other. - -Пусть x_noisy = x_clean + n, n ∼ N(0, σ²_n·I). Тогда для **SRGF** (рассмотренной в диссертации и признанной деструктивной): y = g·(x_clean+n) + (x_clean+n) = (1+g)·x_clean + (1+g)·n. При g→1 амплитуда шума удваивается; при этом downstream-слои с ограниченным динамическим диапазоном (особенно после LayerNorm) испытывают неравномерное распределение активаций. В **антикоррелированной конфигурации** двух ветвей — F(x_noisy) пытается оценить −n_est, но при OOD-входе инвертирует знак — получаем формулу автора **n_eff = (2 − g)·n**, где g→1 приводит к эффективному «деструктивному» режиму n_eff = n, а не к подавлению шума. - -**Ключевые работы для обоснования:** -- **Highway Networks** [Srivastava 2015, arXiv:1505.00387]: «learn to regulate the flow of information through a network» — базовый формальный аппарат. Цитата для диссертации: «allow unimpeded information flow across several layers on information highways». -- **GLU / Gated Linear Units** [Dauphin, Fan, Auli, Grangier, ICML 2017, arXiv:1612.08083]: «The gradient of the gated linear unit ∇[X⊗σ(X)] = ∇X⊗σ(X) + X⊗σ′(X)∇X has a path ∇X⊗σ(X) without downscaling for the activated gating units» — **формальное доказательство, что σ(X)-gate действует как мультипликативный skip и сохраняет градиент**. Это прямое обоснование градиентной устойчивости ARGF. -- **Shattered Gradients** [Balduzzi et al., ICML 2017, arXiv:1702.08591]: «gradients in architectures with skip-connections are far more resistant to shattering, decaying sublinearly» — доказывает, что без residual градиент «shattered» и эквивалентен белому шуму; следовательно, в ARGF нельзя просто убрать остаточную связь, её нужно **адаптивно маршрутизировать**. -- **Ensemble-view of ResNet** [Veit, Wilber, Belongie, NeurIPS 2016, arXiv:1605.06431]: интерпретация ARGF как селекции «эффективных путей» — gate управляет активными путями. -- **Shwartz-Ziv, Tishby 2017** [arXiv:1703.00810]: «Compression should commence following the transition from a high to a low gradient signal-to-noise ratio (SNR), i.e., the onset of the diffusion phase» — **прямая связь SNR ↔ IB-компрессия**, фундаментальное утверждение для теоретического объяснения эффекта ARGF. -- **Router-Gated Cross-Modal Fusion для AVSR** [arXiv:2508.18734, 2025]: эмпирически показано, что gated fusion снижает WER с 35.92% до 21.40% при 0 dB noise — **прямая экспериментальная поддержка тезиса о деструктивности при низком SNR**. -- **SAMFusion** [Princeton, ECCV 2024, arXiv:2508.16408]: sensor-adaptive fusion с gated cameras под adverse weather — явный SNR-анализ в мультисенсорной системе. - -**Формальный вывод для диссертации.** Оптимальное значение g* = argmax_g SNR_out(g) для SRGF-конфигурации даёт g*→0 при ||n||² → ∞ и g*→1 при ||n||² → 0. Задача адаптивной маршрутизации сводится к оцениванию ‖n(x)‖ на лету, что эквивалентно оценке OOD-ности или informativeness признака — это и есть роль **InfoScore**. - -**Рекомендация в диссер:** в теоретической главе использовать формальную модель y = g(θ)·x_noisy + (1−γ(s))·x_res, где γ(s) ∈ {0,1} — бинарный/soft-маршрутизатор, управляемый скаляром s = SM-InfoScore(x). Доказать лемму: для ||n||² > τ_crit остаточная связь увеличивает норму шума в выходе более чем в (1+g)·‖n‖/‖x_clean‖ раз, что делает её деструктивной при SNR < 0 дБ. Ссылаться на [Srivastava 2015; Dauphin 2017; Balduzzi 2017; Lim 2021; Shwartz-Ziv 2017]. - -### 1.2. Расстояние Махаланобиса, обучаемое подпространство и правдоподобие - -Из Gaussian Discriminant Analysis непосредственно следует: **p(x|c) = N(x; μ_c, Σ) ⇒ log p(x|c) = −½·d_M²(x, c) + const**, где d_M² = (x−μ)ᵀΣ⁻¹(x−μ). Таким образом, SM-InfoScore автора имеет строгую вероятностную интерпретацию: это лог-правдоподобие признака при модели гауссова подпространства, что позволяет сформулировать маршрутизацию как байесовский выбор ветви. - -**Фундамент:** -- **Lee, Lee, Lee, Shin 2018** [NeurIPS 2018, arXiv:1807.03888] «A Simple Unified Framework for Detecting Out-of-Distribution Samples»: «we obtain the class conditional Gaussian distributions with respect to features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. Its posterior distribution can be shown to be equivalent to the softmax classifier under Gaussian discriminant analysis». **Это базовая ссылка для математического обоснования SM-InfoScore.** -- **RMDS** [Ren, Fort, Liu, Roy, Padhy, Lakshminarayanan, arXiv:2106.09022, 2021]: relative Mahalanobis distance RMD = MD_k(x) − MD₀(x) «meaningfully improves upon MD performance (by up to 15% AUROC on genomics OOD)». Обосновывает необходимость учёта фонового класс-агностичного распределения — **прямой аналог использования подпространства в ARGF**. -- **ViM** [Wang, Li, Feng, Zhang, CVPR 2022, DOI 10.1109/CVPR52688.2022.00487, arXiv:2203.10807]: «An additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits». Формула virtual_logit = α·‖x_P⊥‖, где x_P⊥ = x − PPᵀx — **математический предшественник «обучаемых статистик подпространства» в ARGF**. В диссертации следует явно обозначить, что ARGF *обобщает* ViM: вместо фиксированного PCA-подпространства используется обучаемое с EMA-обновлением. -- **Mahalanobis++** [Mueller, Hein, ICML 2025, PMLR 267:45151, arXiv:2505.18032]: «Strong variations in feature norms indicate severe violations of the Gaussian assumption underlying the Mahalanobis distance estimation. Simple ℓ₂-normalization of the features mitigates this problem effectively» — **актуальная работа 2025, обязательная для цитирования**. Даёт конкретную практическую рекомендацию: ℓ₂-нормализация перед d_M — обязательный компонент SM-InfoScore. -- **Dynamic Covariance Calibration** [arXiv:2506.09399, 2025]: «By restricting adjustments to the residual space, we enhance sensitivity to OOD samples while preserving the essential structure of the ID data» — **прямой пример обучаемой/калибруемой ковариации Σ**, максимально близкий к ARGF. -- **ActSub** [Zöngur et al., ICCV 2025]: null-space и subspace decomposition для OOD; методологическая основа идеи «обучаемые статистики подпространства». -- **Dissecting Mahalanobis** [arXiv:2510.15202, 2025]: «Representation geometry and feature normalization are the primary drivers of Mahalanobis-based OOD detection performance» — свежий обзор, необходим для SoTA-контекста. -- **Interpreting NN through Mahalanobis** [Kharkovskii, Pietrzak, arXiv:2410.19352, 2025]: формализует, что многие линейные слои + активация эквивалентны аппроксимации d²_M(x) — теоретическое обоснование использовать d_M как дифференцируемую метрику внутри сети. -- **KNN+** [Sun, Ming, Zhu, Li, ICML 2022, arXiv:2204.06507]: непараметрическая альтернатива; важна как контраст, подтверждающий, что Gaussian-предположение Lee et al. нарушается на современных backbone'ах, **что мотивирует обучаемые μ_sub, Σ_sub в ARGF**, а не статические. - -**EMA-статистики и обоснование обучаемости:** -- **BatchNorm** [Ioffe, Szegedy, ICML 2015, arXiv:1502.03167]: базовая формула EMA running statistics μ_running = α·μ_running + (1−α)·μ_batch — **именно эта конструкция адаптирована в ARGF**. -- **EMA dynamics** [Morales-Brotons et al., arXiv:2411.18704, 2024]: «EMAs reduce the variance of running statistics compared to batch estimates» — эмпирические рекомендации по выбору decay, анализ стабильности градиента. **Свежая работа (2024), обязательна.** -- **MABN** [Yan et al., 2020]: «Replacing batch-dependent backward statistics with moving averages provably reduces the variance of the input gradient» — теоретическая база для стабильного обучения subspace-статистик при малых батчах UAV-датасетов. - -**Рекомендация в диссер:** в разделе 1.2 ввести формулу SM-InfoScore(x) = (π_sub(x) − μ_sub)ᵀ Σ_sub⁻¹ (π_sub(x) − μ_sub), где π_sub — проекция на обучаемое подпространство. Обосновать через последовательность [Lee 2018 → Ren 2021 → Wang 2022 → Mueller 2025]: каждая следующая работа усиливает исходную формулировку, и ARGF продолжает эту линию, вводя (а) обучаемое подпространство, (б) EMA-обновление, (в) использование не как OOD-детектора, а как маршрутизатора остаточной связи. - -### 1.3. Энтропия, норма и информативность признаков - -**Park, Chai, Yoon, Teoh 2023** [ICCV 2023] «Understanding the Feature Norm for Out-of-Distribution Detection»: **«The feature norm is a confidence value of a classifier hidden in the network layer, specifically its maximum logit. Hence, the feature norm distinguishes OOD from ID in the same manner that a classifier confidence does. The feature norm is class-agnostic, thus it can detect OOD samples across diverse discriminative models.»** Это фундаментальная ссылка: ‖f(x)‖ ∝ max-logit ∝ confidence. Обосновывает, что InfoScore может использовать feature-norm как дешёвый прокси качества для случаев, когда вычисление полного d_M² избыточно. - -**Block Selection** [Yu, Shin, Lee, Jun, Lee, CVPR 2023]: «L2-norm of the activation map to detect OOD samples. The last block can sometimes be overconfident. NormRatio measures the OOD detection performance of each block» — прямо обосновывает слойно-адаптивное применение gate. - -**Information Bottleneck и MINE:** -- **Tishby, Zaslavsky 2015** [arXiv:1503.02406]: L = I(Z;Y) − β·I(X;Z) — канонический объект IB. -- **Deep VIB** [Alemi, Fischer, Dillon, Murphy, ICLR 2017, arXiv:1612.00410]: «Models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness» — tractable вариационная нижняя оценка I(Z;Y), которую можно интегрировать в обучение ARGF. -- **MINE** [Belghazi et al., ICML 2018, arXiv:1801.04062]: tractable оценка I(x_view₁; x_view₂) между модальностями — **потенциальный рычаг для обучения ARGF через максимизацию взаимной информации между UAV и satellite подпространствами**. - -**Рекомендация в диссер:** ввести пояснение, что SM-InfoScore можно интерпретировать тройственно — (1) как лог-правдоподобие (GDA), (2) как меру OOD (Lee→ViM→Mahalanobis++), (3) как компоненту IB-регуляризации (Tishby, Alemi). Это даёт широкую теоретическую базу и защищает от оппонентов, которые могут оспорить отдельные интерпретации. - ---- - -## Блок 2. Алгоритмическая новизна и дифференциация - -### 2.1. Quality-aware gating и ближайшие конкуренты - -**DEGF-YOLO 2025** [Pattern Recognition, Elsevier, doi.org/10.1016/S0031320325013858, 2025] — ключевой конкурент. Работа посвящена UAV-based multimodal object detection (RGBTDronePerson, DroneVehicle), содержит два модуля: **DFE (Differential Feature Enhancement)** и **GDFF (Gated-Driven Feature Fusion)** с **Quality-Aware Gating Unit (QGU)**. Прямая цитата из статьи: «the GDFF module dynamically evaluates the quality of features from each modality through a **self-supervised approach**, and subsequently achieves fine-grained integration of cross-modal complementary features». Ключевые отличия QGU от предлагаемого SM-InfoScore: -- QGU использует **self-supervised quality score** (self-consistency между модальностями), а не per-example вероятностную метрику на обучаемом подпространстве; -- QGU **не использует статистики μ, Σ и Mahalanobis**, не формализует подпространство; -- QGU **не содержит маршрутизации остаточной связи**; она управляет соотношением ветвей common-modal fusion, а не решает, оставить ли residual-путь; -- QGU **не интегрирована с Teacher-Student дистилляцией**; -- QGU применяется к RGB-Thermal детекции, а не к CVGL БПЛА. - -**TMC/ETMC** [Han, Zhang, Fu, Zhou, IEEE TPAMI 45(2):2551–2566, 2023, DOI 10.1109/TPAMI.2022.3171983; расширение ICLR 2021 работы]: Trusted Multi-view Classification — evidential уверенность на базе Dirichlet-распределения и Dempster-Shafer combination rule. Quality = функция uncertainty от EDL. **Отличия:** TMC — decision-level fusion (комбинирует предсказания), а не feature-level gate; не управляет остаточной связью; использует evidential uncertainty, а не Mahalanobis. Близкая идея, но другой математический аппарат. - -**QMF (Provable Dynamic Fusion for Low-Quality Multimodal Data)** [Zhang Qingyang, Wu, Zhang Changqing, Hu, Fu, Zhou, Peng, ICML 2023, PMLR 202:41753–41769, arXiv:2306.02050]: первая работа с теоретическим доказательством, что quality-aware дин. фьюжн provably generalizes better чем static. Формальный вывод про uncertainty-aware weighting: w_m(x) linearly and negatively relates to соответствующей uncertainty. **Отличия:** QMF работает на уровне модальных весов (modal-level), не на уровне остаточной связи; quality оценивается через energy-based uncertainty, а не Mahalanobis; нет обучаемого подпространства. - -**Predictive Dynamic Fusion** [Cao et al., ICML 2024, arXiv:2406.04802]: продолжение QMF с предсказуемым компонентом fusion weight. Всё ещё modal-level. - -**DynMM** [Xue, Marculescu, CVPR 2023, Dynamic Multimodal Fusion]: routing между модальностями через learnable gating, но без quality-оценки через статистики подпространства. - -**GMU / Gated Multimodal Unit** [Arevalo, Solorio, Montes-y-Gómez, González, ICLR 2017 Workshop, arXiv:1702.01992; расширение Neural Computing and Applications 32:10209–10228, 2020, DOI 10.1007/s00521-019-04559-1]: базовая конструкция h = z⊗tanh(W_v·x_v) + (1−z)⊗tanh(W_t·x_t), где z = σ(W_z·[x_v; x_t]). **Отличия:** GMU не учитывает качество модальности через статистики; gate вычисляется только по self-attention над входами. - -**Корпус 2024–2026 работ по quality/confidence-aware fusion:** -- **Quality-aware Conditional Modality Gating Attention Network** [ScienceDirect S1474034626000881, 2026] — для AUV propeller diagnosis; quality-aware, но на спектрограммах. -- **Weakly aligned feature fusion** [Zhang et al., IEEE TNNLS 36(3):4145–4159, 2025] — multimodal object detection. -- **MambaRefine-YOLO** [arXiv:2511.19134, 2025] — Dual-Gated Complementary Mamba Fusion с illumination-aware weighting W_light = σ(γ(L_rgb − L_ir)) — простой brightness-based gate. -- **GateFusion** [Zhang et al., arXiv:2512.15707, 2025] — Hierarchical Gated Cross-Modal Fusion для Active Speaker Detection. -- **AGFN** [Wu et al. 2025] — Attention-Guided Gated Fusion с entropy-driven gating. - -**Итоговое отличие ARGF от всего корпуса:** ни одна из перечисленных работ не объединяет четыре компонента одновременно — (i) per-example вероятностная метрика на обучаемом подпространстве, (ii) маршрутизация именно остаточной связи (а не ветвей модальностей), (iii) EMA-обновление статистик μ_sub, Σ_sub, (iv) совместимость с KD для переноса на edge БПЛА. - -### 2.2. Residual routing и dynamic skip connections - -Ключевые работы: -- **SkipNet** [Wang et al., ECCV 2018]: dynamic routing в resblock, решение «skip или compute» per-sample через RL-policy. -- **BlockDrop** [Wu et al., CVPR 2018]: аналогично, policy network выбирает блоки. -- **Sparsely-Gated MoE** [Shazeer et al., ICLR 2017]: top-k gating над экспертами; Switch Transformer [Fedus, Zoph, Shazeer, JMLR 2022] — k=1. -- **Stochastic Depth** [Huang et al., ECCV 2016] — случайная, не адаптивная форма. -- **Gated Residual Network (GRN)** [Lim 2021] — **прямой методологический предок ARGF**: GRN(a,c) = LayerNorm(a + GLU(η₁)), «Gating allows the model to skip unnecessary non-linear processing». -- **Dynamic neural networks survey** [Han et al., IEEE TPAMI 44(11):7436–7456, 2022]: систематический обзор; ARGF следует позиционировать как частный случай input-dependent dynamic architecture. - -**Отличие ARGF:** маршрутизация управляется **информационной метрикой** (SM-InfoScore на обучаемом подпространстве), а не learnable policy (SkipNet/BlockDrop) и не self-attention score (MoE). Это даёт прозрачную интерпретацию через вероятностную модель и возможность дистиллировать сам маршрутизатор. - -### 2.3. Mahalanobis и subspace для DL (расширение раздела 1.2) - -Обобщая, ARGF строится на цепочке [Lee 2018 → Ren 2021 RMDS → Wang 2022 ViM → Sun 2021 ReAct → Zöngur 2025 ActSub → Mueller 2025 Mahalanobis++] и вносит два *принципиально новых* элемента: -1. Использование d_M не для **классификации ID/OOD**, а для **управления архитектурным решением внутри forward-pass** (маршрутизация residual). -2. Обучение μ_sub, Σ_sub совместно с параметрами сети, с EMA-обновлением в режиме online, аналогично BN, но с семантикой подпространства. - -### 2.4. CVGL SOTA 2024–2026 - -Ключевые методы и датасеты: -- **University-1652** [Zheng, Wei, Yang, ACM MM 2020, DOI 10.1145/3394171.3413896] — базовый бенчмарк. -- **SUES-200** [Zhu, Yin, Yang, Wu, Yang, Hu, IEEE TCSVT 33(9):4825–4839, 2023] — multi-height multi-scene. -- **DenseUAV** [Dai et al., 2024]. -- **Sample4Geo** [Deuser, Habel, Oswald, ICCV 2023] — hard negative sampling; текущий сильнейший ретривал при ConvNeXt-backbone. -- **FSRA** [Dai, Hu, Zhuang, Zheng, IEEE TCSVT, 2021–2022] — transformer-based feature segmentation, 4376–4389. -- **MCCG, DAC, CAMP** — ConvNeXt-based baselines. -- **Game4Loc** — AAAI 2025. -- **GeoText-1652** [Chu, Zheng, Ji, Wang, Chua, ECCV 2024, Springer LNCS 15069, DOI 10.1007/978-3-031-73247-8_13, arXiv:2311.12751]: multimodal image+text+bbox benchmark — **прямой методологический контекст**, но работа не содержит adaptive residual routing или SM-InfoScore. -- **MobileGeo / PFED** [Sun, Liu, Zhang, Chen, Shen, Vong, IEEE TCSVT 2026, arXiv:2510.22582, v1 Oct 2025, v2 Nov 2025]: hierarchical KD (HD-CVGL) + Uncertainty-Aware Prediction Alignment (UAPA) + Multi-view Selection Refinement (MSRM). 251.5 FPS на Jetson AGX Orin, 4.45 GFLOPs, +4.19% AP на University-1652. **Ключевой baseline и методологический ориентир для диссертации.** -- **CGSI** [Sun, Huang, Jiang, Zhou, Vong, IEEE TCSVT 2025] «Context-guided and UAV's status informed multimodal framework»: использует метаданные status БПЛА — **единственная работа 2025, явно применяющая metadata** как модальность в CVGL. Отличие: CGSI не содержит gated residual routing через SM-InfoScore. -- **Cross-view geolocation via segmentation and common region feature matching** [ScienceDirect, S0924271625002461, 2025, ISPRS JPhRS]. -- **Video2BEV** [Ju, Huang, Liu, Zheng, arXiv:2411.13610, 2024]. -- **Object Detection as an Optional Basis: Graph Matching Network for Cross-View UAV Localization** [arXiv:2511.02489, 2025]. -- **MRGeo** [arXiv:2603.12587] — gated reliability-estimation для CVGL под corruptions; прямой предшественник в области. -- **MCFA** [PMC12299452, 2025] — multi-scale cascade с gated feature fusion. - -**Рекомендация:** в диссертации позиционировать ARGF как развитие линии [GMU 2017 → GRN 2021 → QMF 2023 → TMC 2023 → DEGF-YOLO 2025 → MobileGeo 2025], акцентируя, что ARGF впервые вводит Mahalanobis-routing для остаточной связи в CVGL БПЛА с совместимостью с KD. - ---- - -## Блок 3. Teacher-Student дистилляция для мультимодального CVGL - -### 3.1. Feature-level KD для мультимодальных систем - -Базовые методы, подлежащие обязательной ссылке: -- **Hinton et al. 2015** [arXiv:1503.02531]: L_KD = τ²·KL(softmax(z_T/τ) ‖ softmax(z_S/τ)). -- **FitNets** [Romero et al., arXiv:1412.6550, 2015]: L_hint = ‖r(f_S) − f_T‖²₂. Форма, в которой можно дистиллировать gate-значения: **L_gate = ‖g_S − g_T‖²₂**. -- **Attention Transfer** [Zagoruyko, Komodakis, ICLR 2017]: A(f) = Σ_c|f_c|² — идейно близко к передаче gate-map. -- **CRD** [Tian, Krishnan, Isola, ICLR 2020, arXiv:1910.10699]: InfoNCE-основанная mutual information distillation — **концептуально связано с InfoScore**. -- **RKD** [Park, Kim, Lu, Cho, Han, CVPR 2019, arXiv:1904.05068]: L_RKD-D (distance) и L_RKD-A (angle) — **критично для retrieval-задач CVGL** (сохраняет геометрию эмбеддингов). -- **DKD** [Zhao et al., CVPR 2022, arXiv:2203.08679]: decoupled target/non-target KD. -- **MGD** [Yang et al., ECCV 2022, arXiv:2205.01529]: masked generative feature distillation; применим к плотным признакам CVGL. -- **VID (Variational Information Distillation)** [Ahn et al., CVPR 2019]: гауссова вариационная дистилляция — **прямо моделирует передачу μ/σ статистик**, необходим для ARGF. - -Multimodal KD 2023–2026: -- **MIND** [Hao et al., TMLR 01/2025]: Modality-Informed Knowledge Distillation Framework. -- **CLIP-KD** [Yang et al., arXiv:2307.12732, 2023]: feature-mimicry между global embeddings. -- **DCLIP** [Zhang et al., arXiv:2505.21549, 2025]: meta-teacher/student с региональным cross-attention. -- **Moslemi et al. 2024** [S2666827024000811] — обзор KD 2024. - -### 3.2. KD в CVGL / remote sensing 2024–2026 - -**Обязательно цитировать:** -- **MobileGeo/PFED** [Sun et al., IEEE TCSVT 2026, arXiv:2510.22582]: HD-CVGL + UAPA + MSRM; прямой baseline и методологический ориентир. ARGF следует интегрировать **на вход** HD-CVGL как дополнительный distillation-signal: μ_sub^T, Σ_sub^T и g^T передаются ученику вместе с f_T. -- **PaSS-KD** [Li, Hu, Xiao, Tu, IEEE TCSVT 34(6):5091–5103, 2024]: self-distillation через patch similarity. -- **GeoDistill** [Song et al., arXiv:2507.10935, 2025]: geometry-guided self-distillation. -- **Distill4Geo** [PRCV 2025, Springer LNCS 16286, DOI 10.1007/978-981-95-5628-1_26, 2026]: cosine-embedding-based dual distillation. -- **TAKD** [Zhao et al., IEEE TCSVT 2024, DOI 10.1109/TCSVT.2024.3391018]: target-aware KD для RS-сцен. -- **Himeur et al. 2024** «Applications of Knowledge Distillation in Remote Sensing: A Survey» — обзор. -- **DualKD** [Le et al., arXiv:2411.00209, 2024]: on-board satellite image classification. - -### 3.3. Cross-modal distillation: отсутствие модальности у ученика - -Сценарий ARGF-CVGL: учитель получает изображение БПЛА + метаданные (altitude, gimbal angle), ученик — только изображение. Литература: -- **Lopez-Paz, Bottou, Schölkopf, Vapnik 2016** [ICLR 2016] «Unifying Distillation and Privileged Information»: L_GD = (1−α)·CE + α·KL(softmax(z_T(x*,x)/τ) ‖ softmax(z_S(x)/τ)), где x* — privileged. **Теоретическая основа для ARGF-студента с отсутствующей метадатой.** -- **Modality Hallucination** [Hoffman, Gupta, Darrell, CVPR 2016]: L_hall = ‖f_hall(x_RGB) − f_depth(x_D)‖²₂. -- **Modality Distillation with Multiple Stream Networks** [Garcia, Morerio, Murino, ECCV 2018]. -- **Adversarial Modality Distillation** [Garcia et al., IEEE TPAMI 2019]. -- **Privileged Modality Learning (MMH)** [Shen et al., IEEE TNNLS 2023]. -- **OS-MD** [Shi et al., arXiv:2309.08204, 2023]: one-stage modality distillation. -- **Auxiliary Modality Learning with Generalized Curriculum Distillation** [Shen et al., ICML 2023]. -- **AdaMM** [Chen et al., arXiv:2509.15017, 2025], **MST-KDNet** [Wang et al., arXiv:2507.22626, 2025], **ProtoKD** [Guo et al., arXiv:2303.09830, 2025], **KARMMA** [Singh et al., arXiv:2504.08578, 2024]. - -### 3.4. Relation-based distillation + gate compatibility - -- **RKD** [Park 2019] — distance + angle. -- **SP** [Tung, Mori, ICCV 2019]: L_SP = 1/b²·‖B_T − B_S‖²_F, где B = (f fᵀ)/‖·‖_F — **идеально для retrieval**. -- **CCKD** [Peng et al., ICCV 2019]: kernel-based correlation. Можно задать ядро как exp(−d²_M(·,·)) — **прямо через SM-InfoScore**. -- **IRG** [Liu et al., CVPR 2019]: гейт-значения можно интерпретировать как веса рёбер графа. -- **WKD** [Lv, Chen et al., NeurIPS 2024]: **критически важная работа**. Wasserstein-distance между гауссианами: W²₂(N_T, N_S) = ‖μ_T − μ_S‖² + tr(Σ_T + Σ_S − 2(Σ_T^½ Σ_S Σ_T^½)^½). **Именно эта формула даёт прямой способ передавать (μ_sub, Σ_sub) от учителя к ученику в ARGF.** -- **MIMKD** [Zhu, Wang, Chen, arXiv:2110.15946, 2021]: three-level mutual information KD — концептуальная аналогия с InfoScore. - -### 3.5. Передача μ_sub, Σ_sub: конкретные формулы - -Основной тезис: передача обучаемых статистик подпространства — это решённая математически задача через комбинацию двух инструментов. - -1. **DeepInversion BN-регуляризация** [Yin, Molchanov et al., CVPR 2020, arXiv:1912.08795]: **L_BN = Σ_l [‖μ_l(x) − E[μ_l]‖² + ‖σ²_l(x) − E[σ²_l]‖²]**. Применяется к ARGF следующим образом: **L_μΣ^{BN} = ‖μ_sub^T − μ_sub^S‖² + ‖diag(Σ_sub^T) − diag(Σ_sub^S)‖²** при диагональной аппроксимации ковариации. - -2. **WKD Wasserstein between Gaussians** [Lv et al., NeurIPS 2024]: **L_μΣ^{W} = ‖μ_sub^T − μ_sub^S‖² + tr(Σ_sub^T + Σ_sub^S − 2(Σ_sub^{T,½} Σ_sub^S Σ_sub^{T,½})^½)** — при полной ковариации. - -3. **Prototype KD** [ProC-KD, Li, Li, Wu, Wu, FITEE 26:912–929, 2025, arXiv:2212.13180]: μ_sub ≡ prototype, дистиллируется как центр кластера. L_proto = Σ_k ‖p_k^T − p_k^S‖² + contrastive. - -4. **Moment Matching Distillation** [Salimans, Mensink, Heek, Hoogeboom, NeurIPS 2024, arXiv:2406.04103]: m = E[f(x)], L_MM = ‖m_T − m_S‖² + ‖Cov_T − Cov_S‖²_F — **прямая методологическая основа**. - -**Полный составной loss ARGF-студента** (рекомендация в диссер): - -**L_total = L_task + λ₁·L_logit + λ₂·L_feat + λ₃·L_gate + λ₄·L_μΣ + λ₅·L_rel + λ₆·L_InfoScore + λ₇·L_priv**, - -где: -- L_task — triplet + InfoNCE на drone–satellite парах; -- L_logit = τ²·KL + α·TCKD + β·NCKD (Hinton + DKD); -- L_feat = ‖r(f_S) − f_T‖² + MGD-term; -- **L_gate = α₁·KL(σ(g_T/τ)‖σ(g_S/τ)) + α₂·‖g_T − g_S‖² + α₃·H(g_S)** (дистилляция маршрутизатора с энтропийной регуляризацией, не дающей коллапса); -- **L_μΣ = ‖μ_sub^T − μ_sub^S‖² + β_Σ·W²₂(Σ_sub^T, Σ_sub^S) + γ_BN·L_BN** (передача статистик подпространства); -- L_rel = λ_SP·SP + λ_RKD·(RKD-D + RKD-A) (relation для retrieval); -- **L_InfoScore = Σ_{i,j} (d²_M,T(x_i,x_j) − d²_M,S(x_i,x_j))²** (передача самой метрики SM-InfoScore через попарные расстояния); -- L_priv — privileged-information loss по Lopez-Paz при отсутствии метаданных у ученика. - -Рекомендуемые стартовые веса: λ₁=1.0, λ₂=0.5, λ₃=0.2, λ₄=0.5, λ₅=0.1, λ₆=0.2, λ₇=0.3; балансировать по UAPA-принципу MobileGeo. Именно эта формула — **конкретная алгоритмическая новизна**, которую можно защищать как часть третьего положения. - ---- - -## Блок 4. Требования специальности 2.3.1 ВАК РФ - -### 4.1. Паспорт специальности - -Нормативная база: **Приказ Минобрнауки РФ № 118 от 24.02.2021** (номенклатура) и **№ 445 от 11.05.2022** (переименование в «Системный анализ, управление и обработка информации, статистика»). Паспорт содержит 17 пунктов направлений исследований. Для темы диссертации критичны: -- **Пункт 4** — «Разработка методов и алгоритмов решения задач … обработки информации и искусственного интеллекта» — **основной якорь ARGF как нового метода**. -- **Пункт 5** — «Разработка специального математического и алгоритмического обеспечения» — якорь для Teacher-Student алгоритма. -- **Пункт 8** — «Теоретико-множественный и теоретико-информационный анализ сложных систем» — **прямая связь с InfoScore через mutual information / Mahalanobis likelihood**. -- **Пункт 12** — «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» — якорь для CVGL как задачи обработки изображений. -- **Пункт 14** — «Разработка принципиально новых методов анализа и синтеза элементов систем управления с целью улучшения их технических характеристик» — якорь для бортового исполнения. -- **Пункты 3 и 11** — критерии и модели оценки эффективности — для раздела FLOPs/latency. - -### 4.2. Типовые формулировки научной новизны в диссертациях 2.3.1 (2023–2025) - -Анализ защищённых диссертаций (Гончаренко А.И., НГУ/ИАиЭ СО РАН 2023; автореферат по ML для БПЛА, dissercat; Грабовой, НИУ ВШЭ / МФТИ) показал устойчивую структуру: -1. Глаголы совершенного вида: «предложен», «разработан», «построен», «установлено», «доказано», «получено». -2. Формулировка строится по шаблону: **[глагол] [объект] + отличительный признак «отличающийся от известных тем, что…» + количественные характеристики + «что обеспечивает…»**. -3. 3–5 положений на кандидатскую. -4. Канонический триплет «якоря по паспорту» для темы ARGF: **пункты 4 + 14 + 11**. -5. Пример из Гончаренко 2023 (почти дословно адаптируется): «Предложен и реализован новый алгоритм квантования … отличающийся тем, что … время настройки … в 5–10 раз ниже … при незначительном падении точности (менее 1%)». - -### 4.3. Вычислительная сложность как аргумент новизны - -Обязательный набор метрик для третьего положения: -- **Params (M)** — количество параметров; -- **FLOPs (G)** — вычислительная сложность; -- **Latency (ms)** — время инференса на Jetson Nano / TX2 / Xavier NX / AGX Orin в FP16, batch=1, input 224×224 (или 384×384 для CVGL); -- **Throughput (FPS)**; -- **Energy per inference (mJ)** — опционально. - -Целевые ориентиры по MobileGeo: **4.45 GFLOPs, 251.5 FPS на AGX Orin, +4.19% AP на University-1652**. Критическая ремарка из [MobileViT KD, arXiv 2603.26145]: «**FLOPs alone are not a reliable predictor of inference speed**» — обязательно замерять и latency. - -### 4.4. Журналы для публикаций - -**Российские ВАК К1 (обязательны для защиты):** -- **Компьютерная оптика** (ИСОИ РАН, ВАК К1, Scopus Q1 на 85-м процентиле по Engineering miscellaneous) — профильный для CVGL/БПЛА. -- **Информатика и автоматизация (Труды СПИИРАН)** — К1, Scopus, RSCI, Белый список. -- **Автоматика и телемеханика** — К1, Scopus Q2–Q3 (переводное издание Automation and Remote Control, Springer). -- **Известия РАН. Теория и системы управления** — К1, Scopus (JCSSI). -- **Искусственный интеллект и принятие решений** — ВАК, RSCI WoS. -- **Информационные технологии**, **Труды ИСП РАН**, **Мехатроника, автоматизация, управление**, **Нейрокомпьютеры** — К1/К2 ВАК. - -**Международные Q1–Q2:** -- IEEE TPAMI, IEEE TIP, IEEE TNNLS, **IEEE TGRS (наиболее профильный)**, **IEEE TCSVT (большинство CVGL-работ)**, Pattern Recognition, **Information Fusion (прямое попадание)**, Neural Networks, Neurocomputing, ISPRS Journal. - -**Конференции:** CVPR/ICCV/ECCV, NeurIPS/ICML/ICLR/AAAI, ACM MM, IGARSS, WACV/BMVC. Минимально необходимо 3 публикации ВАК К1/К2 + 1–2 Scopus Q1/Q2. - ---- - -## Блок 5. Формулировки научной новизны и защищаемых положений - -### 5.1. Три варианта формулировки третьего положения - -**Вариант А (методологический, акцент на алгоритмической новизне, пункты 4, 5, 8 паспорта):** -> 3. Впервые предложен метод адаптивной маршрутизации остаточных связей в модулях мультимодального шлюзового слияния признаков изображений БПЛА и метаданных, отличающийся от известных методов (GMU, GRN, TMC, QMF, DEGF-YOLO) тем, что решение о пропуске или подавлении остаточной ветви принимается per-example на основе предложенного информационного критерия SM-InfoScore, определяемого как квадрат расстояния Махаланобиса признака в обучаемом подпространстве с EMA-статистиками μ_sub и Σ_sub, что позволяет устранить деструктивный режим остаточной связи, аналитически установленный для случая высокой зашумлённости модальности (n_eff = (2−g)·n), и обеспечить корректную передачу указанных статистик в схеме Teacher-Student-дистилляции через Вассерштейн-метрику между гауссианами подпространств. - -**Вариант Б (аналитико-оценочный, акцент на формальных границах, пункты 3, 11, 14 паспорта):** -> 3. Получены условия деструктивности остаточной связи в мультипликативных шлюзах мультимодального слияния применительно к задаче Cross-View Geo-Localization БПЛА, в терминах соотношения «сигнал/шум» на входе каждой модальности; на основе полученных условий разработан информационный маршрутизатор SM-InfoScore на основе обучаемых статистик подпространства, интегрированный с парадигмой Teacher-Student-дистилляции, что позволяет переносить знание о структуре подпространства модальностей с тяжёлой модели-учителя на лёгкую бортовую модель-ученика, обеспечивая количественное улучшение показателей Recall@1 и AP на бенчмарках University-1652 и SUES-200 при сокращении FLOPs в k раз и latency в m раз на NVIDIA Jetson AGX Orin по сравнению с известными методами (Sample4Geo, FSRA, MCCG, MobileGeo). - -**Вариант В (комбинированный, рекомендуемый — интегрирует все четыре компонента из задания автора):** -> 3. Разработан информационно-адаптивный модуль ARGF (Adaptive Residual Gate Fusion), отличающийся от известных методов шлюзового мультимодального слияния (Gated Multimodal Unit, Gated Residual Network, TMC, QMF, Quality-Aware Gating Unit) тем, что: (а) на основе выполненного SNR-анализа аналитически доказана деструктивность остаточной связи при работе шлюза в режиме пропускания зашумлённой модальности (g→1); (б) предложен скалярный маршрутизатор остаточной связи SM-InfoScore, определяемый как расстояние Махаланобиса признака в обучаемом подпространстве с экспоненциально сглаженными статистиками μ_sub, Σ_sub, имеющий строгую вероятностную интерпретацию как лог-правдоподобие при гауссовой модели подпространства; (в) установлена совместимость модуля с парадигмой Teacher-Student-дистилляции через совместную передачу маршрутизатора, статистик подпространства (по метрике Wasserstein между гауссианами) и структуры SM-InfoScore, что позволяет получать лёгкие модели для бортового исполнения на БПЛА; (г) экспериментально подтверждено превосходство над современными методами Cross-View Geo-Localization (Sample4Geo, FSRA, MobileGeo, DAC) по Парето-фронту «точность — вычислительные затраты» на бенчмарках University-1652 и SUES-200. - -**Рекомендация:** использовать **вариант В** как базовый, заменяя конкретные количественные значения после экспериментов. Вариант А — короткая версия для автореферата. Вариант Б — для глав по оценке эффективности. - -### 5.2. Минимально необходимый экспериментальный набор - -**Датасеты (обязательно):** University-1652 (базовый), SUES-200 (multi-height ablation), DenseUAV (low-altitude). Опционально: GeoText-1652 (если метаданные расширяются текстом), CVUSA/CVACT (для кросс-домена). **AID и NWPU-RESISC45** — для раздела scene classification (subsidiary задача), если в диссертации есть отдельная глава про классификацию сцен. - -**Обязательные baselines:** -1. Concat fusion (x_v ⊕ x_t). -2. Simple sum fusion. -3. Tensor fusion (Zadeh et al. 2017, arXiv:1707.07250). -4. Attention-based fusion (стандартный cross-attention). -5. GMU (Arevalo 2017). -6. GRN (Lim 2021). -7. SRGF (простое residual gating) — показать деструктивность. -8. RCGF (cross-gated residual) — промежуточный вариант. -9. Gate+Sum — показать маргинальность. -10. QMF (Zhang ICML 2023) — сильный quality-aware baseline. -11. TMC/ETMC (Han TPAMI 2023) — evidential baseline. -12. DEGF-YOLO QGU (адаптированный) — прямой конкурент. -13. Sample4Geo, FSRA, MCCG, DAC, MobileGeo — SoTA CVGL. - -**Ablation (обязательно):** -- ARGF с/без InfoScore (подменить на random/constant gate). -- SM-InfoScore в обучаемом vs фиксированном (PCA) подпространстве. -- Диагональная vs полная Σ_sub. -- EMA-decay {0.9, 0.99, 0.999}. -- L_μΣ с WKD vs без. -- L_InfoScore попарная vs глобальная. -- Учитель с vs без метаданных. -- Hallucination student vs privileged-information student. - -**Метрики:** Recall@1, Recall@5, Recall@10, AP на University-1652 и SUES-200; Params, FLOPs, latency (Jetson Nano/Xavier NX/AGX Orin, FP32/FP16/INT8), throughput FPS, energy per inference. - -**Статистическая значимость:** минимум 5 запусков с разными seed, confidence intervals 95%, парный t-test или Wilcoxon signed-rank для пары ARGF vs baseline. - -### 5.3. Публикационная стратегия - -**Публикация 1 (ВАК К1):** Компьютерная оптика — «ARGF: адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для мультимодального слияния в задаче геолокализации БПЛА». Фокус на методе и SNR-анализе. - -**Публикация 2 (ВАК К1):** Информатика и автоматизация / Автоматика и телемеханика — «Teacher-Student дистилляция информационно-адаптивного маршрутизатора мультимодального слияния для бортовых систем БПЛА». Фокус на KD-архитектуре и вычислительной эффективности. - -**Публикация 3 (Scopus Q1-Q2):** IEEE TCSVT / IEEE TGRS / Information Fusion / Pattern Recognition — «Information-Aware Residual Routing in Gated Multimodal Fusion for Cross-View Drone Geo-Localization with Knowledge Distillation». Полная версия с экспериментами на University-1652/SUES-200. - -**Ключевые слова для поиска/индексации:** adaptive residual gating, InfoScore, Mahalanobis routing, learnable subspace statistics, Gate-Fusion, Teacher-Student knowledge distillation, Cross-View Geo-Localization, UAV, edge inference, многомодальное слияние, остаточная связь, расстояние Махаланобиса, дистилляция знаний, бортовая обработка. - ---- - -## Блок 6. Уязвимости, контраргументы, риски - -### 6.1. Вопросы оппонентов и готовые ответы - -**Вопрос:** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?» -**Ответ:** Lee 2018 использует d_M как **внешний классификационный скор** для бинарного решения ID/OOD после окончания forward-pass. SM-InfoScore используется **внутри** forward-pass как дифференцируемый gate-управляющий сигнал; μ_sub, Σ_sub **обучаются** совместно с параметрами сети через EMA, а не вычисляются эмпирически на train set. Это принципиальное методологическое отличие — от статистической меры к архитектурному маршрутизатору. - -**Вопрос:** «Почему именно расстояние Махаланобиса, а не энтропия или feature-norm?» -**Ответ:** Через GDA p(x|c) ∝ exp(−0.5·d_M²) SM-InfoScore имеет строгую вероятностную интерпретацию как лог-правдоподобие; feature-norm по Park 2023 даёт только класс-агностичный прокси и не учитывает ковариационную структуру; энтропия выхода классификатора доступна только после forward-pass до конца сети. Mahalanobis — единственная метрика, которая **одновременно** (а) per-example, (б) дифференцируема, (в) имеет вероятностную интерпретацию, (г) учитывает ковариацию. - -**Вопрос:** «Формула n_eff = (2−g)·n локальна и неуниверсальна» -**Ответ:** Согласны, формула справедлива для конкретной антикоррелированной конфигурации ветвей (несимметричный шум + разность путей + антифаза denoising). В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», а не универсальное утверждение. SNR-анализ автора показывает границы применимости. Аналогичное замечание делалось к универсальности IB-теории [Saxe et al. 2019]; мы следуем той же методологической культуре. - -**Вопрос:** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях» -**Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d), как в [WKD, Lv NeurIPS 2024]; инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature ℓ₂-normalization по [Mahalanobis++, Mueller ICML 2025]. Все эти приёмы стандартны и обеспечивают численную стабильность. - -**Вопрос:** «Чем ARGF отличается от MobileGeo/PFED 2025?» -**Ответ:** MobileGeo использует hierarchical KD (HD-CVGL) + uncertainty-aware prediction alignment (UAPA) + multi-view selection refinement, но **не содержит адаптивной маршрутизации остаточной связи**, не использует Mahalanobis-based routing, не имеет обучаемого подпространства. ARGF **дополняет** MobileGeo: его можно интегрировать как feature-level компонент в HD-CVGL, это не противоречащий, а ортогональный вклад. - -**Вопрос:** «Чем отличается от DEGF-YOLO QGU?» -**Ответ:** См. раздел 2.1. QGU — self-supervised quality score между RGB и Thermal; без Mahalanobis, без подпространства, без residual routing, без KD; применяется к object detection (не CVGL). ARGF — совершенно другой математический аппарат, хотя идея «quality-aware gate» разделяется. - -**Вопрос:** «TMC уже решил задачу quality-aware fusion» -**Ответ:** TMC — decision-level (evidential), работает на уровне классификационных выходов через Dempster-Shafer. ARGF — feature-level, работает на уровне residual-связи внутри архитектуры. Разный уровень абстракции и разная задача (ретривал vs классификация с uncertainty). - -### 6.2. Риски отсутствия статистической значимости - -**Страховка 1:** Заранее публиковать промежуточные результаты ablation и baselines, чтобы можно было дифференцированно показывать улучшения по разным осям (скорость на edge, устойчивость к шуму, качество на hard samples) — даже если суммарный Recall@1 улучшается маргинально, по Парето-фронту «точность-сложность» ARGF доминирует. - -**Страховка 2:** Делать эксперименты не только на University-1652, но и на SUES-200 (малоизученный бенчмарк, где SoTA ещё не насыщен), DenseUAV, и на corrupted/OOD-версиях (туман, ночь, дождь) — именно там ARGF должна показывать максимальный gain. - -**Страховка 3:** Разделить метрики на «точность» и «робастность» — для робастности (corruption benchmark, OOD) улучшения обычно гораздо больше. - -**Страховка 4:** Подчёркивать компоненту новизны, не только численный результат — аналитический SNR-вывод сам по себе есть научный результат независимо от экспериментов (пункт 8 паспорта — теоретико-информационный анализ). - -### 6.3. Насыщенность UC Merced и переход на AID/NWPU-RESISC45 - -UC Merced (21 класс, 2100 изображений) действительно насыщен: современные методы дают >99%. В диссертации **не использовать** UC Merced как основной датасет для validation новизны. Переход на: -- **AID** (Aerial Image Dataset, 10000 изображений, 30 классов) — Xia et al. IEEE TGRS 2017. -- **NWPU-RESISC45** (31500 изображений, 45 классов) — Cheng et al. Proc. IEEE 2017. -- **RSSCN7, Siri-Whu** — дополнительные. - -Если scene classification — вспомогательная задача (не главная), её роль — показать, что ARGF работает не только на retrieval (CVGL), но и на классификации признаков; встраивать в **главу про generality/transfer**. - -### 6.4. Обязательные baselines - -Повторяем из раздела 5.2, но в формате чек-листа для защиты: -1. Concat, sum, tensor fusion, attention fusion — классические. -2. GMU 2017 — канонический gate. -3. GRN/TFT 2021 — gated residual. -4. SRGF, RCGF, Gate+Sum — авторские промежуточные. -5. QMF 2023, TMC/ETMC 2023 — quality-aware SoTA. -6. DEGF-YOLO QGU 2025 — прямой конкурент. -7. Sample4Geo, FSRA, DAC, MCCG, MobileGeo — CVGL SoTA. - -Отсутствие любого из этих baselines даст повод оппоненту поставить под сомнение сравнительную корректность. - ---- - -## Заключение и ключевые выводы - -Проведённый анализ 70+ источников 2015–2026 гг. подтверждает, что **предложенная автором комбинация — ARGF с маршрутизацией через SM-InfoScore на обучаемом подпространстве, интегрированная в Teacher-Student KD для CVGL БПЛА — не имеет прямых аналогов в литературе**. Четыре компонента новизны (SNR-анализ деструктивности, Mahalanobis-роутинг, обучаемые подпространственные статистики, совместимость с дистилляцией) все имеют самостоятельные прецеденты в разных областях (Highway Networks, Lee 2018, BatchNorm, WKD NeurIPS 2024 соответственно), но **их одновременная интеграция для задачи CVGL БПЛА является оригинальным научным результатом**, соответствующим пунктам 4, 5, 8, 12, 14 паспорта специальности 2.3.1. - -Ключевая практическая рекомендация — использовать **Вариант В формулировки** как базовый текст третьего защищаемого положения, опираясь на триплет якорных работ **[Lim 2021 GRN → Wang 2022 ViM → Sun 2025 MobileGeo]** как линию методологической преемственности и **[Lv 2024 WKD → Yin 2020 DeepInversion → Ahn 2019 VID]** как методологическую основу для передачи статистик μ_sub, Σ_sub в дистилляции. Минимальный экспериментальный корпус для защиты — University-1652 + SUES-200 + DenseUAV с 13 baselines и 8 ablation-вариантами; публикационная стратегия — 2 статьи ВАК К1 (Компьютерная оптика + Информатика и автоматизация) плюс 1 публикация Q1-Q2 (IEEE TCSVT или Information Fusion). - -Наиболее существенное отличие от всех рассмотренных конкурентов — **переход от статистического классификационного скора (Mahalanobis OOD) к архитектурному управляющему сигналу, обучаемому совместно с сетью и дистиллируемому через Вассерштейн-метрику**. Именно этот переход и составляет концептуальное ядро научной новизны третьего положения и может быть защищён как самостоятельный методологический вклад в обработку информации. - ---- - -## Приложение. Список обязательных ссылок для диссертации - -**Теоретическая база (SNR, gating, residual):** Srivastava 2015 (arXiv:1505.00387); He 2016 (CVPR, 10.1109/CVPR.2016.90); Dauphin 2017 (arXiv:1612.08083); Balduzzi 2017 (arXiv:1702.08591); Lim 2021 (IJF 37(4), 10.1016/j.ijforecast.2021.03.012); Veit 2016 (arXiv:1605.06431); Shwartz-Ziv 2017 (arXiv:1703.00810); Han 2022 Dynamic NN Survey (IEEE TPAMI 44(11)). - -**Mahalanobis, подпространства, OOD:** Lee 2018 (arXiv:1807.03888); Ren 2021 RMDS (arXiv:2106.09022); Wang 2022 ViM (CVPR, arXiv:2203.10807); Sun 2022 KNN+ (ICML, arXiv:2204.06507); Sun 2021 ReAct (arXiv:2111.12797); Mueller 2025 Mahalanobis++ (ICML, arXiv:2505.18032); Dynamic Covariance Calibration 2025 (arXiv:2506.09399); Zöngur 2025 ActSub (ICCV); Dissecting Mahalanobis 2025 (arXiv:2510.15202); Kharkovskii 2025 (arXiv:2410.19352). - -**EMA/BN:** Ioffe, Szegedy 2015 (arXiv:1502.03167); Morales-Brotons 2024 (arXiv:2411.18704); MABN Yan 2020. - -**Feature norm, энтропия, IB:** Park 2023 (ICCV); Yu 2023 Block Selection (CVPR); Tishby 2015 (arXiv:1503.02406); Alemi 2017 Deep VIB (arXiv:1612.00410); Belghazi 2018 MINE (arXiv:1801.04062). - -**Quality-aware multimodal fusion:** Arevalo 2017 GMU (arXiv:1702.01992); Han 2023 TMC (IEEE TPAMI 45(2), 10.1109/TPAMI.2022.3171983); Zhang 2023 QMF (ICML, arXiv:2306.02050); Cao 2024 Predictive Dynamic Fusion (arXiv:2406.04802); Xue 2023 DynMM (CVPR); DEGF-YOLO 2025 (Pattern Recognition, S0031320325013858). - -**Residual routing:** SkipNet Wang 2018 (ECCV); BlockDrop Wu 2018 (CVPR); Shazeer 2017 Sparsely-Gated MoE (ICLR). - -**CVGL:** Zheng 2020 University-1652 (ACM MM, 10.1145/3394171.3413896); Zhu 2023 SUES-200 (IEEE TCSVT 33(9)); Deuser 2023 Sample4Geo (ICCV); Dai 2022 FSRA (IEEE TCSVT); Chu 2024 GeoText-1652 (ECCV, LNCS 15069, 10.1007/978-3-031-73247-8_13); Sun 2025 MobileGeo/PFED (IEEE TCSVT, arXiv:2510.22582); Sun 2025 CGSI (IEEE TCSVT); MRGeo (arXiv:2603.12587); MCFA (PMC12299452). - -**Knowledge Distillation:** Hinton 2015 (arXiv:1503.02531); Romero 2015 FitNets (arXiv:1412.6550); Zagoruyko 2017 AT (ICLR); Tian 2020 CRD (ICLR, arXiv:1910.10699); Park 2019 RKD (CVPR, arXiv:1904.05068); Tung 2019 SP (ICCV); Zhao 2022 DKD (CVPR, arXiv:2203.08679); Yang 2022 MGD (ECCV, arXiv:2205.01529); Ahn 2019 VID (CVPR); Peng 2019 CCKD (ICCV); Liu 2019 IRG (CVPR); Yin 2020 DeepInversion (CVPR, arXiv:1912.08795); **Lv 2024 WKD (NeurIPS)**; Salimans 2024 Moment Matching (NeurIPS, arXiv:2406.04103). - -**Cross-modal / privileged:** Lopez-Paz 2016 (ICLR); Hoffman 2016 (CVPR); Garcia 2018 (ECCV); Garcia 2019 (IEEE TPAMI); Shen 2023 MMH (IEEE TNNLS); Shi 2023 OS-MD (arXiv:2309.08204). - -**KD в CVGL/RS:** Li 2024 PaSS-KD (IEEE TCSVT 34(6)); Song 2025 GeoDistill (arXiv:2507.10935); Distill4Geo 2026 (Springer PRCV); TAKD 2024 (IEEE TCSVT, 10.1109/TCSVT.2024.3391018); Himeur 2024 Survey. - -**Паспорт 2.3.1:** Приказ Минобрнауки РФ № 118 от 24.02.2021 и № 445 от 11.05.2022. \ No newline at end of file diff --git a/4_questions_and_problems/Научная новизна.md b/4_questions_and_problems/Научная новизна.md deleted file mode 100644 index 9a858a7..0000000 --- a/4_questions_and_problems/Научная новизна.md +++ /dev/null @@ -1,34 +0,0 @@ ---- -tags: - - диссер ---- - -``` -п.1. - -Фьюз + Возможно можно доразвить InfoScore. -Он должен работать в системе CVGL. -Должно быть не просто улучшение. Протестить GeoText для сравнения с их подходом. -Для веса гипотезы этот фюьз должен срабатывать при дистиляции в подходе Teacher-Student, -должна быть совместимость. - -Чем больше ты проанализровал статей и выделил целевых компонентов - -тем больше пользы и меньше галлюцинаций. - -п.2. - -Алгоритм формирования (генерации) текстовых описаний сцен. -т.е. улучшить методы генерации текстовых описаний (промпты, анти галлюцинации) -метод, алгоритм, набор правил, адаптация Qwen - -Пока что это использование входных промптов+QwenLM -Есть разработанная система оценки промптов (Ярослав): - - есть оценки и Claude - - img -> descr - - оценка описаний - - если плохо - Claude переделывает промпт -``` - -[[Научная новизна третьего положения диссертации]] -[[Сгруппированные ссылки]] - diff --git a/4_questions_and_problems/Научная_новизна_актуализация.md b/4_questions_and_problems/Научная_новизна_актуализация.md new file mode 100644 index 0000000..2e06992 --- /dev/null +++ b/4_questions_and_problems/Научная_новизна_актуализация.md @@ -0,0 +1,194 @@ +--- +tags: + - диссер +--- + +# Научная новизна диссертации (актуализация): обоснование трёх пунктов НН для шлюзовых методов мультимодального слияния в задаче CVGL БПЛА + +> **Версия 2.** Актуализирует и заменяет предыдущий отчёт «Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА». Изменения: (а) переход от одного пункта НН к трём; (б) понижение приоритета Teacher-Student дистилляции до вторичной темы; (в) явная переориентация на retrieval-метрики CVGL; (г) расширение базы дифференциации за счёт CVGL-конкурентов 2024–2026 и работ по иерархическому тексту. + +## Что изменилось концептуально и почему + +**Тема диссертации уточнена.** Ранее «диссер про ARGF в парадигме T-S для CVGL»; теперь — «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем». Уточнение фокусирует НН не на «одной идее, упакованной с дистилляцией», а на **трёх независимых, но методологически связанных** усовершенствованиях шлюзового слияния, каждое из которых может быть защищено самостоятельно. + +**Метрики переопределены.** Прошлые эксперименты автора на классификации и регрессии дают лишь тенденцию поведения шлюзов; **главные доказательства всех трёх пунктов НН — это retrieval-метрики (Recall@1, Recall@5, Recall@10, AP)** на бенчмарках University-1652, SUES-200, DenseUAV в обоих направлениях (drone→sat, sat→drone). FLOPs / latency на Jetson — единственная не-ретриевал метрика, и она привязана только к N3_H5. + +**Дистилляция Teacher-Student понижена в приоритете.** Ранее KD занимал отдельный Блок 3 с детальным составным loss; теперь — единственное упоминание в N3_H5 как прикладная значимость и совместимость метода. Полная схема L_total c семью λ-весами **переносится в приложение** диссертации, но не выносится в защищаемые положения. + +**База дифференциации расширена.** Ранее упор делался на DEGF-YOLO, TMC, QMF, MobileGeo. Теперь добавлены: CGSI [Sun et al., IEEE T-CSVT 2025] и MBF [Zhu et al., Sensors 2023] — единственные работы, использующие UAV-status text для CVGL; MCFA [Sensors 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025] — свежие CVGL-методы; Long-CLIP [Zhang et al., ECCV 2024] и DGTRS-CLIP [Chen et al., arXiv:2503.19311, 2025] — иерархический / dual-granularity текст; MPS-CLIP [arXiv:2601.18190, 2025] — Gated Global Attention Adapter для RS retrieval; C²MF [arXiv:2603.26629, 2025] — credibility-aware fusion. + +**Новые компоненты НН.** В П2 появляется иерархический InfoScore по уровням L1/L2/L3/T_meta (отсутствовал в прошлом отчёте). В П3 появляется двухтрактовая fusion с раздельными α_sem/α_meta и информационно-взвешенный симметричный loss 0.6/0.4 — обоснованный SNR-асимметрией drone/sat (тоже отсутствовал в прошлом отчёте). + +--- + +## Структура трёх пунктов НН + +### П1. Метод адаптивной маршрутизации остаточной связи в шлюзовом слиянии (ARGF-InfoScore) + +**Защищаемое положение.** Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN [Lim, 2021], TMC [Han, IEEE TPAMI 2023], QMF [Zhang, ICML 2023], DEGF-YOLO QGU [2025], Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo [Sun, IEEE T-CSVT 2025], CGSI [Sun, IEEE T-CSVT 2025]) тем, что: +1. информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; +2. метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; +3. сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, — + +что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption'ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. + +**Привязка к паспорту 2.3.1:** пункты 4, 5, 8, 12. +**Гипотезы:** [[Гипотезы N1]] + +--- +### П2. Иерархический информативно-усиливающий и фильтрующий механизм InfoScore по уровням промпта + +**Защищаемое положение.** Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP [arXiv:2601.18190, 2025]) тем, что: +1. каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; +2. уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; +3. механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), — + +что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0% абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. + +**Привязка к паспорту 2.3.1:** пункты 4, 5, 8, 12. +**Гипотезы:** [[Гипотезы N2]] + +--- +### П3. Двухтрактовое информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью + +**Защищаемое положение.** Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что: +1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; +2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough); +3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, — + +что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8% абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. + +**Привязка к паспорту 2.3.1:** пункты 4, 5, 11, 14. +**Гипотезы:** [[Гипотезы N3]] + +--- + +## Что из прошлого отчёта осталось актуальным — мэппинг по гипотезам + +| Раздел прошлого отчёта | Куда переходит сейчас | +|---|---| +| Блок 1.1. SNR-анализ residual + формула n_eff = (2−g)·n | **П1, базовое теоретическое обоснование** + конкретно поддерживает **N1_H1** | +| Блок 1.2. Mahalanobis → ViM → Mahalanobis++ → subspace-aware | **П1, обоснование SM-InfoScore** + конкретно **N1_H2, N1_H3, N1_H5** | +| Блок 1.3. Feature norm, IB, MINE | **П1, теоретическая база** (feature norm как cheap proxy) | +| Блок 2.1. Сравнение с DEGF-YOLO QGU, TMC, QMF, GMU, GRN | **П1, дифференциация** + полная база ответов оппонентам | +| Блок 2.2. SkipNet, BlockDrop, MoE | **П1, residual routing context** | +| Блок 2.3. ViM, RMDS, ActSub, KNN+ | **П1, цепочка преемственности Mahalanobis-методов** | +| Блок 2.4. CVGL SOTA: Sample4Geo, FSRA, MobileGeo, CGSI, MRGeo | **Все три пункта**: базовые CVGL-baselines | +| Блок 3.1–3.5. Teacher-Student дистилляция | **N3_H5 + приложение диссертации** — НЕ выносится отдельным пунктом НН | +| Блок 4.1. Паспорт 2.3.1 (пункты 4, 5, 8, 12, 14) | **Все три пункта, разные комбинации якорей** | +| Блок 4.2. Типовые формулировки 2.3.1 (Гончаренко 2023 и др.) | **Шаблон формулировок для всех трёх пунктов** | +| Блок 4.3. FLOPs / latency на edge | **П3, N3_H5** | +| Блок 4.4. Журналы (Компьютерная оптика, СПИИРАН, IEEE TCSVT) | **Публикационная стратегия, актуальна без изменений** | +| Блок 5.1. Три варианта формулировки одного пункта | **Концептуально устарело** — формулировки в П1/П2/П3 выше | +| Блок 5.2. Экспериментальный набор (датасеты, baselines, ablation) | **Актуально, расширяется** под три пункта | +| Блок 6.1. Вопросы оппонентов | **Расширены ниже** | +| Блок 6.2. Страховки от незначимости | **Актуальны** | +| Блок 6.3. UC Merced → AID / NWPU-RESISC45 | **Актуально для вспомогательной главы про classification, если она будет** | + +--- + +## Расширенный экспериментальный набор для трёх пунктов + +**Датасеты:** +- University-1652 (Zheng et al., ACM MM 2020) — базовый, drone↔sat↔ground-view; стандартный протокол 701/951 buildings train/test. +- SUES-200 (Zhu et al., IEEE T-CSVT 2023) — multi-height ablation на 4 высотах {150/200/250/300 м}; для **N2_H2** (T_meta комплементарность), **N1_H2** (стабильность по высотам). +- DenseUAV — dense sampling в плотной городской застройке; для **N1_H1** (SNR-зависимость), **N2_H3** (фильтрация шумных уровней), **N3_H1** (раздельные гейты). +- (опционально) GeoText-1652 — если будет проверка совместимости с region-text. + +**Базовые модели для сравнения (минимальный список для защиты):** +1. Concat fusion — простейший baseline без gate. +2. Simple sum fusion. +3. Tensor fusion [Zadeh 2017]. +4. Cross-attention fusion — стандартный. +5. GMU [Arevalo 2017] — канонический gate. +6. GRN [Lim 2021] — gated residual. +7. SRGF (авторский) — показать деструктивность. +8. RCGF (авторский) — промежуточный. +9. Gate+Sum (авторский) — маргинальное улучшение. +10. QMF [Zhang ICML 2023] — energy-based dynamic fusion. +11. TMC/ETMC [Han IEEE TPAMI 2023] — evidential (адаптированный под retrieval). +12. DEGF-YOLO QGU [2025] (адаптированный) — прямой конкурент. +13. Sample4Geo [Deuser ICCV 2023] — CVGL SoTA image-only. +14. FSRA — transformer-based CVGL. +15. MobileGeo / PFED [Sun IEEE T-CSVT 2025] — edge-ориентированный SoTA. +16. CGSI [Sun IEEE T-CSVT 2025] — UAV-status text baseline для П3. +17. MBF [Zhu Sensors 2023] — UAV-status baseline для П3. +18. C²MF [arXiv:2603.26629, 2025] — credibility-aware baseline для П2. + +**Ablation-сетка (минимальная):** +- **П1:** {α off/on} × {SM off/on} × {fixed Σ, per-batch Σ, EMA Σ} × {diagonal Σ, full Σ}. +- **П2:** leave-one-level-out (L1, L2, L3, T_meta) × {shared subspace vs per-level subspace} × per-level noise injection {0, 30, 50, 90%}. +- **П3:** {1 gate vs 2 gates α_sem/α_meta} × {fixed τ vs learnable τ} × w_q sweep ∈ {0.5, 0.55, 0.6, 0.65, 0.7} × {full vs image-only inference}. +- **Совместность П1+П2+П3:** 2×2×2 = 8 точек. + +**Метрики:** +- Главные: R@1, R@5, R@10, AP — в обоих направлениях (drone→sat, sat→drone) на каждом датасете. +- Диагностические: распределения SM-InfoScore по уровням; значения σ(α_sem), σ(α_meta), τ после сходимости; Pearson-корреляции InfoScore между уровнями. +- Для N3_H5: Params (M), FLOPs (G), latency (ms на Jetson AGX Orin / Orin Nano, FP16, batch=1), throughput (FPS). + +**Статистическая значимость:** 5 запусков с разными seed; парный t-test или Wilcoxon signed-rank; confidence intervals 95%; p < 0.05 как порог принятия гипотез. + +--- + +## Расширенный набор вопросов оппонентов и готовые ответы + +**Вопросы из прошлого отчёта (актуальны без изменений):** + +**В1.** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?» +**Ответ:** Lee 2018 использует d_M как внешний классификационный скор для бинарного решения ID/OOD после forward-pass. SM-InfoScore используется внутри forward-pass как дифференцируемый управляющий сигнал; μ_sub, Σ_sub обучаются совместно с параметрами сети через EMA. Это переход от статистической меры к архитектурному маршрутизатору. + +**В2.** «Почему именно Махаланобис, а не энтропия или feature-norm?» +**Ответ:** Mahalanobis — единственная метрика, которая одновременно: (а) per-example, (б) дифференцируема, (в) имеет строгую вероятностную интерпретацию через GDA, (г) учитывает ковариационную структуру. Feature-norm [Park ICCV 2023] — только класс-агностичный прокси; энтропия требует softmax-выхода, что в retrieval отсутствует. + +**В3.** «Формула n_eff = (2−g)·n локальна и неуниверсальна.» +**Ответ:** Согласны, формула справедлива для антикоррелированной конфигурации ветвей. В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», границы применимости показывает SNR-анализ. Аналогичное замечание делалось к универсальности IB-теории [Saxe 2019]; следуем той же методологической культуре. + +**В4.** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях.» +**Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d); инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature L2-нормализация по Mahalanobis++ [ICML 2025]. Все приёмы стандартны. + +**В5.** «Чем отличается от DEGF-YOLO QGU?» +**Ответ:** QGU — self-supervised quality score между RGB и Thermal, без Mahalanobis, без подпространства, без residual routing, в object detection (не CVGL). ARGF — другой математический аппарат, общая только идея quality-aware gate. + +**В6.** «TMC уже решил задачу quality-aware fusion.» +**Ответ:** TMC — decision-level (evidential, Демпстер-Шейфер), работает на классификационных выходах. ARGF — feature-level, на residual внутри архитектуры. Разный уровень абстракции и разная задача (retrieval vs классификация с uncertainty). + +**Новые вопросы под три пункта НН:** + +**В7.** «Чем три пункта НН концептуально связаны, а не являются произвольным набором улучшений?» +**Ответ:** Все три пункта реализуют единую идею — **квантифицируемую информативность модальности как управляющий сигнал в шлюзовом слиянии**. П1 применяет это к остаточной связи (микро-уровень), П2 — к структуре текстового промпта (мезо-уровень), П3 — к балансировке retrieval-loss и архитектурной асимметрии drone/sat (макро-уровень). Все три уровня используют одну и ту же математику SM-InfoScore, но решают разные задачи: фильтрация шума на признаках, агрегация уровней семантики, информационная компенсация асимметрии в обучении. + +**В8.** «Почему трёхуровневый промпт L1/L2/L3 + T_meta даёт прирост сверх Long-CLIP / DGTRS-CLIP?» +**Ответ:** Long-CLIP и DGTRS-CLIP — двухуровневые (short + long или short + detailed); они не разделяют семантику и cross-view fingerprint и не используют numerical metadata. У автора три уровня выполняют разные функции: L1 — контекст, L2 — rich semantics для embedding, L3 — cross-view invariant fingerprint для cross-view matching, T_meta — численные ограничители масштаба и ориентации. Их информационная роль различна, что подтверждается N2_H2 (низкая корреляция InfoScore между T_meta и T_L3). + +**В9.** «Почему 0.6 / 0.4, а не 0.5 / 0.5? Это магические числа.» +**Ответ:** Это эмпирически найденный оптимум на grid-search, обоснованный SNR-асимметрией: drone-сторона имеет rich text + image (высокий SNR), satellite-сторона — image only с passthrough text (низкий SNR). Информационно-весовое доминирование более информативного направления — частный случай **task-specific weighting** [RzenEmbed arXiv:2510.27350, 2025]. Sample4Geo использует 0.5/0.5 при отсутствии текста — там асимметрия отсутствует. Reverse-setup эксперимент (искусственно поменять «богатую» сторону) показывает оптимум при w_q < 0.5, что подтверждает SNR-обусловленность. + +**В10.** «Почему дистилляция Teacher-Student не выносится отдельным пунктом НН?» +**Ответ:** Дистилляция — стандартная техника, к ней автор не вносит принципиально нового математического аппарата; новизна — в том, **что именно** дистиллируется (статистики подпространства μ_sub, Σ_sub через Вассерштейн-метрику и сами InfoScore через попарные расстояния). Это методологическое следствие П1 и П3, а не самостоятельный научный результат. Соответствующая схема L_total c семью λ-весами вынесена в приложение диссертации. + +**В11.** «Метрики retrieval слабо реагируют на изменение fusion на сильных backbone (DINOv3 ViT-L). Прирост 1.5% может быть в пределах шума.» +**Ответ:** Поэтому в экспериментах используются три комплементарных бенчмарка: University-1652 (базовый), SUES-200 (multi-height, проверка робастности), DenseUAV (плотные сцены, проверка cross-view fingerprint). Прирост измеряется на каждом отдельно с 5 запусками и парным t-test. Дополнительно — corruption benchmark (noise injection на уровни L1/L2/L3), где прирост от информативно-фильтрующих механизмов **систематически больше**, чем на чистых данных. + +**В12.** «Учебные эксперименты автора были на классификации и регрессии, а защищаются гипотезы на retrieval. Это разные задачи.» +**Ответ:** Согласны; прошлые эксперименты на classification / regression использованы исключительно для **предварительной калибровки гиперпараметров** (EMA decay β, размерность подпространства, порог threshold для residual routing) и для **демонстрации тенденции** поведения шлюзов при шумной модальности. Все гипотезы Ni_Hj проверяются заново на retrieval-метриках R@1/R@5/R@10/AP в условиях стандартных протоколов University-1652 / SUES-200 / DenseUAV. + +--- + +## Публикационная стратегия (актуальна без изменений) + +- **Публикация 1 (ВАК К1, Компьютерная оптика):** «Адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для шлюзового мультимодального слияния в задаче перекрёстной геолокализации БПЛА». Фокус — П1. +- **Публикация 2 (ВАК К1, Информатика и автоматизация / Автоматика и телемеханика):** «Иерархический информативно-усиливающий механизм для мультимодального шлюзового слияния в перекрёстной геолокализации БПЛА». Фокус — П2. +- **Публикация 3 (Scopus Q1-Q2, IEEE TCSVT / Information Fusion):** «Information-Aware Gated Multimodal Fusion with Hierarchical InfoScore and Subspace-Mahalanobis Residual Routing for UAV Cross-View Geo-Localization». Полная версия — все три пункта + эксперименты на University-1652 / SUES-200 / DenseUAV. +- Минимально для защиты: 2 публикации ВАК К1 + 1 Scopus Q1-Q2. Дополнительно — конференция (ВАК или Scopus): IGARSS / WACV / BMVC. + +--- + +## Заключение + +Прошлый отчёт остаётся **методологически фундаментальным** — его теоретическая база (SNR-анализ, Mahalanobis-преемственность, дифференциация от QMF/TMC/DEGF-YOLO) полностью переходит в П1 актуализированной версии. Однако его **позиционирование как единого третьего пункта** устарело: после переопределения темы диссертации и приоритетов работа развёрнута в три самостоятельных, но методологически связанных пункта НН с 15 проверяемыми гипотезами. + +Ключевая структурная связка: **SM-InfoScore — это единый математический аппарат, применяемый на трёх уровнях** (residual внутри Gated-блока — П1; иерархия текстового промпта — П2; асимметрия retrieval-loss — П3). Это даёт работе концептуальную целостность при защите и одновременно три независимых научных результата для статей и положений на защиту. + +Teacher-Student дистилляция переходит из самостоятельного компонента новизны в **прикладное следствие**, упомянутое в N3_H5 и развёрнутое в приложении диссертации (полная схема L_total из прошлого отчёта). Это согласуется с принципом «дистилляция — стандартная техника, новизна — в её содержимом, а не в самой идее переноса знаний». + +Все ссылки и DOI из прошлого отчёта (приложение «Список обязательных ссылок для диссертации») остаются актуальными; **дополнительно для П2 и П3** обязательны: CGSI [Sun IEEE T-CSVT 2025], MBF [Zhu Sensors 2023, doi:10.3390/s23020720], Long-CLIP [Zhang ECCV 2024, arXiv:2403.15378], DGTRS-CLIP [Chen 2025, arXiv:2503.19311], MPS-CLIP [arXiv:2601.18190, 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025], MCFA [Sensors 2025, doi:10.3390/s25144519], C²MF [arXiv:2603.26629, 2025], RzenEmbed [arXiv:2510.27350, 2025], Temperature-Free Loss [arXiv:2501.17683, 2025], «Geometric Mechanics of Contrastive Learning» [arXiv:2601.19597, 2025]. diff --git a/4_questions_and_problems/Финализация трёх пунктов научной новизны.md b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md index 9f0a8fa..5b00f4d 100644 --- a/4_questions_and_problems/Финализация трёх пунктов научной новизны.md +++ b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md @@ -2,7 +2,8 @@ tags: - диссер --- -[[Научная новизна третьего положения диссертации]] +[[Научная_новизна_актуализация]] +[[In and Out Distribution]] # Финализация трёх пунктов научной новизны кандидатской диссертации по специальности 2.3.1 ВАК РФ ## Тема: «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации (CVGL) БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем» @@ -87,7 +88,6 @@ tags: 5. **Размытие НН.** 3 пункта с фокусом, гипотезы внутри пункта — комплементарные. --- - ## РАЗДЕЛ 2. ДЕЛЬТА ### 2.1. Решение по обязательным кандидатам A–G @@ -113,7 +113,7 @@ tags: --- ## РАЗДЕЛ 3. ПУНКТЫ НАУЧНОЙ НОВИЗНЫ И ГИПОТЕЗЫ -**Дублировал в заметки: ** + **!!! Продублировано в заметки: ** [[Гипотезы N1]] [[Гипотезы N2]] @@ -122,30 +122,60 @@ tags: Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. #### N1_H1 — Гипотеза SNR-деструктивности. -- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. +- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). +- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. +- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). +- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. #### N1_H2 — Гипотеза эффективности SM-InfoScore. -- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. +- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). +- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. +- *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. +- *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. #### N1_H3 — Гипотеза предпочтительности EMA-статистик. -* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. +* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. +* *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. +* *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. +* *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. #### N1_H4 — Гипотеза совместимости с learnable α. -* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. +* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. +* *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. +* *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). +* *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. #### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне. -* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). +* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. +* *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. +* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. +* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). --- ### П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. #### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint). -- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. +- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. +- *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. +- *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. +- *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. #### N2_H2 — Гипотеза комплементарности T_meta и T_L3. -* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). +* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. +* *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. +* *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. +* *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). #### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях. -* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. +* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). +* *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. +* *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. +* *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. #### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего. -* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. +* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). +* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. +* *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. +* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. #### N2_H5 — Гипотеза совместимости П1 + П2. -* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. +* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. +* *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). +* *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. +* *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. --- ### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов @@ -153,15 +183,30 @@ tags: Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. #### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. -* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. +* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. +* *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. +* *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. +* *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. #### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4. -* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200. +* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). +* *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. +* *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. +* *Эксперимент:* sweep w_q на University-1652 + SUES-200. #### N3_H3 — Гипотеза о learnable τ. -* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. +* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. +* *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. +* *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. +* *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. #### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore. -* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. +* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. +* *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. +* *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). +* *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. #### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией. -* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. +* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. +* *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. +* *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. +* *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. --- ## Завершающие замечания diff --git a/notes/In and Out Distribution.md b/notes/In and Out Distribution.md new file mode 100644 index 0000000..70bccd9 --- /dev/null +++ b/notes/In and Out Distribution.md @@ -0,0 +1,195 @@ +--- +tags: + - диссер + - анализ_данных +--- +# Расшифровка терминов и уточнение по метрикам + +## 1. ID и OOD + +**ID — In-Distribution** ("в распределении") **OOD — Out-of-Distribution** ("вне распределения") + +Это базовые термины из области обнаружения аномалий и оценки надёжности нейросетей. + +### Что это означает + +Когда вы обучаете модель на каком-то наборе данных (например, drone-снимки городских сцен), модель формирует внутреннее представление о том, как выглядят "нормальные" входы. Это и есть распределение **ID**. + +Когда на инференсе подаётся что-то совсем непохожее (например, drone-снимок леса вместо города, или вообще картинка кота, или фрагмент шумовой текстуры) — это **OOD**. + +### Почему это важно для вашей работы + +Mahalanobis-методы из литературы (Lee et al. 2018, Mahalanobis++ 2025) изначально создавались **именно для задачи OOD-детекции**: отделить "нормальные" входы от "аномальных". Формально это работает так: + +``` +для x: + вычислить d_M(x, μ_ID, Σ_ID) # расстояние до центра ID-распределения + +если d_M велико → x вероятно OOD (аномалия) +если d_M мало → x вероятно ID (всё нормально) +``` + +**В вашей работе** мы делаем семантически другой ход: используем **ту же математику** (расстояние Махаланобиса в обучаемом подпространстве), но **не для бинарного решения "аномалия / норма"**, а как **непрерывный управляющий сигнал** внутри forward-pass. Высокий SM-InfoScore = «признак далёк от типичного для этой модальности» = «доверять меньше, шум вероятен» — и residual-связь подавляется. + +Это и есть та самая **методологическая новизна перехода** от статистического OOD-классификатора к архитектурному маршрутизатору, о которой я писал в первом отчёте. Когда я пишу «Mahalanobis++ устойчиво различает ID/OOD» — это значит «механизм хорошо отличает типичные признаки от атипичных», и **именно это свойство** мы переиспользуем для маршрутизации остаточной связи. + +### Применимость к CVGL + +В CVGL "OOD" может означать: + +- drone-кадр с сильной засветкой / размытием +- caption с плохой генерацией (галлюцинации QwenLM) +- sat без caption (passthrough) +- метаданные с шумом GPS + +Для всех этих случаев SM-InfoScore должен возрастать → residual / gate подавлять зашумлённый источник. + +--- + +## 2. Энергетическая неопределённость (Energy-based uncertainty) + +Альтернативный способ оценить «насколько модель уверена / насколько вход информативен», конкурирующий с Mahalanobis-подходом. + +### Как работает + +Берётся выход классификатора (логиты `z_1, ..., z_K` до softmax) и считается **энергия**: + +``` +E(x) = −log Σ_k exp(z_k) +``` + +- **Низкая энергия** (большие логиты хотя бы по одному классу) → модель уверена, вход «нормальный» +- **Высокая энергия** (все логиты примерно равные и небольшие) → модель не уверена, вход «странный» + +Это монотонно связано с **свободной энергией в статистической физике** (отсюда название) и с лог-плотностью распределения данных. + +### Где используется + +- **Liu et al., NeurIPS 2020** — Energy-based OOD detection, классическая работа. +- **QMF (Quality-aware Multimodal Fusion)** [Zhang et al., ICML 2023, arXiv:2306.02050] — **самый близкий конкурент вашему методу**: они оценивают качество каждой модальности через энергию её предсказаний и взвешивают модальности обратно пропорционально неопределённости. + +### Чем хуже / отличается от вашего SM-InfoScore + +|Аспект|Energy-based (QMF)|SM-InfoScore (ваш)| +|---|---|---| +|Что измеряется|Свойство выхода классификатора|Свойство признака внутри сети| +|Когда доступен|После полного forward-pass|На любом уровне между слоями| +|Имеет ли вероятностную интерпретацию|Да (свободная энергия)|Да (лог-правдоподобие при гауссовой модели)| +|Учитывает ли ковариационную структуру|Нет (скаляр по логитам)|Да (через Σ_sub)| +|Применим ли в retrieval без классификатора|**Нет** (нужен softmax-выход)|**Да** (работает на признаках)| + +**Последняя строка — критический аргумент в защите.** Энергетический подход QMF не применим в retrieval без модификаций, потому что в retrieval нет финального классификатора. У вас задача — именно retrieval, поэтому SM-InfoScore **естественно ложится** на пайплайн, а Energy-based — нет. + +--- + +## 3. Эвиденциальная неопределённость (Evidential uncertainty) + +Третья альтернативная семья методов оценки уверенности — на базе **теории Демпстера-Шейфера** и **распределения Дирихле**. + +### Как работает + +Вместо того чтобы предсказывать вероятности классов `p(y|x)` напрямую, модель предсказывает **параметры распределения Дирихле** `α = (α_1, ..., α_K)` над симплексом вероятностей. Это «распределение распределений». + +``` +α_k = exp(z_k) + 1 # evidential output +S = Σ_k α_k # общая «масса свидетельств» +p_k = α_k / S # ожидаемая вероятность класса k +u = K / S # неопределённость (uncertainty mass) +``` + +- Большие `α_k` → много свидетельств в пользу класса k → низкая `u` +- Все `α_k ≈ 1` → нет свидетельств → высокая `u`, модель «не знает» + +### Где используется + +- **TMC / ETMC** [Han et al., IEEE TPAMI 45(2), 2023] — Trusted Multi-View Classification, главный конкурент в семействе evidential multimodal fusion. Они применяют **правило Демпстера** для комбинирования evidential outputs от разных модальностей. +- **EDL (Evidential Deep Learning)** [Sensoy et al., NeurIPS 2018] — оригинальная работа. + +### Чем хуже / отличается от вашего SM-InfoScore + +|Аспект|Evidential (TMC)|SM-InfoScore (ваш)| +|---|---|---| +|Уровень оперирования|Decision-level (классификационные выходы)|Feature-level (внутри сети)| +|Совместимость с retrieval|**Плохая** (рассчитан на классификацию)|Естественная| +|Базовая математика|Dirichlet + Демпстер-Шейфер|Многомерное гауссово правдоподобие| +|Обучаемость без меток классов|Сложно|Естественно (EMA по батчам)| +|Сложность вычислений|Сложение Демпстера квадратично по числу классов|O(d²) для Mahalanobis, O(d·k) при low-rank Σ| + +**Главное:** evidential методы требуют классификационной задачи (или специальной evidential-функции потерь). В вашем retrieval-пайплайне их применение требует **тяжёлой перестройки архитектуры** — введение fake-классов, изменение loss. SM-InfoScore вписывается без этого. + +--- + +## Сводное сравнение семейств методов оценки информативности + +|Семейство|Базовый аппарат|Ключевая работа|Уровень|Подходит для retrieval CVGL| +|---|---|---|---|---| +|**Mahalanobis (subspace)**|Гауссово правдоподобие|Lee 2018 → Mahalanobis++ 2025|Feature-level|**Да** (используется автором)| +|**Energy-based**|Свободная энергия / log-sum-exp|Liu 2020 → QMF 2023|Decision-level|Нет (требует классификатора)| +|**Evidential**|Dirichlet + Демпстер-Шейфер|Sensoy 2018 → TMC 2023|Decision-level|Нет (требует классов)| +|**Entropy-based**|Шеннонова энтропия выхода|Hendrycks 2017 (MSP)|Decision-level|Нет (требует softmax)| +|**Feature-norm**|L2-норма признака|Park ICCV 2023|Feature-level|Частично (упрощённый прокси)| + +В защите это работает мощно: оппоненту, который скажет «а почему не Energy-based / TMC?» вы отвечаете: **«потому что наша задача — retrieval, а не классификация; эти методы требуют классификационного выхода или существенной перестройки архитектуры, тогда как SM-InfoScore работает на признаках напрямую»**. + +--- + +## 4. Уточнение про метрики гипотез + +**Да, метрики во всех гипотезах — это ровно метрики retrieval-сопоставления самого вашего пайплайна.** Конкретнее: + +### Что считается + +В вашем пайплайне на выходе — нормализованные эмбеддинги `q̂ ∈ ℝ^{B×512}` (drone) и `ĝ ∈ ℝ^{N×512}` (sat-галерея). Сходство: + +``` +similarity = q̂ · ĝᵀ # матрица B × N +ranking = argsort(similarity, descending=True, axis=1) +``` + +Для каждого drone-запроса получается **ранжированный список** sat-снимков. Метрики: + +- **Recall@1 (R@1)** — доля запросов, где правильный sat оказался **на первом месте** в ранжированном списке. Главная метрика CVGL. +- **Recall@5 (R@5)** — доля запросов, где правильный sat в **топ-5**. +- **Recall@10 (R@10)** — доля запросов, где правильный sat в **топ-10**. +- **AP (Average Precision)** — площадь под precision-recall кривой; учитывает не только наличие positive в топе, но и его позицию. Для University-1652 считается mean Average Precision (mAP) по всем drone-запросам. + +### Считается в двух направлениях + +- **drone → sat**: основной протокол. На University-1652 это сценарий «навигация БПЛА» — по drone-кадру найти точку на спутнике. +- **sat → drone**: обратный сценарий. На University-1652 это «поиск дрона по координате» — найти все drone-кадры, снятые с заданной точки. + +Стандартное представление в таблицах статей по CVGL: + +``` + drone → sat sat → drone +Method R@1 R@5 R@10 AP | R@1 AP +Baseline 85.30 ... ... 88.55 | 89.74 85.78 +Method 92.40 ... ... 94.10 | 93.20 90.50 +``` + +### Точно к каким гипотезам относится + +Все гипотезы из трёх пунктов НН (`N1_H1`-`N1_H5`, `N2_H1`-`N2_H5`, `N3_H1`-`N3_H5`) формулируются и проверяются **именно через эти ретриевал-метрики на финальном этапе** — после полного forward-pass через ваш пайплайн. + +Промежуточные диагностические величины, которые упоминаются (распределения SM-InfoScore, значения learnable α после сходимости, корреляции между уровнями) — это **внутренние диагностики**, которые объясняют **почему** метод работает, но **не являются метриками оценки гипотез сами по себе**. Это важно различать: + +|Что|Роль| +|---|---| +|R@1, R@5, R@10, AP на University-1652 / SUES-200 / DenseUAV|**Главная метрика принятия / отвержения гипотезы**| +|Распределение SM-InfoScore по уровням|Диагностика, объясняющая поведение| +|Корреляция Pearson между InfoScore уровней|Диагностика для N2_H2 (комплементарность)| +|Значения α_sem и α_meta после сходимости|Диагностика для N3_H1 (раздельные гейты)| +|FLOPs, latency на Jetson|**Метрика для N3_H5 (edge-применимость)** — единственная не-ретриевал метрика| +|Loss / accuracy на классификации / регрессии (прошлые эксперименты)|**Не используется** для оценки гипотез по CVGL; только для preliminary-калибровки гиперпараметров| + +### Почему важно это разделение + +Если оппонент на защите спросит «а как вы доказали гипотезу N1_H2?» — ответ должен быть: **«измерено повышение Recall@1 на drone→sat на University-1652 cross-area split на 5 запусках с разными seed; парный t-test даёт p < 0.05; среднее улучшение 1.7% при заявленном пороге 1.5%»**. А не «у нас распределение SM-InfoScore стало более бимодальным». + +Распределения и корреляции работают как **подтверждающие диагностики**, делающие защиту более убедительной, но **главные числа в таблицах** — это всегда retrieval-метрики ваш пайплайна на стандартных протоколах оценки соответствующих датасетов: + +- **University-1652**: стандартный протокол — drone→sat и sat→drone, train на 701 building, test на 951 building (разные здания, cross-area). +- **SUES-200**: 4 высоты {150m, 200m, 250m, 300m}, отчёт R@1 / AP отдельно по высотам. +- **DenseUAV**: dense sampling в районах с интенсивной городской застройкой, отчёт R@1 / AP. + +Таким образом, **повышение Recall@1 на стандартных бенчмарках CVGL — единственный критерий научной значимости** всех гипотез П1, П2 и большинства П3 (кроме N3_H5, где добавляется FLOPs / latency для edge-обоснования). \ No newline at end of file diff --git a/ДИССЕР.md b/ДИССЕР.md index 5bc892d..018769a 100644 --- a/ДИССЕР.md +++ b/ДИССЕР.md @@ -6,6 +6,9 @@ tags: - глубокое_обучение --- [[Gate Fusion]] +[[Финализация трёх пунктов научной новизны]] +[[Научная_новизна_актуализация]] +[[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]] ## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации **Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика» @@ -14,21 +17,74 @@ tags: ## Аннотация -Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов. +Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. ==Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности==, превосходящей механизмы внимания в условиях ограниченных ресурсов. ## Научная новизна -1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала -2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности -3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации. +#### 1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации +#### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта +#### 3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов ## Ключевые понятия -| Термин | Описание | -| ------------ | ----------------------------------------------------------------------------------------------------------------------- | -| CVGL | Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта) | -| Gate-Fusion | Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы | -| SRGF | Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности | -| RCGF | Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями | -| text-dropout | Стохастическое игнорирование текстовых признаков при обучении | -| Lalign | Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов) | -| FHL | Focal Huber Loss — комбинированная функция потерь для регрессии | +| Термин | Описание | +| -------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| **CVGL** (Cross-View Geo-Localization) | Задача перекрёстной геолокализации: сопоставление снимков, сделанных с разных ракурсов (БПЛА ↔ спутник), для определения местоположения. Главная задача диссертации. | +| **ID** (In-Distribution) | "В распределении" — входы, похожие на те, на которых обучалась модель (нормальные данные). | +| **OOD** (Out-of-Distribution) | "Вне распределения" — входы, существенно отличающиеся от обучающих (аномальные данные, шум, нерелевантный контент). | +| **ARGF** (Adaptive Residual Gate Fusion) | Авторский метод адаптивной маршрутизации остаточной связи в шлюзовом блоке мультимодального слияния, управляемой через InfoScore. | +| **InfoScore** | Скалярная метрика информативности признака модальности, используемая для маршрутизации остаточной связи и гейтов. | +| **SM-InfoScore** (Subspace-Mahalanobis InfoScore) | Конкретная реализация InfoScore через расстояние Махаланобиса в обучаемом L2-нормированном подпространстве с EMA-обновляемыми статистиками μ_sub, Σ_sub. | +| **Mahalanobis distance** (расстояние Махаланобиса) | d_M²(x) = (x − μ)ᵀ Σ⁻¹ (x − μ) — метрика, учитывающая ковариационную структуру данных; имеет вероятностную интерпретацию через гауссово правдоподобие. | +| **GDA** (Gaussian Discriminant Analysis) | Гауссов дискриминантный анализ; математический аппарат, связывающий расстояние Махаланобиса с логарифмом правдоподобия p(x\|c). | +| **Energy-based uncertainty** (энергетическая неопределённость) | Альтернативный метод оценки уверенности модели через свободную энергию E(x) = −log Σ exp(z_k); требует классификационных логитов. Используется в QMF. | +| **Evidential uncertainty** (эвиденциальная неопределённость) | Метод оценки неопределённости через параметры распределения Дирихле; основан на теории Демпстера-Шейфера. Используется в TMC/ETMC. | +| **EDL** (Evidential Deep Learning) | Семейство методов глубокого обучения с явным предсказанием эвиденциальных параметров вместо классовых вероятностей. | +| **Gate** (шлюз) | Скалярный или векторный множитель σ(α) ∈ [0,1], управляющий вкладом модальности в объединённое представление. | +| **GatedFusion** (шлюзовое слияние) | Метод объединения мультимодальных признаков через обучаемый гейт: q = σ(α)·d_img + (1−σ(α))·d_txt. | +| **GMU** (Gated Multimodal Unit) | Базовая работа по шлюзовому слиянию (Arevalo et al., 2017); per-feature multiplicative gate. | +| **GRN** (Gated Residual Network) | Шлюзовая остаточная сеть (Lim et al., 2021); базовая архитектура с гейтом вокруг остаточной связи. | +| **Residual connection** (остаточная связь) | Shortcut-путь, добавляющий вход слоя к его выходу: y = F(x) + x; основа архитектуры ResNet. | +| **SRGF** (Simple Residual Gate Fusion) | Простая остаточная модификация GateFusion (исследована автором, признана деструктивной). | +| **RCGF** (Cross-Gated Residual Fusion) | Перекрёстная остаточная модификация (исследована автором, промежуточный результат). | +| **SNR** (Signal-to-Noise Ratio) | Отношение сигнал/шум; ключевая характеристика модальности для теоретического обоснования деструктивности residual. | +| **EMA** (Exponential Moving Average) | Экспоненциальное скользящее среднее: μ_new = (1−β)·μ_prev + β·μ_batch; используется для стабилизации статистик подпространства. | +| **DINOv3** | Self-supervised визуальный энкодер от Meta AI; в пайплайне используется ViT-L/16 (303M, заморожен). | +| **DGTRS-CLIP** | Dual-Granularity Remote Sensing CLIP; текстово-визуальный энкодер для дистанционного зондирования с поддержкой коротких и длинных описаний. | +| **MONA** (Multi-cognitive visual adapter) | Параметро-эффективный адаптер для визуальных foundation-моделей; в пайплайне 3.5M параметров, bf16. | +| **LoRA** (Low-Rank Adaptation) | Параметро-эффективный метод дообучения через низкоранговое разложение весов; в пайплайне r=4, 147K параметров. | +| **KPS** (Knowledge-Preserved Stretching) | Метод растягивания позиционных эмбеддингов CLIP для поддержки более длинных текстов (до 248 токенов). | +| **T_meta** | Текстовый шаблон метаданных БПЛА: "At height 150m, yaw 45°..."; источник — Павленко. | +| **L1, L2, L3** (уровни промпта) | Три уровня текстового описания сцены: L1 — обзор, L2 — детальное описание с семантикой, L3 — cross-view fingerprint (топологический инвариант); источник — Поляков. | +| **Cross-view fingerprint** | Описание сцены, инвариантное к ракурсу съёмки: "18 tightly packed rooftops along a diagonal main road with 11 green patches in NW corner". | +| **InfoNCE** | Контрастивная функция потерь на основе нижней оценки взаимной информации; основа CLIP и symmetric retrieval. | +| **Symmetric retrieval loss** | Двухсторонний contrastive loss: L = w_q·CE(q→g) + w_g·CE(g→q); в пайплайне w_q=0.6, w_g=0.4. | +| **Temperature (τ)** | Параметр softmax в InfoNCE, управляющий остротой распределения; в пайплайне learnable, init 0.07, clamp [0.01, 0.5]. | +| **Label smoothing** | Регуляризация замены hard one-hot меток на soft: ε=0.1 в пайплайне. | +| **Passthrough** | Режим работы GatedFusion при отсутствии caption на sat-стороне: g = s_img (текстовый тракт деактивирован). | +| **R@K** (Recall at K) | Доля запросов, где правильный positive оказался в топ-K ранжированного списка. Главная retrieval-метрика CVGL. | +| **AP / mAP** (Average Precision / mean Average Precision) | Средняя точность по precision-recall кривой; учитывает позиции positive в ранжировании. | +| **University-1652** | Базовый бенчмарк CVGL: 951 здание в test, drone↔satellite↔ground-view (Zheng et al., ACM MM 2020). | +| **SUES-200** | Бенчмарк CVGL с переменной высотой съёмки (150/200/250/300 м); проверка устойчивости к масштабу. | +| **DenseUAV** | Бенчмарк CVGL с плотной выборкой в районах городской застройки. | +| **Hard negative** | Сложный негативный пример, близкий к positive в пространстве признаков; используется в Sample4Geo для повышения качества обучения. | +| **Sample4Geo** | SOTA-метод CVGL (Deuser et al., ICCV 2023) с hard negative sampling; image-only, symmetric loss 0.5/0.5. | +| **FSRA** | Feature Segmentation and Region Alignment; transformer-based метод CVGL. | +| **MobileGeo / PFED** | Edge-ориентированный CVGL-метод с hierarchical knowledge distillation (Sun et al., IEEE TCSVT 2025). | +| **CGSI** | Context-Guided and UAV's Status Informed Multimodal Framework (Sun et al., IEEE TCSVT 2025); использует UAV-status text. | +| **MBF** | Fusion Representations Matching Method с UAV-status и bilinear pooling (Zhu et al., Sensors 2023). | +| **DEGF-YOLO / QGU** | Quality-Aware Gating Unit для UAV-детекции (2025); ближайший конкурент по идее quality-aware gate. | +| **TMC / ETMC** | Trusted Multi-view Classification (Han et al., IEEE TPAMI 2023); evidential decision-level fusion. | +| **QMF** | Quality-aware Multimodal Fusion (Zhang et al., ICML 2023); energy-based dynamic fusion с provable generalization. | +| **C²MF** | Context-specific Credibility-aware Multimodal Fusion (2025); instance-level credibility через probabilistic circuits. | +| **GeoText-1652** | Multimodal benchmark с image+text+bbox для CVGL (Chu et al., ECCV 2024). | +| **Long-CLIP** | CLIP с поддержкой длинных описаний через primary-component matching (Zhang et al., ECCV 2024). | +| **MPS-CLIP** | Multi-Perspective Subimage CLIP с Gated Global Attention Adapter для RS-retrieval (2025). | +| **Knowledge Distillation (KD)** | Дистилляция знаний: перенос знаний от большой модели (Teacher) к компактной (Student); вторичная тема в работе автора. | +| **Teacher-Student paradigm** | Парадигма дистилляции с тяжёлой моделью-учителем и лёгкой моделью-учеником для edge-развёртывания. | +| **WKD** (Wasserstein Knowledge Distillation) | Дистилляция через Вассерштейн-метрику между гауссианами параметров (Lv et al., NeurIPS 2024). | +| **VID** (Variational Information Distillation) | Вариационная информационная дистилляция через моделирование передачи μ/σ статистик. | +| **Privileged Information** | Дополнительная модальность, доступная Teacher, но не Student (Lopez-Paz et al., ICLR 2016). | +| **Edge-системы** | Бортовые вычислительные платформы БПЛА (Jetson Nano/Xavier/Orin); требование низкой задержки и малого числа FLOPs. | +| **FLOPs** (Floating Point Operations) | Метрика вычислительной сложности модели; для edge-обоснования. | +| **Latency** | Задержка инференса в миллисекундах; ключевая метрика для бортовых систем БПЛА. | +| **Specialty 2.3.1** (паспорт ВАК РФ) | "Системный анализ, управление и обработка информации, статистика"; специальность кандидатской диссертации автора. | \ No newline at end of file