--- tags: - диссер --- # Научная новизна диссертации (актуализация): обоснование трёх пунктов НН для шлюзовых методов мультимодального слияния в задаче CVGL БПЛА > **Версия 2.** Актуализирует и заменяет предыдущий отчёт «Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА». Изменения: (а) переход от одного пункта НН к трём; (б) понижение приоритета Teacher-Student дистилляции до вторичной темы; (в) явная переориентация на retrieval-метрики CVGL; (г) расширение базы дифференциации за счёт CVGL-конкурентов 2024–2026 и работ по иерархическому тексту. ## Что изменилось концептуально и почему **Тема диссертации уточнена.** Ранее «диссер про ARGF в парадигме T-S для CVGL»; теперь — «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем». Уточнение фокусирует НН не на «одной идее, упакованной с дистилляцией», а на **трёх независимых, но методологически связанных** усовершенствованиях шлюзового слияния, каждое из которых может быть защищено самостоятельно. **Метрики переопределены.** Прошлые эксперименты автора на классификации и регрессии дают лишь тенденцию поведения шлюзов; **главные доказательства всех трёх пунктов НН — это retrieval-метрики (Recall@1, Recall@5, Recall@10, AP)** на бенчмарках University-1652, SUES-200, DenseUAV в обоих направлениях (drone→sat, sat→drone). FLOPs / latency на Jetson — единственная не-ретриевал метрика, и она привязана только к N3_H5. **Дистилляция Teacher-Student понижена в приоритете.** Ранее KD занимал отдельный Блок 3 с детальным составным loss; теперь — единственное упоминание в N3_H5 как прикладная значимость и совместимость метода. Полная схема L_total c семью λ-весами **переносится в приложение** диссертации, но не выносится в защищаемые положения. **База дифференциации расширена.** Ранее упор делался на DEGF-YOLO, TMC, QMF, MobileGeo. Теперь добавлены: CGSI [Sun et al., IEEE T-CSVT 2025] и MBF [Zhu et al., Sensors 2023] — единственные работы, использующие UAV-status text для CVGL; MCFA [Sensors 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025] — свежие CVGL-методы; Long-CLIP [Zhang et al., ECCV 2024] и DGTRS-CLIP [Chen et al., arXiv:2503.19311, 2025] — иерархический / dual-granularity текст; MPS-CLIP [arXiv:2601.18190, 2025] — Gated Global Attention Adapter для RS retrieval; C²MF [arXiv:2603.26629, 2025] — credibility-aware fusion. **Новые компоненты НН.** В П2 появляется иерархический InfoScore по уровням L1/L2/L3/T_meta (отсутствовал в прошлом отчёте). В П3 появляется двухтрактовая fusion с раздельными α_sem/α_meta и информационно-взвешенный симметричный loss 0.6/0.4 — обоснованный SNR-асимметрией drone/sat (тоже отсутствовал в прошлом отчёте). --- ## Структура трёх пунктов НН ### П1. Метод адаптивной маршрутизации остаточной связи в шлюзовом слиянии (ARGF-InfoScore) **Защищаемое положение.** Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN [Lim, 2021], TMC [Han, IEEE TPAMI 2023], QMF [Zhang, ICML 2023], DEGF-YOLO QGU [2025], Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo [Sun, IEEE T-CSVT 2025], CGSI [Sun, IEEE T-CSVT 2025]) тем, что: 1. информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; 2. метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; 3. сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, — что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption'ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. **Привязка к паспорту 2.3.1:** пункты 4, 5, 8, 12. **Гипотезы:** [[Гипотезы N1]] --- ### П2. Иерархический информативно-усиливающий и фильтрующий механизм InfoScore по уровням промпта **Защищаемое положение.** Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP [arXiv:2601.18190, 2025]) тем, что: 1. каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; 2. уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; 3. механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), — что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0% абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. **Привязка к паспорту 2.3.1:** пункты 4, 5, 8, 12. **Гипотезы:** [[Гипотезы N2]] --- ### П3. Двухтрактовое информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью **Защищаемое положение.** Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что: 1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; 2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough); 3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, — что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8% абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. **Привязка к паспорту 2.3.1:** пункты 4, 5, 11, 14. **Гипотезы:** [[Гипотезы N3]] --- ## Что из прошлого отчёта осталось актуальным — мэппинг по гипотезам | Раздел прошлого отчёта | Куда переходит сейчас | |---|---| | Блок 1.1. SNR-анализ residual + формула n_eff = (2−g)·n | **П1, базовое теоретическое обоснование** + конкретно поддерживает **N1_H1** | | Блок 1.2. Mahalanobis → ViM → Mahalanobis++ → subspace-aware | **П1, обоснование SM-InfoScore** + конкретно **N1_H2, N1_H3, N1_H5** | | Блок 1.3. Feature norm, IB, MINE | **П1, теоретическая база** (feature norm как cheap proxy) | | Блок 2.1. Сравнение с DEGF-YOLO QGU, TMC, QMF, GMU, GRN | **П1, дифференциация** + полная база ответов оппонентам | | Блок 2.2. SkipNet, BlockDrop, MoE | **П1, residual routing context** | | Блок 2.3. ViM, RMDS, ActSub, KNN+ | **П1, цепочка преемственности Mahalanobis-методов** | | Блок 2.4. CVGL SOTA: Sample4Geo, FSRA, MobileGeo, CGSI, MRGeo | **Все три пункта**: базовые CVGL-baselines | | Блок 3.1–3.5. Teacher-Student дистилляция | **N3_H5 + приложение диссертации** — НЕ выносится отдельным пунктом НН | | Блок 4.1. Паспорт 2.3.1 (пункты 4, 5, 8, 12, 14) | **Все три пункта, разные комбинации якорей** | | Блок 4.2. Типовые формулировки 2.3.1 (Гончаренко 2023 и др.) | **Шаблон формулировок для всех трёх пунктов** | | Блок 4.3. FLOPs / latency на edge | **П3, N3_H5** | | Блок 4.4. Журналы (Компьютерная оптика, СПИИРАН, IEEE TCSVT) | **Публикационная стратегия, актуальна без изменений** | | Блок 5.1. Три варианта формулировки одного пункта | **Концептуально устарело** — формулировки в П1/П2/П3 выше | | Блок 5.2. Экспериментальный набор (датасеты, baselines, ablation) | **Актуально, расширяется** под три пункта | | Блок 6.1. Вопросы оппонентов | **Расширены ниже** | | Блок 6.2. Страховки от незначимости | **Актуальны** | | Блок 6.3. UC Merced → AID / NWPU-RESISC45 | **Актуально для вспомогательной главы про classification, если она будет** | --- ## Расширенный экспериментальный набор для трёх пунктов **Датасеты:** - University-1652 (Zheng et al., ACM MM 2020) — базовый, drone↔sat↔ground-view; стандартный протокол 701/951 buildings train/test. - SUES-200 (Zhu et al., IEEE T-CSVT 2023) — multi-height ablation на 4 высотах {150/200/250/300 м}; для **N2_H2** (T_meta комплементарность), **N1_H2** (стабильность по высотам). - DenseUAV — dense sampling в плотной городской застройке; для **N1_H1** (SNR-зависимость), **N2_H3** (фильтрация шумных уровней), **N3_H1** (раздельные гейты). - (опционально) GeoText-1652 — если будет проверка совместимости с region-text. **Базовые модели для сравнения (минимальный список для защиты):** 1. Concat fusion — простейший baseline без gate. 2. Simple sum fusion. 3. Tensor fusion [Zadeh 2017]. 4. Cross-attention fusion — стандартный. 5. GMU [Arevalo 2017] — канонический gate. 6. GRN [Lim 2021] — gated residual. 7. SRGF (авторский) — показать деструктивность. 8. RCGF (авторский) — промежуточный. 9. Gate+Sum (авторский) — маргинальное улучшение. 10. QMF [Zhang ICML 2023] — energy-based dynamic fusion. 11. TMC/ETMC [Han IEEE TPAMI 2023] — evidential (адаптированный под retrieval). 12. DEGF-YOLO QGU [2025] (адаптированный) — прямой конкурент. 13. Sample4Geo [Deuser ICCV 2023] — CVGL SoTA image-only. 14. FSRA — transformer-based CVGL. 15. MobileGeo / PFED [Sun IEEE T-CSVT 2025] — edge-ориентированный SoTA. 16. CGSI [Sun IEEE T-CSVT 2025] — UAV-status text baseline для П3. 17. MBF [Zhu Sensors 2023] — UAV-status baseline для П3. 18. C²MF [arXiv:2603.26629, 2025] — credibility-aware baseline для П2. **Ablation-сетка (минимальная):** - **П1:** {α off/on} × {SM off/on} × {fixed Σ, per-batch Σ, EMA Σ} × {diagonal Σ, full Σ}. - **П2:** leave-one-level-out (L1, L2, L3, T_meta) × {shared subspace vs per-level subspace} × per-level noise injection {0, 30, 50, 90%}. - **П3:** {1 gate vs 2 gates α_sem/α_meta} × {fixed τ vs learnable τ} × w_q sweep ∈ {0.5, 0.55, 0.6, 0.65, 0.7} × {full vs image-only inference}. - **Совместность П1+П2+П3:** 2×2×2 = 8 точек. **Метрики:** - Главные: R@1, R@5, R@10, AP — в обоих направлениях (drone→sat, sat→drone) на каждом датасете. - Диагностические: распределения SM-InfoScore по уровням; значения σ(α_sem), σ(α_meta), τ после сходимости; Pearson-корреляции InfoScore между уровнями. - Для N3_H5: Params (M), FLOPs (G), latency (ms на Jetson AGX Orin / Orin Nano, FP16, batch=1), throughput (FPS). **Статистическая значимость:** 5 запусков с разными seed; парный t-test или Wilcoxon signed-rank; confidence intervals 95%; p < 0.05 как порог принятия гипотез. --- ## Расширенный набор вопросов оппонентов и готовые ответы **Вопросы из прошлого отчёта (актуальны без изменений):** **В1.** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?» **Ответ:** Lee 2018 использует d_M как внешний классификационный скор для бинарного решения ID/OOD после forward-pass. SM-InfoScore используется внутри forward-pass как дифференцируемый управляющий сигнал; μ_sub, Σ_sub обучаются совместно с параметрами сети через EMA. Это переход от статистической меры к архитектурному маршрутизатору. **В2.** «Почему именно Махаланобис, а не энтропия или feature-norm?» **Ответ:** Mahalanobis — единственная метрика, которая одновременно: (а) per-example, (б) дифференцируема, (в) имеет строгую вероятностную интерпретацию через GDA, (г) учитывает ковариационную структуру. Feature-norm [Park ICCV 2023] — только класс-агностичный прокси; энтропия требует softmax-выхода, что в retrieval отсутствует. **В3.** «Формула n_eff = (2−g)·n локальна и неуниверсальна.» **Ответ:** Согласны, формула справедлива для антикоррелированной конфигурации ветвей. В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», границы применимости показывает SNR-анализ. Аналогичное замечание делалось к универсальности IB-теории [Saxe 2019]; следуем той же методологической культуре. **В4.** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях.» **Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d); инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature L2-нормализация по Mahalanobis++ [ICML 2025]. Все приёмы стандартны. **В5.** «Чем отличается от DEGF-YOLO QGU?» **Ответ:** QGU — self-supervised quality score между RGB и Thermal, без Mahalanobis, без подпространства, без residual routing, в object detection (не CVGL). ARGF — другой математический аппарат, общая только идея quality-aware gate. **В6.** «TMC уже решил задачу quality-aware fusion.» **Ответ:** TMC — decision-level (evidential, Демпстер-Шейфер), работает на классификационных выходах. ARGF — feature-level, на residual внутри архитектуры. Разный уровень абстракции и разная задача (retrieval vs классификация с uncertainty). **Новые вопросы под три пункта НН:** **В7.** «Чем три пункта НН концептуально связаны, а не являются произвольным набором улучшений?» **Ответ:** Все три пункта реализуют единую идею — **квантифицируемую информативность модальности как управляющий сигнал в шлюзовом слиянии**. П1 применяет это к остаточной связи (микро-уровень), П2 — к структуре текстового промпта (мезо-уровень), П3 — к балансировке retrieval-loss и архитектурной асимметрии drone/sat (макро-уровень). Все три уровня используют одну и ту же математику SM-InfoScore, но решают разные задачи: фильтрация шума на признаках, агрегация уровней семантики, информационная компенсация асимметрии в обучении. **В8.** «Почему трёхуровневый промпт L1/L2/L3 + T_meta даёт прирост сверх Long-CLIP / DGTRS-CLIP?» **Ответ:** Long-CLIP и DGTRS-CLIP — двухуровневые (short + long или short + detailed); они не разделяют семантику и cross-view fingerprint и не используют numerical metadata. У автора три уровня выполняют разные функции: L1 — контекст, L2 — rich semantics для embedding, L3 — cross-view invariant fingerprint для cross-view matching, T_meta — численные ограничители масштаба и ориентации. Их информационная роль различна, что подтверждается N2_H2 (низкая корреляция InfoScore между T_meta и T_L3). **В9.** «Почему 0.6 / 0.4, а не 0.5 / 0.5? Это магические числа.» **Ответ:** Это эмпирически найденный оптимум на grid-search, обоснованный SNR-асимметрией: drone-сторона имеет rich text + image (высокий SNR), satellite-сторона — image only с passthrough text (низкий SNR). Информационно-весовое доминирование более информативного направления — частный случай **task-specific weighting** [RzenEmbed arXiv:2510.27350, 2025]. Sample4Geo использует 0.5/0.5 при отсутствии текста — там асимметрия отсутствует. Reverse-setup эксперимент (искусственно поменять «богатую» сторону) показывает оптимум при w_q < 0.5, что подтверждает SNR-обусловленность. **В10.** «Почему дистилляция Teacher-Student не выносится отдельным пунктом НН?» **Ответ:** Дистилляция — стандартная техника, к ней автор не вносит принципиально нового математического аппарата; новизна — в том, **что именно** дистиллируется (статистики подпространства μ_sub, Σ_sub через Вассерштейн-метрику и сами InfoScore через попарные расстояния). Это методологическое следствие П1 и П3, а не самостоятельный научный результат. Соответствующая схема L_total c семью λ-весами вынесена в приложение диссертации. **В11.** «Метрики retrieval слабо реагируют на изменение fusion на сильных backbone (DINOv3 ViT-L). Прирост 1.5% может быть в пределах шума.» **Ответ:** Поэтому в экспериментах используются три комплементарных бенчмарка: University-1652 (базовый), SUES-200 (multi-height, проверка робастности), DenseUAV (плотные сцены, проверка cross-view fingerprint). Прирост измеряется на каждом отдельно с 5 запусками и парным t-test. Дополнительно — corruption benchmark (noise injection на уровни L1/L2/L3), где прирост от информативно-фильтрующих механизмов **систематически больше**, чем на чистых данных. **В12.** «Учебные эксперименты автора были на классификации и регрессии, а защищаются гипотезы на retrieval. Это разные задачи.» **Ответ:** Согласны; прошлые эксперименты на classification / regression использованы исключительно для **предварительной калибровки гиперпараметров** (EMA decay β, размерность подпространства, порог threshold для residual routing) и для **демонстрации тенденции** поведения шлюзов при шумной модальности. Все гипотезы Ni_Hj проверяются заново на retrieval-метриках R@1/R@5/R@10/AP в условиях стандартных протоколов University-1652 / SUES-200 / DenseUAV. --- ## Публикационная стратегия (актуальна без изменений) - **Публикация 1 (ВАК К1, Компьютерная оптика):** «Адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для шлюзового мультимодального слияния в задаче перекрёстной геолокализации БПЛА». Фокус — П1. - **Публикация 2 (ВАК К1, Информатика и автоматизация / Автоматика и телемеханика):** «Иерархический информативно-усиливающий механизм для мультимодального шлюзового слияния в перекрёстной геолокализации БПЛА». Фокус — П2. - **Публикация 3 (Scopus Q1-Q2, IEEE TCSVT / Information Fusion):** «Information-Aware Gated Multimodal Fusion with Hierarchical InfoScore and Subspace-Mahalanobis Residual Routing for UAV Cross-View Geo-Localization». Полная версия — все три пункта + эксперименты на University-1652 / SUES-200 / DenseUAV. - Минимально для защиты: 2 публикации ВАК К1 + 1 Scopus Q1-Q2. Дополнительно — конференция (ВАК или Scopus): IGARSS / WACV / BMVC. --- ## Заключение Прошлый отчёт остаётся **методологически фундаментальным** — его теоретическая база (SNR-анализ, Mahalanobis-преемственность, дифференциация от QMF/TMC/DEGF-YOLO) полностью переходит в П1 актуализированной версии. Однако его **позиционирование как единого третьего пункта** устарело: после переопределения темы диссертации и приоритетов работа развёрнута в три самостоятельных, но методологически связанных пункта НН с 15 проверяемыми гипотезами. Ключевая структурная связка: **SM-InfoScore — это единый математический аппарат, применяемый на трёх уровнях** (residual внутри Gated-блока — П1; иерархия текстового промпта — П2; асимметрия retrieval-loss — П3). Это даёт работе концептуальную целостность при защите и одновременно три независимых научных результата для статей и положений на защиту. Teacher-Student дистилляция переходит из самостоятельного компонента новизны в **прикладное следствие**, упомянутое в N3_H5 и развёрнутое в приложении диссертации (полная схема L_total из прошлого отчёта). Это согласуется с принципом «дистилляция — стандартная техника, новизна — в её содержимом, а не в самой идее переноса знаний». Все ссылки и DOI из прошлого отчёта (приложение «Список обязательных ссылок для диссертации») остаются актуальными; **дополнительно для П2 и П3** обязательны: CGSI [Sun IEEE T-CSVT 2025], MBF [Zhu Sensors 2023, doi:10.3390/s23020720], Long-CLIP [Zhang ECCV 2024, arXiv:2403.15378], DGTRS-CLIP [Chen 2025, arXiv:2503.19311], MPS-CLIP [arXiv:2601.18190, 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025], MCFA [Sensors 2025, doi:10.3390/s25144519], C²MF [arXiv:2603.26629, 2025], RzenEmbed [arXiv:2510.27350, 2025], Temperature-Free Loss [arXiv:2501.17683, 2025], «Geometric Mechanics of Contrastive Learning» [arXiv:2601.19597, 2025].