---
tags:
  - диссер
---
# Научная новизна диссертации (актуализация): обоснование трёх пунктов НН для шлюзовых методов мультимодального слияния в задаче CVGL БПЛА

> **Версия 2.** Актуализирует и заменяет предыдущий отчёт «Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА». Изменения: (а) переход от одного пункта НН к трём; (б) понижение приоритета Teacher-Student дистилляции до вторичной темы; (в) явная переориентация на retrieval-метрики CVGL; (г) расширение базы дифференциации за счёт CVGL-конкурентов 2024–2026 и работ по иерархическому тексту.
## Что изменилось концептуально и почему

**Тема диссертации уточнена.** Ранее «диссер про ARGF в парадигме T-S для CVGL»; теперь — «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем». Уточнение фокусирует НН не на «одной идее, упакованной с дистилляцией», а на **трёх независимых, но методологически связанных** усовершенствованиях шлюзового слияния, каждое из которых может быть защищено самостоятельно.

**Метрики переопределены.** Прошлые эксперименты автора на классификации и регрессии дают лишь тенденцию поведения шлюзов; **главные доказательства всех трёх пунктов НН — это retrieval-метрики (Recall@1, Recall@5, Recall@10, AP)** на бенчмарках University-1652, SUES-200, DenseUAV в обоих направлениях (drone→sat, sat→drone). FLOPs / latency на Jetson — единственная не-ретриевал метрика, и она привязана только к N3_H5.

**Дистилляция Teacher-Student понижена в приоритете.** Ранее KD занимал отдельный Блок 3 с детальным составным loss; теперь — единственное упоминание в N3_H5 как прикладная значимость и совместимость метода. Полная схема L_total c семью λ-весами **переносится в приложение** диссертации, но не выносится в защищаемые положения.

**База дифференциации расширена.** Ранее упор делался на DEGF-YOLO, TMC, QMF, MobileGeo. Теперь добавлены: CGSI [Sun et al., IEEE T-CSVT 2025] и MBF [Zhu et al., Sensors 2023] — единственные работы, использующие UAV-status text для CVGL; MCFA [Sensors 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025] — свежие CVGL-методы; Long-CLIP [Zhang et al., ECCV 2024] и DGTRS-CLIP [Chen et al., arXiv:2503.19311, 2025] — иерархический / dual-granularity текст; MPS-CLIP [arXiv:2601.18190, 2025] — Gated Global Attention Adapter для RS retrieval; C²MF [arXiv:2603.26629, 2025] — credibility-aware fusion.

**Новые компоненты НН.** В П2 появляется иерархический InfoScore по уровням L1/L2/L3/T_meta (отсутствовал в прошлом отчёте). В П3 появляется двухтрактовая fusion с раздельными α_sem/α_meta и информационно-взвешенный симметричный loss 0.6/0.4 — обоснованный SNR-асимметрией drone/sat (тоже отсутствовал в прошлом отчёте).

---
## Структура трёх пунктов НН

### П1. 

###### Нужен новый, т.к. N1 с модификациями гейтов под большим вопросом


---
### П2. Иерархический информативно-усиливающий и фильтрующий механизм InfoScore по уровням промпта

**Защищаемое положение.** Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP [arXiv:2601.18190, 2025]) тем, что:
1. каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве;
2. уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента;
3. механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), —

что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0% абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.

**Привязка к паспорту 2.3.1:** пункты 4, 5, 8, 12.
**Гипотезы:** [[Гипотезы N2]]

---
### П3.  Информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью

**Защищаемое положение.** Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) входов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что:
1. семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore;
2. симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough);
3. passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, —

что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8% абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.

**Привязка к паспорту 2.3.1:** пункты 4, 5, 11, 14.
**Гипотезы:** [[Гипотезы N3]]

---

## Что из прошлого отчёта осталось актуальным — мэппинг по гипотезам

| Раздел прошлого отчёта | Куда переходит сейчас |
|---|---|
| Блок 1.1. SNR-анализ residual + формула n_eff = (2−g)·n | **П1, базовое теоретическое обоснование** + конкретно поддерживает **N1_H1** |
| Блок 1.2. Mahalanobis → ViM → Mahalanobis++ → subspace-aware | **П1, обоснование SM-InfoScore** + конкретно **N1_H2, N1_H3, N1_H5** |
| Блок 1.3. Feature norm, IB, MINE | **П1, теоретическая база** (feature norm как cheap proxy) |
| Блок 2.1. Сравнение с DEGF-YOLO QGU, TMC, QMF, GMU, GRN | **П1, дифференциация** + полная база ответов оппонентам |
| Блок 2.2. SkipNet, BlockDrop, MoE | **П1, residual routing context** |
| Блок 2.3. ViM, RMDS, ActSub, KNN+ | **П1, цепочка преемственности Mahalanobis-методов** |
| Блок 2.4. CVGL SOTA: Sample4Geo, FSRA, MobileGeo, CGSI, MRGeo | **Все три пункта**: базовые CVGL-baselines |
| Блок 3.1–3.5. Teacher-Student дистилляция | **N3_H5 + приложение диссертации** — НЕ выносится отдельным пунктом НН |
| Блок 4.1. Паспорт 2.3.1 (пункты 4, 5, 8, 12, 14) | **Все три пункта, разные комбинации якорей** |
| Блок 4.2. Типовые формулировки 2.3.1 (Гончаренко 2023 и др.) | **Шаблон формулировок для всех трёх пунктов** |
| Блок 4.3. FLOPs / latency на edge | **П3, N3_H5** |
| Блок 4.4. Журналы (Компьютерная оптика, СПИИРАН, IEEE TCSVT) | **Публикационная стратегия, актуальна без изменений** |
| Блок 5.1. Три варианта формулировки одного пункта | **Концептуально устарело** — формулировки в П1/П2/П3 выше |
| Блок 5.2. Экспериментальный набор (датасеты, baselines, ablation) | **Актуально, расширяется** под три пункта |
| Блок 6.1. Вопросы оппонентов | **Расширены ниже** |
| Блок 6.2. Страховки от незначимости | **Актуальны** |
| Блок 6.3. UC Merced → AID / NWPU-RESISC45 | **Актуально для вспомогательной главы про classification, если она будет** |

---
## Расширенный экспериментальный набор для трёх пунктов

**Датасеты:**
- University-1652 (Zheng et al., ACM MM 2020) — базовый, drone↔sat↔ground-view; стандартный протокол 701/951 buildings train/test.
- SUES-200 (Zhu et al., IEEE T-CSVT 2023) — multi-height ablation на 4 высотах {150/200/250/300 м}; для **N2_H2** (T_meta комплементарность), **N1_H2** (стабильность по высотам).
- DenseUAV — dense sampling в плотной городской застройке; для **N1_H1** (SNR-зависимость), **N2_H3** (фильтрация шумных уровней), **N3_H1** (раздельные гейты).
- (опционально) GeoText-1652 — если будет проверка совместимости с region-text.

**Базовые модели для сравнения (минимальный список для защиты):**
1. Concat fusion — простейший baseline без gate.
2. Simple sum fusion.
3. Tensor fusion [Zadeh 2017].
4. Cross-attention fusion — стандартный.
5. GMU [Arevalo 2017] — канонический gate.
6. GRN [Lim 2021] — gated residual.
7. SRGF (авторский) — показать деструктивность.
8. RCGF (авторский) — промежуточный.
9. Gate+Sum (авторский) — маргинальное улучшение.
10. QMF [Zhang ICML 2023] — energy-based dynamic fusion.
11. TMC/ETMC [Han IEEE TPAMI 2023] — evidential (адаптированный под retrieval).
12. DEGF-YOLO QGU [2025] (адаптированный) — прямой конкурент.
13. Sample4Geo [Deuser ICCV 2023] — CVGL SoTA image-only.
14. FSRA — transformer-based CVGL.
15. MobileGeo / PFED [Sun IEEE T-CSVT 2025] — edge-ориентированный SoTA.
16. CGSI [Sun IEEE T-CSVT 2025] — UAV-status text baseline для П3.
17. MBF [Zhu Sensors 2023] — UAV-status baseline для П3.
18. C²MF [arXiv:2603.26629, 2025] — credibility-aware baseline для П2.

**Ablation-сетка (минимальная):**
- **П1:** {α off/on} × {SM off/on} × {fixed Σ, per-batch Σ, EMA Σ} × {diagonal Σ, full Σ}.
- **П2:** leave-one-level-out (L1, L2, L3, T_meta) × {shared subspace vs per-level subspace} × per-level noise injection {0, 30, 50, 90%}.
- **П3:** {1 gate vs 2 gates α_sem/α_meta} × {fixed τ vs learnable τ} × w_q sweep ∈ {0.5, 0.55, 0.6, 0.65, 0.7} × {full vs image-only inference}.
- **Совместность П1+П2+П3:** 2×2×2 = 8 точек.

**Метрики:**
- Главные: R@1, R@5, R@10, AP — в обоих направлениях (drone→sat, sat→drone) на каждом датасете.
- Диагностические: распределения SM-InfoScore по уровням; значения σ(α_sem), σ(α_meta), τ после сходимости; Pearson-корреляции InfoScore между уровнями.
- Для N3_H5: Params (M), FLOPs (G), latency (ms на Jetson AGX Orin / Orin Nano, FP16, batch=1), throughput (FPS).

**Статистическая значимость:** 5 запусков с разными seed; парный t-test или Wilcoxon signed-rank; confidence intervals 95%; p < 0.05 как порог принятия гипотез.

---

## Расширенный набор вопросов оппонентов и готовые ответы

**Вопросы из прошлого отчёта (актуальны без изменений):**

**В1.** «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?»
**Ответ:** Lee 2018 использует d_M как внешний классификационный скор для бинарного решения ID/OOD после forward-pass. SM-InfoScore используется внутри forward-pass как дифференцируемый управляющий сигнал; μ_sub, Σ_sub обучаются совместно с параметрами сети через EMA. Это переход от статистической меры к архитектурному маршрутизатору.

**В2.** «Почему именно Махаланобис, а не энтропия или feature-norm?»
**Ответ:** Mahalanobis — единственная метрика, которая одновременно: (а) per-example, (б) дифференцируема, (в) имеет строгую вероятностную интерпретацию через GDA, (г) учитывает ковариационную структуру. Feature-norm [Park ICCV 2023] — только класс-агностичный прокси; энтропия требует softmax-выхода, что в retrieval отсутствует.

**В3.** «Формула n_eff = (2−g)·n локальна и неуниверсальна.»
**Ответ:** Согласны, формула справедлива для антикоррелированной конфигурации ветвей. В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», границы применимости показывает SNR-анализ. Аналогичное замечание делалось к универсальности IB-теории [Saxe 2019]; следуем той же методологической культуре.

**В4.** «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях.»
**Ответ:** Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d); инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature L2-нормализация по Mahalanobis++ [ICML 2025]. Все приёмы стандартны.

**В5.** «Чем отличается от DEGF-YOLO QGU?»
**Ответ:** QGU — self-supervised quality score между RGB и Thermal, без Mahalanobis, без подпространства, без residual routing, в object detection (не CVGL). ARGF — другой математический аппарат, общая только идея quality-aware gate.

**В6.** «TMC уже решил задачу quality-aware fusion.»
**Ответ:** TMC — decision-level (evidential, Демпстер-Шейфер), работает на классификационных выходах. ARGF — feature-level, на residual внутри архитектуры. Разный уровень абстракции и разная задача (retrieval vs классификация с uncertainty).

**Новые вопросы под три пункта НН:**

**В7.** «Чем три пункта НН концептуально связаны, а не являются произвольным набором улучшений?»
**Ответ:** Все три пункта реализуют единую идею — **квантифицируемую информативность модальности как управляющий сигнал в шлюзовом слиянии**. П1 применяет это к остаточной связи (микро-уровень), П2 — к структуре текстового промпта (мезо-уровень), П3 — к балансировке retrieval-loss и архитектурной асимметрии drone/sat (макро-уровень). Все три уровня используют одну и ту же математику SM-InfoScore, но решают разные задачи: фильтрация шума на признаках, агрегация уровней семантики, информационная компенсация асимметрии в обучении.

**В8.** «Почему трёхуровневый промпт L1/L2/L3 + T_meta даёт прирост сверх Long-CLIP / DGTRS-CLIP?»
**Ответ:** Long-CLIP и DGTRS-CLIP — двухуровневые (short + long или short + detailed); они не разделяют семантику и cross-view fingerprint и не используют numerical metadata. У автора три уровня выполняют разные функции: L1 — контекст, L2 — rich semantics для embedding, L3 — cross-view invariant fingerprint для cross-view matching, T_meta — численные ограничители масштаба и ориентации. Их информационная роль различна, что подтверждается N2_H2 (низкая корреляция InfoScore между T_meta и T_L3).

**В9.** «Почему 0.6 / 0.4, а не 0.5 / 0.5? Это магические числа.»
**Ответ:** Это эмпирически найденный оптимум на grid-search, обоснованный SNR-асимметрией: drone-сторона имеет rich text + image (высокий SNR), satellite-сторона — image only с passthrough text (низкий SNR). Информационно-весовое доминирование более информативного направления — частный случай **task-specific weighting** [RzenEmbed arXiv:2510.27350, 2025]. Sample4Geo использует 0.5/0.5 при отсутствии текста — там асимметрия отсутствует. Reverse-setup эксперимент (искусственно поменять «богатую» сторону) показывает оптимум при w_q < 0.5, что подтверждает SNR-обусловленность.

**В10.** «Почему дистилляция Teacher-Student не выносится отдельным пунктом НН?»
**Ответ:** Дистилляция — стандартная техника, к ней автор не вносит принципиально нового математического аппарата; новизна — в том, **что именно** дистиллируется (статистики подпространства μ_sub, Σ_sub через Вассерштейн-метрику и сами InfoScore через попарные расстояния). Это методологическое следствие П1 и П3, а не самостоятельный научный результат. Соответствующая схема L_total c семью λ-весами вынесена в приложение диссертации.

**В11.** «Метрики retrieval слабо реагируют на изменение fusion на сильных backbone (DINOv3 ViT-L). Прирост 1.5% может быть в пределах шума.»
**Ответ:** Поэтому в экспериментах используются три комплементарных бенчмарка: University-1652 (базовый), SUES-200 (multi-height, проверка робастности), DenseUAV (плотные сцены, проверка cross-view fingerprint). Прирост измеряется на каждом отдельно с 5 запусками и парным t-test. Дополнительно — corruption benchmark (noise injection на уровни L1/L2/L3), где прирост от информативно-фильтрующих механизмов **систематически больше**, чем на чистых данных.

**В12.** «Учебные эксперименты автора были на классификации и регрессии, а защищаются гипотезы на retrieval. Это разные задачи.»
**Ответ:** Согласны; прошлые эксперименты на classification / regression использованы исключительно для **предварительной калибровки гиперпараметров** (EMA decay β, размерность подпространства, порог threshold для residual routing) и для **демонстрации тенденции** поведения шлюзов при шумной модальности. Все гипотезы Ni_Hj проверяются заново на retrieval-метриках R@1/R@5/R@10/AP в условиях стандартных протоколов University-1652 / SUES-200 / DenseUAV.

---

## Публикационная стратегия (актуальна без изменений)

- **Публикация 1 (ВАК К1, Компьютерная оптика):** «Адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для шлюзового мультимодального слияния в задаче перекрёстной геолокализации БПЛА». Фокус — П1.
- **Публикация 2 (ВАК К1, Информатика и автоматизация / Автоматика и телемеханика):** «Иерархический информативно-усиливающий механизм для мультимодального шлюзового слияния в перекрёстной геолокализации БПЛА». Фокус — П2.
- **Публикация 3 (Scopus Q1-Q2, IEEE TCSVT / Information Fusion):** «Information-Aware Gated Multimodal Fusion with Hierarchical InfoScore and Subspace-Mahalanobis Residual Routing for UAV Cross-View Geo-Localization». Полная версия — все три пункта + эксперименты на University-1652 / SUES-200 / DenseUAV.
- Минимально для защиты: 2 публикации ВАК К1 + 1 Scopus Q1-Q2. Дополнительно — конференция (ВАК или Scopus): IGARSS / WACV / BMVC.

---

## Заключение

Прошлый отчёт остаётся **методологически фундаментальным** — его теоретическая база (SNR-анализ, Mahalanobis-преемственность, дифференциация от QMF/TMC/DEGF-YOLO) полностью переходит в П1 актуализированной версии. Однако его **позиционирование как единого третьего пункта** устарело: после переопределения темы диссертации и приоритетов работа развёрнута в три самостоятельных, но методологически связанных пункта НН с 15 проверяемыми гипотезами.

Ключевая структурная связка: **SM-InfoScore — это единый математический аппарат, применяемый на трёх уровнях** (residual внутри Gated-блока — П1; иерархия текстового промпта — П2; асимметрия retrieval-loss — П3). Это даёт работе концептуальную целостность при защите и одновременно три независимых научных результата для статей и положений на защиту.

Teacher-Student дистилляция переходит из самостоятельного компонента новизны в **прикладное следствие**, упомянутое в N3_H5 и развёрнутое в приложении диссертации (полная схема L_total из прошлого отчёта). Это согласуется с принципом «дистилляция — стандартная техника, новизна — в её содержимом, а не в самой идее переноса знаний».

Все ссылки и DOI из прошлого отчёта (приложение «Список обязательных ссылок для диссертации») остаются актуальными; **дополнительно для П2 и П3** обязательны: CGSI [Sun IEEE T-CSVT 2025], MBF [Zhu Sensors 2023, doi:10.3390/s23020720], Long-CLIP [Zhang ECCV 2024, arXiv:2403.15378], DGTRS-CLIP [Chen 2025, arXiv:2503.19311], MPS-CLIP [arXiv:2601.18190, 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025], MCFA [Sensors 2025, doi:10.3390/s25144519], C²MF [arXiv:2603.26629, 2025], RzenEmbed [arXiv:2510.27350, 2025], Temperature-Free Loss [arXiv:2501.17683, 2025], «Geometric Mechanics of Contrastive Learning» [arXiv:2601.19597, 2025].
