---
tags:
  - диссер
---
[[Научная_новизна_актуализация]]
[[In and Out Distribution]]
# Финализация трёх пунктов научной новизны кандидатской диссертации по специальности 2.3.1 ВАК РФ
## Тема: «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации (CVGL) БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем»

---

## РАЗДЕЛ 1. СИНТЕЗ

### 1.1. Контекст и фиксированный пайплайн автора

Анализируемая работа представляет двухветвевую (drone / satellite) ретриевал-систему с разделяемым визуальным энкодером DINOv3 ViT-L/16 (303 М, заморожен) + MONA-адаптеры (3,5 М, bf16, 2 на блок × последние 12 из 24, bottleneck 64) + gradient checkpointing → CLS [B, 1024] → Projection 1024→512 → d_img / s_img [B, 512]. Текстовая ветвь — DGTRS-CLIP ViT-L-14 (frozen, 124 М) + LoRA r = 4 (147 К) + KPS-стретчинг до 248 токенов, трёхуровневый промпт: L1 (overview) + L2 (full description, rich semantics) + L3 (cross-view fingerprint, matching-ready) + T_meta (высота, yaw — численный шаблон в стиле CGSI / MBF). Эмбеддинги z1, z2, z3 [B, 768] → cat [B, 2304] → TextFusionMLP shared 1.5 М (2304→512→512) → d_txt [B, 512]. Fusion: q = σ(α_q)·d_img + (1−σ(α_q))·d_txt с L2-нормализацией. Symmetric retrieval: similarity = q̂·ĝᵀ / τ, τ learnable init 0.07 clamp [0.01, 0.5]; loss = 0.6·CE(q→g) + 0.4·CE(g→q), label smoothing 0.1. Baseline — σ(α) = 1.0 (text disabled). Для sat без caption — passthrough g = s_img.

Целевые бенчмарки и метрики — University-1652, SUES-200, DenseUAV; Recall@1, R@5, R@10, AP в обоих направлениях (drone→sat, sat→drone). Все гипотезы Ni_Hj проверяются именно на retrieval-метриках; предварительные эксперименты автора на классификации / регрессии используются лишь как индикатор тренда для подбора гиперпараметров.

Кодовая база автора: репозиторий https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/. Гипотезы сформулированы так, чтобы соответствующая модификация ограничивалась добавлением модуля `ARGFInfoScore` (новый), расширением модуля `GatedFusion` (новые параметры α_sem, α_meta), модификацией функции вычисления симметричного loss и добавлением hook’ов для логирования InfoScore — без изменения backbone’ов.

### 1.2. Какие компоненты системы потенциально являются предметом научной новизны

**(а) GatedFusion с скалярным learnable α.** Это упрощение классического GMU (Arevalo et al., 2017, arXiv:1702.01992), вычисляющего per-feature multiplicative gate. Использование скалярного гейта снижает риск переобучения на 17–25 K кортежей University-1652, но ограничивает выразительность. Пространство для НН: дополнить скалярный α адаптивной маршрутизацией остаточной связи через SM-InfoScore.

**(б) ARGF-InfoScore / SM-InfoScore через Махаланобисово расстояние в обучаемом подпространстве.** Опирается на новые результаты OOD-литературы 2024–2025: Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) показал, что L2-нормализация принципиально улучшает Mahalanobis-OOD; «Geometry-Based View of Mahalanobis OOD Detection» (arXiv:2510.15202, 2025) обосновал роль геометрии представлений; subspace-aware Mahalanobis (arXiv:2506.09399, 2025) — динамическую коррекцию ковариации. В литературе по CVGL такая постановка отсутствует. Это центральный кандидат на пункт НН (B).

**(в) Трёхуровневый промпт L1/L2/L3 + T_meta.**
- Long-CLIP (Zhang et al., ECCV 2024, arXiv:2403.15378) — двухуровневая схема (short summary + long detailed) с primary-component matching, без cross-view fingerprint и без метаданных.
- DGTRS-CLIP (Chen et al., arXiv:2503.19311, 2025) и LRSCLIP — dual-granularity (short / long) для RS, два уровня, без cross-view.
- GeoText-1652 (Chu et al., ECCV 2024, arXiv:2311.12751) — region-level описания с bbox, ориентация на text-guided navigation и spatial relation matching, не иерархия информативности.
- MPS-CLIP (arXiv:2601.18190, 2025) — Gated Global Attention Adapter + multi-perspective representation, но без InfoScore-маршрутизации.
- CGSI (Sun et al., IEEE T-CSVT 2025, документ 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) встраивают UAV-status text как word embeddings (аналог T_meta), но без иерархии и без InfoScore.

Иерархическая схема L1/L2/L3 + T_meta с раздельной информативностью оригинальна — основа для пункта C/D.

**(г) MONA + LoRA + frozen DINOv3 + DGTRS-CLIP.** PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter для change detection; DINOv3-FD (OpenReview 2025) — для медицины; MONA (Yin et al., CVPR 2025, arXiv:2408.08345 / 2311.15010v2) — для SAM. Связка DINOv3 + MONA + DGTRS-CLIP-LoRA именно для CVGL в публикациях не встречается, но это скорее «инженерная конфигурация» — не выносится самостоятельным пунктом НН, упоминается в прикладной значимости.

**(д) Симметричный retrieval-loss с learnable τ.** Введён в Sample4Geo (Deuser et al., ICCV 2023, arXiv:2303.11851); learnable τ есть в CLIP и в RzenEmbed (arXiv:2510.27350, 2025). Новизна — в информационно-взвешенной асимметрии 0.6/0.4, обоснованной SNR-разницей drone-side (rich text + image) и satellite-side (passthrough). Частный, не основной пункт.

**(е) Passthrough sat без caption.** Следствие отсутствия caption’ов на части sat; теоретически эквивалентен SM-InfoScore_sat → 0 (см. Mahalanobis++).

### 1.3. Архитектурные решения, открывающие и закрывающие НН

**Открывают:** скалярный α (открывает residual gating через SM-InfoScore); раздельные источники текста L1/L2/L3/T_meta (открывают иерархический InfoScore и раздельные гейты α_sem / α_meta); passthrough sat (открывает компенсацию асимметрии в loss и теоретическую эквивалентность).

**Закрывают:** shared encoder + shared MONA (закрывают модально-специфичный backbone); frozen DINOv3 / DGTRS-CLIP (закрывают новые backbone’ы и SSL pre-training); LoRA r = 4 фиксирован (закрывает rank-selection как НН); 248-token KPS-промпт уже сделан в Long-CLIP / DGTRS-CLIP (закрывает позиционные эмбеддинги).

### 1.4. Свойства задачи CVGL, дающие уникальные возможности

- **Cross-view invariance / facade-roof ambiguity** ((MGS)²-Net, arXiv:2602.10704, 2025) делает L3 cross-view fingerprint особенно ценным.
- **Hard negatives** (Sample4Geo, arXiv:2303.11851) — ARGF-InfoScore повышает вес информативных query-features.
- **Asymmetric retrieval drone↔sat** — drone имеет rich text + image, sat — только image / passthrough.
- **Отсутствие caption у части sat** — gate passthrough; теоретическая эквивалентность нулевому InfoScore.
- **Переменная высота / yaw** — T_meta как сильная регуляризация масштаба и ориентации (CGSI, IEEE T-CSVT 2025; MBF, Sensors 2023).

### 1.5. Отличия от ключевых baselines (полная таблица)

| Метод | Год | Ключевое отличие от работы автора |
|---|---|---|
| Sample4Geo (arXiv:2303.11851) | 2023 | image-only, симметричный InfoNCE, hard negatives, no text |
| FSRA | 2022 | feature-segmentation transformer, no text, no gated fusion |
| MCFA (doi:10.3390/s25144519) | 2025 | multi-scale cascade + FAAM dynamic weighted alignment, image-only |
| CGSI (IEEE T-CSVT 2025, doc 11145113) | 2025 | UAV-status text как word-emb, no InfoScore, no level hierarchy |
| MRGeo (arXiv:2603.12587) | 2025 | spatial / channel feature enhancement на LVD-142M, image-only |
| (MGS)²-Net (arXiv:2602.10704) | 2025 | depth-prior MGS-A + SGC loss, image-only |
| MBF (doi:10.3390/s23020720) | 2023 | UAV status + bilinear pooling, no hierarchy, no InfoScore |
| GeoText-1652 (arXiv:2311.12751) | 2024 | region-text + bbox для navigation, no levels, no InfoScore |
| PFED (arXiv:2510.22582) | 2025 | hierarchical distillation + MI-based MRM, image-only |
| DEGF-YOLO QGU | 2024 | query-gated unit в детекции, не CVGL, не текст |
| GMU (arXiv:1702.01992) | 2017 | per-feature multiplicative gate без InfoScore |
| TMC | 2021 | evidential trusted multi-view classification, не retrieval |
| QMF (arXiv:2306.02050) | 2023 | energy-based uncertainty fusion, classification, не Mahalanobis |
| MPS-CLIP (arXiv:2601.18190) | 2025 | G²A для RS retrieval, не CVGL, не InfoScore |
| C²MF (arXiv:2603.26629) | 2025 | CPC + CSIC, тяжёлое, не edge-friendly |
| Long-CLIP (arXiv:2403.15378) | 2024 | dual-granularity текст (short / long), 2 уровня, не 3 + meta |
| DGTRS-CLIP (arXiv:2503.19311) | 2025 | dual-granularity RS, 2 уровня, не 3 + meta |
| Mahalanobis++ (arXiv:2505.18032) | 2025 | OOD detection, не fusion routing |

**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как для адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.==

### 1.6. Риски недоказуемости

1. **Низкий gain InfoScore над baseline GatedFusion** при сильном DINOv3 (< 1 % R@1). Стратегия — оценивать на «трудных» подмножествах: cross-area split University-1652, SUES-200 с переменной высотой, DenseUAV с плотными UAV-снимками.
2. **Слабая корреляция InfoScore с retrieval-метриками.** Стратегия — L2-нормализация (Mahalanobis++, ICML 2025), обучаемая проекция совместно с retrieval-loss.
3. **Конфликт с trainable α.** Стратегия — отдельный график обучения (warm-up α, freeze, EMA-обновление статистик).
4. **Статистическая значимость.** 5 запусков с разными seed, парный t-test, p < 0.05.
5. **Размытие НН.** 3 пункта с фокусом, гипотезы внутри пункта — комплементарные.

---
## РАЗДЕЛ 2. ДЕЛЬТА

### 2.1. Решение по обязательным кандидатам A–G

| Кандидат | Описание                                                                                 | Решение                                                                          |
| -------- | ---------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- |
| A        | SNR-анализ деструктивности residual в GatedFusion                                        | **встраивается в П1** как теоретическое положение                                |
| B        | ARGF-InfoScore: адаптивная маршрутизация residual через SM-InfoScore                     | **становится основой П1**                                                        |
| C        | Иерархический InfoScore по уровням L1/L2/L3/meta                                         | **становится основой П2**                                                        |
| D        | Cross-view fingerprint L3 как ключевая модальность                                       | **объединяется с C в П2** как N2_H1                                              |
| E        | Teacher-Student дистилляция                                                              | отбрасывается как отдельный пункт; упоминается в N3_H5 как прикладная значимость |
| F        | Симметричный retrieval loss с adaptive τ и информационным взвешиванием                   | **встраивается в П3** как N3_H2, N3_H3                                           |
| G        | Совместное использование T_meta (Павленко) и T_L3 (Полякова) с раздельной маршрутизацией | **становится основой П3**, дополняется N3_H4 и N3_H5                             |

### 2.2. Финальная стратегия

- **П1** — методическая новизна: ARGF-InfoScore (B) с SNR-анализом (A). Фокус: residual gating в Gated-блоке.
- **П2** — расширение метода на структуру текста: иерархический InfoScore L1/L2/L3/T_meta (C + D). Фокус: информативно-усиливающий и фильтрующий механизм на уровневой структуре.
- **П3** — комплексное системное положение: двухтрактовая gated fusion (T_sem / T_meta) + асимметричный симметричный loss + теоретическая эквивалентность passthrough — нулевому InfoScore (G + F + edge). Фокус: применимость к edge-системам.

Все три пункта проверяемы за 1–3 месяца на University-1652, SUES-200, DenseUAV на ретриевал-метриках R@1, R@5, R@10, AP, не требуют выхода за пайплайн автора, не нарушают frozen-backbone-ограничения и реализуются в указанной кодовой базе.

---
## РАЗДЕЛ 3. ПУНКТЫ НАУЧНОЙ НОВИЗНЫ И ГИПОТЕЗЫ

 **!!! Продублировано в заметки: ** 

[[Гипотезы N1 (не подтвердилась)]] 
[[Гипотезы N2]] 
[[Гипотезы N3]] 
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации

Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
#### N1_H1 — Гипотеза SNR-деструктивности. 
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). 
- *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. 
- *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). 
- *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
#### N1_H2 — Гипотеза эффективности SM-InfoScore. 
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). 
- *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. 
- *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. 
- *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.
#### N1_H3 — Гипотеза предпочтительности EMA-статистик. 
* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. 
* *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. 
* *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. 
* *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.
#### N1_H4 — Гипотеза совместимости с learnable α. 
* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. 
* *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. 
* *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). 
* *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.
#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне. 
* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. 
* *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. 
* *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. 
* *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).

---
### П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта

Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.
#### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint). 
- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. 
- *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. 
- *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. 
- *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах.
####  N2_H2 — Гипотеза комплементарности T_meta и T_L3. 
* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. 
* *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. 
* *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. 
* *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот).
####  N2_H3 — Гипотеза фильтрующего действия при шумных уровнях. 
* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). 
* *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. 
* *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. 
* *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV.
####  N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего. 
* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). 
* *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. 
* *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. 
* *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.

---
### П3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных (T_meta) 

Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.

#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. 
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. 
* *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. 
* *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. 
* *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.
#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4. 
* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). 
* *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. 
* *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. 
* *Эксперимент:* sweep w_q на University-1652 + SUES-200.
#### N3_H3 — Гипотеза о learnable τ.
* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. 
* *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. 
* *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. 
* *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.
#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore. 
* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. 
* *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. 
* *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). 
* *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.
#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией. 
* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. 
* *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. 
* *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. 
* *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.

---
## Завершающие замечания

1. **Иерархия НН:** П1 — основной методический результат (ARGF-InfoScore с SNR-теоретическим обоснованием); П2 — расширение на иерархическую структуру текста; П3 — системно-прикладное положение с двухтрактовым гейтом, асимметричным loss и edge-применимостью.
2. **Совместимость с дистилляцией Teacher-Student** упомянута только в N3_H5 как прикладной аспект; не выносится отдельным пунктом в соответствии с переопределением задачи.
3. **Использование DenseUAV** — N1_H1 (DenseUAV для SNR-графика), N2_H3 (DenseUAV для noise injection); University-1652 и SUES-200 — основные бенчмарки для всех гипотез.
4. **Связь с предыдущими экспериментами автора (классификация / регрессия):** используются для калибровки β (EMA), размерности подпространства, порогов informativeness; для каждой Ni_Hj эксперименты повторяются на retrieval-метриках.
5. **Не предложено выходов за пайплайн автора:** не вводятся SAM2, LiDAR, IR, новые backbone’ы; LoRA r = 4, MONA bottleneck 64, frozen DINOv3 / DGTRS-CLIP сохраняются. Все модификации локализуются в репозитории https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/ в модулях `GatedFusion`, добавлении `ARGFInfoScore`, расширении функции loss и hook’ах логирования.
6. **Сроки проверки:** каждая гипотеза проверяется за 1–3 месяца на одном Jetson AGX Orin / RTX 4090 при стандартном протоколе University-1652 / SUES-200 / DenseUAV с 5 запусками на seed и парным t-test.
7. **Главные литературные опоры (2023–2026):** Sample4Geo (arXiv:2303.11851), CGSI (IEEE T-CSVT 2025), MBF (Sensors 2023, doi:10.3390/s23020720), GeoText-1652 (arXiv:2311.12751, ECCV 2024), Long-CLIP (arXiv:2403.15378, ECCV 2024), DGTRS-CLIP (arXiv:2503.19311, 2025), MCFA (Sensors 2025, doi:10.3390/s25144519), MRGeo (arXiv:2603.12587, 2025), MGS²-Net (arXiv:2602.10704, 2025), PFED (arXiv:2510.22582, 2025), QMF (arXiv:2306.02050, ICML 2023), C²MF (arXiv:2603.26629, 2025), Mahalanobis++ (arXiv:2505.18032, ICML 2025), Geometry-Based Mahalanobis OOD (arXiv:2510.15202, 2025), Subspace-Aware Mahalanobis (arXiv:2506.09399, 2025), MONA (arXiv:2311.15010v2 / 2408.08345, CVPR 2025), PeftCD (arXiv:2509.09572, 2025), MPS-CLIP (arXiv:2601.18190, 2025), Temperature-Free Loss (arXiv:2501.17683, 2025), Geometric Mechanics of Contrastive Learning (arXiv:2601.19597, 2025), RzenEmbed (arXiv:2510.27350, 2025), GMU (arXiv:1702.01992, ICLR 2017).