---
aliases:
  - диссер
tags:
  - "#диссер"
  - глубокое_обучение
---
[[Gate Fusion]]
[[Финализация трёх пунктов научной новизны]]
[[Научная_новизна_актуализация]]
[[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]]
## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации

**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
**Научный руководитель:** к.т.н. доцент Бондаренко В.И. 
***

## Аннотация

Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. ==Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности==, превосходящей механизмы внимания в условиях ограниченных ресурсов.
## Научная новизна

#### 1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
#### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
#### 3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов

## Ключевые понятия

| Термин                                                         | Описание                                                                                                                                                             |
| -------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **CVGL** (Cross-View Geo-Localization)                         | Задача перекрёстной геолокализации: сопоставление снимков, сделанных с разных ракурсов (БПЛА ↔ спутник), для определения местоположения. Главная задача диссертации. |
| **ID** (In-Distribution)                                       | "В распределении" — входы, похожие на те, на которых обучалась модель (нормальные данные).                                                                           |
| **OOD** (Out-of-Distribution)                                  | "Вне распределения" — входы, существенно отличающиеся от обучающих (аномальные данные, шум, нерелевантный контент).                                                  |
| **ARGF** (Adaptive Residual Gate Fusion)                       | Авторский метод адаптивной маршрутизации остаточной связи в шлюзовом блоке мультимодального слияния, управляемой через InfoScore.                                    |
| **InfoScore**                                                  | Скалярная метрика информативности признака модальности, используемая для маршрутизации остаточной связи и гейтов.                                                    |
| **SM-InfoScore** (Subspace-Mahalanobis InfoScore)              | Конкретная реализация InfoScore через расстояние Махаланобиса в обучаемом L2-нормированном подпространстве с EMA-обновляемыми статистиками μ_sub, Σ_sub.             |
| **Mahalanobis distance** (расстояние Махаланобиса)             | d_M²(x) = (x − μ)ᵀ Σ⁻¹ (x − μ) — метрика, учитывающая ковариационную структуру данных; имеет вероятностную интерпретацию через гауссово правдоподобие.               |
| **GDA** (Gaussian Discriminant Analysis)                       | Гауссов дискриминантный анализ; математический аппарат, связывающий расстояние Махаланобиса с логарифмом правдоподобия p(x\|c).                                      |
| **Energy-based uncertainty** (энергетическая неопределённость) | Альтернативный метод оценки уверенности модели через свободную энергию E(x) = −log Σ exp(z_k); требует классификационных логитов. Используется в QMF.                |
| **Evidential uncertainty** (эвиденциальная неопределённость)   | Метод оценки неопределённости через параметры распределения Дирихле; основан на теории Демпстера-Шейфера. Используется в TMC/ETMC.                                   |
| **EDL** (Evidential Deep Learning)                             | Семейство методов глубокого обучения с явным предсказанием эвиденциальных параметров вместо классовых вероятностей.                                                  |
| **Gate** (шлюз)                                                | Скалярный или векторный множитель σ(α) ∈ [0,1], управляющий вкладом модальности в объединённое представление.                                                        |
| **GatedFusion** (шлюзовое слияние)                             | Метод объединения мультимодальных признаков через обучаемый гейт: q = σ(α)·d_img + (1−σ(α))·d_txt.                                                                   |
| **GMU** (Gated Multimodal Unit)                                | Базовая работа по шлюзовому слиянию (Arevalo et al., 2017); per-feature multiplicative gate.                                                                         |
| **GRN** (Gated Residual Network)                               | Шлюзовая остаточная сеть (Lim et al., 2021); базовая архитектура с гейтом вокруг остаточной связи.                                                                   |
| **Residual connection** (остаточная связь)                     | Shortcut-путь, добавляющий вход слоя к его выходу: y = F(x) + x; основа архитектуры ResNet.                                                                          |
| **SRGF** (Simple Residual Gate Fusion)                         | Простая остаточная модификация GateFusion (исследована автором, признана деструктивной).                                                                             |
| **RCGF** (Cross-Gated Residual Fusion)                         | Перекрёстная остаточная модификация (исследована автором, промежуточный результат).                                                                                  |
| **SNR** (Signal-to-Noise Ratio)                                | Отношение сигнал/шум; ключевая характеристика модальности для теоретического обоснования деструктивности residual.                                                   |
| **EMA** (Exponential Moving Average)                           | Экспоненциальное скользящее среднее: μ_new = (1−β)·μ_prev + β·μ_batch; используется для стабилизации статистик подпространства.                                      |
| **DINOv3**                                                     | Self-supervised визуальный энкодер от Meta AI; в пайплайне используется ViT-L/16 (303M, заморожен).                                                                  |
| **DGTRS-CLIP**                                                 | Dual-Granularity Remote Sensing CLIP; текстово-визуальный энкодер для дистанционного зондирования с поддержкой коротких и длинных описаний.                          |
| **MONA** (Multi-cognitive visual adapter)                      | Параметро-эффективный адаптер для визуальных foundation-моделей; в пайплайне 3.5M параметров, bf16.                                                                  |
| **LoRA** (Low-Rank Adaptation)                                 | Параметро-эффективный метод дообучения через низкоранговое разложение весов; в пайплайне r=4, 147K параметров.                                                       |
| **KPS** (Knowledge-Preserved Stretching)                       | Метод растягивания позиционных эмбеддингов CLIP для поддержки более длинных текстов (до 248 токенов).                                                                |
| **T_meta**                                                     | Текстовый шаблон метаданных БПЛА: "At height 150m, yaw 45°..."; источник — Павленко.                                                                                 |
| **L1, L2, L3** (уровни промпта)                                | Три уровня текстового описания сцены: L1 — обзор, L2 — детальное описание с семантикой, L3 — cross-view fingerprint (топологический инвариант); источник — Поляков.  |
| **Cross-view fingerprint**                                     | Описание сцены, инвариантное к ракурсу съёмки: "18 tightly packed rooftops along a diagonal main road with 11 green patches in NW corner".                           |
| **InfoNCE**                                                    | Контрастивная функция потерь на основе нижней оценки взаимной информации; основа CLIP и symmetric retrieval.                                                         |
| **Symmetric retrieval loss**                                   | Двухсторонний contrastive loss: L = w_q·CE(q→g) + w_g·CE(g→q); в пайплайне w_q=0.6, w_g=0.4.                                                                         |
| **Temperature (τ)**                                            | Параметр softmax в InfoNCE, управляющий остротой распределения; в пайплайне learnable, init 0.07, clamp [0.01, 0.5].                                                 |
| **Label smoothing**                                            | Регуляризация замены hard one-hot меток на soft: ε=0.1 в пайплайне.                                                                                                  |
| **Passthrough**                                                | Режим работы GatedFusion при отсутствии caption на sat-стороне: g = s_img (текстовый тракт деактивирован).                                                           |
| **R@K** (Recall at K)                                          | Доля запросов, где правильный positive оказался в топ-K ранжированного списка. Главная retrieval-метрика CVGL.                                                       |
| **AP / mAP** (Average Precision / mean Average Precision)      | Средняя точность по precision-recall кривой; учитывает позиции positive в ранжировании.                                                                              |
| **University-1652**                                            | Базовый бенчмарк CVGL: 951 здание в test, drone↔satellite↔ground-view (Zheng et al., ACM MM 2020).                                                                   |
| **SUES-200**                                                   | Бенчмарк CVGL с переменной высотой съёмки (150/200/250/300 м); проверка устойчивости к масштабу.                                                                     |
| **DenseUAV**                                                   | Бенчмарк CVGL с плотной выборкой в районах городской застройки.                                                                                                      |
| **Hard negative**                                              | Сложный негативный пример, близкий к positive в пространстве признаков; используется в Sample4Geo для повышения качества обучения.                                   |
| **Sample4Geo**                                                 | SOTA-метод CVGL (Deuser et al., ICCV 2023) с hard negative sampling; image-only, symmetric loss 0.5/0.5.                                                             |
| **FSRA**                                                       | Feature Segmentation and Region Alignment; transformer-based метод CVGL.                                                                                             |
| **MobileGeo / PFED**                                           | Edge-ориентированный CVGL-метод с hierarchical knowledge distillation (Sun et al., IEEE TCSVT 2025).                                                                 |
| **CGSI**                                                       | Context-Guided and UAV's Status Informed Multimodal Framework (Sun et al., IEEE TCSVT 2025); использует UAV-status text.                                             |
| **MBF**                                                        | Fusion Representations Matching Method с UAV-status и bilinear pooling (Zhu et al., Sensors 2023).                                                                   |
| **DEGF-YOLO / QGU**                                            | Quality-Aware Gating Unit для UAV-детекции (2025); ближайший конкурент по идее quality-aware gate.                                                                   |
| **TMC / ETMC**                                                 | Trusted Multi-view Classification (Han et al., IEEE TPAMI 2023); evidential decision-level fusion.                                                                   |
| **QMF**                                                        | Quality-aware Multimodal Fusion (Zhang et al., ICML 2023); energy-based dynamic fusion с provable generalization.                                                    |
| **C²MF**                                                       | Context-specific Credibility-aware Multimodal Fusion (2025); instance-level credibility через probabilistic circuits.                                                |
| **GeoText-1652**                                               | Multimodal benchmark с image+text+bbox для CVGL (Chu et al., ECCV 2024).                                                                                             |
| **Long-CLIP**                                                  | CLIP с поддержкой длинных описаний через primary-component matching (Zhang et al., ECCV 2024).                                                                       |
| **MPS-CLIP**                                                   | Multi-Perspective Subimage CLIP с Gated Global Attention Adapter для RS-retrieval (2025).                                                                            |
| **Knowledge Distillation (KD)**                                | Дистилляция знаний: перенос знаний от большой модели (Teacher) к компактной (Student); вторичная тема в работе автора.                                               |
| **Teacher-Student paradigm**                                   | Парадигма дистилляции с тяжёлой моделью-учителем и лёгкой моделью-учеником для edge-развёртывания.                                                                   |
| **WKD** (Wasserstein Knowledge Distillation)                   | Дистилляция через Вассерштейн-метрику между гауссианами параметров (Lv et al., NeurIPS 2024).                                                                        |
| **VID** (Variational Information Distillation)                 | Вариационная информационная дистилляция через моделирование передачи μ/σ статистик.                                                                                  |
| **Privileged Information**                                     | Дополнительная модальность, доступная Teacher, но не Student (Lopez-Paz et al., ICLR 2016).                                                                          |
| **Edge-системы**                                               | Бортовые вычислительные платформы БПЛА (Jetson Nano/Xavier/Orin); требование низкой задержки и малого числа FLOPs.                                                   |
| **FLOPs** (Floating Point Operations)                          | Метрика вычислительной сложности модели; для edge-обоснования.                                                                                                       |
| **Latency**                                                    | Задержка инференса в миллисекундах; ключевая метрика для бортовых систем БПЛА.                                                                                       |
| **Specialty 2.3.1** (паспорт ВАК РФ)                           | "Системный анализ, управление и обработка информации, статистика"; специальность кандидатской диссертации автора.                                                    |