96 lines
21 KiB
Markdown
96 lines
21 KiB
Markdown
---
|
||
aliases:
|
||
- диссер
|
||
tags:
|
||
- "#диссер"
|
||
- глубокое_обучение
|
||
---
|
||
[[Gate Fusion]], [[InfoScore for residual routing]]
|
||
[[Финализация трёх пунктов научной новизны]]
|
||
[[Научная_новизна_актуализация]]
|
||
[[Гипотезы N1]], [[Гипотезы N2]], [[Гипотезы N3]]
|
||
## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
|
||
|
||
**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
|
||
**Научный руководитель:** к.т.н. доцент Бондаренко В.И.
|
||
***
|
||
|
||
## Аннотация
|
||
|
||
Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. ==Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности==, превосходящей механизмы внимания в условиях ограниченных ресурсов.
|
||
## Научная новизна
|
||
|
||
#### 1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
|
||
|
||
**Гипотезы** [[Гипотезы N1]]
|
||
#### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
|
||
|
||
**Гипотезы** [[Гипотезы N2]]
|
||
#### 3. Получено информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического входа (T_L1+L2+L3) и метаданных(T_meta)
|
||
|
||
**Гипотезы** [[Гипотезы N3]]
|
||
|
||
## Ключевые понятия
|
||
|
||
| Термин | Описание |
|
||
| -------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||
| **CVGL** (Cross-View Geo-Localization) | Задача перекрёстной геолокализации: сопоставление снимков, сделанных с разных ракурсов (БПЛА ↔ спутник), для определения местоположения. Главная задача диссертации. |
|
||
| **ID** (In-Distribution) | "В распределении" — входы, похожие на те, на которых обучалась модель (нормальные данные). |
|
||
| **OOD** (Out-of-Distribution) | "Вне распределения" — входы, существенно отличающиеся от обучающих (аномальные данные, шум, нерелевантный контент). |
|
||
| **ARGF** (Adaptive Residual Gate Fusion) | Авторский метод адаптивной маршрутизации остаточной связи в шлюзовом блоке мультимодального слияния, управляемой через InfoScore. |
|
||
| **InfoScore** | Скалярная метрика информативности признака модальности, используемая для маршрутизации остаточной связи и гейтов. |
|
||
| **SM-InfoScore** (Subspace-Mahalanobis InfoScore) | Конкретная реализация InfoScore через расстояние Махаланобиса в обучаемом L2-нормированном подпространстве с EMA-обновляемыми статистиками μ_sub, Σ_sub. |
|
||
| **Mahalanobis distance** (расстояние Махаланобиса) | d_M²(x) = (x − μ)ᵀ Σ⁻¹ (x − μ) — метрика, учитывающая ковариационную структуру данных; имеет вероятностную интерпретацию через гауссово правдоподобие. |
|
||
| **GDA** (Gaussian Discriminant Analysis) | Гауссов дискриминантный анализ; математический аппарат, связывающий расстояние Махаланобиса с логарифмом правдоподобия p(x\|c). |
|
||
| **Energy-based uncertainty** (энергетическая неопределённость) | Альтернативный метод оценки уверенности модели через свободную энергию E(x) = −log Σ exp(z_k); требует классификационных логитов. Используется в QMF. |
|
||
| **Evidential uncertainty** (эвиденциальная неопределённость) | Метод оценки неопределённости через параметры распределения Дирихле; основан на теории Демпстера-Шейфера. Используется в TMC/ETMC. |
|
||
| **EDL** (Evidential Deep Learning) | Семейство методов глубокого обучения с явным предсказанием эвиденциальных параметров вместо классовых вероятностей. |
|
||
| **Gate** (шлюз) | Скалярный или векторный множитель σ(α) ∈ [0,1], управляющий вкладом модальности в объединённое представление. |
|
||
| **GatedFusion** (шлюзовое слияние) | Метод объединения мультимодальных признаков через обучаемый гейт: q = σ(α)·d_img + (1−σ(α))·d_txt. |
|
||
| **GMU** (Gated Multimodal Unit) | Базовая работа по шлюзовому слиянию (Arevalo et al., 2017); per-feature multiplicative gate. |
|
||
| **GRN** (Gated Residual Network) | Шлюзовая остаточная сеть (Lim et al., 2021); базовая архитектура с гейтом вокруг остаточной связи. |
|
||
| **Residual connection** (остаточная связь) | Shortcut-путь, добавляющий вход слоя к его выходу: y = F(x) + x; основа архитектуры ResNet. |
|
||
| **SRGF** (Simple Residual Gate Fusion) | Простая остаточная модификация GateFusion (исследована автором, признана деструктивной). |
|
||
| **RCGF** (Cross-Gated Residual Fusion) | Перекрёстная остаточная модификация (исследована автором, промежуточный результат). |
|
||
| **SNR** (Signal-to-Noise Ratio) | Отношение сигнал/шум; ключевая характеристика модальности для теоретического обоснования деструктивности residual. |
|
||
| **EMA** (Exponential Moving Average) | Экспоненциальное скользящее среднее: μ_new = (1−β)·μ_prev + β·μ_batch; используется для стабилизации статистик подпространства. |
|
||
| **DINOv3** | Self-supervised визуальный энкодер от Meta AI; в пайплайне используется ViT-L/16 (303M, заморожен). |
|
||
| **DGTRS-CLIP** | Dual-Granularity Remote Sensing CLIP; текстово-визуальный энкодер для дистанционного зондирования с поддержкой коротких и длинных описаний. |
|
||
| **MONA** (Multi-cognitive visual adapter) | Параметро-эффективный адаптер для визуальных foundation-моделей; в пайплайне 3.5M параметров, bf16. |
|
||
| **LoRA** (Low-Rank Adaptation) | Параметро-эффективный метод дообучения через низкоранговое разложение весов; в пайплайне r=4, 147K параметров. |
|
||
| **KPS** (Knowledge-Preserved Stretching) | Метод растягивания позиционных эмбеддингов CLIP для поддержки более длинных текстов (до 248 токенов). |
|
||
| **T_meta** | Текстовый шаблон метаданных БПЛА: "At height 150m, yaw 45°..."; источник — Павленко. |
|
||
| **L1, L2, L3** (уровни промпта) | Три уровня текстового описания сцены: L1 — обзор, L2 — детальное описание с семантикой, L3 — cross-view fingerprint (топологический инвариант); источник — Поляков. |
|
||
| **Cross-view fingerprint** | Описание сцены, инвариантное к ракурсу съёмки: "18 tightly packed rooftops along a diagonal main road with 11 green patches in NW corner". |
|
||
| **InfoNCE** | Контрастивная функция потерь на основе нижней оценки взаимной информации; основа CLIP и symmetric retrieval. |
|
||
| **Symmetric retrieval loss** | Двухсторонний contrastive loss: L = w_q·CE(q→g) + w_g·CE(g→q); в пайплайне w_q=0.6, w_g=0.4. |
|
||
| **Temperature (τ)** | Параметр softmax в InfoNCE, управляющий остротой распределения; в пайплайне learnable, init 0.07, clamp [0.01, 0.5]. |
|
||
| **Label smoothing** | Регуляризация замены hard one-hot меток на soft: ε=0.1 в пайплайне. |
|
||
| **Passthrough** | Режим работы GatedFusion при отсутствии caption на sat-стороне: g = s_img (текстовый тракт деактивирован). |
|
||
| **R@K** (Recall at K) | Доля запросов, где правильный positive оказался в топ-K ранжированного списка. Главная retrieval-метрика CVGL. |
|
||
| **AP / mAP** (Average Precision / mean Average Precision) | Средняя точность по precision-recall кривой; учитывает позиции positive в ранжировании. |
|
||
| **University-1652** | Базовый бенчмарк CVGL: 951 здание в test, drone↔satellite↔ground-view (Zheng et al., ACM MM 2020). |
|
||
| **SUES-200** | Бенчмарк CVGL с переменной высотой съёмки (150/200/250/300 м); проверка устойчивости к масштабу. |
|
||
| **DenseUAV** | Бенчмарк CVGL с плотной выборкой в районах городской застройки. |
|
||
| **Hard negative** | Сложный негативный пример, близкий к positive в пространстве признаков; используется в Sample4Geo для повышения качества обучения. |
|
||
| **Sample4Geo** | SOTA-метод CVGL (Deuser et al., ICCV 2023) с hard negative sampling; image-only, symmetric loss 0.5/0.5. |
|
||
| **FSRA** | Feature Segmentation and Region Alignment; transformer-based метод CVGL. |
|
||
| **MobileGeo / PFED** | Edge-ориентированный CVGL-метод с hierarchical knowledge distillation (Sun et al., IEEE TCSVT 2025). |
|
||
| **CGSI** | Context-Guided and UAV's Status Informed Multimodal Framework (Sun et al., IEEE TCSVT 2025); использует UAV-status text. |
|
||
| **MBF** | Fusion Representations Matching Method с UAV-status и bilinear pooling (Zhu et al., Sensors 2023). |
|
||
| **DEGF-YOLO / QGU** | Quality-Aware Gating Unit для UAV-детекции (2025); ближайший конкурент по идее quality-aware gate. |
|
||
| **TMC / ETMC** | Trusted Multi-view Classification (Han et al., IEEE TPAMI 2023); evidential decision-level fusion. |
|
||
| **QMF** | Quality-aware Multimodal Fusion (Zhang et al., ICML 2023); energy-based dynamic fusion с provable generalization. |
|
||
| **C²MF** | Context-specific Credibility-aware Multimodal Fusion (2025); instance-level credibility через probabilistic circuits. |
|
||
| **GeoText-1652** | Multimodal benchmark с image+text+bbox для CVGL (Chu et al., ECCV 2024). |
|
||
| **Long-CLIP** | CLIP с поддержкой длинных описаний через primary-component matching (Zhang et al., ECCV 2024). |
|
||
| **MPS-CLIP** | Multi-Perspective Subimage CLIP с Gated Global Attention Adapter для RS-retrieval (2025). |
|
||
| **Knowledge Distillation (KD)** | Дистилляция знаний: перенос знаний от большой модели (Teacher) к компактной (Student); вторичная тема в работе автора. |
|
||
| **Teacher-Student paradigm** | Парадигма дистилляции с тяжёлой моделью-учителем и лёгкой моделью-учеником для edge-развёртывания. |
|
||
| **WKD** (Wasserstein Knowledge Distillation) | Дистилляция через Вассерштейн-метрику между гауссианами параметров (Lv et al., NeurIPS 2024). |
|
||
| **VID** (Variational Information Distillation) | Вариационная информационная дистилляция через моделирование передачи μ/σ статистик. |
|
||
| **Privileged Information** | Дополнительная модальность, доступная Teacher, но не Student (Lopez-Paz et al., ICLR 2016). |
|
||
| **Edge-системы** | Бортовые вычислительные платформы БПЛА (Jetson Nano/Xavier/Orin); требование низкой задержки и малого числа FLOPs. |
|
||
| **FLOPs** (Floating Point Operations) | Метрика вычислительной сложности модели; для edge-обоснования. |
|
||
| **Latency** | Задержка инференса в миллисекундах; ключевая метрика для бортовых систем БПЛА. |
|
||
| **Specialty 2.3.1** (паспорт ВАК РФ) | "Системный анализ, управление и обработка информации, статистика"; специальность кандидатской диссертации автора. | |