20 KiB
20 KiB
aliases, tags
| aliases | tags | |||
|---|---|---|---|---|
|
|
Gate Fusion Финализация трёх пунктов научной новизны Научная_новизна_актуализация Гипотезы N1, Гипотезы N2, Гипотезы N3
Тема: Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
Специальность: 2.3.1 «Системный анализ, управление и обработка информации, статистика» Научный руководитель: к.т.н. доцент Бондаренко В.И.
Аннотация
Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. ==Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности==, превосходящей механизмы внимания в условиях ограниченных ресурсов.
Научная новизна
1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов
Ключевые понятия
| Термин | Описание |
|---|---|
| CVGL (Cross-View Geo-Localization) | Задача перекрёстной геолокализации: сопоставление снимков, сделанных с разных ракурсов (БПЛА ↔ спутник), для определения местоположения. Главная задача диссертации. |
| ID (In-Distribution) | "В распределении" — входы, похожие на те, на которых обучалась модель (нормальные данные). |
| OOD (Out-of-Distribution) | "Вне распределения" — входы, существенно отличающиеся от обучающих (аномальные данные, шум, нерелевантный контент). |
| ARGF (Adaptive Residual Gate Fusion) | Авторский метод адаптивной маршрутизации остаточной связи в шлюзовом блоке мультимодального слияния, управляемой через InfoScore. |
| InfoScore | Скалярная метрика информативности признака модальности, используемая для маршрутизации остаточной связи и гейтов. |
| SM-InfoScore (Subspace-Mahalanobis InfoScore) | Конкретная реализация InfoScore через расстояние Махаланобиса в обучаемом L2-нормированном подпространстве с EMA-обновляемыми статистиками μ_sub, Σ_sub. |
| Mahalanobis distance (расстояние Махаланобиса) | d_M²(x) = (x − μ)ᵀ Σ⁻¹ (x − μ) — метрика, учитывающая ковариационную структуру данных; имеет вероятностную интерпретацию через гауссово правдоподобие. |
| GDA (Gaussian Discriminant Analysis) | Гауссов дискриминантный анализ; математический аппарат, связывающий расстояние Махаланобиса с логарифмом правдоподобия p(x|c). |
| Energy-based uncertainty (энергетическая неопределённость) | Альтернативный метод оценки уверенности модели через свободную энергию E(x) = −log Σ exp(z_k); требует классификационных логитов. Используется в QMF. |
| Evidential uncertainty (эвиденциальная неопределённость) | Метод оценки неопределённости через параметры распределения Дирихле; основан на теории Демпстера-Шейфера. Используется в TMC/ETMC. |
| EDL (Evidential Deep Learning) | Семейство методов глубокого обучения с явным предсказанием эвиденциальных параметров вместо классовых вероятностей. |
| Gate (шлюз) | Скалярный или векторный множитель σ(α) ∈ [0,1], управляющий вкладом модальности в объединённое представление. |
| GatedFusion (шлюзовое слияние) | Метод объединения мультимодальных признаков через обучаемый гейт: q = σ(α)·d_img + (1−σ(α))·d_txt. |
| GMU (Gated Multimodal Unit) | Базовая работа по шлюзовому слиянию (Arevalo et al., 2017); per-feature multiplicative gate. |
| GRN (Gated Residual Network) | Шлюзовая остаточная сеть (Lim et al., 2021); базовая архитектура с гейтом вокруг остаточной связи. |
| Residual connection (остаточная связь) | Shortcut-путь, добавляющий вход слоя к его выходу: y = F(x) + x; основа архитектуры ResNet. |
| SRGF (Simple Residual Gate Fusion) | Простая остаточная модификация GateFusion (исследована автором, признана деструктивной). |
| RCGF (Cross-Gated Residual Fusion) | Перекрёстная остаточная модификация (исследована автором, промежуточный результат). |
| SNR (Signal-to-Noise Ratio) | Отношение сигнал/шум; ключевая характеристика модальности для теоретического обоснования деструктивности residual. |
| EMA (Exponential Moving Average) | Экспоненциальное скользящее среднее: μ_new = (1−β)·μ_prev + β·μ_batch; используется для стабилизации статистик подпространства. |
| DINOv3 | Self-supervised визуальный энкодер от Meta AI; в пайплайне используется ViT-L/16 (303M, заморожен). |
| DGTRS-CLIP | Dual-Granularity Remote Sensing CLIP; текстово-визуальный энкодер для дистанционного зондирования с поддержкой коротких и длинных описаний. |
| MONA (Multi-cognitive visual adapter) | Параметро-эффективный адаптер для визуальных foundation-моделей; в пайплайне 3.5M параметров, bf16. |
| LoRA (Low-Rank Adaptation) | Параметро-эффективный метод дообучения через низкоранговое разложение весов; в пайплайне r=4, 147K параметров. |
| KPS (Knowledge-Preserved Stretching) | Метод растягивания позиционных эмбеддингов CLIP для поддержки более длинных текстов (до 248 токенов). |
| T_meta | Текстовый шаблон метаданных БПЛА: "At height 150m, yaw 45°..."; источник — Павленко. |
| L1, L2, L3 (уровни промпта) | Три уровня текстового описания сцены: L1 — обзор, L2 — детальное описание с семантикой, L3 — cross-view fingerprint (топологический инвариант); источник — Поляков. |
| Cross-view fingerprint | Описание сцены, инвариантное к ракурсу съёмки: "18 tightly packed rooftops along a diagonal main road with 11 green patches in NW corner". |
| InfoNCE | Контрастивная функция потерь на основе нижней оценки взаимной информации; основа CLIP и symmetric retrieval. |
| Symmetric retrieval loss | Двухсторонний contrastive loss: L = w_q·CE(q→g) + w_g·CE(g→q); в пайплайне w_q=0.6, w_g=0.4. |
| Temperature (τ) | Параметр softmax в InfoNCE, управляющий остротой распределения; в пайплайне learnable, init 0.07, clamp [0.01, 0.5]. |
| Label smoothing | Регуляризация замены hard one-hot меток на soft: ε=0.1 в пайплайне. |
| Passthrough | Режим работы GatedFusion при отсутствии caption на sat-стороне: g = s_img (текстовый тракт деактивирован). |
| R@K (Recall at K) | Доля запросов, где правильный positive оказался в топ-K ранжированного списка. Главная retrieval-метрика CVGL. |
| AP / mAP (Average Precision / mean Average Precision) | Средняя точность по precision-recall кривой; учитывает позиции positive в ранжировании. |
| University-1652 | Базовый бенчмарк CVGL: 951 здание в test, drone↔satellite↔ground-view (Zheng et al., ACM MM 2020). |
| SUES-200 | Бенчмарк CVGL с переменной высотой съёмки (150/200/250/300 м); проверка устойчивости к масштабу. |
| DenseUAV | Бенчмарк CVGL с плотной выборкой в районах городской застройки. |
| Hard negative | Сложный негативный пример, близкий к positive в пространстве признаков; используется в Sample4Geo для повышения качества обучения. |
| Sample4Geo | SOTA-метод CVGL (Deuser et al., ICCV 2023) с hard negative sampling; image-only, symmetric loss 0.5/0.5. |
| FSRA | Feature Segmentation and Region Alignment; transformer-based метод CVGL. |
| MobileGeo / PFED | Edge-ориентированный CVGL-метод с hierarchical knowledge distillation (Sun et al., IEEE TCSVT 2025). |
| CGSI | Context-Guided and UAV's Status Informed Multimodal Framework (Sun et al., IEEE TCSVT 2025); использует UAV-status text. |
| MBF | Fusion Representations Matching Method с UAV-status и bilinear pooling (Zhu et al., Sensors 2023). |
| DEGF-YOLO / QGU | Quality-Aware Gating Unit для UAV-детекции (2025); ближайший конкурент по идее quality-aware gate. |
| TMC / ETMC | Trusted Multi-view Classification (Han et al., IEEE TPAMI 2023); evidential decision-level fusion. |
| QMF | Quality-aware Multimodal Fusion (Zhang et al., ICML 2023); energy-based dynamic fusion с provable generalization. |
| C²MF | Context-specific Credibility-aware Multimodal Fusion (2025); instance-level credibility через probabilistic circuits. |
| GeoText-1652 | Multimodal benchmark с image+text+bbox для CVGL (Chu et al., ECCV 2024). |
| Long-CLIP | CLIP с поддержкой длинных описаний через primary-component matching (Zhang et al., ECCV 2024). |
| MPS-CLIP | Multi-Perspective Subimage CLIP с Gated Global Attention Adapter для RS-retrieval (2025). |
| Knowledge Distillation (KD) | Дистилляция знаний: перенос знаний от большой модели (Teacher) к компактной (Student); вторичная тема в работе автора. |
| Teacher-Student paradigm | Парадигма дистилляции с тяжёлой моделью-учителем и лёгкой моделью-учеником для edge-развёртывания. |
| WKD (Wasserstein Knowledge Distillation) | Дистилляция через Вассерштейн-метрику между гауссианами параметров (Lv et al., NeurIPS 2024). |
| VID (Variational Information Distillation) | Вариационная информационная дистилляция через моделирование передачи μ/σ статистик. |
| Privileged Information | Дополнительная модальность, доступная Teacher, но не Student (Lopez-Paz et al., ICLR 2016). |
| Edge-системы | Бортовые вычислительные платформы БПЛА (Jetson Nano/Xavier/Orin); требование низкой задержки и малого числа FLOPs. |
| FLOPs (Floating Point Operations) | Метрика вычислительной сложности модели; для edge-обоснования. |
| Latency | Задержка инференса в миллисекундах; ключевая метрика для бортовых систем БПЛА. |
| Specialty 2.3.1 (паспорт ВАК РФ) | "Системный анализ, управление и обработка информации, статистика"; специальность кандидатской диссертации автора. |