[[Gate Fusion]] [[Финализация трёх пунктов научной новизны]] [[Научная_новизна_актуализация]] [[Гипотезы N1 (не подтвердилась)]], [[Гипотезы N2]], [[Гипотезы N3]] ## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации **Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика» **Научный руководитель:** к.т.н. доцент Бондаренко В.И. *** ## Аннотация Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. ==Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности==, превосходящей механизмы внимания в условиях ограниченных ресурсов. ## Научная новизна #### 1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации **Гипотезы** [[Гипотезы N1 (не подтвердилась)]] #### 2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта **Гипотезы** [[Гипотезы N2]] #### 3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов **Гипотезы** [[Гипотезы N3]] ## Ключевые понятия | Термин | Описание | | -------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **CVGL** (Cross-View Geo-Localization) | Задача перекрёстной геолокализации: сопоставление снимков, сделанных с разных ракурсов (БПЛА ↔ спутник), для определения местоположения. Главная задача диссертации. | | **ID** (In-Distribution) | "В распределении" — входы, похожие на те, на которых обучалась модель (нормальные данные). | | **OOD** (Out-of-Distribution) | "Вне распределения" — входы, существенно отличающиеся от обучающих (аномальные данные, шум, нерелевантный контент). | | **ARGF** (Adaptive Residual Gate Fusion) | Авторский метод адаптивной маршрутизации остаточной связи в шлюзовом блоке мультимодального слияния, управляемой через InfoScore. | | **InfoScore** | Скалярная метрика информативности признака модальности, используемая для маршрутизации остаточной связи и гейтов. | | **SM-InfoScore** (Subspace-Mahalanobis InfoScore) | Конкретная реализация InfoScore через расстояние Махаланобиса в обучаемом L2-нормированном подпространстве с EMA-обновляемыми статистиками μ_sub, Σ_sub. | | **Mahalanobis distance** (расстояние Махаланобиса) | d_M²(x) = (x − μ)ᵀ Σ⁻¹ (x − μ) — метрика, учитывающая ковариационную структуру данных; имеет вероятностную интерпретацию через гауссово правдоподобие. | | **GDA** (Gaussian Discriminant Analysis) | Гауссов дискриминантный анализ; математический аппарат, связывающий расстояние Махаланобиса с логарифмом правдоподобия p(x\|c). | | **Energy-based uncertainty** (энергетическая неопределённость) | Альтернативный метод оценки уверенности модели через свободную энергию E(x) = −log Σ exp(z_k); требует классификационных логитов. Используется в QMF. | | **Evidential uncertainty** (эвиденциальная неопределённость) | Метод оценки неопределённости через параметры распределения Дирихле; основан на теории Демпстера-Шейфера. Используется в TMC/ETMC. | | **EDL** (Evidential Deep Learning) | Семейство методов глубокого обучения с явным предсказанием эвиденциальных параметров вместо классовых вероятностей. | | **Gate** (шлюз) | Скалярный или векторный множитель σ(α) ∈ [0,1], управляющий вкладом модальности в объединённое представление. | | **GatedFusion** (шлюзовое слияние) | Метод объединения мультимодальных признаков через обучаемый гейт: q = σ(α)·d_img + (1−σ(α))·d_txt. | | **GMU** (Gated Multimodal Unit) | Базовая работа по шлюзовому слиянию (Arevalo et al., 2017); per-feature multiplicative gate. | | **GRN** (Gated Residual Network) | Шлюзовая остаточная сеть (Lim et al., 2021); базовая архитектура с гейтом вокруг остаточной связи. | | **Residual connection** (остаточная связь) | Shortcut-путь, добавляющий вход слоя к его выходу: y = F(x) + x; основа архитектуры ResNet. | | **SRGF** (Simple Residual Gate Fusion) | Простая остаточная модификация GateFusion (исследована автором, признана деструктивной). | | **RCGF** (Cross-Gated Residual Fusion) | Перекрёстная остаточная модификация (исследована автором, промежуточный результат). | | **SNR** (Signal-to-Noise Ratio) | Отношение сигнал/шум; ключевая характеристика модальности для теоретического обоснования деструктивности residual. | | **EMA** (Exponential Moving Average) | Экспоненциальное скользящее среднее: μ_new = (1−β)·μ_prev + β·μ_batch; используется для стабилизации статистик подпространства. | | **DINOv3** | Self-supervised визуальный энкодер от Meta AI; в пайплайне используется ViT-L/16 (303M, заморожен). | | **DGTRS-CLIP** | Dual-Granularity Remote Sensing CLIP; текстово-визуальный энкодер для дистанционного зондирования с поддержкой коротких и длинных описаний. | | **MONA** (Multi-cognitive visual adapter) | Параметро-эффективный адаптер для визуальных foundation-моделей; в пайплайне 3.5M параметров, bf16. | | **LoRA** (Low-Rank Adaptation) | Параметро-эффективный метод дообучения через низкоранговое разложение весов; в пайплайне r=4, 147K параметров. | | **KPS** (Knowledge-Preserved Stretching) | Метод растягивания позиционных эмбеддингов CLIP для поддержки более длинных текстов (до 248 токенов). | | **T_meta** | Текстовый шаблон метаданных БПЛА: "At height 150m, yaw 45°..."; источник — Павленко. | | **L1, L2, L3** (уровни промпта) | Три уровня текстового описания сцены: L1 — обзор, L2 — детальное описание с семантикой, L3 — cross-view fingerprint (топологический инвариант); источник — Поляков. | | **Cross-view fingerprint** | Описание сцены, инвариантное к ракурсу съёмки: "18 tightly packed rooftops along a diagonal main road with 11 green patches in NW corner". | | **InfoNCE** | Контрастивная функция потерь на основе нижней оценки взаимной информации; основа CLIP и symmetric retrieval. | | **Symmetric retrieval loss** | Двухсторонний contrastive loss: L = w_q·CE(q→g) + w_g·CE(g→q); в пайплайне w_q=0.6, w_g=0.4. | | **Temperature (τ)** | Параметр softmax в InfoNCE, управляющий остротой распределения; в пайплайне learnable, init 0.07, clamp [0.01, 0.5]. | | **Label smoothing** | Регуляризация замены hard one-hot меток на soft: ε=0.1 в пайплайне. | | **Passthrough** | Режим работы GatedFusion при отсутствии caption на sat-стороне: g = s_img (текстовый тракт деактивирован). | | **R@K** (Recall at K) | Доля запросов, где правильный positive оказался в топ-K ранжированного списка. Главная retrieval-метрика CVGL. | | **AP / mAP** (Average Precision / mean Average Precision) | Средняя точность по precision-recall кривой; учитывает позиции positive в ранжировании. | | **University-1652** | Базовый бенчмарк CVGL: 951 здание в test, drone↔satellite↔ground-view (Zheng et al., ACM MM 2020). | | **SUES-200** | Бенчмарк CVGL с переменной высотой съёмки (150/200/250/300 м); проверка устойчивости к масштабу. | | **DenseUAV** | Бенчмарк CVGL с плотной выборкой в районах городской застройки. | | **Hard negative** | Сложный негативный пример, близкий к positive в пространстве признаков; используется в Sample4Geo для повышения качества обучения. | | **Sample4Geo** | SOTA-метод CVGL (Deuser et al., ICCV 2023) с hard negative sampling; image-only, symmetric loss 0.5/0.5. | | **FSRA** | Feature Segmentation and Region Alignment; transformer-based метод CVGL. | | **MobileGeo / PFED** | Edge-ориентированный CVGL-метод с hierarchical knowledge distillation (Sun et al., IEEE TCSVT 2025). | | **CGSI** | Context-Guided and UAV's Status Informed Multimodal Framework (Sun et al., IEEE TCSVT 2025); использует UAV-status text. | | **MBF** | Fusion Representations Matching Method с UAV-status и bilinear pooling (Zhu et al., Sensors 2023). | | **DEGF-YOLO / QGU** | Quality-Aware Gating Unit для UAV-детекции (2025); ближайший конкурент по идее quality-aware gate. | | **TMC / ETMC** | Trusted Multi-view Classification (Han et al., IEEE TPAMI 2023); evidential decision-level fusion. | | **QMF** | Quality-aware Multimodal Fusion (Zhang et al., ICML 2023); energy-based dynamic fusion с provable generalization. | | **C²MF** | Context-specific Credibility-aware Multimodal Fusion (2025); instance-level credibility через probabilistic circuits. | | **GeoText-1652** | Multimodal benchmark с image+text+bbox для CVGL (Chu et al., ECCV 2024). | | **Long-CLIP** | CLIP с поддержкой длинных описаний через primary-component matching (Zhang et al., ECCV 2024). | | **MPS-CLIP** | Multi-Perspective Subimage CLIP с Gated Global Attention Adapter для RS-retrieval (2025). | | **Knowledge Distillation (KD)** | Дистилляция знаний: перенос знаний от большой модели (Teacher) к компактной (Student); вторичная тема в работе автора. | | **Teacher-Student paradigm** | Парадигма дистилляции с тяжёлой моделью-учителем и лёгкой моделью-учеником для edge-развёртывания. | | **WKD** (Wasserstein Knowledge Distillation) | Дистилляция через Вассерштейн-метрику между гауссианами параметров (Lv et al., NeurIPS 2024). | | **VID** (Variational Information Distillation) | Вариационная информационная дистилляция через моделирование передачи μ/σ статистик. | | **Privileged Information** | Дополнительная модальность, доступная Teacher, но не Student (Lopez-Paz et al., ICLR 2016). | | **Edge-системы** | Бортовые вычислительные платформы БПЛА (Jetson Nano/Xavier/Orin); требование низкой задержки и малого числа FLOPs. | | **FLOPs** (Floating Point Operations) | Метрика вычислительной сложности модели; для edge-обоснования. | | **Latency** | Задержка инференса в миллисекундах; ключевая метрика для бортовых систем БПЛА. | | **Specialty 2.3.1** (паспорт ВАК РФ) | "Системный анализ, управление и обработка информации, статистика"; специальность кандидатской диссертации автора. |