bogdanpavl/Pavlenko_disser
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
0cfd7078a6103a0bff5392c60bb0b1bdd5b96158
Pavlenko_disser/4_questions_and_problems/Финализация трёх пунктов научной новизны.md

42 KiB
Raw Blame History

tags
tags
диссер

Научная_новизна_актуализация In and Out Distribution

Финализация трёх пунктов научной новизны кандидатской диссертации по специальности 2.3.1 ВАК РФ

Тема: «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации (CVGL) БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем»

РАЗДЕЛ 1. СИНТЕЗ

1.1. Контекст и фиксированный пайплайн автора

Анализируемая работа представляет двухветвевую (drone / satellite) ретриевал-систему с разделяемым визуальным энкодером DINOv3 ViT-L/16 (303 М, заморожен) + MONA-адаптеры (3,5 М, bf16, 2 на блок × последние 12 из 24, bottleneck 64) + gradient checkpointing → CLS [B, 1024] → Projection 1024→512 → d_img / s_img [B, 512]. Текстовая ветвь — DGTRS-CLIP ViT-L-14 (frozen, 124 М) + LoRA r = 4 (147 К) + KPS-стретчинг до 248 токенов, трёхуровневый промпт: L1 (overview) + L2 (full description, rich semantics) + L3 (cross-view fingerprint, matching-ready) + T_meta (высота, yaw — численный шаблон в стиле CGSI / MBF). Эмбеддинги z1, z2, z3 [B, 768] → cat [B, 2304] → TextFusionMLP shared 1.5 М (2304→512→512) → d_txt [B, 512]. Fusion: q = σ(α_q)·d_img + (1−σ(α_q))·d_txt с L2-нормализацией. Symmetric retrieval: similarity = q̂·ĝᵀ / τ, τ learnable init 0.07 clamp [0.01, 0.5]; loss = 0.6·CE(q→g) + 0.4·CE(g→q), label smoothing 0.1. Baseline — σ(α) = 1.0 (text disabled). Для sat без caption — passthrough g = s_img.

Целевые бенчмарки и метрики — University-1652, SUES-200, DenseUAV; Recall@1, R@5, R@10, AP в обоих направлениях (drone→sat, sat→drone). Все гипотезы Ni_Hj проверяются именно на retrieval-метриках; предварительные эксперименты автора на классификации / регрессии используются лишь как индикатор тренда для подбора гиперпараметров.

Кодовая база автора: репозиторий https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/. Гипотезы сформулированы так, чтобы соответствующая модификация ограничивалась добавлением модуля ARGFInfoScore (новый), расширением модуля GatedFusion (новые параметры α_sem, α_meta), модификацией функции вычисления симметричного loss и добавлением hook’ов для логирования InfoScore — без изменения backbone’ов.

1.2. Какие компоненты системы потенциально являются предметом научной новизны

(а) GatedFusion с скалярным learnable α. Это упрощение классического GMU (Arevalo et al., 2017, arXiv:1702.01992), вычисляющего per-feature multiplicative gate. Использование скалярного гейта снижает риск переобучения на 17–25 K кортежей University-1652, но ограничивает выразительность. Пространство для НН: дополнить скалярный α адаптивной маршрутизацией остаточной связи через SM-InfoScore.

(б) ARGF-InfoScore / SM-InfoScore через Махаланобисово расстояние в обучаемом подпространстве. Опирается на новые результаты OOD-литературы 2024–2025: Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) показал, что L2-нормализация принципиально улучшает Mahalanobis-OOD; «Geometry-Based View of Mahalanobis OOD Detection» (arXiv:2510.15202, 2025) обосновал роль геометрии представлений; subspace-aware Mahalanobis (arXiv:2506.09399, 2025) — динамическую коррекцию ковариации. В литературе по CVGL такая постановка отсутствует. Это центральный кандидат на пункт НН (B).

(в) Трёхуровневый промпт L1/L2/L3 + T_meta.

  • Long-CLIP (Zhang et al., ECCV 2024, arXiv:2403.15378) — двухуровневая схема (short summary + long detailed) с primary-component matching, без cross-view fingerprint и без метаданных.
  • DGTRS-CLIP (Chen et al., arXiv:2503.19311, 2025) и LRSCLIP — dual-granularity (short / long) для RS, два уровня, без cross-view.
  • GeoText-1652 (Chu et al., ECCV 2024, arXiv:2311.12751) — region-level описания с bbox, ориентация на text-guided navigation и spatial relation matching, не иерархия информативности.
  • MPS-CLIP (arXiv:2601.18190, 2025) — Gated Global Attention Adapter + multi-perspective representation, но без InfoScore-маршрутизации.
  • CGSI (Sun et al., IEEE T-CSVT 2025, документ 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) встраивают UAV-status text как word embeddings (аналог T_meta), но без иерархии и без InfoScore.

Иерархическая схема L1/L2/L3 + T_meta с раздельной информативностью оригинальна — основа для пункта C/D.

(г) MONA + LoRA + frozen DINOv3 + DGTRS-CLIP. PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter для change detection; DINOv3-FD (OpenReview 2025) — для медицины; MONA (Yin et al., CVPR 2025, arXiv:2408.08345 / 2311.15010v2) — для SAM. Связка DINOv3 + MONA + DGTRS-CLIP-LoRA именно для CVGL в публикациях не встречается, но это скорее «инженерная конфигурация» — не выносится самостоятельным пунктом НН, упоминается в прикладной значимости.

(д) Симметричный retrieval-loss с learnable τ. Введён в Sample4Geo (Deuser et al., ICCV 2023, arXiv:2303.11851); learnable τ есть в CLIP и в RzenEmbed (arXiv:2510.27350, 2025). Новизна — в информационно-взвешенной асимметрии 0.6/0.4, обоснованной SNR-разницей drone-side (rich text + image) и satellite-side (passthrough). Частный, не основной пункт.

(е) Passthrough sat без caption. Следствие отсутствия caption’ов на части sat; теоретически эквивалентен SM-InfoScore_sat → 0 (см. Mahalanobis++).

1.3. Архитектурные решения, открывающие и закрывающие НН

Открывают: скалярный α (открывает residual gating через SM-InfoScore); раздельные источники текста L1/L2/L3/T_meta (открывают иерархический InfoScore и раздельные гейты α_sem / α_meta); passthrough sat (открывает компенсацию асимметрии в loss и теоретическую эквивалентность).

Закрывают: shared encoder + shared MONA (закрывают модально-специфичный backbone); frozen DINOv3 / DGTRS-CLIP (закрывают новые backbone’ы и SSL pre-training); LoRA r = 4 фиксирован (закрывает rank-selection как НН); 248-token KPS-промпт уже сделан в Long-CLIP / DGTRS-CLIP (закрывает позиционные эмбеддинги).

1.4. Свойства задачи CVGL, дающие уникальные возможности

  • Cross-view invariance / facade-roof ambiguity ((MGS)²-Net, arXiv:2602.10704, 2025) делает L3 cross-view fingerprint особенно ценным.
  • Hard negatives (Sample4Geo, arXiv:2303.11851) — ARGF-InfoScore повышает вес информативных query-features.
  • Asymmetric retrieval drone↔sat — drone имеет rich text + image, sat — только image / passthrough.
  • Отсутствие caption у части sat — gate passthrough; теоретическая эквивалентность нулевому InfoScore.
  • Переменная высота / yaw — T_meta как сильная регуляризация масштаба и ориентации (CGSI, IEEE T-CSVT 2025; MBF, Sensors 2023).

1.5. Отличия от ключевых baselines (полная таблица)

Метод Год Ключевое отличие от работы автора
Sample4Geo (arXiv:2303.11851) 2023 image-only, симметричный InfoNCE, hard negatives, no text
FSRA 2022 feature-segmentation transformer, no text, no gated fusion
MCFA (doi:10.3390/s25144519) 2025 multi-scale cascade + FAAM dynamic weighted alignment, image-only
CGSI (IEEE T-CSVT 2025, doc 11145113) 2025 UAV-status text как word-emb, no InfoScore, no level hierarchy
MRGeo (arXiv:2603.12587) 2025 spatial / channel feature enhancement на LVD-142M, image-only
(MGS)²-Net (arXiv:2602.10704) 2025 depth-prior MGS-A + SGC loss, image-only
MBF (doi:10.3390/s23020720) 2023 UAV status + bilinear pooling, no hierarchy, no InfoScore
GeoText-1652 (arXiv:2311.12751) 2024 region-text + bbox для navigation, no levels, no InfoScore
PFED (arXiv:2510.22582) 2025 hierarchical distillation + MI-based MRM, image-only
DEGF-YOLO QGU 2024 query-gated unit в детекции, не CVGL, не текст
GMU (arXiv:1702.01992) 2017 per-feature multiplicative gate без InfoScore
TMC 2021 evidential trusted multi-view classification, не retrieval
QMF (arXiv:2306.02050) 2023 energy-based uncertainty fusion, classification, не Mahalanobis
MPS-CLIP (arXiv:2601.18190) 2025 G²A для RS retrieval, не CVGL, не InfoScore
C²MF (arXiv:2603.26629) 2025 CPC + CSIC, тяжёлое, не edge-friendly
Long-CLIP (arXiv:2403.15378) 2024 dual-granularity текст (short / long), 2 уровня, не 3 + meta
DGTRS-CLIP (arXiv:2503.19311) 2025 dual-granularity RS, 2 уровня, не 3 + meta
Mahalanobis++ (arXiv:2505.18032) 2025 OOD detection, не fusion routing

Главное отличие работы автора: ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как драйвер адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.==

1.6. Риски недоказуемости

  1. Низкий gain InfoScore над baseline GatedFusion при сильном DINOv3 (< 1 % R@1). Стратегия — оценивать на «трудных» подмножествах: cross-area split University-1652, SUES-200 с переменной высотой, DenseUAV с плотными UAV-снимками.
  2. Слабая корреляция InfoScore с retrieval-метриками. Стратегия — L2-нормализация (Mahalanobis++, ICML 2025), обучаемая проекция совместно с retrieval-loss.
  3. Конфликт с trainable α. Стратегия — отдельный график обучения (warm-up α, freeze, EMA-обновление статистик).
  4. Статистическая значимость. 5 запусков с разными seed, парный t-test, p < 0.05.
  5. Размытие НН. 3 пункта с фокусом, гипотезы внутри пункта — комплементарные.

РАЗДЕЛ 2. ДЕЛЬТА

2.1. Решение по обязательным кандидатам A–G

Кандидат Описание Решение
A SNR-анализ деструктивности residual в GatedFusion встраивается в П1 как теоретическое положение
B ARGF-InfoScore: адаптивная маршрутизация residual через SM-InfoScore становится основой П1
C Иерархический InfoScore по уровням L1/L2/L3/meta становится основой П2
D Cross-view fingerprint L3 как ключевая модальность объединяется с C в П2 как N2_H1
E Teacher-Student дистилляция отбрасывается как отдельный пункт; упоминается в N3_H5 как прикладная значимость
F Симметричный retrieval loss с adaptive τ и информационным взвешиванием встраивается в П3 как N3_H2, N3_H3
G Совместное использование T_meta (Павленко) и T_L3 (Полякова) с раздельной маршрутизацией становится основой П3, дополняется N3_H4 и N3_H5

2.2. Финальная стратегия

  • П1 — методическая новизна: ARGF-InfoScore (B) с SNR-анализом (A). Фокус: residual gating в Gated-блоке.
  • П2 — расширение метода на структуру текста: иерархический InfoScore L1/L2/L3/T_meta (C + D). Фокус: информативно-усиливающий и фильтрующий механизм на уровневой структуре.
  • П3 — комплексное системное положение: двухтрактовая gated fusion (T_sem / T_meta) + асимметричный симметричный loss + теоретическая эквивалентность passthrough — нулевому InfoScore (G + F + edge). Фокус: применимость к edge-системам.

Все три пункта проверяемы за 1–3 месяца на University-1652, SUES-200, DenseUAV на ретриевал-метриках R@1, R@5, R@10, AP, не требуют выхода за пайплайн автора, не нарушают frozen-backbone-ограничения и реализуются в указанной кодовой базе.

РАЗДЕЛ 3. ПУНКТЫ НАУЧНОЙ НОВИЗНЫ И ГИПОТЕЗЫ

**!!! Продублировано в заметки: **

Гипотезы N1 Гипотезы N2 Гипотезы N3

П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации

Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.

N1_H1 — Гипотеза SNR-деструктивности.

  • Формулировка: стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off).
  • Обоснование: анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях.
  • Критерий проверки: на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков).
  • Эксперимент: модификация GatedFusion.forward в репозитории — добавление флага residual_off; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.

N1_H2 — Гипотеза эффективности SM-InfoScore.

  • Формулировка: замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0).
  • Обоснование: Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный.
  • Критерий проверки: R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах.
  • Эксперимент: реализация ARGFInfoScore модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.

N1_H3 — Гипотеза предпочтительности EMA-статистик.

  • Формулировка: EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения.
  • Обоснование: в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score.
  • Критерий проверки: R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме.
  • Эксперимент: grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.

N1_H4 — Гипотеза совместимости с learnable α.

  • Формулировка: ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1.
  • Обоснование: C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу.
  • Критерий проверки: R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05).
  • Эксперимент: ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.

N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне.

  • Формулировка: при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline.
  • Обоснование: поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа.
  • Критерий проверки: sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное.
  • Эксперимент: анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).

П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта

Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.

N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint).

  • Формулировка: максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2.
  • Обоснование: MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment.
  • Критерий проверки: ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05.
  • Эксперимент: leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах.

N2_H2 — Гипотеза комплементарности T_meta и T_L3.

  • Формулировка: T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %.
  • Обоснование: CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний.
  • Критерий проверки: корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %.
  • Эксперимент: ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот).

N2_H3 — Гипотеза фильтрующего действия при шумных уровнях.

  • Формулировка: при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %).
  • Обоснование: QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility.
  • Критерий проверки: при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %.
  • Эксперимент: per-level noise injection на val-сплите University-1652 и DenseUAV.

N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего.

  • Формулировка: учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое).
  • Обоснование: DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания.
  • Критерий проверки: R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05.
  • Эксперимент: shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.

N2_H5 — Гипотеза совместимости П1 + П2.

  • Формулировка: П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс.
  • Обоснование: PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях).
  • Критерий проверки: 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %.
  • Эксперимент: полная 2×2-сетка на University-1652 + SUES-200.

П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов

Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.

N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.

  • Формулировка: раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α.
  • Обоснование: CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом.
  • Критерий проверки: |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %.
  • Эксперимент: ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.

N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4.

  • Формулировка: информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo).
  • Обоснование: Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval.
  • Критерий проверки: R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65].
  • Эксперимент: sweep w_q на University-1652 + SUES-200.

N3_H3 — Гипотеза о learnable τ.

  • Формулировка: learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс.
  • Обоснование: «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ.
  • Критерий проверки: τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %.
  • Эксперимент: ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.

N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore.

  • Формулировка: поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore.
  • Обоснование: Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям.
  • Критерий проверки: на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough).
  • Эксперимент: варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.

N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией.

  • Формулировка: при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference.
  • Обоснование: PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection.
  • Критерий проверки: ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %.
  • Эксперимент: профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.

Завершающие замечания

  1. Иерархия НН: П1 — основной методический результат (ARGF-InfoScore с SNR-теоретическим обоснованием); П2 — расширение на иерархическую структуру текста; П3 — системно-прикладное положение с двухтрактовым гейтом, асимметричным loss и edge-применимостью.
  2. Совместимость с дистилляцией Teacher-Student упомянута только в N3_H5 как прикладной аспект; не выносится отдельным пунктом в соответствии с переопределением задачи.
  3. Использование DenseUAV — N1_H1 (DenseUAV для SNR-графика), N2_H3 (DenseUAV для noise injection); University-1652 и SUES-200 — основные бенчмарки для всех гипотез.
  4. Связь с предыдущими экспериментами автора (классификация / регрессия): используются для калибровки β (EMA), размерности подпространства, порогов informativeness; для каждой Ni_Hj эксперименты повторяются на retrieval-метриках.
  5. Не предложено выходов за пайплайн автора: не вводятся SAM2, LiDAR, IR, новые backbone’ы; LoRA r = 4, MONA bottleneck 64, frozen DINOv3 / DGTRS-CLIP сохраняются. Все модификации локализуются в репозитории https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/ в модулях GatedFusion, добавлении ARGFInfoScore, расширении функции loss и hook’ах логирования.
  6. Сроки проверки: каждая гипотеза проверяется за 1–3 месяца на одном Jetson AGX Orin / RTX 4090 при стандартном протоколе University-1652 / SUES-200 / DenseUAV с 5 запусками на seed и парным t-test.
  7. Главные литературные опоры (2023–2026): Sample4Geo (arXiv:2303.11851), CGSI (IEEE T-CSVT 2025), MBF (Sensors 2023, doi:10.3390/s23020720), GeoText-1652 (arXiv:2311.12751, ECCV 2024), Long-CLIP (arXiv:2403.15378, ECCV 2024), DGTRS-CLIP (arXiv:2503.19311, 2025), MCFA (Sensors 2025, doi:10.3390/s25144519), MRGeo (arXiv:2603.12587, 2025), MGS²-Net (arXiv:2602.10704, 2025), PFED (arXiv:2510.22582, 2025), QMF (arXiv:2306.02050, ICML 2023), C²MF (arXiv:2603.26629, 2025), Mahalanobis++ (arXiv:2505.18032, ICML 2025), Geometry-Based Mahalanobis OOD (arXiv:2510.15202, 2025), Subspace-Aware Mahalanobis (arXiv:2506.09399, 2025), MONA (arXiv:2311.15010v2 / 2408.08345, CVPR 2025), PeftCD (arXiv:2509.09572, 2025), MPS-CLIP (arXiv:2601.18190, 2025), Temperature-Free Loss (arXiv:2501.17683, 2025), Geometric Mechanics of Contrastive Learning (arXiv:2601.19597, 2025), RzenEmbed (arXiv:2510.27350, 2025), GMU (arXiv:1702.01992, ICLR 2017).
Reference in New Issue View Git Blame Copy Permalink