Files

Pavlenko_B 0cfd7078a6 Added new Sci-Nov description

2026-05-13 15:55:15 +03:00

31 KiB

Raw Blame History

Научная новизна диссертации (актуализация): обоснование трёх пунктов НН для шлюзовых методов мультимодального слияния в задаче CVGL БПЛА

Версия 2. Актуализирует и заменяет предыдущий отчёт «Научная новизна третьего положения диссертации: глубокое обоснование ARGF-InfoScore в парадигме Teacher-Student для CVGL БПЛА». Изменения: (а) переход от одного пункта НН к трём; (б) понижение приоритета Teacher-Student дистилляции до вторичной темы; (в) явная переориентация на retrieval-метрики CVGL; (г) расширение базы дифференциации за счёт CVGL-конкурентов 2024–2026 и работ по иерархическому тексту.

Что изменилось концептуально и почему

Тема диссертации уточнена. Ранее «диссер про ARGF в парадигме T-S для CVGL»; теперь — «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем». Уточнение фокусирует НН не на «одной идее, упакованной с дистилляцией», а на трёх независимых, но методологически связанных усовершенствованиях шлюзового слияния, каждое из которых может быть защищено самостоятельно.

Метрики переопределены. Прошлые эксперименты автора на классификации и регрессии дают лишь тенденцию поведения шлюзов; главные доказательства всех трёх пунктов НН — это retrieval-метрики (Recall@1, Recall@5, Recall@10, AP) на бенчмарках University-1652, SUES-200, DenseUAV в обоих направлениях (drone→sat, sat→drone). FLOPs / latency на Jetson — единственная не-ретриевал метрика, и она привязана только к N3_H5.

Дистилляция Teacher-Student понижена в приоритете. Ранее KD занимал отдельный Блок 3 с детальным составным loss; теперь — единственное упоминание в N3_H5 как прикладная значимость и совместимость метода. Полная схема L_total c семью λ-весами переносится в приложение диссертации, но не выносится в защищаемые положения.

База дифференциации расширена. Ранее упор делался на DEGF-YOLO, TMC, QMF, MobileGeo. Теперь добавлены: CGSI [Sun et al., IEEE T-CSVT 2025] и MBF [Zhu et al., Sensors 2023] — единственные работы, использующие UAV-status text для CVGL; MCFA [Sensors 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025] — свежие CVGL-методы; Long-CLIP [Zhang et al., ECCV 2024] и DGTRS-CLIP [Chen et al., arXiv:2503.19311, 2025] — иерархический / dual-granularity текст; MPS-CLIP [arXiv:2601.18190, 2025] — Gated Global Attention Adapter для RS retrieval; C²MF [arXiv:2603.26629, 2025] — credibility-aware fusion.

Новые компоненты НН. В П2 появляется иерархический InfoScore по уровням L1/L2/L3/T_meta (отсутствовал в прошлом отчёте). В П3 появляется двухтрактовая fusion с раздельными α_sem/α_meta и информационно-взвешенный симметричный loss 0.6/0.4 — обоснованный SNR-асимметрией drone/sat (тоже отсутствовал в прошлом отчёте).

Структура трёх пунктов НН

П1. Метод адаптивной маршрутизации остаточной связи в шлюзовом слиянии (ARGF-InfoScore)

Защищаемое положение. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN [Lim, 2021], TMC [Han, IEEE TPAMI 2023], QMF [Zhang, ICML 2023], DEGF-YOLO QGU [2025], Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo [Sun, IEEE T-CSVT 2025], CGSI [Sun, IEEE T-CSVT 2025]) тем, что:

информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость;
метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке;
сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, —

что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption'ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.

Привязка к паспорту 2.3.1: пункты 4, 5, 8, 12. Гипотезы: Гипотезы N1

П2. Иерархический информативно-усиливающий и фильтрующий механизм InfoScore по уровням промпта

Защищаемое положение. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP [arXiv:2601.18190, 2025]) тем, что:

каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве;
уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента;
механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), —

что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0% абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.

Привязка к паспорту 2.3.1: пункты 4, 5, 8, 12. Гипотезы: Гипотезы N2

П3. Двухтрактовое информационно-взвешенное шлюзовое объединение с асимметричным retrieval-loss и edge-применимостью

Защищаемое положение. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652) тем, что:

семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore;
симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough);
passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion и исключает необходимость отдельной обработки sat без caption, —

что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8% абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.

Привязка к паспорту 2.3.1: пункты 4, 5, 11, 14. Гипотезы: Гипотезы N3

Что из прошлого отчёта осталось актуальным — мэппинг по гипотезам

Раздел прошлого отчёта	Куда переходит сейчас
Блок 1.1. SNR-анализ residual + формула n_eff = (2−g)·n	П1, базовое теоретическое обоснование + конкретно поддерживает N1_H1
Блок 1.2. Mahalanobis → ViM → Mahalanobis++ → subspace-aware	П1, обоснование SM-InfoScore + конкретно N1_H2, N1_H3, N1_H5
Блок 1.3. Feature norm, IB, MINE	П1, теоретическая база (feature norm как cheap proxy)
Блок 2.1. Сравнение с DEGF-YOLO QGU, TMC, QMF, GMU, GRN	П1, дифференциация + полная база ответов оппонентам
Блок 2.2. SkipNet, BlockDrop, MoE	П1, residual routing context
Блок 2.3. ViM, RMDS, ActSub, KNN+	П1, цепочка преемственности Mahalanobis-методов
Блок 2.4. CVGL SOTA: Sample4Geo, FSRA, MobileGeo, CGSI, MRGeo	Все три пункта: базовые CVGL-baselines
Блок 3.1–3.5. Teacher-Student дистилляция	N3_H5 + приложение диссертации — НЕ выносится отдельным пунктом НН
Блок 4.1. Паспорт 2.3.1 (пункты 4, 5, 8, 12, 14)	Все три пункта, разные комбинации якорей
Блок 4.2. Типовые формулировки 2.3.1 (Гончаренко 2023 и др.)	Шаблон формулировок для всех трёх пунктов
Блок 4.3. FLOPs / latency на edge	П3, N3_H5
Блок 4.4. Журналы (Компьютерная оптика, СПИИРАН, IEEE TCSVT)	Публикационная стратегия, актуальна без изменений
Блок 5.1. Три варианта формулировки одного пункта	Концептуально устарело — формулировки в П1/П2/П3 выше
Блок 5.2. Экспериментальный набор (датасеты, baselines, ablation)	Актуально, расширяется под три пункта
Блок 6.1. Вопросы оппонентов	Расширены ниже
Блок 6.2. Страховки от незначимости	Актуальны
Блок 6.3. UC Merced → AID / NWPU-RESISC45	Актуально для вспомогательной главы про classification, если она будет

Расширенный экспериментальный набор для трёх пунктов

Датасеты:

University-1652 (Zheng et al., ACM MM 2020) — базовый, drone↔sat↔ground-view; стандартный протокол 701/951 buildings train/test.
SUES-200 (Zhu et al., IEEE T-CSVT 2023) — multi-height ablation на 4 высотах {150/200/250/300 м}; для N2_H2 (T_meta комплементарность), N1_H2 (стабильность по высотам).
DenseUAV — dense sampling в плотной городской застройке; для N1_H1 (SNR-зависимость), N2_H3 (фильтрация шумных уровней), N3_H1 (раздельные гейты).
(опционально) GeoText-1652 — если будет проверка совместимости с region-text.

Базовые модели для сравнения (минимальный список для защиты):

Concat fusion — простейший baseline без gate.
Simple sum fusion.
Tensor fusion [Zadeh 2017].
Cross-attention fusion — стандартный.
GMU [Arevalo 2017] — канонический gate.
GRN [Lim 2021] — gated residual.
SRGF (авторский) — показать деструктивность.
RCGF (авторский) — промежуточный.
Gate+Sum (авторский) — маргинальное улучшение.
QMF [Zhang ICML 2023] — energy-based dynamic fusion.
TMC/ETMC [Han IEEE TPAMI 2023] — evidential (адаптированный под retrieval).
DEGF-YOLO QGU [2025] (адаптированный) — прямой конкурент.
Sample4Geo [Deuser ICCV 2023] — CVGL SoTA image-only.
FSRA — transformer-based CVGL.
MobileGeo / PFED [Sun IEEE T-CSVT 2025] — edge-ориентированный SoTA.
CGSI [Sun IEEE T-CSVT 2025] — UAV-status text baseline для П3.
MBF [Zhu Sensors 2023] — UAV-status baseline для П3.
C²MF [arXiv:2603.26629, 2025] — credibility-aware baseline для П2.

Ablation-сетка (минимальная):

П1: {α off/on} × {SM off/on} × {fixed Σ, per-batch Σ, EMA Σ} × {diagonal Σ, full Σ}.
П2: leave-one-level-out (L1, L2, L3, T_meta) × {shared subspace vs per-level subspace} × per-level noise injection {0, 30, 50, 90%}.
П3: {1 gate vs 2 gates α_sem/α_meta} × {fixed τ vs learnable τ} × w_q sweep ∈ {0.5, 0.55, 0.6, 0.65, 0.7} × {full vs image-only inference}.
Совместность П1+П2+П3: 2×2×2 = 8 точек.

Метрики:

Главные: R@1, R@5, R@10, AP — в обоих направлениях (drone→sat, sat→drone) на каждом датасете.
Диагностические: распределения SM-InfoScore по уровням; значения σ(α_sem), σ(α_meta), τ после сходимости; Pearson-корреляции InfoScore между уровнями.
Для N3_H5: Params (M), FLOPs (G), latency (ms на Jetson AGX Orin / Orin Nano, FP16, batch=1), throughput (FPS).

Статистическая значимость: 5 запусков с разными seed; парный t-test или Wilcoxon signed-rank; confidence intervals 95%; p < 0.05 как порог принятия гипотез.

Расширенный набор вопросов оппонентов и готовые ответы

Вопросы из прошлого отчёта (актуальны без изменений):

В1. «Чем SM-InfoScore принципиально отличается от Mahalanobis OOD-детектора Lee 2018?» Ответ: Lee 2018 использует d_M как внешний классификационный скор для бинарного решения ID/OOD после forward-pass. SM-InfoScore используется внутри forward-pass как дифференцируемый управляющий сигнал; μ_sub, Σ_sub обучаются совместно с параметрами сети через EMA. Это переход от статистической меры к архитектурному маршрутизатору.

В2. «Почему именно Махаланобис, а не энтропия или feature-norm?» Ответ: Mahalanobis — единственная метрика, которая одновременно: (а) per-example, (б) дифференцируема, (в) имеет строгую вероятностную интерпретацию через GDA, (г) учитывает ковариационную структуру. Feature-norm [Park ICCV 2023] — только класс-агностичный прокси; энтропия требует softmax-выхода, что в retrieval отсутствует.

В3. «Формула n_eff = (2−g)·n локальна и неуниверсальна.» Ответ: Согласны, формула справедлива для антикоррелированной конфигурации ветвей. В диссертации это явно оговаривается как «деструктивный режим при определённых условиях», границы применимости показывает SNR-анализ. Аналогичное замечание делалось к универсальности IB-теории [Saxe 2019]; следуем той же методологической культуре.

В4. «Обучаемая полная Σ_sub численно нестабильна на высоких размерностях.» Ответ: Используется low-rank + diagonal декомпозиция Σ_sub = D + UU^T (rank r ≪ d); инвертирование через Sherman-Morrison-Woodbury; shrinkage Σ̃ = (1−α)·Σ + α·λI; feature L2-нормализация по Mahalanobis++ [ICML 2025]. Все приёмы стандартны.

В5. «Чем отличается от DEGF-YOLO QGU?» Ответ: QGU — self-supervised quality score между RGB и Thermal, без Mahalanobis, без подпространства, без residual routing, в object detection (не CVGL). ARGF — другой математический аппарат, общая только идея quality-aware gate.

В6. «TMC уже решил задачу quality-aware fusion.» Ответ: TMC — decision-level (evidential, Демпстер-Шейфер), работает на классификационных выходах. ARGF — feature-level, на residual внутри архитектуры. Разный уровень абстракции и разная задача (retrieval vs классификация с uncertainty).

Новые вопросы под три пункта НН:

В7. «Чем три пункта НН концептуально связаны, а не являются произвольным набором улучшений?» Ответ: Все три пункта реализуют единую идею — квантифицируемую информативность модальности как управляющий сигнал в шлюзовом слиянии. П1 применяет это к остаточной связи (микро-уровень), П2 — к структуре текстового промпта (мезо-уровень), П3 — к балансировке retrieval-loss и архитектурной асимметрии drone/sat (макро-уровень). Все три уровня используют одну и ту же математику SM-InfoScore, но решают разные задачи: фильтрация шума на признаках, агрегация уровней семантики, информационная компенсация асимметрии в обучении.

В8. «Почему трёхуровневый промпт L1/L2/L3 + T_meta даёт прирост сверх Long-CLIP / DGTRS-CLIP?» Ответ: Long-CLIP и DGTRS-CLIP — двухуровневые (short + long или short + detailed); они не разделяют семантику и cross-view fingerprint и не используют numerical metadata. У автора три уровня выполняют разные функции: L1 — контекст, L2 — rich semantics для embedding, L3 — cross-view invariant fingerprint для cross-view matching, T_meta — численные ограничители масштаба и ориентации. Их информационная роль различна, что подтверждается N2_H2 (низкая корреляция InfoScore между T_meta и T_L3).

В9. «Почему 0.6 / 0.4, а не 0.5 / 0.5? Это магические числа.» Ответ: Это эмпирически найденный оптимум на grid-search, обоснованный SNR-асимметрией: drone-сторона имеет rich text + image (высокий SNR), satellite-сторона — image only с passthrough text (низкий SNR). Информационно-весовое доминирование более информативного направления — частный случай task-specific weighting [RzenEmbed arXiv:2510.27350, 2025]. Sample4Geo использует 0.5/0.5 при отсутствии текста — там асимметрия отсутствует. Reverse-setup эксперимент (искусственно поменять «богатую» сторону) показывает оптимум при w_q < 0.5, что подтверждает SNR-обусловленность.

В10. «Почему дистилляция Teacher-Student не выносится отдельным пунктом НН?» Ответ: Дистилляция — стандартная техника, к ней автор не вносит принципиально нового математического аппарата; новизна — в том, что именно дистиллируется (статистики подпространства μ_sub, Σ_sub через Вассерштейн-метрику и сами InfoScore через попарные расстояния). Это методологическое следствие П1 и П3, а не самостоятельный научный результат. Соответствующая схема L_total c семью λ-весами вынесена в приложение диссертации.

В11. «Метрики retrieval слабо реагируют на изменение fusion на сильных backbone (DINOv3 ViT-L). Прирост 1.5% может быть в пределах шума.» Ответ: Поэтому в экспериментах используются три комплементарных бенчмарка: University-1652 (базовый), SUES-200 (multi-height, проверка робастности), DenseUAV (плотные сцены, проверка cross-view fingerprint). Прирост измеряется на каждом отдельно с 5 запусками и парным t-test. Дополнительно — corruption benchmark (noise injection на уровни L1/L2/L3), где прирост от информативно-фильтрующих механизмов систематически больше, чем на чистых данных.

В12. «Учебные эксперименты автора были на классификации и регрессии, а защищаются гипотезы на retrieval. Это разные задачи.» Ответ: Согласны; прошлые эксперименты на classification / regression использованы исключительно для предварительной калибровки гиперпараметров (EMA decay β, размерность подпространства, порог threshold для residual routing) и для демонстрации тенденции поведения шлюзов при шумной модальности. Все гипотезы Ni_Hj проверяются заново на retrieval-метриках R@1/R@5/R@10/AP в условиях стандартных протоколов University-1652 / SUES-200 / DenseUAV.

Публикационная стратегия (актуальна без изменений)

Публикация 1 (ВАК К1, Компьютерная оптика): «Адаптивная маршрутизация остаточных связей на основе расстояния Махаланобиса в обучаемом подпространстве для шлюзового мультимодального слияния в задаче перекрёстной геолокализации БПЛА». Фокус — П1.
Публикация 2 (ВАК К1, Информатика и автоматизация / Автоматика и телемеханика): «Иерархический информативно-усиливающий механизм для мультимодального шлюзового слияния в перекрёстной геолокализации БПЛА». Фокус — П2.
Публикация 3 (Scopus Q1-Q2, IEEE TCSVT / Information Fusion): «Information-Aware Gated Multimodal Fusion with Hierarchical InfoScore and Subspace-Mahalanobis Residual Routing for UAV Cross-View Geo-Localization». Полная версия — все три пункта + эксперименты на University-1652 / SUES-200 / DenseUAV.
Минимально для защиты: 2 публикации ВАК К1 + 1 Scopus Q1-Q2. Дополнительно — конференция (ВАК или Scopus): IGARSS / WACV / BMVC.

Заключение

Прошлый отчёт остаётся методологически фундаментальным — его теоретическая база (SNR-анализ, Mahalanobis-преемственность, дифференциация от QMF/TMC/DEGF-YOLO) полностью переходит в П1 актуализированной версии. Однако его позиционирование как единого третьего пункта устарело: после переопределения темы диссертации и приоритетов работа развёрнута в три самостоятельных, но методологически связанных пункта НН с 15 проверяемыми гипотезами.

Ключевая структурная связка: SM-InfoScore — это единый математический аппарат, применяемый на трёх уровнях (residual внутри Gated-блока — П1; иерархия текстового промпта — П2; асимметрия retrieval-loss — П3). Это даёт работе концептуальную целостность при защите и одновременно три независимых научных результата для статей и положений на защиту.

Teacher-Student дистилляция переходит из самостоятельного компонента новизны в прикладное следствие, упомянутое в N3_H5 и развёрнутое в приложении диссертации (полная схема L_total из прошлого отчёта). Это согласуется с принципом «дистилляция — стандартная техника, новизна — в её содержимом, а не в самой идее переноса знаний».

Все ссылки и DOI из прошлого отчёта (приложение «Список обязательных ссылок для диссертации») остаются актуальными; дополнительно для П2 и П3 обязательны: CGSI [Sun IEEE T-CSVT 2025], MBF [Zhu Sensors 2023, doi:10.3390/s23020720], Long-CLIP [Zhang ECCV 2024, arXiv:2403.15378], DGTRS-CLIP [Chen 2025, arXiv:2503.19311], MPS-CLIP [arXiv:2601.18190, 2025], MRGeo [arXiv:2603.12587, 2025], (MGS)²-Net [arXiv:2602.10704, 2025], MCFA [Sensors 2025, doi:10.3390/s25144519], C²MF [arXiv:2603.26629, 2025], RzenEmbed [arXiv:2510.27350, 2025], Temperature-Free Loss [arXiv:2501.17683, 2025], «Geometric Mechanics of Contrastive Learning» [arXiv:2601.19597, 2025].

31 KiB Raw Blame History Unescape Escape