diff --git a/2_hypotheses/Гипотезы N1.md b/2_hypotheses/Гипотезы N1.md new file mode 100644 index 0000000..61918fb --- /dev/null +++ b/2_hypotheses/Гипотезы N1.md @@ -0,0 +1,25 @@ +--- +aliases: + - hypo +tags: + - диссер +--- +### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации + +Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. +#### N1_H1 — Гипотеза SNR-деструктивности. +- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. +#### N1_H2 — Гипотеза эффективности SM-InfoScore. +- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. +#### N1_H3 — Гипотеза предпочтительности EMA-статистик. +* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. +#### N1_H4 — Гипотеза совместимости с learnable α. +* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. +#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне. +* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). + + + + + + diff --git a/2_hypotheses/Гипотезы N2.md b/2_hypotheses/Гипотезы N2.md new file mode 100644 index 0000000..50495ac --- /dev/null +++ b/2_hypotheses/Гипотезы N2.md @@ -0,0 +1,26 @@ +--- +aliases: + - hypo +tags: + - диссер +--- +### П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта + +Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. +#### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint). +- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. +#### N2_H2 — Гипотеза комплементарности T_meta и T_L3. +* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). +#### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях. +* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. +#### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего. +* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. +#### N2_H5 — Гипотеза совместимости П1 + П2. +* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. + + + + + + + diff --git a/2_hypotheses/Гипотезы N3.md b/2_hypotheses/Гипотезы N3.md new file mode 100644 index 0000000..bdf0a68 --- /dev/null +++ b/2_hypotheses/Гипотезы N3.md @@ -0,0 +1,26 @@ +--- +aliases: + - hypo +tags: + - диссер +--- +### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов + +Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. + +#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. +* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. +#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4. +* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200. +#### N3_H3 — Гипотеза о learnable τ. +* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. +#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore. +* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. +#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией. +* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. + + + + + + diff --git a/2_hypotheses/Гипотезы v1.md b/2_hypotheses/Гипотезы v1.md deleted file mode 100644 index 62857fc..0000000 --- a/2_hypotheses/Гипотезы v1.md +++ /dev/null @@ -1,21 +0,0 @@ ---- -aliases: - - hypo -tags: - - диссер ---- -## H1 - Добавление доп. семантики улучшает показатели - -Добавление простой текстовой семантики к имеющимся признакам позволяет связать числовые или категориальные характеристики снимков и их визуальные особенности, добавив осмысленность различиям в метаданных и визуальном представлении. Такое семантическое обогащение улучшает метрики даже для задач с минимально известными входными данными. - -## H2 - Остаточные связи после фильтрации шума - -[[Adaptive_residual_routing]] - -Простая остаточная связь в механизме Gate-Fusion нивелирует его работу, возвращая шум исходных данных, однако, адаптивное добавление полезного исходного сигнала на основе некой метрики информативности модальности может усилить информативность объединенного вектора даже после потери части сигнала из-за фильтрации. - - - - - - diff --git a/3_work/methods/loss_functions.md b/3_work/methods/loss_functions.md index 918ecc2..c850525 100644 --- a/3_work/methods/loss_functions.md +++ b/3_work/methods/loss_functions.md @@ -1,6 +1,7 @@ --- tags: - диссер + - loss --- [[Математическая функция]] [[Расчёт функции потерь]] @@ -120,10 +121,16 @@ z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b ## 4. Сводка гиперпараметров функций потерь -| Параметр | Назначение | Оптимальный диапазон | -|---|---|---| -| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных | -| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 | -| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 | -| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 | -| `d_step` | Шаг интерполяции высоты | 5–10 м | +| Параметр | Назначение | Оптимальный диапазон | +| --------------- | --------------------------------------------- | -------------------------- | +| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных | +| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 | +| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 | +| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 | +| `d_step` | Шаг интерполяции высоты | 5–10 м | +| | | | + +## 5. Symm InfoNCE-Loss + +[[Симметричный retrieval-loss в контексте CVGL - подробный разбор]] + diff --git a/4_questions_problems/Материалы/Pasted image 20260421110850.png b/4_questions_and_problems/Материалы/Pasted image 20260421110850.png similarity index 100% rename from 4_questions_problems/Материалы/Pasted image 20260421110850.png rename to 4_questions_and_problems/Материалы/Pasted image 20260421110850.png diff --git a/4_questions_problems/Материалы/Pasted image 20260421111122.png b/4_questions_and_problems/Материалы/Pasted image 20260421111122.png similarity index 100% rename from 4_questions_problems/Материалы/Pasted image 20260421111122.png rename to 4_questions_and_problems/Материалы/Pasted image 20260421111122.png diff --git a/4_questions_problems/Материалы/Pasted image 20260421112809.png b/4_questions_and_problems/Материалы/Pasted image 20260421112809.png similarity index 100% rename from 4_questions_problems/Материалы/Pasted image 20260421112809.png rename to 4_questions_and_problems/Материалы/Pasted image 20260421112809.png diff --git a/4_questions_problems/Материалы/Pasted image 20260421112940.png b/4_questions_and_problems/Материалы/Pasted image 20260421112940.png similarity index 100% rename from 4_questions_problems/Материалы/Pasted image 20260421112940.png rename to 4_questions_and_problems/Материалы/Pasted image 20260421112940.png diff --git a/4_questions_problems/Научная новизна третьего положения диссертации.md b/4_questions_and_problems/Научная новизна третьего положения диссертации.md similarity index 100% rename from 4_questions_problems/Научная новизна третьего положения диссертации.md rename to 4_questions_and_problems/Научная новизна третьего положения диссертации.md diff --git a/4_questions_problems/Научная новизна.md b/4_questions_and_problems/Научная новизна.md similarity index 90% rename from 4_questions_problems/Научная новизна.md rename to 4_questions_and_problems/Научная новизна.md index 801ef85..9a858a7 100644 --- a/4_questions_problems/Научная новизна.md +++ b/4_questions_and_problems/Научная новизна.md @@ -29,3 +29,6 @@ tags: - если плохо - Claude переделывает промпт ``` +[[Научная новизна третьего положения диссертации]] +[[Сгруппированные ссылки]] + diff --git a/4_questions_problems/Проблемы и вопросы.md b/4_questions_and_problems/Проблемы и вопросы.md similarity index 100% rename from 4_questions_problems/Проблемы и вопросы.md rename to 4_questions_and_problems/Проблемы и вопросы.md diff --git a/4_questions_problems/Рекомендации и идеи.md b/4_questions_and_problems/Рекомендации и идеи.md similarity index 100% rename from 4_questions_problems/Рекомендации и идеи.md rename to 4_questions_and_problems/Рекомендации и идеи.md diff --git a/4_questions_and_problems/Финализация трёх пунктов научной новизны.md b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md new file mode 100644 index 0000000..9f0a8fa --- /dev/null +++ b/4_questions_and_problems/Финализация трёх пунктов научной новизны.md @@ -0,0 +1,175 @@ +--- +tags: + - диссер +--- +[[Научная новизна третьего положения диссертации]] +# Финализация трёх пунктов научной новизны кандидатской диссертации по специальности 2.3.1 ВАК РФ +## Тема: «Совершенствование шлюзовых (Gated) методов объединения мультимодальных данных для перекрёстной геолокализации (CVGL) БПЛА с информативно-усиливающими и фильтрующими механизмами для edge-систем» + +--- + +## РАЗДЕЛ 1. СИНТЕЗ + +### 1.1. Контекст и фиксированный пайплайн автора + +Анализируемая работа представляет двухветвевую (drone / satellite) ретриевал-систему с разделяемым визуальным энкодером DINOv3 ViT-L/16 (303 М, заморожен) + MONA-адаптеры (3,5 М, bf16, 2 на блок × последние 12 из 24, bottleneck 64) + gradient checkpointing → CLS [B, 1024] → Projection 1024→512 → d_img / s_img [B, 512]. Текстовая ветвь — DGTRS-CLIP ViT-L-14 (frozen, 124 М) + LoRA r = 4 (147 К) + KPS-стретчинг до 248 токенов, трёхуровневый промпт: L1 (overview) + L2 (full description, rich semantics) + L3 (cross-view fingerprint, matching-ready) + T_meta (высота, yaw — численный шаблон в стиле CGSI / MBF). Эмбеддинги z1, z2, z3 [B, 768] → cat [B, 2304] → TextFusionMLP shared 1.5 М (2304→512→512) → d_txt [B, 512]. Fusion: q = σ(α_q)·d_img + (1−σ(α_q))·d_txt с L2-нормализацией. Symmetric retrieval: similarity = q̂·ĝᵀ / τ, τ learnable init 0.07 clamp [0.01, 0.5]; loss = 0.6·CE(q→g) + 0.4·CE(g→q), label smoothing 0.1. Baseline — σ(α) = 1.0 (text disabled). Для sat без caption — passthrough g = s_img. + +Целевые бенчмарки и метрики — University-1652, SUES-200, DenseUAV; Recall@1, R@5, R@10, AP в обоих направлениях (drone→sat, sat→drone). Все гипотезы Ni_Hj проверяются именно на retrieval-метриках; предварительные эксперименты автора на классификации / регрессии используются лишь как индикатор тренда для подбора гиперпараметров. + +Кодовая база автора: репозиторий https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/. Гипотезы сформулированы так, чтобы соответствующая модификация ограничивалась добавлением модуля `ARGFInfoScore` (новый), расширением модуля `GatedFusion` (новые параметры α_sem, α_meta), модификацией функции вычисления симметричного loss и добавлением hook’ов для логирования InfoScore — без изменения backbone’ов. + +### 1.2. Какие компоненты системы потенциально являются предметом научной новизны + +**(а) GatedFusion с скалярным learnable α.** Это упрощение классического GMU (Arevalo et al., 2017, arXiv:1702.01992), вычисляющего per-feature multiplicative gate. Использование скалярного гейта снижает риск переобучения на 17–25 K кортежей University-1652, но ограничивает выразительность. Пространство для НН: дополнить скалярный α адаптивной маршрутизацией остаточной связи через SM-InfoScore. + +**(б) ARGF-InfoScore / SM-InfoScore через Махаланобисово расстояние в обучаемом подпространстве.** Опирается на новые результаты OOD-литературы 2024–2025: Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) показал, что L2-нормализация принципиально улучшает Mahalanobis-OOD; «Geometry-Based View of Mahalanobis OOD Detection» (arXiv:2510.15202, 2025) обосновал роль геометрии представлений; subspace-aware Mahalanobis (arXiv:2506.09399, 2025) — динамическую коррекцию ковариации. В литературе по CVGL такая постановка отсутствует. Это центральный кандидат на пункт НН (B). + +**(в) Трёхуровневый промпт L1/L2/L3 + T_meta.** +- Long-CLIP (Zhang et al., ECCV 2024, arXiv:2403.15378) — двухуровневая схема (short summary + long detailed) с primary-component matching, без cross-view fingerprint и без метаданных. +- DGTRS-CLIP (Chen et al., arXiv:2503.19311, 2025) и LRSCLIP — dual-granularity (short / long) для RS, два уровня, без cross-view. +- GeoText-1652 (Chu et al., ECCV 2024, arXiv:2311.12751) — region-level описания с bbox, ориентация на text-guided navigation и spatial relation matching, не иерархия информативности. +- MPS-CLIP (arXiv:2601.18190, 2025) — Gated Global Attention Adapter + multi-perspective representation, но без InfoScore-маршрутизации. +- CGSI (Sun et al., IEEE T-CSVT 2025, документ 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) встраивают UAV-status text как word embeddings (аналог T_meta), но без иерархии и без InfoScore. + +Иерархическая схема L1/L2/L3 + T_meta с раздельной информативностью оригинальна — основа для пункта C/D. + +**(г) MONA + LoRA + frozen DINOv3 + DGTRS-CLIP.** PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter для change detection; DINOv3-FD (OpenReview 2025) — для медицины; MONA (Yin et al., CVPR 2025, arXiv:2408.08345 / 2311.15010v2) — для SAM. Связка DINOv3 + MONA + DGTRS-CLIP-LoRA именно для CVGL в публикациях не встречается, но это скорее «инженерная конфигурация» — не выносится самостоятельным пунктом НН, упоминается в прикладной значимости. + +**(д) Симметричный retrieval-loss с learnable τ.** Введён в Sample4Geo (Deuser et al., ICCV 2023, arXiv:2303.11851); learnable τ есть в CLIP и в RzenEmbed (arXiv:2510.27350, 2025). Новизна — в информационно-взвешенной асимметрии 0.6/0.4, обоснованной SNR-разницей drone-side (rich text + image) и satellite-side (passthrough). Частный, не основной пункт. + +**(е) Passthrough sat без caption.** Следствие отсутствия caption’ов на части sat; теоретически эквивалентен SM-InfoScore_sat → 0 (см. Mahalanobis++). + +### 1.3. Архитектурные решения, открывающие и закрывающие НН + +**Открывают:** скалярный α (открывает residual gating через SM-InfoScore); раздельные источники текста L1/L2/L3/T_meta (открывают иерархический InfoScore и раздельные гейты α_sem / α_meta); passthrough sat (открывает компенсацию асимметрии в loss и теоретическую эквивалентность). + +**Закрывают:** shared encoder + shared MONA (закрывают модально-специфичный backbone); frozen DINOv3 / DGTRS-CLIP (закрывают новые backbone’ы и SSL pre-training); LoRA r = 4 фиксирован (закрывает rank-selection как НН); 248-token KPS-промпт уже сделан в Long-CLIP / DGTRS-CLIP (закрывает позиционные эмбеддинги). + +### 1.4. Свойства задачи CVGL, дающие уникальные возможности + +- **Cross-view invariance / facade-roof ambiguity** ((MGS)²-Net, arXiv:2602.10704, 2025) делает L3 cross-view fingerprint особенно ценным. +- **Hard negatives** (Sample4Geo, arXiv:2303.11851) — ARGF-InfoScore повышает вес информативных query-features. +- **Asymmetric retrieval drone↔sat** — drone имеет rich text + image, sat — только image / passthrough. +- **Отсутствие caption у части sat** — gate passthrough; теоретическая эквивалентность нулевому InfoScore. +- **Переменная высота / yaw** — T_meta как сильная регуляризация масштаба и ориентации (CGSI, IEEE T-CSVT 2025; MBF, Sensors 2023). + +### 1.5. Отличия от ключевых baselines (полная таблица) + +| Метод | Год | Ключевое отличие от работы автора | +|---|---|---| +| Sample4Geo (arXiv:2303.11851) | 2023 | image-only, симметричный InfoNCE, hard negatives, no text | +| FSRA | 2022 | feature-segmentation transformer, no text, no gated fusion | +| MCFA (doi:10.3390/s25144519) | 2025 | multi-scale cascade + FAAM dynamic weighted alignment, image-only | +| CGSI (IEEE T-CSVT 2025, doc 11145113) | 2025 | UAV-status text как word-emb, no InfoScore, no level hierarchy | +| MRGeo (arXiv:2603.12587) | 2025 | spatial / channel feature enhancement на LVD-142M, image-only | +| (MGS)²-Net (arXiv:2602.10704) | 2025 | depth-prior MGS-A + SGC loss, image-only | +| MBF (doi:10.3390/s23020720) | 2023 | UAV status + bilinear pooling, no hierarchy, no InfoScore | +| GeoText-1652 (arXiv:2311.12751) | 2024 | region-text + bbox для navigation, no levels, no InfoScore | +| PFED (arXiv:2510.22582) | 2025 | hierarchical distillation + MI-based MRM, image-only | +| DEGF-YOLO QGU | 2024 | query-gated unit в детекции, не CVGL, не текст | +| GMU (arXiv:1702.01992) | 2017 | per-feature multiplicative gate без InfoScore | +| TMC | 2021 | evidential trusted multi-view classification, не retrieval | +| QMF (arXiv:2306.02050) | 2023 | energy-based uncertainty fusion, classification, не Mahalanobis | +| MPS-CLIP (arXiv:2601.18190) | 2025 | G²A для RS retrieval, не CVGL, не InfoScore | +| C²MF (arXiv:2603.26629) | 2025 | CPC + CSIC, тяжёлое, не edge-friendly | +| Long-CLIP (arXiv:2403.15378) | 2024 | dual-granularity текст (short / long), 2 уровня, не 3 + meta | +| DGTRS-CLIP (arXiv:2503.19311) | 2025 | dual-granularity RS, 2 уровня, не 3 + meta | +| Mahalanobis++ (arXiv:2505.18032) | 2025 | OOD detection, не fusion routing | + +**Главное отличие работы автора:** ==впервые SM-InfoScore (Mahalanobis в обучаемом подпространстве с L2-норм. и EMA-статистиками) применяется как драйвер адаптивной маршрутизации остаточной связи и/или гейта в задаче CVGL с иерархическим (3-уровневым + meta) текстовым промптом и асимметричной drone/sat-парадигмой.== + +### 1.6. Риски недоказуемости + +1. **Низкий gain InfoScore над baseline GatedFusion** при сильном DINOv3 (< 1 % R@1). Стратегия — оценивать на «трудных» подмножествах: cross-area split University-1652, SUES-200 с переменной высотой, DenseUAV с плотными UAV-снимками. +2. **Слабая корреляция InfoScore с retrieval-метриками.** Стратегия — L2-нормализация (Mahalanobis++, ICML 2025), обучаемая проекция совместно с retrieval-loss. +3. **Конфликт с trainable α.** Стратегия — отдельный график обучения (warm-up α, freeze, EMA-обновление статистик). +4. **Статистическая значимость.** 5 запусков с разными seed, парный t-test, p < 0.05. +5. **Размытие НН.** 3 пункта с фокусом, гипотезы внутри пункта — комплементарные. + +--- + +## РАЗДЕЛ 2. ДЕЛЬТА + +### 2.1. Решение по обязательным кандидатам A–G + +| Кандидат | Описание | Решение | +| -------- | ---------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- | +| A | SNR-анализ деструктивности residual в GatedFusion | **встраивается в П1** как теоретическое положение | +| B | ARGF-InfoScore: адаптивная маршрутизация residual через SM-InfoScore | **становится основой П1** | +| C | Иерархический InfoScore по уровням L1/L2/L3/meta | **становится основой П2** | +| D | Cross-view fingerprint L3 как ключевая модальность | **объединяется с C в П2** как N2_H1 | +| E | Teacher-Student дистилляция | отбрасывается как отдельный пункт; упоминается в N3_H5 как прикладная значимость | +| F | Симметричный retrieval loss с adaptive τ и информационным взвешиванием | **встраивается в П3** как N3_H2, N3_H3 | +| G | Совместное использование T_meta (Павленко) и T_L3 (Полякова) с раздельной маршрутизацией | **становится основой П3**, дополняется N3_H4 и N3_H5 | + +### 2.2. Финальная стратегия + +- **П1** — методическая новизна: ARGF-InfoScore (B) с SNR-анализом (A). Фокус: residual gating в Gated-блоке. +- **П2** — расширение метода на структуру текста: иерархический InfoScore L1/L2/L3/T_meta (C + D). Фокус: информативно-усиливающий и фильтрующий механизм на уровневой структуре. +- **П3** — комплексное системное положение: двухтрактовая gated fusion (T_sem / T_meta) + асимметричный симметричный loss + теоретическая эквивалентность passthrough — нулевому InfoScore (G + F + edge). Фокус: применимость к edge-системам. + +Все три пункта проверяемы за 1–3 месяца на University-1652, SUES-200, DenseUAV на ретриевал-метриках R@1, R@5, R@10, AP, не требуют выхода за пайплайн автора, не нарушают frozen-backbone-ограничения и реализуются в указанной кодовой базе. + +--- +## РАЗДЕЛ 3. ПУНКТЫ НАУЧНОЙ НОВИЗНЫ И ГИПОТЕЗЫ + +**Дублировал в заметки: ** + +[[Гипотезы N1]] +[[Гипотезы N2]] +[[Гипотезы N3]] +### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации + +Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М. +#### N1_H1 — Гипотеза SNR-деструктивности. +- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV. +#### N1_H2 — Гипотеза эффективности SM-InfoScore. +- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}. +#### N1_H3 — Гипотеза предпочтительности EMA-статистик. +* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652. +#### N1_H4 — Гипотеза совместимости с learnable α. +* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}. +#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне. +* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без). + +--- +### П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта + +Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера. +#### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint). +- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах. +#### N2_H2 — Гипотеза комплементарности T_meta и T_L3. +* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот). +#### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях. +* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV. +#### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего. +* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP. +#### N2_H5 — Гипотеза совместимости П1 + П2. +* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200. + +--- +### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов + +Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student. + +#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta. +* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения. +#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4. +* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200. +#### N3_H3 — Гипотеза о learnable τ. +* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split. +#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore. +* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat. +#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией. +* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652. + +--- +## Завершающие замечания + +1. **Иерархия НН:** П1 — основной методический результат (ARGF-InfoScore с SNR-теоретическим обоснованием); П2 — расширение на иерархическую структуру текста; П3 — системно-прикладное положение с двухтрактовым гейтом, асимметричным loss и edge-применимостью. +2. **Совместимость с дистилляцией Teacher-Student** упомянута только в N3_H5 как прикладной аспект; не выносится отдельным пунктом в соответствии с переопределением задачи. +3. **Использование DenseUAV** — N1_H1 (DenseUAV для SNR-графика), N2_H3 (DenseUAV для noise injection); University-1652 и SUES-200 — основные бенчмарки для всех гипотез. +4. **Связь с предыдущими экспериментами автора (классификация / регрессия):** используются для калибровки β (EMA), размерности подпространства, порогов informativeness; для каждой Ni_Hj эксперименты повторяются на retrieval-метриках. +5. **Не предложено выходов за пайплайн автора:** не вводятся SAM2, LiDAR, IR, новые backbone’ы; LoRA r = 4, MONA bottleneck 64, frozen DINOv3 / DGTRS-CLIP сохраняются. Все модификации локализуются в репозитории https://git.lissad.keenetic.name/Pikaliov/caption-test/src/branch/belka_refactor/ в модулях `GatedFusion`, добавлении `ARGFInfoScore`, расширении функции loss и hook’ах логирования. +6. **Сроки проверки:** каждая гипотеза проверяется за 1–3 месяца на одном Jetson AGX Orin / RTX 4090 при стандартном протоколе University-1652 / SUES-200 / DenseUAV с 5 запусками на seed и парным t-test. +7. **Главные литературные опоры (2023–2026):** Sample4Geo (arXiv:2303.11851), CGSI (IEEE T-CSVT 2025), MBF (Sensors 2023, doi:10.3390/s23020720), GeoText-1652 (arXiv:2311.12751, ECCV 2024), Long-CLIP (arXiv:2403.15378, ECCV 2024), DGTRS-CLIP (arXiv:2503.19311, 2025), MCFA (Sensors 2025, doi:10.3390/s25144519), MRGeo (arXiv:2603.12587, 2025), MGS²-Net (arXiv:2602.10704, 2025), PFED (arXiv:2510.22582, 2025), QMF (arXiv:2306.02050, ICML 2023), C²MF (arXiv:2603.26629, 2025), Mahalanobis++ (arXiv:2505.18032, ICML 2025), Geometry-Based Mahalanobis OOD (arXiv:2510.15202, 2025), Subspace-Aware Mahalanobis (arXiv:2506.09399, 2025), MONA (arXiv:2311.15010v2 / 2408.08345, CVPR 2025), PeftCD (arXiv:2509.09572, 2025), MPS-CLIP (arXiv:2601.18190, 2025), Temperature-Free Loss (arXiv:2501.17683, 2025), Geometric Mechanics of Contrastive Learning (arXiv:2601.19597, 2025), RzenEmbed (arXiv:2510.27350, 2025), GMU (arXiv:1702.01992, ICLR 2017). \ No newline at end of file diff --git a/notes/Сгруппированные ссылки.md b/notes/Сгруппированные ссылки.md index 4148da7..8c91beb 100644 --- a/notes/Сгруппированные ссылки.md +++ b/notes/Сгруппированные ссылки.md @@ -223,4 +223,14 @@ tags: 7. https://arxiv.org/html/2511.02113v1 8. https://medium.com/@xiaxiami/exploring-feature-fusion-and-matching-in-vision-language-models-3573b6e529b4 +## Mahalanobis distance + +1. https://arxiv.org/pdf/2505.18032 +2. https://mueller-mp.github.io/publication/2025-06-01-Mahaplusplus +3. https://arxiv.org/html/2505.18032v1 +4. https://arxiv.org/abs/2505.18032 +5. https://arxiv.org/html/2510.15202v3 +6. https://arxiv.org/html/2510.15202v2 +7. https://www.arxiv.org/pdf/2506.09399 + diff --git a/notes/Симметричный retrieval-loss в контексте CVGL - подробный разбор.md b/notes/Симметричный retrieval-loss в контексте CVGL - подробный разбор.md new file mode 100644 index 0000000..b688c4e --- /dev/null +++ b/notes/Симметричный retrieval-loss в контексте CVGL - подробный разбор.md @@ -0,0 +1,173 @@ +--- +tags: + - CVGL + - loss +--- +# Симметричный retrieval-loss в контексте CVGL: подробный разбор + +## 1. Что такое симметричный loss и почему он нужен в CVGL + +В задаче cross-view geo-localization (CVGL) у нас две **асимметричные галереи**: drone-снимки (запрос) и satellite-снимки (галерея, привязанная к координатам). Retrieval работает в обе стороны: + +- **drone → sat** — основной сценарий: БПЛА сделал кадр, нужно найти ближайший спутник +- **sat → drone** — обратный: для заданной точки на спутнике найти все drone-кадры + +Симметричный loss — это **двухсторонний InfoNCE**, который оптимизирует обе матрицы сходства одновременно: + +``` +similarity = q̂ · ĝᵀ / τ # матрица B×B (B — размер батча) + +L_q→g = CrossEntropy(similarity, labels) # по строкам (drone к sat) +L_g→q = CrossEntropy(similarityᵀ, labels) # по столбцам (sat к drone) + +L_symm = w_q · L_q→g + w_g · L_g→q +``` + +Где `labels = [0, 1, 2, ..., B-1]` (i-й drone парится с i-м sat в батче). + +Это идёт **от CLIP** (Radford et al., 2021), где image↔text retrieval требует симметрии. **Sample4Geo** (Deuser et al., ICCV 2023) был первой работой, где этот шаблон системно перенесён в CVGL с дополнительным hard negative sampling. + +## 2. Что именно делает автор в текущем пайплайне + +Из схемы пайплайна: + +```python +similarity = q̂ · ĝᵀ / τ # τ learnable, init 0.07, clamp [0.01, 0.5] +loss = 0.6 · CE(q→g) + 0.4 · CE(g→q) # label_smoothing=0.1 +``` + +Здесь **три нестандартных компонента**: + +1. **Несимметричные веса 0.6 / 0.4** вместо классических 0.5 / 0.5 (CLIP, Sample4Geo) +2. **Learnable τ** с явным clamp в [0.01, 0.5] +3. **Label smoothing 0.1** + +Каждый из них — это потенциальное защищаемое решение, если есть обоснование, **почему именно так**. И здесь начинается интересное. + +## 3. Почему именно 0.6 / 0.4, а не 0.5 / 0.5: SNR-обоснование + +Это ключевой момент, прямо связанный с П1 (SNR-анализ деструктивности) и П3 (двухтрактовый gated fusion). + +### Асимметрия информации drone vs sat в вашем пайплайне + +|Сторона|Что у нас есть|Информативность| +|---|---|---| +|**drone (query)**|image + T_meta (высота, yaw) + T_L1 + T_L2 + T_L3|**высокая, разнородная**| +|**satellite (gallery)**|image (часто без caption — passthrough)|**низкая по тексту, стабильная по image**| + +Классический симметричный loss 0.5 / 0.5 неявно предполагает **симметрию информационных каналов**. У нас её нет: + +- При **CE(q→g)** мы спрашиваем: «среди sat найди тот, что соответствует богатому drone-описанию». Это **более информативная задача**. +- При **CE(g→q)** мы спрашиваем: «среди drone (с богатыми описаниями) найди тот, что соответствует бедному sat». Это **менее информативная задача**, поскольку у sat нет caption — он работает почти как image-only. + +**Гипотеза автора:** усиление более информативного направления (drone→sat, вес 0.6) даёт более плотный градиент по обучаемым параметрам gate и InfoScore-маршрутизатора, поскольку именно в этом направлении SM-InfoScore drone-стороны выходит за нулевую отметку. + +### Литературная база для несимметричных весов + +- **RzenEmbed** (arXiv:2510.27350, 2025) — explicit task-specific weighting для multi-task multimodal retrieval; авторы показывают, что фиксированные веса между разными retrieval-направлениями subooptimal. +- **«Geometric Mechanics of Contrastive Learning»** (arXiv:2601.19597, 2025) — формальный анализ alignment potentials в multi-modal contrastive learning; persistent negative cross-modal divergence coupling при гетерогенных модальностях. Прямо обосновывает несимметричную балансировку при разной плотности информации в модальностях. +- **Sample4Geo** (Deuser et al., ICCV 2023, arXiv:2303.11851) — использует **симметричный** loss 0.5 / 0.5, но без текста; следовательно, информация в drone и sat у них действительно симметрична. Это даёт основание сказать: «в нашем сетапе симметрия информации нарушена → веса 0.6 / 0.4 обоснованы». +- **CLIP** (Radford et al., 2021) — image-text retrieval, 0.5 / 0.5; работает для аккуратно отфильтрованных image-text пар, где обе стороны информативно сопоставимы. + +## 4. Связь с П1 (SNR-анализ деструктивности) + +Это самое тонкое и ценное место для диссертации. SNR-анализ из П1 описывает деструктивность residual внутри Gated-блока: + +``` +noise_total = (2 − g) · n # шум удваивается при g → 1 +``` + +Симметричный loss усиливает этот эффект ещё раз, но уже на уровне градиента: + +- При **низком SNR на sat-стороне** (passthrough, без caption) обратный градиент через CE(g→q) шумный — он распространяется на shared encoder и shared MONA адаптеры **обоих** ветвей. +- Веса 0.6 / 0.4 уменьшают вклад этого шумного градиента **на 20%** по сравнению с 0.5 / 0.5. + +То есть: **несимметричный loss — это второй уровень фильтрации шума, дополняющий ARGF-InfoScore на уровне feature-fusion**. Это можно сформулировать как защищаемое утверждение: + +> «Информационная асимметрия модальностей в задаче CVGL компенсируется двумя дополняющими механизмами: (а) маршрутизацией residual в Gated-блоке через SM-InfoScore, (б) балансировкой направлений симметричного retrieval-loss обратно пропорционально SNR соответствующего направления». + +## 5. Learnable τ с clamp [0.01, 0.5] + +Температура τ — это критический гиперпараметр, который определяет **остроту softmax** в InfoNCE: + +``` +P(positive_i) = exp(sim_ii / τ) / Σ_j exp(sim_ij / τ) +``` + +- **τ → 0**: распределение sharp, модель агрессивно учится только на самом близком позитиве и самом близком негативе (фокус на hard examples) — но риск коллапса. +- **τ → ∞**: распределение плоское, gradient signal слабый. + +### Init 0.07 — это CLIP-default + +OpenAI CLIP (Radford et al., 2021) использует τ = 0.07 как стартовое значение для learnable logit scale. Это эмпирически найденное значение, оно отлично сходится для image-text задач. + +### Clamp [0.01, 0.5] + +Без clamp learnable τ может уйти в 0 (numerical instability) или в ∞ (нулевой gradient). Sample4Geo (ICCV 2023) использует clamp; конкретные границы — инженерное решение. + +### Связь с темой + +Современные работы оспаривают необходимость τ как самостоятельного параметра: + +- **«Temperature-Free Loss»** (arXiv:2501.17683, 2025) предлагает loss без τ через нормализацию gradient norm; показывает, что learnable τ — это **компенсация дисбаланса масштабов в multi-task**, а не «температура» в физическом смысле. +- **RzenEmbed** (arXiv:2510.27350, 2025) использует task-specific learnable τ для каждого retrieval-направления отдельно — это даже более сильный вариант, чем у автора. + +**Возможное расширение N3_H3:** учитывая, что у нас есть две задачи в одном loss (q→g и g→q) с разной информативностью, можно сделать **две learnable τ** (τ_q→g и τ_g→q) вместо одной. Это даст ещё одну точку для защиты — но это решение нужно проверять отдельным экспериментом, и оно может конфликтовать с N3_H1 (раздельные гейты α_sem и α_meta). + +## 6. Label smoothing 0.1 + +Стандартный приём от Szegedy et al. (Inception-v3, 2016): hard labels [0, 0, 1, 0, ...] заменяются на soft [ε/(K-1), ..., 1-ε, ..., ε/(K-1)] с ε = 0.1. + +В retrieval-контексте это **смягчает наказание** за putting probability on hard negatives — что особенно важно при сильных hard negatives в Sample4Geo-стиле. Если в батче есть «почти-positive» (например, соседний sat-снимок с перекрытием), полное обнуление вероятности по нему через one-hot — слишком жёстко. + +Это **не уникальное решение** автора — оно стандартное в retrieval — но его упоминание в защите даст плюсы как тщательность. + +## 7. Что из всего этого тянет на отдельную гипотезу + +Я бы пересмотрел внутреннюю структуру П3 и предложил такую разбивку гипотез по симметричному loss: + +### Уточнённый N3_H2 — Гипотеза асимметричных весов + +> Информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) обоснована SNR-асимметрией drone- и sat-стороны и даёт R@1 на drone→sat выше, чем 0.5/0.5 (Sample4Geo); функционал достигает максимума при w_q ∈ [0.55, 0.65]. + +**Проверка:** grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} на University-1652 + SUES-200. Дополнительно — измерить **корреляцию между оптимальным w_q и средним SM-InfoScore(drone) − SM-InfoScore(sat)** на разных датасетах. Если корреляция значимая (Pearson |ρ| ≥ 0.5, p < 0.05) — это будет сильное доказательство связи П1 и П3. + +### Возможный новый N3_H3* — Гипотеза dual learnable τ + +> Замена одной learnable τ на две τ_q→g и τ_g→q даёт дополнительный прирост R@1 ≥ 0.3% абс., поскольку оптимальная острота softmax зависит от информативности направления retrieval. + +**Проверка:** ablation {single τ, dual τ}; ожидаем τ_q→g < τ_g→q (более sharp для более информативного направления). + +### N3_H3 в его текущей формулировке — про learnable vs fixed τ + +Остаётся как защита самого базового решения learnable τ — это «лёгкая» гипотеза, легко проверяемая. + +## 8. Риски и контраргументы + +**Риск 1: 0.6 / 0.4 — это «магические числа».** Оппонент спросит: «Почему именно 0.6, а не 0.55 или 0.65?» Ответ должен быть готов: **grid-search в N3_H2 покажет максимум в этом диапазоне, и эти числа — эмпирический оптимум**. Защита через эмпирическое обоснование легитимна — так же делает CLIP с τ = 0.07. + +**Риск 2: «Симметричный loss с весами 0.6/0.4 — это просто несимметричный loss».** Терминологически — да. Но в литературе термин «симметричный contrastive loss» используется для **двухстороннего** loss (q→g + g→q) независимо от весов. Уточнение: в диссертации стоит называть его «двухсторонним информационно-взвешенным retrieval-loss» — это точнее. + +**Риск 3: Sample4Geo показывает SOTA с 0.5/0.5.** Sample4Geo — **image-only**, информационная асимметрия отсутствует. У нас она есть из-за текста. Это разводящий аргумент. + +**Риск 4: При reverse-setup (sat имеет рандомный caption, а drone — нет) асимметрия может перевернуться.** Можно проверить это экспериментально: искусственно поменять «богатую» сторону и показать, что оптимальный w_q < 0.5. Это сделает аргумент железобетонным. + +## 9. Что добавить в диссертацию по этому разделу + +Конкретные действия, которые усилят защиту по симметричному loss: + +1. **Аналитический график** SNR(drone) − SNR(sat) vs оптимальный w_q на 3 датасетах — покажет, что веса 0.6/0.4 не магические, а коррелируют с информационной асимметрией. +2. **Reverse-setup эксперимент** (см. риск 4) — показать, что метод не зависит от конкретной интерпретации direction. +3. **Связь с InfoScore через формальный вывод**: если SM-InfoScore_drone в среднем по датасету в k раз больше SM-InfoScore_sat, то оптимальное соотношение весов соответствует w_q / w_g ≈ √k (это можно вывести из информационной интерпретации InfoNCE как нижней оценки взаимной информации, см. van den Oord et al., 2018). +4. **Дополнительная диагностика**: trajectory learnable τ во время обучения — если τ растёт от 0.07 к 0.15 (типичное поведение для multimodal CLIP), это нормально; если падает к clamp 0.01 — модель учит шум, проблема. + +## Резюме + +Симметричный retrieval-loss в вашей формулировке — это **не побочный технический элемент**, а полноценный компонент защиты, который: + +- Усиливает П1 (SNR-анализ) на уровне градиента, а не только feature-fusion +- Реализует часть П3 (системно-прикладное положение) через несимметричные веса 0.6/0.4 как информационная компенсация +- Имеет 3 поднаправления для гипотез: w_q-баланс (N3_H2), learnable τ (N3_H3), dual τ (потенциальный N3_H3*) +- Полностью совместим с edge-сценарием (loss используется только при обучении, в inference остаётся только cosine similarity) + +Я бы рекомендовал в финальной версии диссертации **явно прописать связь между несимметричным loss и SNR-анализом из П1** — это сделает три пункта НН концептуально связанными, а не «три параллельные идеи». Хотите, разверну этот вывод в виде конкретного раздела для текста диссера? \ No newline at end of file diff --git a/ДИССЕР.md b/ДИССЕР.md index df2a87b..5bc892d 100644 --- a/ДИССЕР.md +++ b/ДИССЕР.md @@ -17,9 +17,7 @@ tags: Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов. ## Научная новизна -1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: - - сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала - - легковеснее и быстрее, чем ванильный [[Attention]] +1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала 2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности 3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.