Added new claude research: IN: CVGL-retrieval state + Capt/Test pipeline descr. as test-env. OUT: New x3, hypo. x15
This commit is contained in:
25
2_hypotheses/Гипотезы N1.md
Normal file
25
2_hypotheses/Гипотезы N1.md
Normal file
@@ -0,0 +1,25 @@
|
||||
---
|
||||
aliases:
|
||||
- hypo
|
||||
tags:
|
||||
- диссер
|
||||
---
|
||||
### П1. Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации
|
||||
|
||||
Разработан метод адаптивной маршрутизации остаточной связи в шлюзовом (Gated) объединении мультимодальных drone- и satellite-признаков для задачи перекрёстной геолокализации БПЛА, основанный на субспейс-нормированной информативности (Subspace-Mahalanobis InfoScore, SM-InfoScore) с per-batch и EMA-обновляемыми статистиками (μ_sub, Σ_sub) в обучаемом L2-нормированном подпространстве признаков, отличающийся от известных методов (GMU [Arevalo, 2017], GRN, TMC, QMF [Zhang, ICML 2023], DEGF-YOLO QGU, Sample4Geo [Deuser, ICCV 2023], FSRA, MobileGeo, CGSI [Sun, IEEE T-CSVT 2025]) тем, что (1) информативность модальности оценивается через Махаланобисово расстояние в обучаемом L2-нормированном подпространстве, а не через энергетическую или эвиденциальную неопределённость; (2) метрика используется не для финального решения, а для динамического переключения коэффициента остаточной связи в Gated-блоке; (3) сопровождается теоретическим SNR-анализом, показывающим деструктивность стандартной residual-связи при низком отношении сигнал/шум модальности, что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,5 % абс., снижение чувствительности к шумам и отсутствию caption’ов и применимость на edge-устройствах (Jetson Orin) при увеличении числа обучаемых параметров не более чем на 0,5 М.
|
||||
#### N1_H1 — Гипотеза SNR-деструктивности.
|
||||
- *Формулировка:* стандартная остаточная связь q = α·d_img + (1−α)·d_txt при информативности текстовой модальности ниже порогового SNR* монотонно снижает Recall@1; существует SNR-порог, ниже которого Recall@1(α=1.0, residual on) < Recall@1(α=1.0, residual off). *Обоснование:* анализ noise-adaptive gating в QMF (arXiv:2306.02050, ICML 2023); «Geometric Mechanics of Contrastive Learning» (arXiv:2601.19597, 2025) показал persistent negative cross-modal divergence coupling при гетерогенных модальностях. *Критерий проверки:* на University-1652 при искусственном зашумлении caption (random token replacement 30 / 60 / 90 %) R@1(residual on) монотонно ниже R@1(residual off) для p_noise ≥ 60 % с p < 0,05 на парном t-test (5 запусков). *Эксперимент:* модификация `GatedFusion.forward` в репозитории — добавление флага `residual_off`; ablation residual on/off × {0, 30, 60, 90 %} noise + аналитический график SNR vs ΔR@1 на DenseUAV.
|
||||
#### N1_H2 — Гипотеза эффективности SM-InfoScore.
|
||||
- *Формулировка:* замена статической остаточной связи на адаптивную, управляемую SM-InfoScore, повышает Recall@1 на University-1652 не менее чем на δ ≥ 1,5 % абс. относительно baseline GatedFusion (σ(α)=1.0). *Обоснование:* Mahalanobis++ (Müller, Hein, ICML 2025, arXiv:2505.18032) — L2-нормализованный Mahalanobis устойчиво различает ID/OOD; geometry-based анализ (arXiv:2510.15202, 2025); subspace-aware Mahalanobis (arXiv:2506.09399, 2025). Перенос в fusion-routing задачи CVGL — оригинальный. *Критерий проверки:* R@1(SM-routed) − R@1(baseline) ≥ 1,5 %, p < 0,05 (5 запусков) на drone→sat и sat→drone; для SUES-200 — на 3 высотах (150/200/250 м); для DenseUAV — на 5 секторах. *Эксперимент:* реализация `ARGFInfoScore` модуля; подмена residual-блока на ARGF-InfoScore с {fixed Σ, per-batch Σ, EMA Σ}.
|
||||
#### N1_H3 — Гипотеза предпочтительности EMA-статистик.
|
||||
* *Формулировка:* EMA-обновляемые статистики (μ_sub, Σ_sub) с моментом β ∈ [0.99, 0.999] дают более стабильный и более высокий Recall@1, чем per-batch статистики, особенно при малых батчах (B ≤ 64), типичных для edge-обучения. *Обоснование:* в arXiv:2506.09399 (2025) показано, что dynamic adjustment ковариации снижает variance Mahalanobis-score. *Критерий проверки:* R@1(EMA) ≥ R@1(per-batch) + 0,3 % при B = 32, 64; std(R@1) по seed ниже в EMA-режиме. *Эксперимент:* grid β ∈ {0.9, 0.99, 0.999} × B ∈ {32, 64, 128} на University-1652.
|
||||
#### N1_H4 — Гипотеза совместимости с learnable α.
|
||||
* *Формулировка:* ARGF-InfoScore не конфликтует с обучаемым скаляром α — α сходится к значению, отражающему среднюю информативность модальности, а SM-InfoScore модулирует residual покадрово; их совместное применение даёт аддитивный прирост R@1. *Обоснование:* C²MF (arXiv:2603.26629, 2025) показал, что instance-level credibility complementарна глобальному весу. *Критерий проверки:* R@1(α on + SM on) ≥ R@1(α on) + R@1(SM on) − R@1(baseline) − 0,3 %; α после сходимости статистически отличается от 0 и 1 (p < 0,05). *Эксперимент:* ablation {α off, SM off} × {α on, SM off} × {α off, SM on} × {α on, SM on}.
|
||||
#### N1_H5 — Гипотеза устойчивости к отсутствию caption на sat-стороне.
|
||||
* *Формулировка:* при ARGF-InfoScore satellite-passthrough (s_txt = None) даёт SM-InfoScore_sat ≈ 0, что корректно деактивирует текстовый тракт без явной маркировки; sat→drone R@1 не падает более чем на 0,3 % абс. относительно baseline. *Обоснование:* поведение Mahalanobis-score в OOD-режиме (Mahalanobis++, ICML 2025) обеспечивает естественную деградацию при отсутствии валидного входа. *Критерий проверки:* sat→drone R@1(SM on, passthrough) ≥ R@1(baseline) − 0,3 %; SM-InfoScore_sat статистически меньше SM-InfoScore_drone (p < 0,01); распределение SM-InfoScore_sat бимодальное. *Эксперимент:* анализ распределений SM-InfoScore на drone/sat-ветвях на смешанной выборке University-1652 (часть sat с caption, часть без).
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
26
2_hypotheses/Гипотезы N2.md
Normal file
26
2_hypotheses/Гипотезы N2.md
Normal file
@@ -0,0 +1,26 @@
|
||||
---
|
||||
aliases:
|
||||
- hypo
|
||||
tags:
|
||||
- диссер
|
||||
---
|
||||
### П2. Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта
|
||||
|
||||
Предложен иерархический информативно-усиливающий и фильтрующий механизм InfoScore для трёхуровневого текстового промпта (L1 — overview, L2 — full description, L3 — cross-view fingerprint) и шаблона метаданных (T_meta) в задаче перекрёстной геолокализации БПЛА, отличающийся от известных методов мультигранулярного текстового представления (Long-CLIP [Zhang, ECCV 2024], DGTRS-CLIP [Chen, 2025], LRSCLIP, GeoText-1652 [Chu, ECCV 2024], MPS-CLIP) тем, что (1) каждому уровню промпта присваивается независимый SM-InfoScore, оцениваемый в собственном обучаемом подпространстве; (2) уровневая агрегация осуществляется через информационно-взвешенную сумму с приоритетом cross-view fingerprint L3 как наиболее инвариантного к виду компонента; (3) механизм одновременно реализует усиление (boost при высокой информативности уровня) и фильтрацию (подавление шумных / низкоинформативных уровней), что обеспечивает повышение Recall@1 на University-1652 / SUES-200 / DenseUAV на δ ≥ 1,0 % абс. и устойчивость к деградации отдельных уровней промпта без необходимости перепроектирования энкодера.
|
||||
#### N2_H1 — Гипотеза приоритета L3 (cross-view fingerprint).
|
||||
- *Формулировка:* максимальное вознаграждение в иерархическом InfoScore стабильно получает L3 (топологический cross-view fingerprint вида «18 tightly packed rooftops along a diagonal main road…»); удаление L3 даёт большее снижение R@1, чем удаление L1 или L2. *Обоснование:* MGS²-Net (arXiv:2602.10704, 2025) и MRGeo (arXiv:2603.12587, 2025) показали ценность инвариантных к виду топологических признаков; Long-CLIP (arXiv:2403.15378, ECCV 2024) подтвердил, что primary-component capture важнее full-text alignment. *Критерий проверки:* ΔR@1(no L3) − ΔR@1(no L1) ≥ 0,7 %, p < 0,05; InfoScore(L3) > InfoScore(L2) > InfoScore(L1), p < 0,05. *Эксперимент:* leave-one-level-out ablation × визуализация распределения InfoScore по уровням × cross-area split на University-1652 + SUES-200 на трёх высотах.
|
||||
#### N2_H2 — Гипотеза комплементарности T_meta и T_L3.
|
||||
* *Формулировка:* T_meta (численные метаданные — высота, yaw) и T_L3 (топологический семантический fingerprint) несут существенно различную информацию: |ρ(InfoScore(T_meta), InfoScore(T_L3))| < 0,2; их совместное включение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 %. *Обоснование:* CGSI (Sun et al., IEEE T-CSVT 2025, doc 11145113) и MBF (Zhu et al., Sensors 2023, doi:10.3390/s23020720) показали, что UAV-status text улучшает CVGL независимо от семантических описаний. *Критерий проверки:* корреляция Пирсона |ρ| < 0,2; R@1(T_meta + T_L3) ≥ R@1(T_meta) + R@1(T_L3) − R@1(baseline) − 0,3 %. *Эксперимент:* ablation {T_meta on/off} × {T_L3 on/off} × correlation analysis на SUES-200 (с явной вариативностью высот).
|
||||
#### N2_H3 — Гипотеза фильтрующего действия при шумных уровнях.
|
||||
* *Формулировка:* при искусственном зашумлении одного из уровней (например, замена L2 на случайные описания других сцен) иерархический InfoScore автоматически снижает вклад зашумлённого уровня, R@1 деградирует не более чем на 0,5 % абс. (baseline с равными весами уровней деградирует на ≥ 2,0 %). *Обоснование:* QMF (Zhang et al., ICML 2023, arXiv:2306.02050) — quality-aware веса дают provable generalization advantage; C²MF (arXiv:2603.26629, 2025) — устойчивость per-instance credibility. *Критерий проверки:* при p_noise(L2) = 50 % ΔR@1(hierarchical InfoScore) ≥ −0,5 %; ΔR@1(baseline) ≤ −2,0 %. *Эксперимент:* per-level noise injection на val-сплите University-1652 и DenseUAV.
|
||||
#### N2_H4 — Гипотеза о выгоде раздельных подпространств vs. общего.
|
||||
* *Формулировка:* учёт InfoScore в индивидуальных обучаемых подпространствах для L1, L2, L3, T_meta даёт R@1 на ≥ 0,4 % абс. выше, чем общее подпространство, поскольку статистики признаков уровней существенно различаются (T_meta — узкое распределение шаблонов; L2 — широкое семантическое; L3 — топологическое). *Обоснование:* DGTRS-CLIP (arXiv:2503.19311, 2025) и LRSCLIP показали, что short/long тексты требуют разной curriculum-схемы выравнивания. *Критерий проверки:* R@1(per-level subspace) − R@1(shared subspace) ≥ 0,4 %, p < 0,05. *Эксперимент:* shared 1 проекция vs. 4 раздельные проекции в TextFusionMLP.
|
||||
#### N2_H5 — Гипотеза совместимости П1 + П2.
|
||||
* *Формулировка:* П1 (ARGF-InfoScore на residual) и П2 (иерархический InfoScore на промпте) аддитивны: их совместное применение даёт прирост R@1 ≥ сумма индивидуальных приростов − 0,3 % абс. *Обоснование:* PFED (arXiv:2510.22582, 2025) показал, что hierarchical distillation + MI-based Multi-view Refinement аддитивны (что подтверждает аддитивность InfoScore-механизмов на разных слоях). *Критерий проверки:* 2 × 2 ablation, ΔR@1(P1+P2) ≥ ΔR@1(P1) + ΔR@1(P2) − 0,3 %. *Эксперимент:* полная 2×2-сетка на University-1652 + SUES-200.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
26
2_hypotheses/Гипотезы N3.md
Normal file
26
2_hypotheses/Гипотезы N3.md
Normal file
@@ -0,0 +1,26 @@
|
||||
---
|
||||
aliases:
|
||||
- hypo
|
||||
tags:
|
||||
- диссер
|
||||
---
|
||||
### П3. Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов
|
||||
|
||||
Получено двухтрактовое информационно-взвешенное шлюзовое объединение мультимодальных данных с раздельной маршрутизацией семантического (T_L1+L2+L3) и метаданного (T_meta) трактов и симметричным ретриевал-loss с компенсацией асимметрии drone/satellite-стороны для задачи перекрёстной геолокализации БПЛА, отличающееся от известных методов (Sample4Geo [Deuser, ICCV 2023], CGSI [Sun, IEEE T-CSVT 2025], MBF [Zhu, Sensors 2023], MPS-CLIP, FSRA, MobileGeo, GeoText-1652 [Chu, ECCV 2024]) тем, что (1) семантический и метаданный треки имеют независимые обучаемые гейты α_sem и α_meta с независимыми SM-InfoScore; (2) симметричный InfoNCE-loss с learnable температурой τ ∈ [0.01, 0.5] балансируется коэффициентами 0.6 / 0.4 в направлениях q→g и g→q, обоснованными SNR-асимметрией drone-side (rich text + image) и satellite-side (passthrough при отсутствии caption); (3) passthrough satellite-ветви теоретически эквивалентен случаю SM-InfoScore_sat → 0, что обеспечивает единую схему fusion для обеих веток и исключает необходимость отдельной обработки sat без caption, что обеспечивает повышение Recall@1 на sat→drone-направлении на δ ≥ 0,8 % абс., снижение FLOPs / latency на edge-устройстве Jetson Orin и совместимость с дистилляцией Teacher-Student.
|
||||
|
||||
#### N3_H1 — Гипотеза о выгоде раздельных гейтов α_sem и α_meta.
|
||||
* *Формулировка:* раздельные обучаемые скаляры α_sem (для T_L1+L2+L3) и α_meta (для T_meta) сходятся к статистически различающимся значениям и дают R@1 ≥ 0,6 % абс. выше, чем общий скаляр α. *Обоснование:* CGSI (IEEE T-CSVT 2025) и MBF (Sensors 2023, doi:10.3390/s23020720) — UAV-status text должен обрабатываться отдельным трактом. *Критерий проверки:* |σ(α_sem) − σ(α_meta)| ≥ 0,1 после сходимости, p < 0,05; R@1(2 gates) ≥ R@1(1 gate) + 0,6 %. *Эксперимент:* ablation {1 gate vs 2 gates} на University-1652 + DenseUAV; визуализация значений σ(α) в течение обучения.
|
||||
#### N3_H2 — Гипотеза оптимальности коэффициентов 0.6 / 0.4.
|
||||
* *Формулировка:* информационно-взвешенная балансировка 0.6·CE(q→g) + 0.4·CE(g→q) даёт лучший R@1 на sat→drone-направлении, чем симметричное 0.5 / 0.5 (Sample4Geo). *Обоснование:* Sample4Geo (arXiv:2303.11851) использует симметричный loss без учёта информационной асимметрии; RzenEmbed (arXiv:2510.27350, 2025) — task-specific learnable temperatures и hardness-weighting улучшают retrieval. *Критерий проверки:* R@1(0.6/0.4) ≥ R@1(0.5/0.5) + 0,3 % на drone→sat; в grid {0.5/0.5, 0.55/0.45, 0.6/0.4, 0.65/0.35, 0.7/0.3} максимум — в [0.55–0.65]. *Эксперимент:* sweep w_q на University-1652 + SUES-200.
|
||||
#### N3_H3 — Гипотеза о learnable τ.
|
||||
* *Формулировка:* learnable температура τ ∈ [0.01, 0.5] (init 0.07) сходится к разным значениям в разных задачах / split’ах; её фиксация снижает R@1 на ≥ 0,3 % абс. *Обоснование:* «Temperature-Free Loss» (arXiv:2501.17683, 2025) и RzenEmbed (arXiv:2510.27350, 2025) показали критичность настройки τ; SymNCE (Cui et al., 2025) — устойчивость симметричного InfoNCE с настраиваемой τ. *Критерий проверки:* τ_learned значимо отличается от 0.07 (p < 0,05); R@1(learnable τ) ≥ R@1(fixed) + 0,3 %. *Эксперимент:* ablation {fixed τ ∈ {0.05, 0.07, 0.1, 0.2}, learnable τ} на University-1652 cross-area split.
|
||||
#### N3_H4 — Гипотеза эквивалентности passthrough и нулевого InfoScore.
|
||||
* *Формулировка:* поведение GatedFusion при s_txt = None (passthrough) асимптотически эквивалентно поведению при SM-InfoScore_sat → 0; на смешанных батчах (часть sat с caption, часть без) R@1 не отличается статистически от R@1 при единообразном passthrough при включённом ARGF-InfoScore. *Обоснование:* Mahalanobis++ (ICML 2025, arXiv:2505.18032) — Mahalanobis-distance при OOD-входах естественным образом стремится к экстремальным значениям. *Критерий проверки:* на смешанном батче R@1 не отличается значимо от R@1 на 100 % без caption (p > 0,1); распределение SM-InfoScore_sat двумодальное (пик у 0 для passthrough). *Эксперимент:* варьирование доли sat с caption ∈ {0, 25, 50, 75, 100 %} на University-1652; KDE-визуализация распределений SM-InfoScore_sat.
|
||||
#### N3_H5 — Гипотеза о применимости на edge-системах и совместимости с дистилляцией.
|
||||
* *Формулировка:* при image-only inference (отключённая DGTRS-CLIP-ветвь, gate-passthrough) благодаря симметрии 0.6 / 0.4 и shared encoder Recall@1 деградирует не более чем на 1,5 % абс. относительно полной модели, что позволяет реализовать lightweight inference на Jetson Orin Nano (8 ГБ) с latency ≤ 50 мс на запрос (FP16). Метод совместим с дистилляцией Teacher-Student: текстовый тракт используется только в Teacher, а Student получает аналогичный R@1 за счёт image-only inference. *Обоснование:* PFED (arXiv:2510.22582, 2025) — 251.5 FPS на AGX Orin при R@1 97.15 % через hierarchical distillation; PeftCD (arXiv:2509.09572, 2025) — DINOv3 + LoRA / Adapter применим в production change-detection. *Критерий проверки:* ΔR@1(image-only) ≤ 1,5 %; измеренная latency ≤ 50 мс на Jetson Orin Nano (FP16); FLOPs ≤ 60 GFLOPs; при Teacher (full multimodal) + Student (image-only) дистилляции R@1(Student) ≥ R@1(image-only без дистилляции) + 0,5 %. *Эксперимент:* профилирование на Jetson Orin Nano; full multimodal → image-only ablation; KD-эксперимент (cross-entropy на τ-scaled scores) на University-1652.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1,21 +0,0 @@
|
||||
---
|
||||
aliases:
|
||||
- hypo
|
||||
tags:
|
||||
- диссер
|
||||
---
|
||||
## H1 - Добавление доп. семантики улучшает показатели
|
||||
|
||||
Добавление простой текстовой семантики к имеющимся признакам позволяет связать числовые или категориальные характеристики снимков и их визуальные особенности, добавив осмысленность различиям в метаданных и визуальном представлении. Такое семантическое обогащение улучшает метрики даже для задач с минимально известными входными данными.
|
||||
|
||||
## H2 - Остаточные связи после фильтрации шума
|
||||
|
||||
[[Adaptive_residual_routing]]
|
||||
|
||||
Простая остаточная связь в механизме Gate-Fusion нивелирует его работу, возвращая шум исходных данных, однако, адаптивное добавление полезного исходного сигнала на основе некой метрики информативности модальности может усилить информативность объединенного вектора даже после потери части сигнала из-за фильтрации.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user