first commit

2026-04-24 09:49:17 +03:00
commit 5782a2b35f
46 changed files with 1783 additions and 0 deletions
--- a/2_hypotheses/Adaptive_residual_routing.md
+++ b/2_hypotheses/Adaptive_residual_routing.md
@@ -0,0 +1,173 @@
+---
+aliases:
+  - ADR
+  - res_gates
+tags:
+  - диссер
+---
+[[Gate Fusion]]
+# Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков
+
+## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion
+
+### Формализация
+
+Рассмотрим базовый Gate-Fusion:
+
+```
+g      = σ(W · [v_img; v_text])
+fused  = v_img ⊙ g + v_text ⊙ (1 − g)
+```
+
+Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`.
+
+При добавлении простой остаточной связи (SRGF):
+
+```
+img_res  = v_img  ⊙ g + v_img
+text_res = v_text ⊙ (1 − g) + v_text
+fused    = img_res + text_res
+         = v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
+```
+
+Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`:
+
+```
+fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
+                 ↑                              ↑
+         отфильтрованный сигнал         необработанный шум
+```
+
+Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.**
+
+### Условие деструктивности остаточной связи
+
+Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента.
+
+Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности.
+
+Тогда вклад шума в итоговый вектор без остаточной связи:
+
+```
+noise_gate = (1 − g) ⊙ n
+```
+
+С остаточной связью:
+
+```
+noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
+```
+
+При `g → 1` (шлюз почти полностью закрывает шумную модальность):
+- без остаточной: `noise_gate → 0`
+- с остаточной: `noise_total → n`
+
+**Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.
+
+---
+
+## 2. Гипотеза адаптивной маршрутизации остаточного сигнала
+
+### Идея
+
+Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**.
+
+Вместо безусловного:
+
+```
+fused = gate_output + v_img + v_text          # SRGF — всегда добавляем
+```
+
+Предлагается условное:
+
+```
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных.
+
+### Варианты вычисления коэффициентов маршрутизации
+
+#### Вариант A — маршрутизация через оценку нормы (сигнальная энергия)
+
+```
+r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
+r_img  = σ(w_r · ‖v_img‖  / ‖v_text‖ + b_r)
+```
+
+Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.
+
+#### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)
+
+```
+r_text = 1 − g                  # если шлюз уже закрыл текст → остаток тоже закрываем
+r_img  = g
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+      = v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
+      = 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
+```
+
+Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.
+
+#### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
+
+**===ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ===**
+
+```
+q_text = InfoScore(v_text)      # скалярная оценка информативности признаков
+q_img  = InfoScore(v_img)
+
+r_text = σ(W_q · [q_text; q_img] + b)
+r_img  = σ(W_q · [q_img; q_text] + b)
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+`InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]).
+
+### Общая схема (Adaptive Residual Gate Fusion — ARGF)
+
+```
+        v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
+              \                                                            ├── + ── fused
+               ├── [concat] → W → σ → g ── ⊙  ──┐                        │
+              /                       (1-g) ⊙ ──┤── gate_out ────────────┤
+        v_text──                                 │                        │
+              \                                  └────────────────────────┤
+               └─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
+```
+
+---
+
+## 3. Предлагаемая экспериментальная программа
+
+### Этап 1. Анализ информативности в базовом Gate-Fusion
+- Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`.
+- Анализировать корреляцию между показателями информативности и значением шлюза `g`.
+- **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично.
+
+### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
+- Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`.
+- Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
+- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.
+
+### Этап 3. Применение к задаче CVGL
+- Адаптировать ARGF для задачи перекрёстной геолокализации.
+- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
+- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.
+
+---
+
+## 4. Связь с научной новизной диссертации
+
+Предложенное направление напрямую развивает положения работы:
+
+| Уже сделано                                        | Предлагаемое расширение                                                     |
+| -------------------------------------------------- | --------------------------------------------------------------------------- |
+| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности         |
+| text-dropout случайно обнуляет текст               | Информативностный score **детерминированно** снижает вклад слабых признаков |
+| L_align как функция потерь                         | L_align как оперативный сигнал качества → вход в r-маршрутизатор            |
+| Вывод: SRGF пропускает шум                         | Решение: условная маршрутизация через измеримую информативность             |
+
+Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.