---
aliases:
  - ADR
  - res_gates
tags:
  - диссер
---
[[Gate Fusion]]
# Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков

## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion

### Формализация

Рассмотрим базовый Gate-Fusion:

```
g      = σ(W · [v_img; v_text])
fused  = v_img ⊙ g + v_text ⊙ (1 − g)
```

Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`.

При добавлении простой остаточной связи (SRGF):

```
img_res  = v_img  ⊙ g + v_img
text_res = v_text ⊙ (1 − g) + v_text
fused    = img_res + text_res
         = v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
```

Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`:

```
fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
                 ↑                              ↑
         отфильтрованный сигнал         необработанный шум
```

Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.**

### Условие деструктивности остаточной связи

Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента.

Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности.

Тогда вклад шума в итоговый вектор без остаточной связи:

```
noise_gate = (1 − g) ⊙ n
```

С остаточной связью:

```
noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
```

При `g → 1` (шлюз почти полностью закрывает шумную модальность):
- без остаточной: `noise_gate → 0`
- с остаточной: `noise_total → n`

**Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.

---

## 2. Гипотеза адаптивной маршрутизации остаточного сигнала

### Идея

Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**.

Вместо безусловного:

```
fused = gate_output + v_img + v_text          # SRGF — всегда добавляем
```

Предлагается условное:

```
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
```

где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных.

### Варианты вычисления коэффициентов маршрутизации

#### Вариант A — маршрутизация через оценку нормы (сигнальная энергия)

```
r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
r_img  = σ(w_r · ‖v_img‖  / ‖v_text‖ + b_r)
```

Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.

#### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)

```
r_text = 1 − g                  # если шлюз уже закрыл текст → остаток тоже закрываем
r_img  = g

fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
      = v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
      = 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
```

Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.

#### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)

**ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ**

```
q_text = InfoScore(v_text)      # скалярная оценка информативности признаков
q_img  = InfoScore(v_img)

r_text = σ(W_q · [q_text; q_img] + b)
r_img  = σ(W_q · [q_img; q_text] + b)

fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
```

`InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]).

### Общая схема (Adaptive Residual Gate Fusion — ARGF)

```
        v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
              \                                                            ├── + ── fused
               ├── [concat] → W → σ → g ── ⊙  ──┐                        │
              /                       (1-g) ⊙ ──┤── gate_out ────────────┤
        v_text──                                 │                        │
              \                                  └────────────────────────┤
               └─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
```

---

## 3. Предлагаемая экспериментальная программа

### Этап 1. Анализ информативности в базовом Gate-Fusion
- Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`.
- Анализировать корреляцию между показателями информативности и значением шлюза `g`.
- **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично.

### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
- Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`.
- Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.

### Этап 3. Применение к задаче CVGL
- Адаптировать ARGF для задачи перекрёстной геолокализации.
- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.

---

## 4. Связь с научной новизной диссертации

Предложенное направление напрямую развивает положения работы:

| Уже сделано                                        | Предлагаемое расширение                                                     |
| -------------------------------------------------- | --------------------------------------------------------------------------- |
| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности         |
| text-dropout случайно обнуляет текст               | Информативностный score **детерминированно** снижает вклад слабых признаков |
| L_align как функция потерь                         | L_align как оперативный сигнал качества → вход в r-маршрутизатор            |
| Вывод: SRGF пропускает шум                         | Решение: условная маршрутизация через измеримую информативность             |

Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.
