174 lines
10 KiB
Markdown
174 lines
10 KiB
Markdown
---
|
||
aliases:
|
||
- ADR
|
||
- res_gates
|
||
tags:
|
||
- диссер
|
||
---
|
||
[[Gate Fusion]]
|
||
# Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков
|
||
|
||
## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion
|
||
|
||
### Формализация
|
||
|
||
Рассмотрим базовый Gate-Fusion:
|
||
|
||
```
|
||
g = σ(W · [v_img; v_text])
|
||
fused = v_img ⊙ g + v_text ⊙ (1 − g)
|
||
```
|
||
|
||
Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`.
|
||
|
||
При добавлении простой остаточной связи (SRGF):
|
||
|
||
```
|
||
img_res = v_img ⊙ g + v_img
|
||
text_res = v_text ⊙ (1 − g) + v_text
|
||
fused = img_res + text_res
|
||
= v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
|
||
```
|
||
|
||
Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`:
|
||
|
||
```
|
||
fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
|
||
↑ ↑
|
||
отфильтрованный сигнал необработанный шум
|
||
```
|
||
|
||
Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.**
|
||
|
||
### Условие деструктивности остаточной связи
|
||
|
||
Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента.
|
||
|
||
Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности.
|
||
|
||
Тогда вклад шума в итоговый вектор без остаточной связи:
|
||
|
||
```
|
||
noise_gate = (1 − g) ⊙ n
|
||
```
|
||
|
||
С остаточной связью:
|
||
|
||
```
|
||
noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
|
||
```
|
||
|
||
При `g → 1` (шлюз почти полностью закрывает шумную модальность):
|
||
- без остаточной: `noise_gate → 0`
|
||
- с остаточной: `noise_total → n`
|
||
|
||
**Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.
|
||
|
||
---
|
||
|
||
## 2. Гипотеза адаптивной маршрутизации остаточного сигнала
|
||
|
||
### Идея
|
||
|
||
Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**.
|
||
|
||
Вместо безусловного:
|
||
|
||
```
|
||
fused = gate_output + v_img + v_text # SRGF — всегда добавляем
|
||
```
|
||
|
||
Предлагается условное:
|
||
|
||
```
|
||
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
|
||
```
|
||
|
||
где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных.
|
||
|
||
### Варианты вычисления коэффициентов маршрутизации
|
||
|
||
#### Вариант A — маршрутизация через оценку нормы (сигнальная энергия)
|
||
|
||
```
|
||
r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
|
||
r_img = σ(w_r · ‖v_img‖ / ‖v_text‖ + b_r)
|
||
```
|
||
|
||
Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.
|
||
|
||
#### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)
|
||
|
||
```
|
||
r_text = 1 − g # если шлюз уже закрыл текст → остаток тоже закрываем
|
||
r_img = g
|
||
|
||
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
|
||
= v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
|
||
= 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
|
||
```
|
||
|
||
Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.
|
||
|
||
#### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
|
||
|
||
**ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ**
|
||
|
||
```
|
||
q_text = InfoScore(v_text) # скалярная оценка информативности признаков
|
||
q_img = InfoScore(v_img)
|
||
|
||
r_text = σ(W_q · [q_text; q_img] + b)
|
||
r_img = σ(W_q · [q_img; q_text] + b)
|
||
|
||
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
|
||
```
|
||
|
||
`InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]).
|
||
|
||
### Общая схема (Adaptive Residual Gate Fusion — ARGF)
|
||
|
||
```
|
||
v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
|
||
\ ├── + ── fused
|
||
├── [concat] → W → σ → g ── ⊙ ──┐ │
|
||
/ (1-g) ⊙ ──┤── gate_out ────────────┤
|
||
v_text── │ │
|
||
\ └────────────────────────┤
|
||
└─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
|
||
```
|
||
|
||
---
|
||
|
||
## 3. Предлагаемая экспериментальная программа
|
||
|
||
### Этап 1. Анализ информативности в базовом Gate-Fusion
|
||
- Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`.
|
||
- Анализировать корреляцию между показателями информативности и значением шлюза `g`.
|
||
- **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично.
|
||
|
||
### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
|
||
- Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`.
|
||
- Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
|
||
- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.
|
||
|
||
### Этап 3. Применение к задаче CVGL
|
||
- Адаптировать ARGF для задачи перекрёстной геолокализации.
|
||
- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
|
||
- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.
|
||
|
||
---
|
||
|
||
## 4. Связь с научной новизной диссертации
|
||
|
||
Предложенное направление напрямую развивает положения работы:
|
||
|
||
| Уже сделано | Предлагаемое расширение |
|
||
| -------------------------------------------------- | --------------------------------------------------------------------------- |
|
||
| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности |
|
||
| text-dropout случайно обнуляет текст | Информативностный score **детерминированно** снижает вклад слабых признаков |
|
||
| L_align как функция потерь | L_align как оперативный сигнал качества → вход в r-маршрутизатор |
|
||
| Вывод: SRGF пропускает шум | Решение: условная маршрутизация через измеримую информативность |
|
||
|
||
Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.
|