---
aliases:
  - GF
  - gate
tags:
  - диссер
  - Нейросети
  - fusion
  - gate
---

# Метод Gate-Fusion и его модификации

## 1. Базовый Gate-Fusion

### Идея

Gate-Fusion — адаптивное слияние признаков двух модальностей через обучаемый вектор шлюзов `g`. В отличие от конкатенации и поэлементного сложения, шлюз позволяет модели динамически регулировать вклад каждой модальности на уровне отдельных примеров батча.

### Формулировка

Комбинированное промежуточное представление:

```
z = tanh(W_x · x + W_y · y + b_z)          (1)
```

Вектор шлюза:

```
g = σ(W_x · x + W_y · y + b_g)             (2)
```

Итоговое объединение:

```
fused = g ⊙ z + (1 − g) ⊙ x               (3)
```

В применяемом варианте для задачи регрессии/классификации на UAV-снимках:

```
fused = v_img ⊙ g + v_text ⊙ (1 − g)      (4)
```

где:
- `v_img` — вектор визуальных признаков,
- `v_text` — вектор текстовых признаков,
- `g = σ(linear([v_img; v_text]))` — обучаемый шлюз.

### Свойства

- **Адаптивность:** шлюз вычисляется из входных данных, то есть вклад модальности меняется от примера к примеру.
- **Сохранение размерности:** выходной вектор имеет ту же размерность, что и входные модальности (`d`), без роста вычислительной нагрузки.
- **Устойчивость к шуму:** если одна из модальностей зашумлена, шлюз снижает её вклад, опираясь на более надёжную.
- **Ограничение:** меньшая выразительность межмодальных зависимостей по сравнению с полным cross-attention (нет попарного взаимодействия токенов).

---

## 2. Stochastic Text-Dropout

При обучении с вероятностью `p_textDropout` текстовые признаки игнорируются — модель обучается только на визуальном сигнале. Это:

1. Предотвращает переобучение на текстовую модальность.
2. Обеспечивает работоспособность модели в тестовом режиме, когда текстовый энкодер отключён (экономия ресурсов).

Функция потерь адаптируется:

```
L = L_reg,                      если text-dropout активен
L = L_reg + λ · L_align,        иначе
```

Функция выравнивания признаков:

```
L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)    (5)
```

Экспериментально установлены оптимальные диапазоны:
- `p_textDropout ∈ {0.2, 0.3}`
- `λ ∈ {0.1, 0.5}`

---

## 3. Модификация SRGF (Simple Residual Gate Fusion)

### Идея

Добавление остаточных связей для каждой модальности — усиление признакового сигнала и предотвращение затухания градиентов в глубоких конфигурациях.

### Формулировка

```
img_res  = v_img  ⊙ g + v_img              (6)
text_res = v_text ⊙ (1 − g) + v_text      (7)
fused    = img_res + text_res              (8)
```

### Анализ

Шлюз сохраняет механизм регулировки вклада, при этом остаточная связь гарантирует, что исходный сигнал модальности всегда присутствует в итоговом представлении. Однако остаточная связь добавляет и шум исходных сигналов к уже отфильтрованным признакам, что частично нивелирует эффект подавления слабой модальности.

**Результаты:** не показала значимого улучшения по сравнению с базовым Gate-Fusion на задачах регрессии и классификации; наблюдается рост ошибки при валидации (val Loss: 1.10 против 0.72 для классификации).

---

## 4. Модификация с дополнительной суммой (Gate + Sum)

### Формулировка

```
fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1 − g)    (9)
```

### Анализ

Исходные признаки всегда вносят единичный вклад (через сумму), а шлюз выступает дополнительным усилителем. При отключении текстовых признаков в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков.

**Результаты:** 
- Снижение val Loss классификации: 0.66 (против 0.72 у базового).
- Снижение val MAE регрессии: 0.19 (против 0.28 у базового).
- Проблема: дополнительное масштабирование признаков вызывает нестабильность масштаба объединённого вектора, что сильнее сказывается на регрессии, чем на классификации.

---

## 5. Модификация RCGF (Residual Cross-Gate Fusion)

### Идея

Взаимная контекстуальная модуляция: каждая модальность управляет шлюзом другой. Текст «запрашивает» у изображения релевантные признаки; изображение верифицирует текст, подавляя слабо соотносящиеся текстовые компоненты.

### Формулировка

Шлюз для изображения (управляется текстом):

```
g_x = σ(linear(v_text))                   (10)
```

Шлюз для текста (управляется изображением):

```
g_y = σ(linear(v_img))                    (11)
```

Итоговое объединение:

```
fused = v_img ⊙ g_y + v_text ⊙ g_x       (12)
```

### Анализ

RCGF — концептуально ближайший к механизму внимания вариант среди исследованных: шлюз-маска функционирует как упрощённая одномерная матрица внимания. В отличие от полного cross-attention, отсутствует попарное взаимодействие токенов, что сохраняет линейную сложность.

**Результаты:**
- Классификация: val F1 = 0.96, val Top-1 = 0.96 (против 0.99 / 0.98 у базового Gate-Fusion).
- Регрессия: val MAE = 0.25 (против 0.28 у базового; +Gate+Sum даёт 0.19).
- Вывод: улучшение по сравнению с SRGF, но не превосходит базовый Gate-Fusion по всем метрикам.

---

## 6. Сводная таблица результатов

### Классификация (UC Merced Land Use Dataset)

| Метод | Train Loss | Val Loss | Train F1 | Val F1 | Train Top-1 | Val Top-1 |
|---|---|---|---|---|---|---|
| Gate-Fusion | 0.63 | **0.72** | 0.95 | **0.99** | 0.93 | **0.98** |
| Gate + Sum | 0.75 | **0.66** | 0.93 | 0.97 | 0.91 | 0.97 |
| SRGF | 0.75 | 1.10 | 0.94 | 0.93 | 0.93 | 0.92 |
| RCGF | 0.75 | 0.88 | 0.95 | 0.96 | 0.93 | 0.96 |

### Регрессия (VisLoc)

| Метод | Train Loss | Val Loss | Train MAE | Val MAE |
|---|---|---|---|---|
| Gate-Fusion | 0.02 | 0.14 | 0.08 | 0.28 |
| Gate + Sum | 0.02 | **0.12** | 0.13 | **0.19** |
| SRGF | 0.03 | 0.13 | 0.16 | 0.25 |
| RCGF | 0.03 | **0.12** | 0.16 | 0.25 |

---

## 7. Выводы

1. Базовый Gate-Fusion наиболее устойчив на задаче классификации — сохраняет чёткий механизм регулировки вклада модальностей.
2. Модификация Gate + Sum даёт наилучшее снижение ошибки регрессии (val MAE 0.19), сохраняя механизм шлюза и добавляя суммарный остаточный сигнал.
3. Остаточные связи на уровне каждой модальности (SRGF) приводят к переносу шума исходных сигналов в объединённое представление — ухудшение при классификации.
4. RCGF (перекрёстные шлюзы) — перспективное направление для дальнейшей разработки как компромисс между выразительностью cross-attention и эффективностью Gate-Fusion.
5. Применение text-dropout и L_align необходимо для предотвращения переобучения на текстовую модальность при любой конфигурации слияния.
