193 lines
9.7 KiB
Markdown
193 lines
9.7 KiB
Markdown
---
|
||
aliases:
|
||
- GF
|
||
- gate
|
||
tags:
|
||
- диссер
|
||
- Нейросети
|
||
- fusion
|
||
- gate
|
||
---
|
||
|
||
# Метод Gate-Fusion и его модификации
|
||
|
||
## 1. Базовый Gate-Fusion
|
||
|
||
### Идея
|
||
|
||
Gate-Fusion — адаптивное слияние признаков двух модальностей через обучаемый вектор шлюзов `g`. В отличие от конкатенации и поэлементного сложения, шлюз позволяет модели динамически регулировать вклад каждой модальности на уровне отдельных примеров батча.
|
||
|
||
### Формулировка
|
||
|
||
Комбинированное промежуточное представление:
|
||
|
||
```
|
||
z = tanh(W_x · x + W_y · y + b_z) (1)
|
||
```
|
||
|
||
Вектор шлюза:
|
||
|
||
```
|
||
g = σ(W_x · x + W_y · y + b_g) (2)
|
||
```
|
||
|
||
Итоговое объединение:
|
||
|
||
```
|
||
fused = g ⊙ z + (1 − g) ⊙ x (3)
|
||
```
|
||
|
||
В применяемом варианте для задачи регрессии/классификации на UAV-снимках:
|
||
|
||
```
|
||
fused = v_img ⊙ g + v_text ⊙ (1 − g) (4)
|
||
```
|
||
|
||
где:
|
||
- `v_img` — вектор визуальных признаков,
|
||
- `v_text` — вектор текстовых признаков,
|
||
- `g = σ(linear([v_img; v_text]))` — обучаемый шлюз.
|
||
|
||
### Свойства
|
||
|
||
- **Адаптивность:** шлюз вычисляется из входных данных, то есть вклад модальности меняется от примера к примеру.
|
||
- **Сохранение размерности:** выходной вектор имеет ту же размерность, что и входные модальности (`d`), без роста вычислительной нагрузки.
|
||
- **Устойчивость к шуму:** если одна из модальностей зашумлена, шлюз снижает её вклад, опираясь на более надёжную.
|
||
- **Ограничение:** меньшая выразительность межмодальных зависимостей по сравнению с полным cross-attention (нет попарного взаимодействия токенов).
|
||
|
||
---
|
||
|
||
## 2. Stochastic Text-Dropout
|
||
|
||
При обучении с вероятностью `p_textDropout` текстовые признаки игнорируются — модель обучается только на визуальном сигнале. Это:
|
||
|
||
1. Предотвращает переобучение на текстовую модальность.
|
||
2. Обеспечивает работоспособность модели в тестовом режиме, когда текстовый энкодер отключён (экономия ресурсов).
|
||
|
||
Функция потерь адаптируется:
|
||
|
||
```
|
||
L = L_reg, если text-dropout активен
|
||
L = L_reg + λ · L_align, иначе
|
||
```
|
||
|
||
Функция выравнивания признаков:
|
||
|
||
```
|
||
L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖) (5)
|
||
```
|
||
|
||
Экспериментально установлены оптимальные диапазоны:
|
||
- `p_textDropout ∈ {0.2, 0.3}`
|
||
- `λ ∈ {0.1, 0.5}`
|
||
|
||
---
|
||
|
||
## 3. Модификация SRGF (Simple Residual Gate Fusion)
|
||
|
||
### Идея
|
||
|
||
Добавление остаточных связей для каждой модальности — усиление признакового сигнала и предотвращение затухания градиентов в глубоких конфигурациях.
|
||
|
||
### Формулировка
|
||
|
||
```
|
||
img_res = v_img ⊙ g + v_img (6)
|
||
text_res = v_text ⊙ (1 − g) + v_text (7)
|
||
fused = img_res + text_res (8)
|
||
```
|
||
|
||
### Анализ
|
||
|
||
Шлюз сохраняет механизм регулировки вклада, при этом остаточная связь гарантирует, что исходный сигнал модальности всегда присутствует в итоговом представлении. Однако остаточная связь добавляет и шум исходных сигналов к уже отфильтрованным признакам, что частично нивелирует эффект подавления слабой модальности.
|
||
|
||
**Результаты:** не показала значимого улучшения по сравнению с базовым Gate-Fusion на задачах регрессии и классификации; наблюдается рост ошибки при валидации (val Loss: 1.10 против 0.72 для классификации).
|
||
|
||
---
|
||
|
||
## 4. Модификация с дополнительной суммой (Gate + Sum)
|
||
|
||
### Формулировка
|
||
|
||
```
|
||
fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1 − g) (9)
|
||
```
|
||
|
||
### Анализ
|
||
|
||
Исходные признаки всегда вносят единичный вклад (через сумму), а шлюз выступает дополнительным усилителем. При отключении текстовых признаков в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков.
|
||
|
||
**Результаты:**
|
||
- Снижение val Loss классификации: 0.66 (против 0.72 у базового).
|
||
- Снижение val MAE регрессии: 0.19 (против 0.28 у базового).
|
||
- Проблема: дополнительное масштабирование признаков вызывает нестабильность масштаба объединённого вектора, что сильнее сказывается на регрессии, чем на классификации.
|
||
|
||
---
|
||
|
||
## 5. Модификация RCGF (Residual Cross-Gate Fusion)
|
||
|
||
### Идея
|
||
|
||
Взаимная контекстуальная модуляция: каждая модальность управляет шлюзом другой. Текст «запрашивает» у изображения релевантные признаки; изображение верифицирует текст, подавляя слабо соотносящиеся текстовые компоненты.
|
||
|
||
### Формулировка
|
||
|
||
Шлюз для изображения (управляется текстом):
|
||
|
||
```
|
||
g_x = σ(linear(v_text)) (10)
|
||
```
|
||
|
||
Шлюз для текста (управляется изображением):
|
||
|
||
```
|
||
g_y = σ(linear(v_img)) (11)
|
||
```
|
||
|
||
Итоговое объединение:
|
||
|
||
```
|
||
fused = v_img ⊙ g_y + v_text ⊙ g_x (12)
|
||
```
|
||
|
||
### Анализ
|
||
|
||
RCGF — концептуально ближайший к механизму внимания вариант среди исследованных: шлюз-маска функционирует как упрощённая одномерная матрица внимания. В отличие от полного cross-attention, отсутствует попарное взаимодействие токенов, что сохраняет линейную сложность.
|
||
|
||
**Результаты:**
|
||
- Классификация: val F1 = 0.96, val Top-1 = 0.96 (против 0.99 / 0.98 у базового Gate-Fusion).
|
||
- Регрессия: val MAE = 0.25 (против 0.28 у базового; +Gate+Sum даёт 0.19).
|
||
- Вывод: улучшение по сравнению с SRGF, но не превосходит базовый Gate-Fusion по всем метрикам.
|
||
|
||
---
|
||
|
||
## 6. Сводная таблица результатов
|
||
|
||
### Классификация (UC Merced Land Use Dataset)
|
||
|
||
| Метод | Train Loss | Val Loss | Train F1 | Val F1 | Train Top-1 | Val Top-1 |
|
||
|---|---|---|---|---|---|---|
|
||
| Gate-Fusion | 0.63 | **0.72** | 0.95 | **0.99** | 0.93 | **0.98** |
|
||
| Gate + Sum | 0.75 | **0.66** | 0.93 | 0.97 | 0.91 | 0.97 |
|
||
| SRGF | 0.75 | 1.10 | 0.94 | 0.93 | 0.93 | 0.92 |
|
||
| RCGF | 0.75 | 0.88 | 0.95 | 0.96 | 0.93 | 0.96 |
|
||
|
||
### Регрессия (VisLoc)
|
||
|
||
| Метод | Train Loss | Val Loss | Train MAE | Val MAE |
|
||
|---|---|---|---|---|
|
||
| Gate-Fusion | 0.02 | 0.14 | 0.08 | 0.28 |
|
||
| Gate + Sum | 0.02 | **0.12** | 0.13 | **0.19** |
|
||
| SRGF | 0.03 | 0.13 | 0.16 | 0.25 |
|
||
| RCGF | 0.03 | **0.12** | 0.16 | 0.25 |
|
||
|
||
---
|
||
|
||
## 7. Выводы
|
||
|
||
1. Базовый Gate-Fusion наиболее устойчив на задаче классификации — сохраняет чёткий механизм регулировки вклада модальностей.
|
||
2. Модификация Gate + Sum даёт наилучшее снижение ошибки регрессии (val MAE 0.19), сохраняя механизм шлюза и добавляя суммарный остаточный сигнал.
|
||
3. Остаточные связи на уровне каждой модальности (SRGF) приводят к переносу шума исходных сигналов в объединённое представление — ухудшение при классификации.
|
||
4. RCGF (перекрёстные шлюзы) — перспективное направление для дальнейшей разработки как компромисс между выразительностью cross-attention и эффективностью Gate-Fusion.
|
||
5. Применение text-dropout и L_align необходимо для предотвращения переобучения на текстовую модальность при любой конфигурации слияния.
|