Pavlenko_disser/3_work/methods/Gate Fusion.md

aliases, tags

aliases	tags
GF gate	диссер Нейросети fusion gate

Метод Gate-Fusion и его модификации

1. Базовый Gate-Fusion

Идея

Gate-Fusion — адаптивное слияние признаков двух модальностей через обучаемый вектор шлюзов g. В отличие от конкатенации и поэлементного сложения, шлюз позволяет модели динамически регулировать вклад каждой модальности на уровне отдельных примеров батча.

Формулировка

Комбинированное промежуточное представление:

z = tanh(W_x · x + W_y · y + b_z)          (1)

Вектор шлюза:

g = σ(W_x · x + W_y · y + b_g)             (2)

Итоговое объединение:

fused = g ⊙ z + (1 − g) ⊙ x               (3)

В применяемом варианте для задачи регрессии/классификации на UAV-снимках:

fused = v_img ⊙ g + v_text ⊙ (1 − g)      (4)

где:

• v_img — вектор визуальных признаков,
• v_text — вектор текстовых признаков,
• g = σ(linear([v_img; v_text])) — обучаемый шлюз.

Свойства

• Адаптивность: шлюз вычисляется из входных данных, то есть вклад модальности меняется от примера к примеру.
• Сохранение размерности: выходной вектор имеет ту же размерность, что и входные модальности (d), без роста вычислительной нагрузки.
• Устойчивость к шуму: если одна из модальностей зашумлена, шлюз снижает её вклад, опираясь на более надёжную.
• Ограничение: меньшая выразительность межмодальных зависимостей по сравнению с полным cross-attention (нет попарного взаимодействия токенов).

---

2. Stochastic Text-Dropout

При обучении с вероятностью p_textDropout текстовые признаки игнорируются — модель обучается только на визуальном сигнале. Это:

1. Предотвращает переобучение на текстовую модальность.
2. Обеспечивает работоспособность модели в тестовом режиме, когда текстовый энкодер отключён (экономия ресурсов).

Функция потерь адаптируется:

L = L_reg,                      если text-dropout активен
L = L_reg + λ · L_align,        иначе

Функция выравнивания признаков:

L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)    (5)

Экспериментально установлены оптимальные диапазоны:

• p_textDropout ∈ {0.2, 0.3}
• λ ∈ {0.1, 0.5}

---

3. Модификация SRGF (Simple Residual Gate Fusion)

Идея

Добавление остаточных связей для каждой модальности — усиление признакового сигнала и предотвращение затухания градиентов в глубоких конфигурациях.

Формулировка

img_res  = v_img  ⊙ g + v_img              (6)
text_res = v_text ⊙ (1 − g) + v_text      (7)
fused    = img_res + text_res              (8)

Анализ

Шлюз сохраняет механизм регулировки вклада, при этом остаточная связь гарантирует, что исходный сигнал модальности всегда присутствует в итоговом представлении. Однако остаточная связь добавляет и шум исходных сигналов к уже отфильтрованным признакам, что частично нивелирует эффект подавления слабой модальности.

Результаты: не показала значимого улучшения по сравнению с базовым Gate-Fusion на задачах регрессии и классификации; наблюдается рост ошибки при валидации (val Loss: 1.10 против 0.72 для классификации).

---

4. Модификация с дополнительной суммой (Gate + Sum)

Формулировка

fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1 − g)    (9)

Анализ

Исходные признаки всегда вносят единичный вклад (через сумму), а шлюз выступает дополнительным усилителем. При отключении текстовых признаков в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков.

Результаты:

• Снижение val Loss классификации: 0.66 (против 0.72 у базового).
• Снижение val MAE регрессии: 0.19 (против 0.28 у базового).
• Проблема: дополнительное масштабирование признаков вызывает нестабильность масштаба объединённого вектора, что сильнее сказывается на регрессии, чем на классификации.

---

5. Модификация RCGF (Residual Cross-Gate Fusion)

Идея

Взаимная контекстуальная модуляция: каждая модальность управляет шлюзом другой. Текст «запрашивает» у изображения релевантные признаки; изображение верифицирует текст, подавляя слабо соотносящиеся текстовые компоненты.

Формулировка

Шлюз для изображения (управляется текстом):

g_x = σ(linear(v_text))                   (10)

Шлюз для текста (управляется изображением):

g_y = σ(linear(v_img))                    (11)

Итоговое объединение:

fused = v_img ⊙ g_y + v_text ⊙ g_x       (12)

Анализ

RCGF — концептуально ближайший к механизму внимания вариант среди исследованных: шлюз-маска функционирует как упрощённая одномерная матрица внимания. В отличие от полного cross-attention, отсутствует попарное взаимодействие токенов, что сохраняет линейную сложность.

Результаты:

• Классификация: val F1 = 0.96, val Top-1 = 0.96 (против 0.99 / 0.98 у базового Gate-Fusion).
• Регрессия: val MAE = 0.25 (против 0.28 у базового; +Gate+Sum даёт 0.19).
• Вывод: улучшение по сравнению с SRGF, но не превосходит базовый Gate-Fusion по всем метрикам.

---

6. Сводная таблица результатов

Классификация (UC Merced Land Use Dataset)

Метод	Train Loss	Val Loss	Train F1	Val F1	Train Top-1	Val Top-1
Gate-Fusion	0.63	0.72	0.95	0.99	0.93	0.98
Gate + Sum	0.75	0.66	0.93	0.97	0.91	0.97
SRGF	0.75	1.10	0.94	0.93	0.93	0.92
RCGF	0.75	0.88	0.95	0.96	0.93	0.96

Регрессия (VisLoc)

Метод	Train Loss	Val Loss	Train MAE	Val MAE
Gate-Fusion	0.02	0.14	0.08	0.28
Gate + Sum	0.02	0.12	0.13	0.19
SRGF	0.03	0.13	0.16	0.25
RCGF	0.03	0.12	0.16	0.25

---

7. Выводы

1. Базовый Gate-Fusion наиболее устойчив на задаче классификации — сохраняет чёткий механизм регулировки вклада модальностей.
2. Модификация Gate + Sum даёт наилучшее снижение ошибки регрессии (val MAE 0.19), сохраняя механизм шлюза и добавляя суммарный остаточный сигнал.
3. Остаточные связи на уровне каждой модальности (SRGF) приводят к переносу шума исходных сигналов в объединённое представление — ухудшение при классификации.
4. RCGF (перекрёстные шлюзы) — перспективное направление для дальнейшей разработки как компромисс между выразительностью cross-attention и эффективностью Gate-Fusion.
5. Применение text-dropout и L_align необходимо для предотвращения переобучения на текстовую модальность при любой конфигурации слияния.