---
tags:
  - диссер
  - "#ML_Exp"
---
[[Gate Fusion]]
# Эксперименты: модификации Gate-Fusion (SRGF / RCGF)

> Источник: «Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей»  
> Автор: Павленко Б.В. // Проблемы искусственного интеллекта. 2024.

---

## Постановка эксперимента

**Цель:** исследовать влияние остаточных связей на качество работы Gate-Fusion в задачах регрессии и классификации на UAV-снимках.

**Гипотеза:** остаточная связь в Gate-механизмах работает как усилитель признакового сигнала и снижает ошибку, аналогично её роли в ResNet.

**Условия:**
- Backbone: StripNet-small
- Текстовый энкодер: MobileCLIP2-s0
- Оптимизатор: Ranger
- p_textDropout = 0.1, λ = 0.3 (для воспроизводимости)
- Регрессия: 10 эпох, датасет VisLoc
- Классификация: 20 эпох, датасет UC Merced Land Use Dataset (~2K снимков, 21 класс)

---

## Исследуемые методы

| Метод       | Формула                                                                               | Описание                                   |
| ----------- | ------------------------------------------------------------------------------------- | ------------------------------------------ |
| Gate-Fusion | `fused = v_img ⊙ g + v_text ⊙ (1−g)`                                                  | Базовый метод                              |
| Gate + Sum  | `fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1−g)`                                 | Дополнительная сумма исходных модальностей |
| SRGF        | `img_r = v_img ⊙ g + v_img; text_r = v_text ⊙ (1−g) + v_text; fused = img_r + text_r` | Раздельные остаточные связи                |
| RCGF        | `g_x = σ(W·v_text); g_y = σ(W·v_img); fused = v_img ⊙ g_y + v_text ⊙ g_x`             | Перекрёстные шлюзы без остаточных связей   |

---

## Результаты классификации (UC Merced)

### Обучение

| Метод | Loss | F1 | Top-1 | Top-5 |
|---|---|---|---|---|
| Gate-Fusion | 0.63 | 0.95 | 0.93 | 0.99 |
| Gate + Sum | 0.75 | 0.93 | 0.91 | 0.99 |
| SRGF | 0.75 | 0.94 | 0.93 | 0.99 |
| RCGF | 0.75 | 0.95 | 0.93 | 0.99 |
![[CLS_GFs_Train_comp_pv3_ptd_01_l_03.png]]
### Валидация

| Метод | Loss | F1 | Top-1 | Top-5 |
|---|---|---|---|---|
| Gate-Fusion | **0.72** | **0.99** | **0.98** | **1.00** |
| Gate + Sum | **0.66** | 0.97 | 0.97 | 1.00 |
| SRGF | 1.10 | 0.93 | 0.92 | 1.00 |
| RCGF | 0.88 | 0.96 | 0.96 | 0.99 |
![[CLS_GFs_val_comp_pv3_ptd_01_l_03.png]]

![[CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png]]
---

## Результаты регрессии (VisLoc)

### Обучение

| Метод | Loss | MAE |
|---|---|---|
| Gate-Fusion | 0.02 | 0.08 |
| Gate + Sum | 0.02 | 0.13 |
| SRGF | 0.03 | 0.16 |
| RCGF | 0.03 | 0.16 |
![[REGR_GFs_Train_comp_pv3_ptd_03_l_01.png]]
### Валидация

| Метод | Loss | MAE |
|---|---|---|
| Gate-Fusion | 0.14 | 0.28 |
| Gate + Sum | **0.12** | **0.19** |
| SRGF | 0.13 | 0.25 |
| RCGF | **0.12** | 0.25 |
![[REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png]]

---

## Анализ результатов

### Gate + Sum
Единственная модификация, показавшая значимое улучшение:
- Val Loss классификации: 0.66 (−8.3% к базовому)
- Val MAE регрессии: 0.19 (−32.1% к базовому)

**Механизм улучшения:** при отключённом text-dropout в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков, что компенсирует отсутствие текстовой ветки. Gate при этом сохраняет свою функцию мягкого усилителя.

**Проблема:** дополнительная сумма исходных модальностей вызывает нестабильность масштаба объединённого вектора — особенно критично для регрессии (MAE чувствителен к масштабу), менее критично для классификации (Top-1/F1 остаются высокими).

### SRGF
Раздельные остаточные связи добавляют шум исходных сигналов к уже отфильтрованным через шлюз признакам. Это **нарушает** основной принцип Gate-Fusion — регулировку вклада модальности. Результат: val Loss классификации вырос до 1.10 (ухудшение на 53%).

**Вывод:** остаточная связь на уровне каждой модальности **несовместима** с принципом работы Gate-Fusion в условиях зашумлённых UAV-данных.

### RCGF
Перекрёстные шлюзы частично улучшают регрессию (val Loss 0.12, MAE 0.25) по сравнению с базовым (val Loss 0.14, MAE 0.28), но уступают Gate + Sum. На классификации уступает базовому Gate-Fusion по F1 и Top-1.

**Концептуальная ценность:** RCGF наиболее близок к механизму внимания из исследованных вариантов — без роста вычислительной сложности. Перспективно для дальнейшего развития в направлении CVGL.

---

## Подтверждение / опровержение гипотезы

**Гипотеза частично опровергнута.** Остаточные связи в Gate-механизмах работают как усилитель сигнала только при условии сохранения оригинальной схемы Gate-Fusion (Gate + Sum). Модификации, встраивающие остаточные связи в сами шлюзы (SRGF), нарушают механизм регулировки вклада модальности и приводят к ухудшению показателей.

---

## Выводы и дальнейшие направления

1. Для задачи регрессии оптимальна модификация **Gate + Sum** при условии стабилизации масштаба объединённого вектора (например, через нормализацию).
2. Базовый **Gate-Fusion** остаётся наиболее надёжным для задачи классификации.
3. **RCGF** — перспективное направление для адаптации под CVGL, где текст может выступать запросом к визуальному пространству.
4. Необходимо исследовать сочетание Gate + Sum с нормализацией выходного вектора для устранения нестабильности масштаба.
5. Для задачи CVGL требуется отдельная адаптация функции потерь с учётом метрики сопоставления изображений (triplet loss, contrastive loss).