123 lines
7.2 KiB
Markdown
123 lines
7.2 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
- "#ML_Exp"
|
||
- "#residual"
|
||
---
|
||
[[Gate Fusion]]
|
||
# Эксперименты: модификации Gate-Fusion (SRGF / RCGF)
|
||
|
||
> Источник: «Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей»
|
||
> Автор: Павленко Б.В. // Проблемы искусственного интеллекта. 2024.
|
||
|
||
---
|
||
|
||
## Постановка эксперимента
|
||
|
||
**Цель:** исследовать влияние остаточных связей на качество работы Gate-Fusion в задачах регрессии и классификации на UAV-снимках.
|
||
|
||
**Гипотеза:** остаточная связь в Gate-механизмах работает как усилитель признакового сигнала и снижает ошибку, аналогично её роли в ResNet.
|
||
|
||
**Условия:**
|
||
- Backbone: StripNet-small
|
||
- Текстовый энкодер: MobileCLIP2-s0
|
||
- Оптимизатор: Ranger
|
||
- p_textDropout = 0.1, λ = 0.3 (для воспроизводимости)
|
||
- Регрессия: 10 эпох, датасет VisLoc
|
||
- Классификация: 20 эпох, датасет UC Merced Land Use Dataset (~2K снимков, 21 класс)
|
||
|
||
---
|
||
|
||
## Исследуемые методы
|
||
|
||
| Метод | Формула | Описание |
|
||
| ----------- | ------------------------------------------------------------------------------------- | ------------------------------------------ |
|
||
| Gate-Fusion | `fused = v_img ⊙ g + v_text ⊙ (1−g)` | Базовый метод |
|
||
| Gate + Sum | `fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1−g)` | Дополнительная сумма исходных модальностей |
|
||
| SRGF | `img_r = v_img ⊙ g + v_img; text_r = v_text ⊙ (1−g) + v_text; fused = img_r + text_r` | Раздельные остаточные связи |
|
||
| RCGF | `g_x = σ(W·v_text); g_y = σ(W·v_img); fused = v_img ⊙ g_y + v_text ⊙ g_x` | Перекрёстные шлюзы без остаточных связей |
|
||
|
||
---
|
||
|
||
## Результаты классификации (UC Merced)
|
||
|
||
### Обучение
|
||
|
||
| Метод | Loss | F1 | Top-1 | Top-5 |
|
||
|---|---|---|---|---|
|
||
| Gate-Fusion | 0.63 | 0.95 | 0.93 | 0.99 |
|
||
| Gate + Sum | 0.75 | 0.93 | 0.91 | 0.99 |
|
||
| SRGF | 0.75 | 0.94 | 0.93 | 0.99 |
|
||
| RCGF | 0.75 | 0.95 | 0.93 | 0.99 |
|
||
![[CLS_GFs_Train_comp_pv3_ptd_01_l_03.png]]
|
||
### Валидация
|
||
|
||
| Метод | Loss | F1 | Top-1 | Top-5 |
|
||
|---|---|---|---|---|
|
||
| Gate-Fusion | **0.72** | **0.99** | **0.98** | **1.00** |
|
||
| Gate + Sum | **0.66** | 0.97 | 0.97 | 1.00 |
|
||
| SRGF | 1.10 | 0.93 | 0.92 | 1.00 |
|
||
| RCGF | 0.88 | 0.96 | 0.96 | 0.99 |
|
||
![[CLS_GFs_val_comp_pv3_ptd_01_l_03.png]]
|
||
|
||
![[CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png]]
|
||
---
|
||
|
||
## Результаты регрессии (VisLoc)
|
||
|
||
### Обучение
|
||
|
||
| Метод | Loss | MAE |
|
||
|---|---|---|
|
||
| Gate-Fusion | 0.02 | 0.08 |
|
||
| Gate + Sum | 0.02 | 0.13 |
|
||
| SRGF | 0.03 | 0.16 |
|
||
| RCGF | 0.03 | 0.16 |
|
||
![[REGR_GFs_Train_comp_pv3_ptd_03_l_01.png]]
|
||
### Валидация
|
||
|
||
| Метод | Loss | MAE |
|
||
|---|---|---|
|
||
| Gate-Fusion | 0.14 | 0.28 |
|
||
| Gate + Sum | **0.12** | **0.19** |
|
||
| SRGF | 0.13 | 0.25 |
|
||
| RCGF | **0.12** | 0.25 |
|
||
![[REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png]]
|
||
|
||
---
|
||
|
||
## Анализ результатов
|
||
|
||
### Gate + Sum
|
||
Единственная модификация, показавшая значимое улучшение:
|
||
- Val Loss классификации: 0.66 (−8.3% к базовому)
|
||
- Val MAE регрессии: 0.19 (−32.1% к базовому)
|
||
|
||
**Механизм улучшения:** при отключённом text-dropout в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков, что компенсирует отсутствие текстовой ветки. Gate при этом сохраняет свою функцию мягкого усилителя.
|
||
|
||
**Проблема:** дополнительная сумма исходных модальностей вызывает нестабильность масштаба объединённого вектора — особенно критично для регрессии (MAE чувствителен к масштабу), менее критично для классификации (Top-1/F1 остаются высокими).
|
||
|
||
### SRGF
|
||
Раздельные остаточные связи добавляют шум исходных сигналов к уже отфильтрованным через шлюз признакам. Это **нарушает** основной принцип Gate-Fusion — регулировку вклада модальности. Результат: val Loss классификации вырос до 1.10 (ухудшение на 53%).
|
||
|
||
**Вывод:** остаточная связь на уровне каждой модальности **несовместима** с принципом работы Gate-Fusion в условиях зашумлённых UAV-данных.
|
||
|
||
### RCGF
|
||
Перекрёстные шлюзы частично улучшают регрессию (val Loss 0.12, MAE 0.25) по сравнению с базовым (val Loss 0.14, MAE 0.28), но уступают Gate + Sum. На классификации уступает базовому Gate-Fusion по F1 и Top-1.
|
||
|
||
**Концептуальная ценность:** RCGF наиболее близок к механизму внимания из исследованных вариантов — без роста вычислительной сложности. Перспективно для дальнейшего развития в направлении CVGL.
|
||
|
||
---
|
||
|
||
## Подтверждение / опровержение гипотезы
|
||
|
||
**Гипотеза частично опровергнута.** Остаточные связи в Gate-механизмах работают как усилитель сигнала только при условии сохранения оригинальной схемы Gate-Fusion (Gate + Sum). Модификации, встраивающие остаточные связи в сами шлюзы (SRGF), нарушают механизм регулировки вклада модальности и приводят к ухудшению показателей.
|
||
|
||
---
|
||
|
||
## Выводы и дальнейшие направления
|
||
|
||
1. Для задачи регрессии оптимальна модификация **Gate + Sum** при условии стабилизации масштаба объединённого вектора (например, через нормализацию).
|
||
2. Базовый **Gate-Fusion** остаётся наиболее надёжным для задачи классификации.
|
||
|