Pavlenko_disser/3_work/Модификации Gate-Fusion.md

tags

tags
диссер #ML_Exp

Gate Fusion

Эксперименты: модификации Gate-Fusion (SRGF / RCGF)

Источник: «Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей»
Автор: Павленко Б.В. // Проблемы искусственного интеллекта. 2024.

---

Постановка эксперимента

Цель: исследовать влияние остаточных связей на качество работы Gate-Fusion в задачах регрессии и классификации на UAV-снимках.

Гипотеза: остаточная связь в Gate-механизмах работает как усилитель признакового сигнала и снижает ошибку, аналогично её роли в ResNet.

Условия:

• Backbone: StripNet-small
• Текстовый энкодер: MobileCLIP2-s0
• Оптимизатор: Ranger
• p_textDropout = 0.1, λ = 0.3 (для воспроизводимости)
• Регрессия: 10 эпох, датасет VisLoc
• Классификация: 20 эпох, датасет UC Merced Land Use Dataset (~2K снимков, 21 класс)

---

Исследуемые методы

Метод	Формула	Описание
Gate-Fusion	fused = v_img ⊙ g + v_text ⊙ (1−g)	Базовый метод
Gate + Sum	fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1−g)	Дополнительная сумма исходных модальностей
SRGF	img_r = v_img ⊙ g + v_img; text_r = v_text ⊙ (1−g) + v_text; fused = img_r + text_r	Раздельные остаточные связи
RCGF	g_x = σ(W·v_text); g_y = σ(W·v_img); fused = v_img ⊙ g_y + v_text ⊙ g_x	Перекрёстные шлюзы без остаточных связей

---

Результаты классификации (UC Merced)

Обучение

Метод	Loss	F1	Top-1	Top-5
Gate-Fusion	0.63	0.95	0.93	0.99
Gate + Sum	0.75	0.93	0.91	0.99
SRGF	0.75	0.94	0.93	0.99
RCGF	0.75	0.95	0.93	0.99
!

Валидация

Метод	Loss	F1	Top-1	Top-5
Gate-Fusion	0.72	0.99	0.98	1.00
Gate + Sum	0.66	0.97	0.97	1.00
SRGF	1.10	0.93	0.92	1.00
RCGF	0.88	0.96	0.96	0.99
!

!

Результаты регрессии (VisLoc)

Обучение

Метод	Loss	MAE
Gate-Fusion	0.02	0.08
Gate + Sum	0.02	0.13
SRGF	0.03	0.16
RCGF	0.03	0.16
!

Валидация

Метод	Loss	MAE
Gate-Fusion	0.14	0.28
Gate + Sum	0.12	0.19
SRGF	0.13	0.25
RCGF	0.12	0.25
!

---

Анализ результатов

Gate + Sum

Единственная модификация, показавшая значимое улучшение:

• Val Loss классификации: 0.66 (−8.3% к базовому)
• Val MAE регрессии: 0.19 (−32.1% к базовому)

Механизм улучшения: при отключённом text-dropout в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков, что компенсирует отсутствие текстовой ветки. Gate при этом сохраняет свою функцию мягкого усилителя.

Проблема: дополнительная сумма исходных модальностей вызывает нестабильность масштаба объединённого вектора — особенно критично для регрессии (MAE чувствителен к масштабу), менее критично для классификации (Top-1/F1 остаются высокими).

SRGF

Раздельные остаточные связи добавляют шум исходных сигналов к уже отфильтрованным через шлюз признакам. Это нарушает основной принцип Gate-Fusion — регулировку вклада модальности. Результат: val Loss классификации вырос до 1.10 (ухудшение на 53%).

Вывод: остаточная связь на уровне каждой модальности несовместима с принципом работы Gate-Fusion в условиях зашумлённых UAV-данных.

RCGF

Перекрёстные шлюзы частично улучшают регрессию (val Loss 0.12, MAE 0.25) по сравнению с базовым (val Loss 0.14, MAE 0.28), но уступают Gate + Sum. На классификации уступает базовому Gate-Fusion по F1 и Top-1.

Концептуальная ценность: RCGF наиболее близок к механизму внимания из исследованных вариантов — без роста вычислительной сложности. Перспективно для дальнейшего развития в направлении CVGL.

---

Подтверждение / опровержение гипотезы

Гипотеза частично опровергнута. Остаточные связи в Gate-механизмах работают как усилитель сигнала только при условии сохранения оригинальной схемы Gate-Fusion (Gate + Sum). Модификации, встраивающие остаточные связи в сами шлюзы (SRGF), нарушают механизм регулировки вклада модальности и приводят к ухудшению показателей.

---

Выводы и дальнейшие направления

1. Для задачи регрессии оптимальна модификация Gate + Sum при условии стабилизации масштаба объединённого вектора (например, через нормализацию).
2. Базовый Gate-Fusion остаётся наиболее надёжным для задачи классификации.