first commit

3_work/Модификации Gate-Fusion.md

@@ -0,0 +1,125 @@
+---
+tags:
+  - диссер
+  - "#ML_Exp"
+---
+[[Gate Fusion]]
+# Эксперименты: модификации Gate-Fusion (SRGF / RCGF)
+
+> Источник: «Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей»  
+> Автор: Павленко Б.В. // Проблемы искусственного интеллекта. 2024.
+
+---
+
+## Постановка эксперимента
+
+**Цель:** исследовать влияние остаточных связей на качество работы Gate-Fusion в задачах регрессии и классификации на UAV-снимках.
+
+**Гипотеза:** остаточная связь в Gate-механизмах работает как усилитель признакового сигнала и снижает ошибку, аналогично её роли в ResNet.
+
+**Условия:**
+- Backbone: StripNet-small
+- Текстовый энкодер: MobileCLIP2-s0
+- Оптимизатор: Ranger
+- p_textDropout = 0.1, λ = 0.3 (для воспроизводимости)
+- Регрессия: 10 эпох, датасет VisLoc
+- Классификация: 20 эпох, датасет UC Merced Land Use Dataset (~2K снимков, 21 класс)
+
+---
+
+## Исследуемые методы
+
+| Метод       | Формула                                                                               | Описание                                   |
+| ----------- | ------------------------------------------------------------------------------------- | ------------------------------------------ |
+| Gate-Fusion | `fused = v_img ⊙ g + v_text ⊙ (1−g)`                                                  | Базовый метод                              |
+| Gate + Sum  | `fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1−g)`                                 | Дополнительная сумма исходных модальностей |
+| SRGF        | `img_r = v_img ⊙ g + v_img; text_r = v_text ⊙ (1−g) + v_text; fused = img_r + text_r` | Раздельные остаточные связи                |
+| RCGF        | `g_x = σ(W·v_text); g_y = σ(W·v_img); fused = v_img ⊙ g_y + v_text ⊙ g_x`             | Перекрёстные шлюзы без остаточных связей   |
+
+---
+
+## Результаты классификации (UC Merced)
+
+### Обучение
+
+| Метод | Loss | F1 | Top-1 | Top-5 |
+|---|---|---|---|---|
+| Gate-Fusion | 0.63 | 0.95 | 0.93 | 0.99 |
+| Gate + Sum | 0.75 | 0.93 | 0.91 | 0.99 |
+| SRGF | 0.75 | 0.94 | 0.93 | 0.99 |
+| RCGF | 0.75 | 0.95 | 0.93 | 0.99 |
+![[CLS_GFs_Train_comp_pv3_ptd_01_l_03.png]]
+### Валидация
+
+| Метод | Loss | F1 | Top-1 | Top-5 |
+|---|---|---|---|---|
+| Gate-Fusion | **0.72** | **0.99** | **0.98** | **1.00** |
+| Gate + Sum | **0.66** | 0.97 | 0.97 | 1.00 |
+| SRGF | 1.10 | 0.93 | 0.92 | 1.00 |
+| RCGF | 0.88 | 0.96 | 0.96 | 0.99 |
+![[CLS_GFs_val_comp_pv3_ptd_01_l_03.png]]
+
+![[CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png]]
+---
+
+## Результаты регрессии (VisLoc)
+
+### Обучение
+
+| Метод | Loss | MAE |
+|---|---|---|
+| Gate-Fusion | 0.02 | 0.08 |
+| Gate + Sum | 0.02 | 0.13 |
+| SRGF | 0.03 | 0.16 |
+| RCGF | 0.03 | 0.16 |
+![[REGR_GFs_Train_comp_pv3_ptd_03_l_01.png]]
+### Валидация
+
+| Метод | Loss | MAE |
+|---|---|---|
+| Gate-Fusion | 0.14 | 0.28 |
+| Gate + Sum | **0.12** | **0.19** |
+| SRGF | 0.13 | 0.25 |
+| RCGF | **0.12** | 0.25 |
+![[REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png]]
+
+---
+
+## Анализ результатов
+
+### Gate + Sum
+Единственная модификация, показавшая значимое улучшение:
+- Val Loss классификации: 0.66 (−8.3% к базовому)
+- Val MAE регрессии: 0.19 (−32.1% к базовому)
+
+**Механизм улучшения:** при отключённом text-dropout в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков, что компенсирует отсутствие текстовой ветки. Gate при этом сохраняет свою функцию мягкого усилителя.
+
+**Проблема:** дополнительная сумма исходных модальностей вызывает нестабильность масштаба объединённого вектора — особенно критично для регрессии (MAE чувствителен к масштабу), менее критично для классификации (Top-1/F1 остаются высокими).
+
+### SRGF
+Раздельные остаточные связи добавляют шум исходных сигналов к уже отфильтрованным через шлюз признакам. Это **нарушает** основной принцип Gate-Fusion — регулировку вклада модальности. Результат: val Loss классификации вырос до 1.10 (ухудшение на 53%).
+
+**Вывод:** остаточная связь на уровне каждой модальности **несовместима** с принципом работы Gate-Fusion в условиях зашумлённых UAV-данных.
+
+### RCGF
+Перекрёстные шлюзы частично улучшают регрессию (val Loss 0.12, MAE 0.25) по сравнению с базовым (val Loss 0.14, MAE 0.28), но уступают Gate + Sum. На классификации уступает базовому Gate-Fusion по F1 и Top-1.
+
+**Концептуальная ценность:** RCGF наиболее близок к механизму внимания из исследованных вариантов — без роста вычислительной сложности. Перспективно для дальнейшего развития в направлении CVGL.
+
+---
+
+## Подтверждение / опровержение гипотезы
+
+**Гипотеза частично опровергнута.** Остаточные связи в Gate-механизмах работают как усилитель сигнала только при условии сохранения оригинальной схемы Gate-Fusion (Gate + Sum). Модификации, встраивающие остаточные связи в сами шлюзы (SRGF), нарушают механизм регулировки вклада модальности и приводят к ухудшению показателей.
+
+---
+
+## Выводы и дальнейшие направления
+
+1. Для задачи регрессии оптимальна модификация **Gate + Sum** при условии стабилизации масштаба объединённого вектора (например, через нормализацию).
+2. Базовый **Gate-Fusion** остаётся наиболее надёжным для задачи классификации.
+3. **RCGF** — перспективное направление для адаптации под CVGL, где текст может выступать запросом к визуальному пространству.
+4. Необходимо исследовать сочетание Gate + Sum с нормализацией выходного вектора для устранения нестабильности масштаба.
+5. Для задачи CVGL требуется отдельная адаптация функции потерь с учётом метрики сопоставления изображений (triplet loss, contrastive loss).
+
+