--- aliases: - GF - gate tags: - диссер - Нейросети - fusion --- # Метод Gate-Fusion и его модификации ## 1. Базовый Gate-Fusion ### Идея Gate-Fusion — адаптивное слияние признаков двух модальностей через обучаемый вектор шлюзов `g`. В отличие от конкатенации и поэлементного сложения, шлюз позволяет модели динамически регулировать вклад каждой модальности на уровне отдельных примеров батча. ### Формулировка Комбинированное промежуточное представление: ``` z = tanh(W_x · x + W_y · y + b_z) (1) ``` Вектор шлюза: ``` g = σ(W_x · x + W_y · y + b_g) (2) ``` Итоговое объединение: ``` fused = g ⊙ z + (1 − g) ⊙ x (3) ``` В применяемом варианте для задачи регрессии/классификации на UAV-снимках: ``` fused = v_img ⊙ g + v_text ⊙ (1 − g) (4) ``` где: - `v_img` — вектор визуальных признаков, - `v_text` — вектор текстовых признаков, - `g = σ(linear([v_img; v_text]))` — обучаемый шлюз. ### Свойства - **Адаптивность:** шлюз вычисляется из входных данных, то есть вклад модальности меняется от примера к примеру. - **Сохранение размерности:** выходной вектор имеет ту же размерность, что и входные модальности (`d`), без роста вычислительной нагрузки. - **Устойчивость к шуму:** если одна из модальностей зашумлена, шлюз снижает её вклад, опираясь на более надёжную. - **Ограничение:** меньшая выразительность межмодальных зависимостей по сравнению с полным cross-attention (нет попарного взаимодействия токенов). --- ## 2. Stochastic Text-Dropout При обучении с вероятностью `p_textDropout` текстовые признаки игнорируются — модель обучается только на визуальном сигнале. Это: 1. Предотвращает переобучение на текстовую модальность. 2. Обеспечивает работоспособность модели в тестовом режиме, когда текстовый энкодер отключён (экономия ресурсов). Функция потерь адаптируется: ``` L = L_reg, если text-dropout активен L = L_reg + λ · L_align, иначе ``` Функция выравнивания признаков: ``` L_align = 1 − / (‖v_img‖ · ‖v_text‖) (5) ``` Экспериментально установлены оптимальные диапазоны: - `p_textDropout ∈ {0.2, 0.3}` - `λ ∈ {0.1, 0.5}` --- ## 3. Модификация SRGF (Simple Residual Gate Fusion) ### Идея Добавление остаточных связей для каждой модальности — усиление признакового сигнала и предотвращение затухания градиентов в глубоких конфигурациях. ### Формулировка ``` img_res = v_img ⊙ g + v_img (6) text_res = v_text ⊙ (1 − g) + v_text (7) fused = img_res + text_res (8) ``` ### Анализ Шлюз сохраняет механизм регулировки вклада, при этом остаточная связь гарантирует, что исходный сигнал модальности всегда присутствует в итоговом представлении. Однако остаточная связь добавляет и шум исходных сигналов к уже отфильтрованным признакам, что частично нивелирует эффект подавления слабой модальности. **Результаты:** не показала значимого улучшения по сравнению с базовым Gate-Fusion на задачах регрессии и классификации; наблюдается рост ошибки при валидации (val Loss: 1.10 против 0.72 для классификации). --- ## 4. Модификация с дополнительной суммой (Gate + Sum) ### Формулировка ``` fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1 − g) (9) ``` ### Анализ Исходные признаки всегда вносят единичный вклад (через сумму), а шлюз выступает дополнительным усилителем. При отключении текстовых признаков в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков. **Результаты:** - Снижение val Loss классификации: 0.66 (против 0.72 у базового). - Снижение val MAE регрессии: 0.19 (против 0.28 у базового). - Проблема: дополнительное масштабирование признаков вызывает нестабильность масштаба объединённого вектора, что сильнее сказывается на регрессии, чем на классификации. --- ## 5. Модификация RCGF (Residual Cross-Gate Fusion) ### Идея Взаимная контекстуальная модуляция: каждая модальность управляет шлюзом другой. Текст «запрашивает» у изображения релевантные признаки; изображение верифицирует текст, подавляя слабо соотносящиеся текстовые компоненты. ### Формулировка Шлюз для изображения (управляется текстом): ``` g_x = σ(linear(v_text)) (10) ``` Шлюз для текста (управляется изображением): ``` g_y = σ(linear(v_img)) (11) ``` Итоговое объединение: ``` fused = v_img ⊙ g_y + v_text ⊙ g_x (12) ``` ### Анализ RCGF — концептуально ближайший к механизму внимания вариант среди исследованных: шлюз-маска функционирует как упрощённая одномерная матрица внимания. В отличие от полного cross-attention, отсутствует попарное взаимодействие токенов, что сохраняет линейную сложность. **Результаты:** - Классификация: val F1 = 0.96, val Top-1 = 0.96 (против 0.99 / 0.98 у базового Gate-Fusion). - Регрессия: val MAE = 0.25 (против 0.28 у базового; +Gate+Sum даёт 0.19). - Вывод: улучшение по сравнению с SRGF, но не превосходит базовый Gate-Fusion по всем метрикам. --- ## 6. Сводная таблица результатов ### Классификация (UC Merced Land Use Dataset) | Метод | Train Loss | Val Loss | Train F1 | Val F1 | Train Top-1 | Val Top-1 | |---|---|---|---|---|---|---| | Gate-Fusion | 0.63 | **0.72** | 0.95 | **0.99** | 0.93 | **0.98** | | Gate + Sum | 0.75 | **0.66** | 0.93 | 0.97 | 0.91 | 0.97 | | SRGF | 0.75 | 1.10 | 0.94 | 0.93 | 0.93 | 0.92 | | RCGF | 0.75 | 0.88 | 0.95 | 0.96 | 0.93 | 0.96 | ### Регрессия (VisLoc) | Метод | Train Loss | Val Loss | Train MAE | Val MAE | |---|---|---|---|---| | Gate-Fusion | 0.02 | 0.14 | 0.08 | 0.28 | | Gate + Sum | 0.02 | **0.12** | 0.13 | **0.19** | | SRGF | 0.03 | 0.13 | 0.16 | 0.25 | | RCGF | 0.03 | **0.12** | 0.16 | 0.25 | --- ## 7. Выводы 1. Базовый Gate-Fusion наиболее устойчив на задаче классификации — сохраняет чёткий механизм регулировки вклада модальностей. 2. Модификация Gate + Sum даёт наилучшее снижение ошибки регрессии (val MAE 0.19), сохраняя механизм шлюза и добавляя суммарный остаточный сигнал. 3. Остаточные связи на уровне каждой модальности (SRGF) приводят к переносу шума исходных сигналов в объединённое представление — ухудшение при классификации. 4. RCGF (перекрёстные шлюзы) — перспективное направление для дальнейшей разработки как компромисс между выразительностью cross-attention и эффективностью Gate-Fusion. 5. Применение text-dropout и L_align необходимо для предотвращения переобучения на текстовую модальность при любой конфигурации слияния.