--- aliases: - ADR - res_gates tags: - диссер --- [[Gate Fusion]] # Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков ## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion ### Формализация Рассмотрим базовый Gate-Fusion: ``` g = σ(W · [v_img; v_text]) fused = v_img ⊙ g + v_text ⊙ (1 − g) ``` Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`. При добавлении простой остаточной связи (SRGF): ``` img_res = v_img ⊙ g + v_img text_res = v_text ⊙ (1 − g) + v_text fused = img_res + text_res = v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text ``` Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`: ``` fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise] ↑ ↑ отфильтрованный сигнал необработанный шум ``` Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.** ### Условие деструктивности остаточной связи Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента. Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности. Тогда вклад шума в итоговый вектор без остаточной связи: ``` noise_gate = (1 − g) ⊙ n ``` С остаточной связью: ``` noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n ``` При `g → 1` (шлюз почти полностью закрывает шумную модальность): - без остаточной: `noise_gate → 0` - с остаточной: `noise_total → n` **Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion. --- ## 2. Гипотеза адаптивной маршрутизации остаточного сигнала ### Идея Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**. Вместо безусловного: ``` fused = gate_output + v_img + v_text # SRGF — всегда добавляем ``` Предлагается условное: ``` fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text ``` где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных. ### Варианты вычисления коэффициентов маршрутизации #### Вариант A — маршрутизация через оценку нормы (сигнальная энергия) ``` r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r) r_img = σ(w_r · ‖v_img‖ / ‖v_text‖ + b_r) ``` Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор. #### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual) ``` r_text = 1 − g # если шлюз уже закрыл текст → остаток тоже закрываем r_img = g fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text = v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g) = 2 · [v_img ⊙ g + v_text ⊙ (1−g)] ``` Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай. #### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной) **ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ** ``` q_text = InfoScore(v_text) # скалярная оценка информативности признаков q_img = InfoScore(v_img) r_text = σ(W_q · [q_text; q_img] + b) r_img = σ(W_q · [q_img; q_text] + b) fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text ``` `InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]). ### Общая схема (Adaptive Residual Gate Fusion — ARGF) ``` v_img ──────────────────────────────────────────────── ⊙ r_img ──┐ \ ├── + ── fused ├── [concat] → W → σ → g ── ⊙ ──┐ │ / (1-g) ⊙ ──┤── gate_out ────────────┤ v_text── │ │ \ └────────────────────────┤ └─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘ ``` --- ## 3. Предлагаемая экспериментальная программа ### Этап 1. Анализ информативности в базовом Gate-Fusion - Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`. - Анализировать корреляцию между показателями информативности и значением шлюза `g`. - **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично. ### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion) - Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`. - Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации. - Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика. ### Этап 3. Применение к задаче CVGL - Адаптировать ARGF для задачи перекрёстной геолокализации. - Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник). - Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r. --- ## 4. Связь с научной новизной диссертации Предложенное направление напрямую развивает положения работы: | Уже сделано | Предлагаемое расширение | | -------------------------------------------------- | --------------------------------------------------------------------------- | | Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности | | text-dropout случайно обнуляет текст | Информативностный score **детерминированно** снижает вклад слабых признаков | | L_align как функция потерь | L_align как оперативный сигнал качества → вход в r-маршрутизатор | | Вывод: SRGF пропускает шум | Решение: условная маршрутизация через измеримую информативность | Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.