10 KiB
aliases, tags
| aliases | tags | |||
|---|---|---|---|---|
|
|
Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков
1. Проблема: почему остаточные связи разрушают работу Gate-Fusion
Формализация
Рассмотрим базовый Gate-Fusion:
g = σ(W · [v_img; v_text])
fused = v_img ⊙ g + v_text ⊙ (1 − g)
Шлюз g обучается подавлять ненадёжную модальность: если v_text зашумлен, то g → 1, и объединённое представление вырождается в v_img.
При добавлении простой остаточной связи (SRGF):
img_res = v_img ⊙ g + v_img
text_res = v_text ⊙ (1 − g) + v_text
fused = img_res + text_res
= v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
Члены v_img + v_text добавляются безусловно, независимо от качества модальностей. При зашумлённом v_text:
fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
↑ ↑
отфильтрованный сигнал необработанный шум
Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.
Условие деструктивности остаточной связи
Введём: v_text = s + n, где s — полезный сигнал, n — шумовая компонента.
Обозначим SNR = ‖s‖ / ‖n‖ — соотношение сигнал/шум для текстовой модальности.
Тогда вклад шума в итоговый вектор без остаточной связи:
noise_gate = (1 − g) ⊙ n
С остаточной связью:
noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
При g → 1 (шлюз почти полностью закрывает шумную модальность):
- без остаточной:
noise_gate → 0 - с остаточной:
noise_total → n
Вывод: остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.
2. Гипотеза адаптивной маршрутизации остаточного сигнала
Идея
Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности.
Вместо безусловного:
fused = gate_output + v_img + v_text # SRGF — всегда добавляем
Предлагается условное:
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
где r_img, r_text ∈ [0, 1] — адаптивные коэффициенты маршрутизации, вычисляемые из данных.
Варианты вычисления коэффициентов маршрутизации
Вариант A — маршрутизация через оценку нормы (сигнальная энергия)
r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
r_img = σ(w_r · ‖v_img‖ / ‖v_text‖ + b_r)
Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.
Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)
r_text = 1 − g # если шлюз уже закрыл текст → остаток тоже закрываем
r_img = g
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
= v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
= 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.
Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ
q_text = InfoScore(v_text) # скалярная оценка информативности признаков
q_img = InfoScore(v_img)
r_text = σ(W_q · [q_text; q_img] + b)
r_img = σ(W_q · [q_img; q_text] + b)
fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
InfoScore — измеримая численная характеристика информативности признакового вектора (см. InfoScore for residual routing).
Общая схема (Adaptive Residual Gate Fusion — ARGF)
v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
\ ├── + ── fused
├── [concat] → W → σ → g ── ⊙ ──┐ │
/ (1-g) ⊙ ──┤── gate_out ────────────┤
v_text── │ │
\ └────────────────────────┤
└─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
3. Предлагаемая экспериментальная программа
Этап 1. Анализ информативности в базовом Gate-Fusion
- Для каждого батча вычислять
H_norm(v_img),H_norm(v_text),TAS,‖v_text‖/‖v_img‖. - Анализировать корреляцию между показателями информативности и значением шлюза
g. - Гипотеза: при низком
TASшлюзgстремится к 1 (отвергает текст); при высокомH_norm(v_text)— аналогично.
Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
- Реализовать вариант C:
r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖]). - Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.
Этап 3. Применение к задаче CVGL
- Адаптировать ARGF для задачи перекрёстной геолокализации.
- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.
4. Связь с научной новизной диссертации
Предложенное направление напрямую развивает положения работы:
| Уже сделано | Предлагаемое расширение |
|---|---|
| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад остаточного сигнала модальности |
| text-dropout случайно обнуляет текст | Информативностный score детерминированно снижает вклад слабых признаков |
| L_align как функция потерь | L_align как оперативный сигнал качества → вход в r-маршрутизатор |
| Вывод: SRGF пропускает шум | Решение: условная маршрутизация через измеримую информативность |
Это даёт потенциальное третье положение научной новизны: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.