first commit

2_hypotheses/Adaptive_residual_routing.md

@@ -0,0 +1,173 @@
+---
+aliases:
+  - ADR
+  - res_gates
+tags:
+  - диссер
+---
+[[Gate Fusion]]
+# Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков
+
+## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion
+
+### Формализация
+
+Рассмотрим базовый Gate-Fusion:
+
+```
+g      = σ(W · [v_img; v_text])
+fused  = v_img ⊙ g + v_text ⊙ (1 − g)
+```
+
+Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`.
+
+При добавлении простой остаточной связи (SRGF):
+
+```
+img_res  = v_img  ⊙ g + v_img
+text_res = v_text ⊙ (1 − g) + v_text
+fused    = img_res + text_res
+         = v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
+```
+
+Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`:
+
+```
+fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
+                 ↑                              ↑
+         отфильтрованный сигнал         необработанный шум
+```
+
+Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.**
+
+### Условие деструктивности остаточной связи
+
+Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента.
+
+Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности.
+
+Тогда вклад шума в итоговый вектор без остаточной связи:
+
+```
+noise_gate = (1 − g) ⊙ n
+```
+
+С остаточной связью:
+
+```
+noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
+```
+
+При `g → 1` (шлюз почти полностью закрывает шумную модальность):
+- без остаточной: `noise_gate → 0`
+- с остаточной: `noise_total → n`
+
+**Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.
+
+---
+
+## 2. Гипотеза адаптивной маршрутизации остаточного сигнала
+
+### Идея
+
+Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**.
+
+Вместо безусловного:
+
+```
+fused = gate_output + v_img + v_text          # SRGF — всегда добавляем
+```
+
+Предлагается условное:
+
+```
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных.
+
+### Варианты вычисления коэффициентов маршрутизации
+
+#### Вариант A — маршрутизация через оценку нормы (сигнальная энергия)
+
+```
+r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
+r_img  = σ(w_r · ‖v_img‖  / ‖v_text‖ + b_r)
+```
+
+Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.
+
+#### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)
+
+```
+r_text = 1 − g                  # если шлюз уже закрыл текст → остаток тоже закрываем
+r_img  = g
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+      = v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
+      = 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
+```
+
+Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.
+
+#### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
+
+**===ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ===**
+
+```
+q_text = InfoScore(v_text)      # скалярная оценка информативности признаков
+q_img  = InfoScore(v_img)
+
+r_text = σ(W_q · [q_text; q_img] + b)
+r_img  = σ(W_q · [q_img; q_text] + b)
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+`InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]).
+
+### Общая схема (Adaptive Residual Gate Fusion — ARGF)
+
+```
+        v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
+              \                                                            ├── + ── fused
+               ├── [concat] → W → σ → g ── ⊙  ──┐                        │
+              /                       (1-g) ⊙ ──┤── gate_out ────────────┤
+        v_text──                                 │                        │
+              \                                  └────────────────────────┤
+               └─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
+```
+
+---
+
+## 3. Предлагаемая экспериментальная программа
+
+### Этап 1. Анализ информативности в базовом Gate-Fusion
+- Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`.
+- Анализировать корреляцию между показателями информативности и значением шлюза `g`.
+- **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично.
+
+### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
+- Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`.
+- Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
+- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.
+
+### Этап 3. Применение к задаче CVGL
+- Адаптировать ARGF для задачи перекрёстной геолокализации.
+- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
+- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.
+
+---
+
+## 4. Связь с научной новизной диссертации
+
+Предложенное направление напрямую развивает положения работы:
+
+| Уже сделано                                        | Предлагаемое расширение                                                     |
+| -------------------------------------------------- | --------------------------------------------------------------------------- |
+| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности         |
+| text-dropout случайно обнуляет текст               | Информативностный score **детерминированно** снижает вклад слабых признаков |
+| L_align как функция потерь                         | L_align как оперативный сигнал качества → вход в r-маршрутизатор            |
+| Вывод: SRGF пропускает шум                         | Решение: условная маршрутизация через измеримую информативность             |
+
+Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.

2_hypotheses/InfoScore for residual routing.md

@@ -0,0 +1,222 @@
+---
+tags:
+  - диссер
+---
+# 1. Информативность признаков: определение и численные показатели
+
+## Зачем измерять информативность признаков?
+
+==**В мультимодальном контексте вопрос «насколько полезен вектор признаков данной модальности для данного примера» является ключевым. Если текстовые признаки сформированы на основе ненадёжных или отсутствующих метаданных, их информативность низка и они вносят шум. Численная оценка информативности позволяет строить адаптивные механизмы слияния.**==
+
+---
+
+### 1.1. Энтропия распределения активаций
+
+**Идея:** слабоинформативный вектор признаков близок к равномерному распределению по компонентам (максимальная энтропия). Информативный вектор концентрирован — большинство активаций малы, единичные — высоки.
+
+Для вектора `v ∈ R^d` после softmax-нормализации `p = softmax(v)`:
+
+```
+H(v) = −Σᵢ p_i · log(p_i)
+```
+
+- `H → 0`: вектор концентрирован в одном измерении → высокая информативность.
+- `H → log(d)`: вектор равномерен → низкая информативность.
+
+**Нормализованная энтропия:**
+
+```
+H_norm(v) = H(v) / log(d)  ∈ [0, 1]
+```
+
+Можно использовать как основу для коэффициента маршрутизации:
+
+```
+r = 1 − H_norm(v)          # чем выше энтропия → меньше доверие → слабее остаток
+```
+
+**Ограничения:** чувствителен к масштабу вектора; требует нормализации перед применением.
+
+---
+
+### 1.2. Норма вектора признаков (L2-норма)
+
+**Идея:** признаки с малой нормой несут мало информации (близки к нулевому вектору).
+
+```
+‖v‖₂ = √(Σᵢ vᵢ²)
+```
+
+**Относительная норма (для сравнения модальностей):**
+
+```
+SNR_proxy = ‖v_text‖ / (‖v_img‖ + ε)
+```
+
+Если `SNR_proxy << 1` — текстовые признаки слабее визуальных → их вклад через остаточную связь нежелателен.
+
+**Плюсы:** дифференцируем, вычислительно дёшев, не требует дополнительных слоёв.  
+**Ограничения:** норма зависит от масштаба, не отражает внутреннюю структуру вектора.
+
+---
+
+### 1.3. Дисперсия активаций
+
+**Идея:** высокая дисперсия компонент вектора означает, что разные измерения несут различимую информацию. Низкая дисперсия (все компоненты близки) соответствует «вырождённому» вектору.
+
+```
+Var(v) = (1/d) · Σᵢ (vᵢ − μ_v)²,    μ_v = (1/d) · Σᵢ vᵢ
+```
+
+Нормализованный показатель:
+
+```
+CV(v) = std(v) / (|μ_v| + ε)         # коэффициент вариации
+```
+
+**Применение:** можно использовать как вспомогательный показатель совместно с нормой.
+
+---
+
+### 1.4. Косинусное сходство с «эталонным» признаком (Task-Alignment Score)
+
+**Идея:** информативность вектора модальности может быть оценена через его согласованность с результирующим предсказанием или с вектором другой модальности.
+
+**Task-Alignment:**
+
+```
+TAS(v_text, v_img) = <v_text, v_img> / (‖v_text‖ · ‖v_img‖)
+```
+
+- `TAS → 1`: модальности согласованы → текстовые признаки информативны относительно задачи.
+- `TAS → 0`: модальности ортогональны → текст несёт независимую или нерелевантную информацию.
+- `TAS → −1`: конфликт между модальностями → текст активно противоречит изображению.
+
+**Связь с L_align:** это тот же показатель, который уже применяется в функции потерь `L_align = 1 − TAS`. Таким образом, L_align можно переосмыслить не только как функцию потерь, но и как оперативный сигнал информативности текстовой модальности.
+
+---
+
+### 1.5. Ранговые меры (эффективный ранг)
+
+**Идея:** при работе с пакетом (батчем) изображений матрица признаков `V ∈ R^{B×d}` имеет эффективный ранг, отражающий разнообразие представлений. Вырожденный ранг (все строки похожи) означает, что модальность не несёт примеро-специфической информации.
+
+**Эффективный ранг через сингулярные значения:**
+
+```
+σ₁ ≥ σ₂ ≥ ... ≥ σ_r — сингулярные числа V
+p_i = σ_i / Σ_j σ_j
+
+EffRank(V) = exp(−Σᵢ p_i · log(p_i))   # экспонента энтропии p
+```
+
+- `EffRank → 1`: один доминирующий сингулярный вектор → признаки вырождены.
+- `EffRank → min(B, d)`: все направления равнозначны → признаки разнообразны.
+
+**Применение:** полезен для мониторинга качества признаков в процессе обучения; вычислительно дороже поэлементных мер, но применим на уровне батча.
+
+---
+
+### 1.6. Взаимная информация (Mutual Information)
+
+**Идея:** количество информации, которую вектор признаков `v_text` несёт о метке `y`.
+
+```
+MI(v_text; y) = H(y) − H(y | v_text)
+```
+
+**Практическая аппроксимация (MINE):** через нейросетевую оценку взаимной информации:
+
+```
+MI_θ(X; Y) ≈ E_{p(x,y)}[T_θ(x,y)] − log(E_{p(x)p(y)}[e^{T_θ(x,y)}])
+```
+
+где `T_θ` — обучаемая сеть-критик.
+
+**Применение в контексте CVGL:** MI между текстовыми признаками (метаданные) и визуальными признаками (изображение) позволяет оценить, насколько текстовый контейнер дополняет визуальную информацию, а не дублирует её.
+
+**Ограничения:** высокая вычислительная стоимость; требует отдельного обучения критика.
+
+---
+
+## Сводная таблица показателей информативности
+
+| Показатель                      | Формула (кратко)              | Сложность | Дифф-мость        | Применимость в ARGF       |
+| ------------------------------- | ----------------------------- | --------- | ----------------- | ------------------------- |
+| Нормализованная энтропия H_norm | `−Σ p·log(p) / log(d)`        | O(d)      | ✓ (через softmax) | Коэффициент r напрямую    |
+| L2-норма                        | `‖v‖₂`                        | O(d)      | ✓                 | Отношение норм как r      |
+| Дисперсия / CV                  | `std(v)/\|μ\|`                | O(d)      | ✓                 | Вспомогательный сигнал    |
+| Task-Alignment Score            | `<v_img, v_text> / (‖·‖·‖·‖)` | O(d)      | ✓                 | Переиспользование L_align |
+| Эффективный ранг                | `exp(H(σ/Σσ))`                | O(Bd²)    | Частично          | Мониторинг обучения       |
+| Взаимная информация (MINE)      | Нейросетевая оценка           | Высокая   | ✓                 | Теоретическая рамка       |
+## Проблемы
+
+![[Pasted image 20260421112254.png]]
+# 2. Идея для InfoScore 
+
+[[Рекомендации и идеи]]
+
+**==Мера корректности проекции в конкретное подпространство==** 
+
+![[Pasted image 20260421112809.png]]
+
+# 📘 Часть 4. Модификации InfoScore для возможной интеграции
+
+Если хочется сохранить InfoScore как активный компонент метода (а не только диагностику), возможны 4 пути модификации с разной степенью инвазивности.
+
+---
+
+## 🔹 4.1 Вариант M1 — SM-InfoScore (Subspace-Mahalanobis)
+
+### 💡 Идея
+Вместо меры информативности вектора в $\mathbb{R}^d$ используется мера корректности его проекции в конкретное подпространство.
+
+---
+## 📐 Формулы
+
+### Обучаемые статистики (EMA по батчам)
+
+$$
+\mu_{sub} = (1 - \alpha)\,\mu_{sub}^{prev} + \alpha \cdot \text{mean}_{batch}(v_{sub})
+$$
+$$
+\Sigma_{sub} = (1 - \alpha)\,\Sigma_{sub}^{prev} + \alpha \cdot \text{cov}_{batch}(v_{sub})
+$$
+
+где:
+- $\alpha = 0.01$ — EMA momentum
+
+---
+### 📊 SM-InfoScore
+
+$$
+SM(v_{sub}) =
+(v_{sub} - \mu_{sub})^T \cdot
+(\Sigma_{sub} + \varepsilon I)^{-1} \cdot
+(v_{sub} - \mu_{sub}) \in \mathbb{R}_+
+$$
+
+---
+## ✅ Свойства
+
+- ✔ Per-example (решает проблему EffRank)  
+- ✔ Теоретически обоснован (расстояние Махаланобиса)  
+- ✔ Дифференцируем (через стабильное разложение Холецкого)  
+- ✔ Связан с правдоподобием:
+$$
+SM = -2 \log \mathcal{N}(v_{sub}; \mu_{sub}, \Sigma_{sub}) + \text{const}
+$$
+
+---
+## 🧩 Блок-схема
+
+```text
+v_img → MLP_sub_img → P_sub^T → v_img_sub
+                                 |
+                                 ↓
+                 distance(·, μ_sub, Σ_sub) → SM_sub ∈ ℝ₊
+
+μ_sub, Σ_sub ← EMA update (running statistics)
+```
+
+![[Pasted image 20260421112940.png]]
+

2_hypotheses/Гипотезы v1.md

@@ -0,0 +1,22 @@
+---
+aliases:
+  - hypo
+tags:
+  - диссер
+---
+## H1 - Добавление доп. семантики улучшает показатели
+
+Добавление простой текстовой семантики к имеющимся признакам позволяет связать числовые или категориальные характеристики снимков и их визуальные особенности, добавив осмысленность различиям в метаданных и визуальном представлении. Такое семантическое обогащение улучшает метрики даже для задач с минимально известными входными данными. 
+
+## H2 - Остаточные связи после фильтрации шума
+
+[[Adaptive_residual_routing]]
+
+Простая остаточная связь в механизме Gate-Fusion нивелирует его работу, возвращая шум исходных данных, однако, адаптивное добавление полезного исходного сигнала на основе некой метрики информативности модальности может усилить информативность объединенного вектора даже после потери части сигнала из-за фильтрации.
+
+**==Можно развить идею [[InfoScore for residual routing]]==** 
+
+
+
+
+