--- tags: - диссер --- # 1. Информативность признаков: определение и численные показатели ## Зачем измерять информативность признаков? **В мультимодальном контексте вопрос «насколько полезен вектор признаков данной модальности для данного примера» является ключевым. Если текстовые признаки сформированы на основе ненадёжных или отсутствующих метаданных, их информативность низка и они вносят шум. Численная оценка информативности позволяет строить адаптивные механизмы слияния.** --- ### 1.1. Энтропия распределения активаций **Идея:** слабоинформативный вектор признаков близок к равномерному распределению по компонентам (максимальная энтропия). Информативный вектор концентрирован — большинство активаций малы, единичные — высоки. Для вектора `v ∈ R^d` после softmax-нормализации `p = softmax(v)`: ``` H(v) = −Σᵢ p_i · log(p_i) ``` - `H → 0`: вектор концентрирован в одном измерении → высокая информативность. - `H → log(d)`: вектор равномерен → низкая информативность. **Нормализованная энтропия:** ``` H_norm(v) = H(v) / log(d) ∈ [0, 1] ``` Можно использовать как основу для коэффициента маршрутизации: ``` r = 1 − H_norm(v) # чем выше энтропия → меньше доверие → слабее остаток ``` **Ограничения:** чувствителен к масштабу вектора; требует нормализации перед применением. --- ### 1.2. Норма вектора признаков (L2-норма) **Идея:** признаки с малой нормой несут мало информации (близки к нулевому вектору). ``` ‖v‖₂ = √(Σᵢ vᵢ²) ``` **Относительная норма (для сравнения модальностей):** ``` SNR_proxy = ‖v_text‖ / (‖v_img‖ + ε) ``` Если `SNR_proxy << 1` — текстовые признаки слабее визуальных → их вклад через остаточную связь нежелателен. **Плюсы:** дифференцируем, вычислительно дёшев, не требует дополнительных слоёв. **Ограничения:** норма зависит от масштаба, не отражает внутреннюю структуру вектора. --- ### 1.3. Дисперсия активаций **Идея:** высокая дисперсия компонент вектора означает, что разные измерения несут различимую информацию. Низкая дисперсия (все компоненты близки) соответствует «вырождённому» вектору. ``` Var(v) = (1/d) · Σᵢ (vᵢ − μ_v)², μ_v = (1/d) · Σᵢ vᵢ ``` Нормализованный показатель: ``` CV(v) = std(v) / (|μ_v| + ε) # коэффициент вариации ``` **Применение:** можно использовать как вспомогательный показатель совместно с нормой. --- ### 1.4. Косинусное сходство с «эталонным» признаком (Task-Alignment Score) **Идея:** информативность вектора модальности может быть оценена через его согласованность с результирующим предсказанием или с вектором другой модальности. **Task-Alignment:** ``` TAS(v_text, v_img) = / (‖v_text‖ · ‖v_img‖) ``` - `TAS → 1`: модальности согласованы → текстовые признаки информативны относительно задачи. - `TAS → 0`: модальности ортогональны → текст несёт независимую или нерелевантную информацию. - `TAS → −1`: конфликт между модальностями → текст активно противоречит изображению. **Связь с L_align:** это тот же показатель, который уже применяется в функции потерь `L_align = 1 − TAS`. Таким образом, L_align можно переосмыслить не только как функцию потерь, но и как оперативный сигнал информативности текстовой модальности. --- ### 1.5. Ранговые меры (эффективный ранг) **Идея:** при работе с пакетом (батчем) изображений матрица признаков `V ∈ R^{B×d}` имеет эффективный ранг, отражающий разнообразие представлений. Вырожденный ранг (все строки похожи) означает, что модальность не несёт примеро-специфической информации. **Эффективный ранг через сингулярные значения:** ``` σ₁ ≥ σ₂ ≥ ... ≥ σ_r — сингулярные числа V p_i = σ_i / Σ_j σ_j EffRank(V) = exp(−Σᵢ p_i · log(p_i)) # экспонента энтропии p ``` - `EffRank → 1`: один доминирующий сингулярный вектор → признаки вырождены. - `EffRank → min(B, d)`: все направления равнозначны → признаки разнообразны. **Применение:** полезен для мониторинга качества признаков в процессе обучения; вычислительно дороже поэлементных мер, но применим на уровне батча. --- ### 1.6. Взаимная информация (Mutual Information) **Идея:** количество информации, которую вектор признаков `v_text` несёт о метке `y`. ``` MI(v_text; y) = H(y) − H(y | v_text) ``` **Практическая аппроксимация (MINE):** через нейросетевую оценку взаимной информации: ``` MI_θ(X; Y) ≈ E_{p(x,y)}[T_θ(x,y)] − log(E_{p(x)p(y)}[e^{T_θ(x,y)}]) ``` где `T_θ` — обучаемая сеть-критик. **Применение в контексте CVGL:** MI между текстовыми признаками (метаданные) и визуальными признаками (изображение) позволяет оценить, насколько текстовый контейнер дополняет визуальную информацию, а не дублирует её. **Ограничения:** высокая вычислительная стоимость; требует отдельного обучения критика. --- ## Сводная таблица показателей информативности | Показатель | Формула (кратко) | Сложность | Дифф-мость | Применимость в ARGF | | ------------------------------- | ----------------------------- | --------- | ----------------- | ------------------------- | | Нормализованная энтропия H_norm | `−Σ p·log(p) / log(d)` | O(d) | ✓ (через softmax) | Коэффициент r напрямую | | L2-норма | `‖v‖₂` | O(d) | ✓ | Отношение норм как r | | Дисперсия / CV | `std(v)/\|μ\|` | O(d) | ✓ | Вспомогательный сигнал | | Task-Alignment Score | ` / (‖·‖·‖·‖)` | O(d) | ✓ | Переиспользование L_align | | Эффективный ранг | `exp(H(σ/Σσ))` | O(Bd²) | Частично | Мониторинг обучения | | Взаимная информация (MINE) | Нейросетевая оценка | Высокая | ✓ | Теоретическая рамка | ## Проблемы ![[Pasted image 20260421112254.png]] # 2. Идея для InfoScore [[Рекомендации и идеи]] **Мера корректности проекции в конкретное подпространство** ![[Pasted image 20260421112809.png]] # 📘 Часть 4. Модификации InfoScore для возможной интеграции Если хочется сохранить InfoScore как активный компонент метода (а не только диагностику), возможны 4 пути модификации с разной степенью инвазивности. --- ## 🔹 4.1 Вариант M1 — SM-InfoScore (Subspace-Mahalanobis) ### 💡 Идея Вместо меры информативности вектора в $\mathbb{R}^d$ используется мера корректности его проекции в конкретное подпространство. --- ## 📐 Формулы ### Обучаемые статистики (EMA по батчам) $$ \mu_{sub} = (1 - \alpha)\,\mu_{sub}^{prev} + \alpha \cdot \text{mean}_{batch}(v_{sub}) $$ $$ \Sigma_{sub} = (1 - \alpha)\,\Sigma_{sub}^{prev} + \alpha \cdot \text{cov}_{batch}(v_{sub}) $$ где: - $\alpha = 0.01$ — EMA momentum --- ### 📊 SM-InfoScore $$ SM(v_{sub}) = (v_{sub} - \mu_{sub})^T \cdot (\Sigma_{sub} + \varepsilon I)^{-1} \cdot (v_{sub} - \mu_{sub}) \in \mathbb{R}_+ $$ --- ## ✅ Свойства - ✔ Per-example (решает проблему EffRank) - ✔ Теоретически обоснован (расстояние Махаланобиса) - ✔ Дифференцируем (через стабильное разложение Холецкого) - ✔ Связан с правдоподобием: $$ SM = -2 \log \mathcal{N}(v_{sub}; \mu_{sub}, \Sigma_{sub}) + \text{const} $$ --- ## 🧩 Блок-схема ```text v_img → MLP_sub_img → P_sub^T → v_img_sub | ↓ distance(·, μ_sub, Σ_sub) → SM_sub ∈ ℝ₊ μ_sub, Σ_sub ← EMA update (running statistics) ``` ![[Pasted image 20260421112940.png]]