---
tags:
  - диссер
  - анализ_данных
---
# Расшифровка терминов и уточнение по метрикам

## 1. ID и OOD

**ID — In-Distribution** ("в распределении") **OOD — Out-of-Distribution** ("вне распределения")

Это базовые термины из области обнаружения аномалий и оценки надёжности нейросетей.

### Что это означает

Когда вы обучаете модель на каком-то наборе данных (например, drone-снимки городских сцен), модель формирует внутреннее представление о том, как выглядят "нормальные" входы. Это и есть распределение **ID**.

Когда на инференсе подаётся что-то совсем непохожее (например, drone-снимок леса вместо города, или вообще картинка кота, или фрагмент шумовой текстуры) — это **OOD**.

### Почему это важно для вашей работы

Mahalanobis-методы из литературы (Lee et al. 2018, Mahalanobis++ 2025) изначально создавались **именно для задачи OOD-детекции**: отделить "нормальные" входы от "аномальных". Формально это работает так:

```
для x:
  вычислить d_M(x, μ_ID, Σ_ID)   # расстояние до центра ID-распределения
  
если d_M велико → x вероятно OOD (аномалия)
если d_M мало   → x вероятно ID  (всё нормально)
```

**В вашей работе** мы делаем семантически другой ход: используем **ту же математику** (расстояние Махаланобиса в обучаемом подпространстве), но **не для бинарного решения "аномалия / норма"**, а как **непрерывный управляющий сигнал** внутри forward-pass. Высокий SM-InfoScore = «признак далёк от типичного для этой модальности» = «доверять меньше, шум вероятен» — и residual-связь подавляется.

Это и есть та самая **методологическая новизна перехода** от статистического OOD-классификатора к архитектурному маршрутизатору, о которой я писал в первом отчёте. Когда я пишу «Mahalanobis++ устойчиво различает ID/OOD» — это значит «механизм хорошо отличает типичные признаки от атипичных», и **именно это свойство** мы переиспользуем для маршрутизации остаточной связи.

### Применимость к CVGL

В CVGL "OOD" может означать:

- drone-кадр с сильной засветкой / размытием
- caption с плохой генерацией (галлюцинации QwenLM)
- sat без caption (passthrough)
- метаданные с шумом GPS

Для всех этих случаев SM-InfoScore должен возрастать → residual / gate подавлять зашумлённый источник.

---

## 2. Энергетическая неопределённость (Energy-based uncertainty)

Альтернативный способ оценить «насколько модель уверена / насколько вход информативен», конкурирующий с Mahalanobis-подходом.

### Как работает

Берётся выход классификатора (логиты `z_1, ..., z_K` до softmax) и считается **энергия**:

```
E(x) = −log Σ_k exp(z_k)
```

- **Низкая энергия** (большие логиты хотя бы по одному классу) → модель уверена, вход «нормальный»
- **Высокая энергия** (все логиты примерно равные и небольшие) → модель не уверена, вход «странный»

Это монотонно связано с **свободной энергией в статистической физике** (отсюда название) и с лог-плотностью распределения данных.

### Где используется

- **Liu et al., NeurIPS 2020** — Energy-based OOD detection, классическая работа.
- **QMF (Quality-aware Multimodal Fusion)** [Zhang et al., ICML 2023, arXiv:2306.02050] — **самый близкий конкурент вашему методу**: они оценивают качество каждой модальности через энергию её предсказаний и взвешивают модальности обратно пропорционально неопределённости.

### Чем хуже / отличается от вашего SM-InfoScore

|Аспект|Energy-based (QMF)|SM-InfoScore (ваш)|
|---|---|---|
|Что измеряется|Свойство выхода классификатора|Свойство признака внутри сети|
|Когда доступен|После полного forward-pass|На любом уровне между слоями|
|Имеет ли вероятностную интерпретацию|Да (свободная энергия)|Да (лог-правдоподобие при гауссовой модели)|
|Учитывает ли ковариационную структуру|Нет (скаляр по логитам)|Да (через Σ_sub)|
|Применим ли в retrieval без классификатора|**Нет** (нужен softmax-выход)|**Да** (работает на признаках)|

**Последняя строка — критический аргумент в защите.** Энергетический подход QMF не применим в retrieval без модификаций, потому что в retrieval нет финального классификатора. У вас задача — именно retrieval, поэтому SM-InfoScore **естественно ложится** на пайплайн, а Energy-based — нет.

---

## 3. Эвиденциальная неопределённость (Evidential uncertainty)

Третья альтернативная семья методов оценки уверенности — на базе **теории Демпстера-Шейфера** и **распределения Дирихле**.

### Как работает

Вместо того чтобы предсказывать вероятности классов `p(y|x)` напрямую, модель предсказывает **параметры распределения Дирихле** `α = (α_1, ..., α_K)` над симплексом вероятностей. Это «распределение распределений».

```
α_k = exp(z_k) + 1                    # evidential output
S = Σ_k α_k                            # общая «масса свидетельств»
p_k = α_k / S                          # ожидаемая вероятность класса k
u = K / S                              # неопределённость (uncertainty mass)
```

- Большие `α_k` → много свидетельств в пользу класса k → низкая `u`
- Все `α_k ≈ 1` → нет свидетельств → высокая `u`, модель «не знает»

### Где используется

- **TMC / ETMC** [Han et al., IEEE TPAMI 45(2), 2023] — Trusted Multi-View Classification, главный конкурент в семействе evidential multimodal fusion. Они применяют **правило Демпстера** для комбинирования evidential outputs от разных модальностей.
- **EDL (Evidential Deep Learning)** [Sensoy et al., NeurIPS 2018] — оригинальная работа.

### Чем хуже / отличается от вашего SM-InfoScore

|Аспект|Evidential (TMC)|SM-InfoScore (ваш)|
|---|---|---|
|Уровень оперирования|Decision-level (классификационные выходы)|Feature-level (внутри сети)|
|Совместимость с retrieval|**Плохая** (рассчитан на классификацию)|Естественная|
|Базовая математика|Dirichlet + Демпстер-Шейфер|Многомерное гауссово правдоподобие|
|Обучаемость без меток классов|Сложно|Естественно (EMA по батчам)|
|Сложность вычислений|Сложение Демпстера квадратично по числу классов|O(d²) для Mahalanobis, O(d·k) при low-rank Σ|

**Главное:** evidential методы требуют классификационной задачи (или специальной evidential-функции потерь). В вашем retrieval-пайплайне их применение требует **тяжёлой перестройки архитектуры** — введение fake-классов, изменение loss. SM-InfoScore вписывается без этого.

---

## Сводное сравнение семейств методов оценки информативности

|Семейство|Базовый аппарат|Ключевая работа|Уровень|Подходит для retrieval CVGL|
|---|---|---|---|---|
|**Mahalanobis (subspace)**|Гауссово правдоподобие|Lee 2018 → Mahalanobis++ 2025|Feature-level|**Да** (используется автором)|
|**Energy-based**|Свободная энергия / log-sum-exp|Liu 2020 → QMF 2023|Decision-level|Нет (требует классификатора)|
|**Evidential**|Dirichlet + Демпстер-Шейфер|Sensoy 2018 → TMC 2023|Decision-level|Нет (требует классов)|
|**Entropy-based**|Шеннонова энтропия выхода|Hendrycks 2017 (MSP)|Decision-level|Нет (требует softmax)|
|**Feature-norm**|L2-норма признака|Park ICCV 2023|Feature-level|Частично (упрощённый прокси)|

В защите это работает мощно: оппоненту, который скажет «а почему не Energy-based / TMC?» вы отвечаете: **«потому что наша задача — retrieval, а не классификация; эти методы требуют классификационного выхода или существенной перестройки архитектуры, тогда как SM-InfoScore работает на признаках напрямую»**.

---

## 4. Уточнение про метрики гипотез

**Да, метрики во всех гипотезах — это ровно метрики retrieval-сопоставления самого вашего пайплайна.** Конкретнее:

### Что считается

В вашем пайплайне на выходе — нормализованные эмбеддинги `q̂ ∈ ℝ^{B×512}` (drone) и `ĝ ∈ ℝ^{N×512}` (sat-галерея). Сходство:

```
similarity = q̂ · ĝᵀ              # матрица B × N
ranking = argsort(similarity, descending=True, axis=1)
```

Для каждого drone-запроса получается **ранжированный список** sat-снимков. Метрики:

- **Recall@1 (R@1)** — доля запросов, где правильный sat оказался **на первом месте** в ранжированном списке. Главная метрика CVGL.
- **Recall@5 (R@5)** — доля запросов, где правильный sat в **топ-5**.
- **Recall@10 (R@10)** — доля запросов, где правильный sat в **топ-10**.
- **AP (Average Precision)** — площадь под precision-recall кривой; учитывает не только наличие positive в топе, но и его позицию. Для University-1652 считается mean Average Precision (mAP) по всем drone-запросам.

### Считается в двух направлениях

- **drone → sat**: основной протокол. На University-1652 это сценарий «навигация БПЛА» — по drone-кадру найти точку на спутнике.
- **sat → drone**: обратный сценарий. На University-1652 это «поиск дрона по координате» — найти все drone-кадры, снятые с заданной точки.

Стандартное представление в таблицах статей по CVGL:

```
                    drone → sat              sat → drone
Method          R@1    R@5    R@10   AP   |   R@1    AP
Baseline        85.30  ...    ...   88.55 |   89.74  85.78
Method          92.40  ...    ...   94.10 |   93.20  90.50
```

### Точно к каким гипотезам относится

Все гипотезы из трёх пунктов НН (`N1_H1`-`N1_H5`, `N2_H1`-`N2_H5`, `N3_H1`-`N3_H5`) формулируются и проверяются **именно через эти ретриевал-метрики на финальном этапе** — после полного forward-pass через ваш пайплайн.

Промежуточные диагностические величины, которые упоминаются (распределения SM-InfoScore, значения learnable α после сходимости, корреляции между уровнями) — это **внутренние диагностики**, которые объясняют **почему** метод работает, но **не являются метриками оценки гипотез сами по себе**. Это важно различать:

|Что|Роль|
|---|---|
|R@1, R@5, R@10, AP на University-1652 / SUES-200 / DenseUAV|**Главная метрика принятия / отвержения гипотезы**|
|Распределение SM-InfoScore по уровням|Диагностика, объясняющая поведение|
|Корреляция Pearson между InfoScore уровней|Диагностика для N2_H2 (комплементарность)|
|Значения α_sem и α_meta после сходимости|Диагностика для N3_H1 (раздельные гейты)|
|FLOPs, latency на Jetson|**Метрика для N3_H5 (edge-применимость)** — единственная не-ретриевал метрика|
|Loss / accuracy на классификации / регрессии (прошлые эксперименты)|**Не используется** для оценки гипотез по CVGL; только для preliminary-калибровки гиперпараметров|

### Почему важно это разделение

Если оппонент на защите спросит «а как вы доказали гипотезу N1_H2?» — ответ должен быть: **«измерено повышение Recall@1 на drone→sat на University-1652 cross-area split на 5 запусках с разными seed; парный t-test даёт p < 0.05; среднее улучшение 1.7% при заявленном пороге 1.5%»**. А не «у нас распределение SM-InfoScore стало более бимодальным».

Распределения и корреляции работают как **подтверждающие диагностики**, делающие защиту более убедительной, но **главные числа в таблицах** — это всегда retrieval-метрики ваш пайплайна на стандартных протоколах оценки соответствующих датасетов:

- **University-1652**: стандартный протокол — drone→sat и sat→drone, train на 701 building, test на 951 building (разные здания, cross-area).
- **SUES-200**: 4 высоты {150m, 200m, 250m, 300m}, отчёт R@1 / AP отдельно по высотам.
- **DenseUAV**: dense sampling в районах с интенсивной городской застройкой, отчёт R@1 / AP.

Таким образом, **повышение Recall@1 на стандартных бенчмарках CVGL — единственный критерий научной значимости** всех гипотез П1, П2 и большинства П3 (кроме N3_H5, где добавляется FLOPs / latency для edge-обоснования).