195 lines
17 KiB
Markdown
195 lines
17 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
- анализ_данных
|
||
---
|
||
# Расшифровка терминов и уточнение по метрикам
|
||
|
||
## 1. ID и OOD
|
||
|
||
**ID — In-Distribution** ("в распределении") **OOD — Out-of-Distribution** ("вне распределения")
|
||
|
||
Это базовые термины из области обнаружения аномалий и оценки надёжности нейросетей.
|
||
|
||
### Что это означает
|
||
|
||
Когда вы обучаете модель на каком-то наборе данных (например, drone-снимки городских сцен), модель формирует внутреннее представление о том, как выглядят "нормальные" входы. Это и есть распределение **ID**.
|
||
|
||
Когда на инференсе подаётся что-то совсем непохожее (например, drone-снимок леса вместо города, или вообще картинка кота, или фрагмент шумовой текстуры) — это **OOD**.
|
||
|
||
### Почему это важно для вашей работы
|
||
|
||
Mahalanobis-методы из литературы (Lee et al. 2018, Mahalanobis++ 2025) изначально создавались **именно для задачи OOD-детекции**: отделить "нормальные" входы от "аномальных". Формально это работает так:
|
||
|
||
```
|
||
для x:
|
||
вычислить d_M(x, μ_ID, Σ_ID) # расстояние до центра ID-распределения
|
||
|
||
если d_M велико → x вероятно OOD (аномалия)
|
||
если d_M мало → x вероятно ID (всё нормально)
|
||
```
|
||
|
||
**В вашей работе** мы делаем семантически другой ход: используем **ту же математику** (расстояние Махаланобиса в обучаемом подпространстве), но **не для бинарного решения "аномалия / норма"**, а как **непрерывный управляющий сигнал** внутри forward-pass. Высокий SM-InfoScore = «признак далёк от типичного для этой модальности» = «доверять меньше, шум вероятен» — и residual-связь подавляется.
|
||
|
||
Это и есть та самая **методологическая новизна перехода** от статистического OOD-классификатора к архитектурному маршрутизатору, о которой я писал в первом отчёте. Когда я пишу «Mahalanobis++ устойчиво различает ID/OOD» — это значит «механизм хорошо отличает типичные признаки от атипичных», и **именно это свойство** мы переиспользуем для маршрутизации остаточной связи.
|
||
|
||
### Применимость к CVGL
|
||
|
||
В CVGL "OOD" может означать:
|
||
|
||
- drone-кадр с сильной засветкой / размытием
|
||
- caption с плохой генерацией (галлюцинации QwenLM)
|
||
- sat без caption (passthrough)
|
||
- метаданные с шумом GPS
|
||
|
||
Для всех этих случаев SM-InfoScore должен возрастать → residual / gate подавлять зашумлённый источник.
|
||
|
||
---
|
||
|
||
## 2. Энергетическая неопределённость (Energy-based uncertainty)
|
||
|
||
Альтернативный способ оценить «насколько модель уверена / насколько вход информативен», конкурирующий с Mahalanobis-подходом.
|
||
|
||
### Как работает
|
||
|
||
Берётся выход классификатора (логиты `z_1, ..., z_K` до softmax) и считается **энергия**:
|
||
|
||
```
|
||
E(x) = −log Σ_k exp(z_k)
|
||
```
|
||
|
||
- **Низкая энергия** (большие логиты хотя бы по одному классу) → модель уверена, вход «нормальный»
|
||
- **Высокая энергия** (все логиты примерно равные и небольшие) → модель не уверена, вход «странный»
|
||
|
||
Это монотонно связано с **свободной энергией в статистической физике** (отсюда название) и с лог-плотностью распределения данных.
|
||
|
||
### Где используется
|
||
|
||
- **Liu et al., NeurIPS 2020** — Energy-based OOD detection, классическая работа.
|
||
- **QMF (Quality-aware Multimodal Fusion)** [Zhang et al., ICML 2023, arXiv:2306.02050] — **самый близкий конкурент вашему методу**: они оценивают качество каждой модальности через энергию её предсказаний и взвешивают модальности обратно пропорционально неопределённости.
|
||
|
||
### Чем хуже / отличается от вашего SM-InfoScore
|
||
|
||
|Аспект|Energy-based (QMF)|SM-InfoScore (ваш)|
|
||
|---|---|---|
|
||
|Что измеряется|Свойство выхода классификатора|Свойство признака внутри сети|
|
||
|Когда доступен|После полного forward-pass|На любом уровне между слоями|
|
||
|Имеет ли вероятностную интерпретацию|Да (свободная энергия)|Да (лог-правдоподобие при гауссовой модели)|
|
||
|Учитывает ли ковариационную структуру|Нет (скаляр по логитам)|Да (через Σ_sub)|
|
||
|Применим ли в retrieval без классификатора|**Нет** (нужен softmax-выход)|**Да** (работает на признаках)|
|
||
|
||
**Последняя строка — критический аргумент в защите.** Энергетический подход QMF не применим в retrieval без модификаций, потому что в retrieval нет финального классификатора. У вас задача — именно retrieval, поэтому SM-InfoScore **естественно ложится** на пайплайн, а Energy-based — нет.
|
||
|
||
---
|
||
|
||
## 3. Эвиденциальная неопределённость (Evidential uncertainty)
|
||
|
||
Третья альтернативная семья методов оценки уверенности — на базе **теории Демпстера-Шейфера** и **распределения Дирихле**.
|
||
|
||
### Как работает
|
||
|
||
Вместо того чтобы предсказывать вероятности классов `p(y|x)` напрямую, модель предсказывает **параметры распределения Дирихле** `α = (α_1, ..., α_K)` над симплексом вероятностей. Это «распределение распределений».
|
||
|
||
```
|
||
α_k = exp(z_k) + 1 # evidential output
|
||
S = Σ_k α_k # общая «масса свидетельств»
|
||
p_k = α_k / S # ожидаемая вероятность класса k
|
||
u = K / S # неопределённость (uncertainty mass)
|
||
```
|
||
|
||
- Большие `α_k` → много свидетельств в пользу класса k → низкая `u`
|
||
- Все `α_k ≈ 1` → нет свидетельств → высокая `u`, модель «не знает»
|
||
|
||
### Где используется
|
||
|
||
- **TMC / ETMC** [Han et al., IEEE TPAMI 45(2), 2023] — Trusted Multi-View Classification, главный конкурент в семействе evidential multimodal fusion. Они применяют **правило Демпстера** для комбинирования evidential outputs от разных модальностей.
|
||
- **EDL (Evidential Deep Learning)** [Sensoy et al., NeurIPS 2018] — оригинальная работа.
|
||
|
||
### Чем хуже / отличается от вашего SM-InfoScore
|
||
|
||
|Аспект|Evidential (TMC)|SM-InfoScore (ваш)|
|
||
|---|---|---|
|
||
|Уровень оперирования|Decision-level (классификационные выходы)|Feature-level (внутри сети)|
|
||
|Совместимость с retrieval|**Плохая** (рассчитан на классификацию)|Естественная|
|
||
|Базовая математика|Dirichlet + Демпстер-Шейфер|Многомерное гауссово правдоподобие|
|
||
|Обучаемость без меток классов|Сложно|Естественно (EMA по батчам)|
|
||
|Сложность вычислений|Сложение Демпстера квадратично по числу классов|O(d²) для Mahalanobis, O(d·k) при low-rank Σ|
|
||
|
||
**Главное:** evidential методы требуют классификационной задачи (или специальной evidential-функции потерь). В вашем retrieval-пайплайне их применение требует **тяжёлой перестройки архитектуры** — введение fake-классов, изменение loss. SM-InfoScore вписывается без этого.
|
||
|
||
---
|
||
|
||
## Сводное сравнение семейств методов оценки информативности
|
||
|
||
|Семейство|Базовый аппарат|Ключевая работа|Уровень|Подходит для retrieval CVGL|
|
||
|---|---|---|---|---|
|
||
|**Mahalanobis (subspace)**|Гауссово правдоподобие|Lee 2018 → Mahalanobis++ 2025|Feature-level|**Да** (используется автором)|
|
||
|**Energy-based**|Свободная энергия / log-sum-exp|Liu 2020 → QMF 2023|Decision-level|Нет (требует классификатора)|
|
||
|**Evidential**|Dirichlet + Демпстер-Шейфер|Sensoy 2018 → TMC 2023|Decision-level|Нет (требует классов)|
|
||
|**Entropy-based**|Шеннонова энтропия выхода|Hendrycks 2017 (MSP)|Decision-level|Нет (требует softmax)|
|
||
|**Feature-norm**|L2-норма признака|Park ICCV 2023|Feature-level|Частично (упрощённый прокси)|
|
||
|
||
В защите это работает мощно: оппоненту, который скажет «а почему не Energy-based / TMC?» вы отвечаете: **«потому что наша задача — retrieval, а не классификация; эти методы требуют классификационного выхода или существенной перестройки архитектуры, тогда как SM-InfoScore работает на признаках напрямую»**.
|
||
|
||
---
|
||
|
||
## 4. Уточнение про метрики гипотез
|
||
|
||
**Да, метрики во всех гипотезах — это ровно метрики retrieval-сопоставления самого вашего пайплайна.** Конкретнее:
|
||
|
||
### Что считается
|
||
|
||
В вашем пайплайне на выходе — нормализованные эмбеддинги `q̂ ∈ ℝ^{B×512}` (drone) и `ĝ ∈ ℝ^{N×512}` (sat-галерея). Сходство:
|
||
|
||
```
|
||
similarity = q̂ · ĝᵀ # матрица B × N
|
||
ranking = argsort(similarity, descending=True, axis=1)
|
||
```
|
||
|
||
Для каждого drone-запроса получается **ранжированный список** sat-снимков. Метрики:
|
||
|
||
- **Recall@1 (R@1)** — доля запросов, где правильный sat оказался **на первом месте** в ранжированном списке. Главная метрика CVGL.
|
||
- **Recall@5 (R@5)** — доля запросов, где правильный sat в **топ-5**.
|
||
- **Recall@10 (R@10)** — доля запросов, где правильный sat в **топ-10**.
|
||
- **AP (Average Precision)** — площадь под precision-recall кривой; учитывает не только наличие positive в топе, но и его позицию. Для University-1652 считается mean Average Precision (mAP) по всем drone-запросам.
|
||
|
||
### Считается в двух направлениях
|
||
|
||
- **drone → sat**: основной протокол. На University-1652 это сценарий «навигация БПЛА» — по drone-кадру найти точку на спутнике.
|
||
- **sat → drone**: обратный сценарий. На University-1652 это «поиск дрона по координате» — найти все drone-кадры, снятые с заданной точки.
|
||
|
||
Стандартное представление в таблицах статей по CVGL:
|
||
|
||
```
|
||
drone → sat sat → drone
|
||
Method R@1 R@5 R@10 AP | R@1 AP
|
||
Baseline 85.30 ... ... 88.55 | 89.74 85.78
|
||
Method 92.40 ... ... 94.10 | 93.20 90.50
|
||
```
|
||
|
||
### Точно к каким гипотезам относится
|
||
|
||
Все гипотезы из трёх пунктов НН (`N1_H1`-`N1_H5`, `N2_H1`-`N2_H5`, `N3_H1`-`N3_H5`) формулируются и проверяются **именно через эти ретриевал-метрики на финальном этапе** — после полного forward-pass через ваш пайплайн.
|
||
|
||
Промежуточные диагностические величины, которые упоминаются (распределения SM-InfoScore, значения learnable α после сходимости, корреляции между уровнями) — это **внутренние диагностики**, которые объясняют **почему** метод работает, но **не являются метриками оценки гипотез сами по себе**. Это важно различать:
|
||
|
||
|Что|Роль|
|
||
|---|---|
|
||
|R@1, R@5, R@10, AP на University-1652 / SUES-200 / DenseUAV|**Главная метрика принятия / отвержения гипотезы**|
|
||
|Распределение SM-InfoScore по уровням|Диагностика, объясняющая поведение|
|
||
|Корреляция Pearson между InfoScore уровней|Диагностика для N2_H2 (комплементарность)|
|
||
|Значения α_sem и α_meta после сходимости|Диагностика для N3_H1 (раздельные гейты)|
|
||
|FLOPs, latency на Jetson|**Метрика для N3_H5 (edge-применимость)** — единственная не-ретриевал метрика|
|
||
|Loss / accuracy на классификации / регрессии (прошлые эксперименты)|**Не используется** для оценки гипотез по CVGL; только для preliminary-калибровки гиперпараметров|
|
||
|
||
### Почему важно это разделение
|
||
|
||
Если оппонент на защите спросит «а как вы доказали гипотезу N1_H2?» — ответ должен быть: **«измерено повышение Recall@1 на drone→sat на University-1652 cross-area split на 5 запусках с разными seed; парный t-test даёт p < 0.05; среднее улучшение 1.7% при заявленном пороге 1.5%»**. А не «у нас распределение SM-InfoScore стало более бимодальным».
|
||
|
||
Распределения и корреляции работают как **подтверждающие диагностики**, делающие защиту более убедительной, но **главные числа в таблицах** — это всегда retrieval-метрики ваш пайплайна на стандартных протоколах оценки соответствующих датасетов:
|
||
|
||
- **University-1652**: стандартный протокол — drone→sat и sat→drone, train на 701 building, test на 951 building (разные здания, cross-area).
|
||
- **SUES-200**: 4 высоты {150m, 200m, 250m, 300m}, отчёт R@1 / AP отдельно по высотам.
|
||
- **DenseUAV**: dense sampling в районах с интенсивной городской застройкой, отчёт R@1 / AP.
|
||
|
||
Таким образом, **повышение Recall@1 на стандартных бенчмарках CVGL — единственный критерий научной значимости** всех гипотез П1, П2 и большинства П3 (кроме N3_H5, где добавляется FLOPs / latency для edge-обоснования). |