130 lines
5.4 KiB
Markdown
130 lines
5.4 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
[[Математическая функция]]
|
||
[[Расчёт функции потерь]]
|
||
# Функции потерь
|
||
|
||
## 1. Focal Huber Loss (FHL)
|
||
|
||
### Мотивация
|
||
|
||
При регрессии параметров положения БПЛА данные обладают двумя характерными проблемами:
|
||
- **Выбросы** — отдельные снимки с экстремальными углами или высотами;
|
||
- **Дисбаланс** — неравномерное распределение значений меток в пространстве.
|
||
|
||
MSE чрезмерно усиливает влияние выбросов. Huber Loss смягчает это, но не решает проблему дисбаланса. Focal Loss, изначально предназначенная для классификации, решает проблему дисбаланса, но не применима напрямую к регрессии.
|
||
|
||
**Focal Huber Loss** объединяет оба механизма.
|
||
|
||
### Formulation
|
||
|
||
Функция Huber Loss:
|
||
|
||
```
|
||
H_β(d) = { d² / (2β), d < β
|
||
{ d − β/2, d ≥ β
|
||
|
||
d = |y − ŷ|
|
||
```
|
||
|
||
Focal-взвешивание:
|
||
|
||
```
|
||
F_γ(d) = tanh(β·d)^γ (вариант с tanh)
|
||
F_γ(d) = (2σ(β·d) − 1)^γ (вариант с sigmoid)
|
||
|
||
σ(z) = 1 / (1 + e^{−z})
|
||
```
|
||
|
||
Итоговая Focal Huber Loss:
|
||
|
||
```
|
||
FHL = (1/N) · Σ H_β(d_i) · F_γ(d_i)
|
||
```
|
||
|
||
### Свойства
|
||
|
||
- Малые ошибки имеют пониженный вес → модель фокусируется на сложных примерах.
|
||
- После того, как простые примеры освоены, их вклад в градиент снижается.
|
||
- Устойчивость к выбросам обеспечивается линейным режимом Huber для больших `d`.
|
||
|
||
---
|
||
|
||
## 2. Функция выравнивания признаков L_align
|
||
|
||
### Мотивация
|
||
|
||
При мультимодальном обучении необходимо, чтобы визуальные и текстовые признаки, описывающие одну и ту же сцену, находились близко в латентном пространстве. В противном случае шлюз Gate-Fusion получает некогерентные сигналы.
|
||
|
||
### Формулировка
|
||
|
||
```
|
||
L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)
|
||
```
|
||
|
||
Это косинусная ошибка сходства: равна 0 при полном совпадении направлений, равна 1 при ортогональности, равна 2 при противонаправленности.
|
||
|
||
### Интеграция в общую функцию потерь
|
||
|
||
```
|
||
L = L_reg, если text-dropout активен (prob = p_textDropout)
|
||
L = L_reg + λ · L_align, иначе
|
||
```
|
||
|
||
- **`λ`** — коэффициент влияния ошибки выравнивания. Оптимальные значения: `λ ∈ {0.1, 0.5}`.
|
||
- При text-dropout ошибка выравнивания не вычисляется (текстовые признаки недоступны).
|
||
|
||
### Эффект
|
||
|
||
- Препятствует расхождению модальностей в латентном пространстве.
|
||
- Работает как дополнительная регуляризация, не требующая внешних меток.
|
||
- Совместно с text-dropout предотвращает коллапс модели в сторону текстовой модальности.
|
||
|
||
---
|
||
|
||
## 3. Feature Distribution Smoothing (FDS)
|
||
|
||
Применяется для задачи регрессии как метод борьбы с дисбалансом данных по значению высоты.
|
||
|
||
### Идея
|
||
|
||
Статистики (среднее и ковариация) признаков в пространстве скрытых представлений сглаживаются между соседними ячейками целевого значения (высоты).
|
||
|
||
### Формулировка
|
||
|
||
Статистики для ячейки `b`:
|
||
|
||
```
|
||
μ_b = (1/N_b) Σ z_i
|
||
Σ_b = (1/(N_b−1)) Σ (z_i − μ_b)(z_i − μ_b)ᵀ
|
||
```
|
||
|
||
Сглаживание через симметричное ядро `k(y_b, y_b')`:
|
||
|
||
```
|
||
μ̃_b = Σ_{b'} k(y_b, y_b') · μ_{b'}
|
||
Σ̃_b = Σ_{b'} k(y_b, y_b') · Σ_{b'}
|
||
```
|
||
|
||
Калибровка признаков:
|
||
|
||
```
|
||
z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b
|
||
```
|
||
|
||
Статистики обновляются через Exponential Moving Average (EMA) после каждой эпохи.
|
||
|
||
---
|
||
|
||
## 4. Сводка гиперпараметров функций потерь
|
||
|
||
| Параметр | Назначение | Оптимальный диапазон |
|
||
|---|---|---|
|
||
| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных |
|
||
| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 |
|
||
| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 |
|
||
| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 |
|
||
| `d_step` | Шаг интерполяции высоты | 5–10 м |
|