---
tags:
  - диссер
---
[[Математическая функция]]
[[Расчёт функции потерь]]
# Функции потерь

## 1. Focal Huber Loss (FHL)

### Мотивация

При регрессии параметров положения БПЛА данные обладают двумя характерными проблемами:
- **Выбросы** — отдельные снимки с экстремальными углами или высотами;
- **Дисбаланс** — неравномерное распределение значений меток в пространстве.

MSE чрезмерно усиливает влияние выбросов. Huber Loss смягчает это, но не решает проблему дисбаланса. Focal Loss, изначально предназначенная для классификации, решает проблему дисбаланса, но не применима напрямую к регрессии.

**Focal Huber Loss** объединяет оба механизма.

### Formulation

Функция Huber Loss:

```
H_β(d) = { d² / (2β),   d < β
          { d − β/2,     d ≥ β

d = |y − ŷ|
```

Focal-взвешивание:

```
F_γ(d) = tanh(β·d)^γ                   (вариант с tanh)
F_γ(d) = (2σ(β·d) − 1)^γ              (вариант с sigmoid)

σ(z) = 1 / (1 + e^{−z})
```

Итоговая Focal Huber Loss:

```
FHL = (1/N) · Σ H_β(d_i) · F_γ(d_i)
```

### Свойства

- Малые ошибки имеют пониженный вес → модель фокусируется на сложных примерах.
- После того, как простые примеры освоены, их вклад в градиент снижается.
- Устойчивость к выбросам обеспечивается линейным режимом Huber для больших `d`.

---

## 2. Функция выравнивания признаков L_align

### Мотивация

При мультимодальном обучении необходимо, чтобы визуальные и текстовые признаки, описывающие одну и ту же сцену, находились близко в латентном пространстве. В противном случае шлюз Gate-Fusion получает некогерентные сигналы.

### Формулировка

```
L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)
```

Это косинусная ошибка сходства: равна 0 при полном совпадении направлений, равна 1 при ортогональности, равна 2 при противонаправленности.

### Интеграция в общую функцию потерь

```
L = L_reg,                      если text-dropout активен (prob = p_textDropout)
L = L_reg + λ · L_align,        иначе
```

- **`λ`** — коэффициент влияния ошибки выравнивания. Оптимальные значения: `λ ∈ {0.1, 0.5}`.
- При text-dropout ошибка выравнивания не вычисляется (текстовые признаки недоступны).

### Эффект

- Препятствует расхождению модальностей в латентном пространстве.
- Работает как дополнительная регуляризация, не требующая внешних меток.
- Совместно с text-dropout предотвращает коллапс модели в сторону текстовой модальности.

---

## 3. Feature Distribution Smoothing (FDS)

Применяется для задачи регрессии как метод борьбы с дисбалансом данных по значению высоты.

### Идея

Статистики (среднее и ковариация) признаков в пространстве скрытых представлений сглаживаются между соседними ячейками целевого значения (высоты).

### Формулировка

Статистики для ячейки `b`:

```
μ_b  = (1/N_b) Σ z_i
Σ_b  = (1/(N_b−1)) Σ (z_i − μ_b)(z_i − μ_b)ᵀ
```

Сглаживание через симметричное ядро `k(y_b, y_b')`:

```
μ̃_b = Σ_{b'} k(y_b, y_b') · μ_{b'}
Σ̃_b = Σ_{b'} k(y_b, y_b') · Σ_{b'}
```

Калибровка признаков:

```
z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b
```

Статистики обновляются через Exponential Moving Average (EMA) после каждой эпохи.

---

## 4. Сводка гиперпараметров функций потерь

| Параметр | Назначение | Оптимальный диапазон |
|---|---|---|
| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных |
| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 |
| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 |
| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 |
| `d_step` | Шаг интерполяции высоты | 5–10 м |