first commit

3_work/methods/loss_functions.md

@@ -0,0 +1,129 @@
+---
+tags:
+  - диссер
+---
+[[Математическая функция]]
+[[Расчёт функции потерь]]
+# Функции потерь
+
+## 1. Focal Huber Loss (FHL)
+
+### Мотивация
+
+При регрессии параметров положения БПЛА данные обладают двумя характерными проблемами:
+- **Выбросы** — отдельные снимки с экстремальными углами или высотами;
+- **Дисбаланс** — неравномерное распределение значений меток в пространстве.
+
+MSE чрезмерно усиливает влияние выбросов. Huber Loss смягчает это, но не решает проблему дисбаланса. Focal Loss, изначально предназначенная для классификации, решает проблему дисбаланса, но не применима напрямую к регрессии.
+
+**Focal Huber Loss** объединяет оба механизма.
+
+### Formulation
+
+Функция Huber Loss:
+
+```
+H_β(d) = { d² / (2β),   d < β
+          { d − β/2,     d ≥ β
+
+d = |y − ŷ|
+```
+
+Focal-взвешивание:
+
+```
+F_γ(d) = tanh(β·d)^γ                   (вариант с tanh)
+F_γ(d) = (2σ(β·d) − 1)^γ              (вариант с sigmoid)
+
+σ(z) = 1 / (1 + e^{−z})
+```
+
+Итоговая Focal Huber Loss:
+
+```
+FHL = (1/N) · Σ H_β(d_i) · F_γ(d_i)
+```
+
+### Свойства
+
+- Малые ошибки имеют пониженный вес → модель фокусируется на сложных примерах.
+- После того, как простые примеры освоены, их вклад в градиент снижается.
+- Устойчивость к выбросам обеспечивается линейным режимом Huber для больших `d`.
+
+---
+
+## 2. Функция выравнивания признаков L_align
+
+### Мотивация
+
+При мультимодальном обучении необходимо, чтобы визуальные и текстовые признаки, описывающие одну и ту же сцену, находились близко в латентном пространстве. В противном случае шлюз Gate-Fusion получает некогерентные сигналы.
+
+### Формулировка
+
+```
+L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)
+```
+
+Это косинусная ошибка сходства: равна 0 при полном совпадении направлений, равна 1 при ортогональности, равна 2 при противонаправленности.
+
+### Интеграция в общую функцию потерь
+
+```
+L = L_reg,                      если text-dropout активен (prob = p_textDropout)
+L = L_reg + λ · L_align,        иначе
+```
+
+- **`λ`** — коэффициент влияния ошибки выравнивания. Оптимальные значения: `λ ∈ {0.1, 0.5}`.
+- При text-dropout ошибка выравнивания не вычисляется (текстовые признаки недоступны).
+
+### Эффект
+
+- Препятствует расхождению модальностей в латентном пространстве.
+- Работает как дополнительная регуляризация, не требующая внешних меток.
+- Совместно с text-dropout предотвращает коллапс модели в сторону текстовой модальности.
+
+---
+
+## 3. Feature Distribution Smoothing (FDS)
+
+Применяется для задачи регрессии как метод борьбы с дисбалансом данных по значению высоты.
+
+### Идея
+
+Статистики (среднее и ковариация) признаков в пространстве скрытых представлений сглаживаются между соседними ячейками целевого значения (высоты).
+
+### Формулировка
+
+Статистики для ячейки `b`:
+
+```
+μ_b  = (1/N_b) Σ z_i
+Σ_b  = (1/(N_b−1)) Σ (z_i − μ_b)(z_i − μ_b)ᵀ
+```
+
+Сглаживание через симметричное ядро `k(y_b, y_b')`:
+
+```
+μ̃_b = Σ_{b'} k(y_b, y_b') · μ_{b'}
+Σ̃_b = Σ_{b'} k(y_b, y_b') · Σ_{b'}
+```
+
+Калибровка признаков:
+
+```
+z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b
+```
+
+Статистики обновляются через Exponential Moving Average (EMA) после каждой эпохи.
+
+---
+
+## 4. Сводка гиперпараметров функций потерь
+
+| Параметр | Назначение | Оптимальный диапазон |
+|---|---|---|
+| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных |
+| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 |
+| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 |
+| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 |
+| `d_step` | Шаг интерполяции высоты | 5–10 м |