Pavlenko_disser/3_work/methods/loss_functions.md

tags

tags
диссер loss

Математическая функция Расчёт функции потерь

Функции потерь

1. Focal Huber Loss (FHL)

Мотивация

При регрессии параметров положения БПЛА данные обладают двумя характерными проблемами:

• Выбросы — отдельные снимки с экстремальными углами или высотами;
• Дисбаланс — неравномерное распределение значений меток в пространстве.

MSE чрезмерно усиливает влияние выбросов. Huber Loss смягчает это, но не решает проблему дисбаланса. Focal Loss, изначально предназначенная для классификации, решает проблему дисбаланса, но не применима напрямую к регрессии.

Focal Huber Loss объединяет оба механизма.

Formulation

Функция Huber Loss:

H_β(d) = { d² / (2β),   d < β
          { d − β/2,     d ≥ β

d = |y − ŷ|

Focal-взвешивание:

F_γ(d) = tanh(β·d)^γ                   (вариант с tanh)
F_γ(d) = (2σ(β·d) − 1)^γ              (вариант с sigmoid)

σ(z) = 1 / (1 + e^{−z})

Итоговая Focal Huber Loss:

FHL = (1/N) · Σ H_β(d_i) · F_γ(d_i)

Свойства

• Малые ошибки имеют пониженный вес → модель фокусируется на сложных примерах.
• После того, как простые примеры освоены, их вклад в градиент снижается.
• Устойчивость к выбросам обеспечивается линейным режимом Huber для больших d.

---

2. Функция выравнивания признаков L_align

Мотивация

При мультимодальном обучении необходимо, чтобы визуальные и текстовые признаки, описывающие одну и ту же сцену, находились близко в латентном пространстве. В противном случае шлюз Gate-Fusion получает некогерентные сигналы.

Формулировка

L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)

Это косинусная ошибка сходства: равна 0 при полном совпадении направлений, равна 1 при ортогональности, равна 2 при противонаправленности.

Интеграция в общую функцию потерь

L = L_reg,                      если text-dropout активен (prob = p_textDropout)
L = L_reg + λ · L_align,        иначе

• λ — коэффициент влияния ошибки выравнивания. Оптимальные значения: λ ∈ {0.1, 0.5}.
• При text-dropout ошибка выравнивания не вычисляется (текстовые признаки недоступны).

Эффект

• Препятствует расхождению модальностей в латентном пространстве.
• Работает как дополнительная регуляризация, не требующая внешних меток.
• Совместно с text-dropout предотвращает коллапс модели в сторону текстовой модальности.

---

3. Feature Distribution Smoothing (FDS)

Применяется для задачи регрессии как метод борьбы с дисбалансом данных по значению высоты.

Идея

Статистики (среднее и ковариация) признаков в пространстве скрытых представлений сглаживаются между соседними ячейками целевого значения (высоты).

Формулировка

Статистики для ячейки b:

μ_b  = (1/N_b) Σ z_i
Σ_b  = (1/(N_b−1)) Σ (z_i − μ_b)(z_i − μ_b)ᵀ

Сглаживание через симметричное ядро k(y_b, y_b'):

μ̃_b = Σ_{b'} k(y_b, y_b') · μ_{b'}
Σ̃_b = Σ_{b'} k(y_b, y_b') · Σ_{b'}

Калибровка признаков:

z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b

Статистики обновляются через Exponential Moving Average (EMA) после каждой эпохи.

---

4. Сводка гиперпараметров функций потерь

Параметр	Назначение	Оптимальный диапазон
β (Huber)	Граница линейного/квадратичного режима	Зависит от масштаба данных
γ (Focal)	Сила подавления лёгких примеров	1–3
λ	Вес L_align в итоговой функции потерь	0.1–0.5
p_textDropout	Вероятность игнорирования текстовых признаков	0.2–0.3
d_step	Шаг интерполяции высоты	5–10 м

5. Symm InfoNCE-Loss

Симметричный retrieval-loss в контексте CVGL - подробный разбор