---
tags:
  - диссер
---
[[Gate Fusion]]
# Эксперименты: базовый Gate-Fusion (расширенная версия статьи)

> Источник: «Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения БПЛА»  
> Авторы: Пикалёв Я.С., Павленко Б.В.

---

## Постановка задачи

Задача: регрессия углов ориентации камеры БПЛА (yaw, pitch, roll) и высоты по входным аэрофотоснимкам.

---

## Архитектура модели (RegrUAV)

| Компонент | Описание |
|---|---|
| **Backbone** | StripNet-small (ортогональные large-kernel свёртки, оптимизированы для UAV-снимков) |
| **Neck** | Attention Block + Multifusion Block (многомасштабное объединение признаков) |
| **Head** | 2× FC-слоя → 3 угла (pitch, yaw, roll) |
| **Текстовый энкодер** | MobileCLIP2-s0 (частичная разморозка: слои текстовой проекции + последний блок трансформера) |
| **Объединение** | Gate-Fusion |
| **Оптимизатор** | Ranger (RAdam + Lookahead) |

---

## Одномодальные эксперименты

**Метрика:** MAE (Mean Absolute Error), Loss = Focal Huber Loss

| Backbone           | Датасет     | Train Loss | Train MAE | Val Loss | Val MAE  |
| ------------------ | ----------- | ---------- | --------- | -------- | -------- |
| ==StripNet-small== | ==GTA-UAV== | ==0.05==   | ==0.11==  | ==0.05== | ==0.10== |
| InceptionNext-tiny | GTA-UAV     | 0.08       | 0.17      | 0.10     | 0.21     |
| ==StripNet-small== | ==VisLoc==  | ==0.10==   | ==0.22==  | ==0.11== | ==0.22== |
| InceptionNext-tiny | VisLoc      | 0.11       | 0.24      | 0.11     | 0.21     |

**Вывод:** StripNet-small превосходит InceptionNext-tiny на специфических UAV-данных (GTA-UAV). На VisLoc разница по val MAE минимальна, однако StripNet стабильнее по train MAE.

---

## Мультимодальные эксперименты (Gate-Fusion)

**Настройки:** 50 эпох, backbone StripNet-small, датасет VisLoc

### Влияние гиперпараметров

| p_textDropout | λ | d_step | Train Loss | Train MAE | Val Loss | Val MAE |
|---|---|---|---|---|---|---|
| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.11 | 0.19 |
| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.13 | 0.15 |
| 0.3 | 0.1 | 5 | 0.02 | 0.08 | 0.11 | 0.17 |
| 0.3 | 0.5 | 5 | 0.04 | 0.13 | 0.12 | 0.20 |

### Сравнение одномодального и мультимодального подхода

| Модальность | Train Loss | Train MAE | Val Loss | Val MAE |
|---|---|---|---|---|
| img (one-modal) | 0.10 | 0.22 | 0.11 | 0.22 |
| img + text (Gate-Fusion) | **0.02** | **0.08** | 0.11 | **0.17** |

**Вывод:** мультимодальный подход снижает train MAE с 0.22 до 0.08 (в 2.75 раза), val MAE с 0.22 до 0.17 (на 23%). Val Loss не меняется, что говорит об отсутствии переобучения.

---

## Экспериментальные наблюдения

1. **p_textDropout и d_step коррелируют:** увеличение p_textDropout (0.2→0.3) коррелирует с уменьшением шага интерполяции (10→5). Возможно, более точная интерполяция высоты компенсирует более частое отключение текстовых признаков.
2. **Наилучший результат:** p_textDropout=0.3, λ=0.1, d_step=5 → val MAE=0.17.
3. **Gate-Fusion vs конкатенация:** Gate-Fusion не увеличивает размерность объединённого вектора, что позволило избежать роста вычислительных затрат при переходе к мультимодальному подходу.

---

## Наборы данных

### GTA-UAV
- Синтетический датасет на основе GTA V
- 33 763 снимка
- Метки: координаты, углы Эйлера, кватернионы, семантические маски, условия погоды и времени суток
- Диапазон высот: широкий (синтетический)

### VisLoc
- Реальный датасет для визуальной локализации
- 6 742 снимка с реальных БПЛА
- Метки: GPS/RTK с точностью до сантиметров
- Диапазон высот: 400–2000 м
- Сложности: шум сенсора, блики, вариации освещённости и погоды