93 lines
5.0 KiB
Markdown
93 lines
5.0 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
[[Gate Fusion]]
|
||
# Эксперименты: базовый Gate-Fusion (расширенная версия статьи)
|
||
|
||
> Источник: «Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения БПЛА»
|
||
> Авторы: Пикалёв Я.С., Павленко Б.В.
|
||
|
||
---
|
||
|
||
## Постановка задачи
|
||
|
||
Задача: регрессия углов ориентации камеры БПЛА (yaw, pitch, roll) и высоты по входным аэрофотоснимкам.
|
||
|
||
---
|
||
|
||
## Архитектура модели (RegrUAV)
|
||
|
||
| Компонент | Описание |
|
||
|---|---|
|
||
| **Backbone** | StripNet-small (ортогональные large-kernel свёртки, оптимизированы для UAV-снимков) |
|
||
| **Neck** | Attention Block + Multifusion Block (многомасштабное объединение признаков) |
|
||
| **Head** | 2× FC-слоя → 3 угла (pitch, yaw, roll) |
|
||
| **Текстовый энкодер** | MobileCLIP2-s0 (частичная разморозка: слои текстовой проекции + последний блок трансформера) |
|
||
| **Объединение** | Gate-Fusion |
|
||
| **Оптимизатор** | Ranger (RAdam + Lookahead) |
|
||
|
||
---
|
||
|
||
## Одномодальные эксперименты
|
||
|
||
**Метрика:** MAE (Mean Absolute Error), Loss = Focal Huber Loss
|
||
|
||
| Backbone | Датасет | Train Loss | Train MAE | Val Loss | Val MAE |
|
||
| ------------------ | ----------- | ---------- | --------- | -------- | -------- |
|
||
| ==StripNet-small== | ==GTA-UAV== | ==0.05== | ==0.11== | ==0.05== | ==0.10== |
|
||
| InceptionNext-tiny | GTA-UAV | 0.08 | 0.17 | 0.10 | 0.21 |
|
||
| ==StripNet-small== | ==VisLoc== | ==0.10== | ==0.22== | ==0.11== | ==0.22== |
|
||
| InceptionNext-tiny | VisLoc | 0.11 | 0.24 | 0.11 | 0.21 |
|
||
|
||
**Вывод:** StripNet-small превосходит InceptionNext-tiny на специфических UAV-данных (GTA-UAV). На VisLoc разница по val MAE минимальна, однако StripNet стабильнее по train MAE.
|
||
|
||
---
|
||
|
||
## Мультимодальные эксперименты (Gate-Fusion)
|
||
|
||
**Настройки:** 50 эпох, backbone StripNet-small, датасет VisLoc
|
||
|
||
### Влияние гиперпараметров
|
||
|
||
| p_textDropout | λ | d_step | Train Loss | Train MAE | Val Loss | Val MAE |
|
||
|---|---|---|---|---|---|---|
|
||
| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.11 | 0.19 |
|
||
| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.13 | 0.15 |
|
||
| 0.3 | 0.1 | 5 | 0.02 | 0.08 | 0.11 | 0.17 |
|
||
| 0.3 | 0.5 | 5 | 0.04 | 0.13 | 0.12 | 0.20 |
|
||
|
||
### Сравнение одномодального и мультимодального подхода
|
||
|
||
| Модальность | Train Loss | Train MAE | Val Loss | Val MAE |
|
||
|---|---|---|---|---|
|
||
| img (one-modal) | 0.10 | 0.22 | 0.11 | 0.22 |
|
||
| img + text (Gate-Fusion) | **0.02** | **0.08** | 0.11 | **0.17** |
|
||
|
||
**Вывод:** мультимодальный подход снижает train MAE с 0.22 до 0.08 (в 2.75 раза), val MAE с 0.22 до 0.17 (на 23%). Val Loss не меняется, что говорит об отсутствии переобучения.
|
||
|
||
---
|
||
|
||
## Экспериментальные наблюдения
|
||
|
||
1. **p_textDropout и d_step коррелируют:** увеличение p_textDropout (0.2→0.3) коррелирует с уменьшением шага интерполяции (10→5). Возможно, более точная интерполяция высоты компенсирует более частое отключение текстовых признаков.
|
||
2. **Наилучший результат:** p_textDropout=0.3, λ=0.1, d_step=5 → val MAE=0.17.
|
||
3. **Gate-Fusion vs конкатенация:** Gate-Fusion не увеличивает размерность объединённого вектора, что позволило избежать роста вычислительных затрат при переходе к мультимодальному подходу.
|
||
|
||
---
|
||
|
||
## Наборы данных
|
||
|
||
### GTA-UAV
|
||
- Синтетический датасет на основе GTA V
|
||
- 33 763 снимка
|
||
- Метки: координаты, углы Эйлера, кватернионы, семантические маски, условия погоды и времени суток
|
||
- Диапазон высот: широкий (синтетический)
|
||
|
||
### VisLoc
|
||
- Реальный датасет для визуальной локализации
|
||
- 6 742 снимка с реальных БПЛА
|
||
- Метки: GPS/RTK с точностью до сантиметров
|
||
- Диапазон высот: 400–2000 м
|
||
- Сложности: шум сенсора, блики, вариации освещённости и погоды
|