Эксперименты: базовый Gate-Fusion (расширенная версия статьи)

Источник: «Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения БПЛА»
Авторы: Пикалёв Я.С., Павленко Б.В.

Постановка задачи

Задача: регрессия углов ориентации камеры БПЛА (yaw, pitch, roll) и высоты по входным аэрофотоснимкам.

Архитектура модели (RegrUAV)

Компонент	Описание
Backbone	StripNet-small (ортогональные large-kernel свёртки, оптимизированы для UAV-снимков)
Neck	Attention Block + Multifusion Block (многомасштабное объединение признаков)
Head	2× FC-слоя → 3 угла (pitch, yaw, roll)
Текстовый энкодер	MobileCLIP2-s0 (частичная разморозка: слои текстовой проекции + последний блок трансформера)
Объединение	Gate-Fusion
Оптимизатор	Ranger (RAdam + Lookahead)

Одномодальные эксперименты

Метрика: MAE (Mean Absolute Error), Loss = Focal Huber Loss

Backbone	Датасет	Train Loss	Train MAE	Val Loss	Val MAE
==StripNet-small==	==GTA-UAV==	==0.05==	==0.11==	==0.05==	==0.10==
InceptionNext-tiny	GTA-UAV	0.08	0.17	0.10	0.21
==StripNet-small==	==VisLoc==	==0.10==	==0.22==	==0.11==	==0.22==
InceptionNext-tiny	VisLoc	0.11	0.24	0.11	0.21

Вывод: StripNet-small превосходит InceptionNext-tiny на специфических UAV-данных (GTA-UAV). На VisLoc разница по val MAE минимальна, однако StripNet стабильнее по train MAE.

Мультимодальные эксперименты (Gate-Fusion)

Настройки: 50 эпох, backbone StripNet-small, датасет VisLoc

Влияние гиперпараметров

p_textDropout	λ	d_step	Train Loss	Train MAE	Val Loss	Val MAE
0.2	0.5	10	0.03	0.10	0.11	0.19
0.2	0.5	10	0.03	0.10	0.13	0.15
0.3	0.1	5	0.02	0.08	0.11	0.17
0.3	0.5	5	0.04	0.13	0.12	0.20

Сравнение одномодального и мультимодального подхода

Модальность	Train Loss	Train MAE	Val Loss	Val MAE
img (one-modal)	0.10	0.22	0.11	0.22
img + text (Gate-Fusion)	0.02	0.08	0.11	0.17

Вывод: мультимодальный подход снижает train MAE с 0.22 до 0.08 (в 2.75 раза), val MAE с 0.22 до 0.17 (на 23%). Val Loss не меняется, что говорит об отсутствии переобучения.

Экспериментальные наблюдения

p_textDropout и d_step коррелируют: увеличение p_textDropout (0.2→0.3) коррелирует с уменьшением шага интерполяции (10→5). Возможно, более точная интерполяция высоты компенсирует более частое отключение текстовых признаков.
Наилучший результат: p_textDropout=0.3, λ=0.1, d_step=5 → val MAE=0.17.
Gate-Fusion vs конкатенация: Gate-Fusion не увеличивает размерность объединённого вектора, что позволило избежать роста вычислительных затрат при переходе к мультимодальному подходу.

Наборы данных

GTA-UAV

Синтетический датасет на основе GTA V
33 763 снимка
Метки: координаты, углы Эйлера, кватернионы, семантические маски, условия погоды и времени суток
Диапазон высот: широкий (синтетический)

VisLoc

Реальный датасет для визуальной локализации
6 742 снимка с реальных БПЛА
Метки: GPS/RTK с точностью до сантиметров
Диапазон высот: 400–2000 м
Сложности: шум сенсора, блики, вариации освещённости и погоды

5.0 KiB Raw Blame History Unescape Escape