first commit

3_work/baseline_gate_fusion.md

@@ -0,0 +1,92 @@
+---
+tags:
+  - диссер
+---
+[[Gate Fusion]]
+# Эксперименты: базовый Gate-Fusion (расширенная версия статьи)
+
+> Источник: «Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения БПЛА»  
+> Авторы: Пикалёв Я.С., Павленко Б.В.
+
+---
+
+## Постановка задачи
+
+Задача: регрессия углов ориентации камеры БПЛА (yaw, pitch, roll) и высоты по входным аэрофотоснимкам.
+
+---
+
+## Архитектура модели (RegrUAV)
+
+| Компонент | Описание |
+|---|---|
+| **Backbone** | StripNet-small (ортогональные large-kernel свёртки, оптимизированы для UAV-снимков) |
+| **Neck** | Attention Block + Multifusion Block (многомасштабное объединение признаков) |
+| **Head** | 2× FC-слоя → 3 угла (pitch, yaw, roll) |
+| **Текстовый энкодер** | MobileCLIP2-s0 (частичная разморозка: слои текстовой проекции + последний блок трансформера) |
+| **Объединение** | Gate-Fusion |
+| **Оптимизатор** | Ranger (RAdam + Lookahead) |
+
+---
+
+## Одномодальные эксперименты
+
+**Метрика:** MAE (Mean Absolute Error), Loss = Focal Huber Loss
+
+| Backbone           | Датасет     | Train Loss | Train MAE | Val Loss | Val MAE  |
+| ------------------ | ----------- | ---------- | --------- | -------- | -------- |
+| ==StripNet-small== | ==GTA-UAV== | ==0.05==   | ==0.11==  | ==0.05== | ==0.10== |
+| InceptionNext-tiny | GTA-UAV     | 0.08       | 0.17      | 0.10     | 0.21     |
+| ==StripNet-small== | ==VisLoc==  | ==0.10==   | ==0.22==  | ==0.11== | ==0.22== |
+| InceptionNext-tiny | VisLoc      | 0.11       | 0.24      | 0.11     | 0.21     |
+
+**Вывод:** StripNet-small превосходит InceptionNext-tiny на специфических UAV-данных (GTA-UAV). На VisLoc разница по val MAE минимальна, однако StripNet стабильнее по train MAE.
+
+---
+
+## Мультимодальные эксперименты (Gate-Fusion)
+
+**Настройки:** 50 эпох, backbone StripNet-small, датасет VisLoc
+
+### Влияние гиперпараметров
+
+| p_textDropout | λ | d_step | Train Loss | Train MAE | Val Loss | Val MAE |
+|---|---|---|---|---|---|---|
+| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.11 | 0.19 |
+| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.13 | 0.15 |
+| 0.3 | 0.1 | 5 | 0.02 | 0.08 | 0.11 | 0.17 |
+| 0.3 | 0.5 | 5 | 0.04 | 0.13 | 0.12 | 0.20 |
+
+### Сравнение одномодального и мультимодального подхода
+
+| Модальность | Train Loss | Train MAE | Val Loss | Val MAE |
+|---|---|---|---|---|
+| img (one-modal) | 0.10 | 0.22 | 0.11 | 0.22 |
+| img + text (Gate-Fusion) | **0.02** | **0.08** | 0.11 | **0.17** |
+
+**Вывод:** мультимодальный подход снижает train MAE с 0.22 до 0.08 (в 2.75 раза), val MAE с 0.22 до 0.17 (на 23%). Val Loss не меняется, что говорит об отсутствии переобучения.
+
+---
+
+## Экспериментальные наблюдения
+
+1. **p_textDropout и d_step коррелируют:** увеличение p_textDropout (0.2→0.3) коррелирует с уменьшением шага интерполяции (10→5). Возможно, более точная интерполяция высоты компенсирует более частое отключение текстовых признаков.
+2. **Наилучший результат:** p_textDropout=0.3, λ=0.1, d_step=5 → val MAE=0.17.
+3. **Gate-Fusion vs конкатенация:** Gate-Fusion не увеличивает размерность объединённого вектора, что позволило избежать роста вычислительных затрат при переходе к мультимодальному подходу.
+
+---
+
+## Наборы данных
+
+### GTA-UAV
+- Синтетический датасет на основе GTA V
+- 33 763 снимка
+- Метки: координаты, углы Эйлера, кватернионы, семантические маски, условия погоды и времени суток
+- Диапазон высот: широкий (синтетический)
+
+### VisLoc
+- Реальный датасет для визуальной локализации
+- 6 742 снимка с реальных БПЛА
+- Метки: GPS/RTK с точностью до сантиметров
+- Диапазон высот: 400–2000 м
+- Сложности: шум сенсора, блики, вариации освещённости и погоды