first commit

ДИССЕР.md

@@ -0,0 +1,36 @@
+---
+aliases:
+  - диссер
+tags:
+  - "#диссер"
+  - глубокое_обучение
+---
+[[Gate Fusion]]
+## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
+
+**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
+**Научный руководитель:** к.т.н. доцент Бондаренко В.И. 
+***
+
+## Аннотация
+
+Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.
+## Научная новизна
+
+1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который:
+	- сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
+	- легковеснее и быстрее, чем ванильный  [[Attention]]
+2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности 
+3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.
+
+## Ключевые понятия
+
+| Термин       | Описание                                                                                                                |
+| ------------ | ----------------------------------------------------------------------------------------------------------------------- |
+| CVGL         | Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта) |
+| Gate-Fusion  | Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы                                    |
+| SRGF         | Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности                                |
+| RCGF         | Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями                                  |
+| text-dropout | Стохастическое игнорирование текстовых признаков при обучении                                                           |
+| Lalign       | Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов)                        |
+| FHL          | Focal Huber Loss — комбинированная функция потерь для регрессии                                                         |