---
aliases:
  - диссер
tags:
  - "#диссер"
  - глубокое_обучение
---
[[Gate Fusion]]
## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации

**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
**Научный руководитель:** к.т.н. доцент Бондаренко В.И. 
***

## Аннотация

Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.
## Научная новизна

1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности 
3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.

## Ключевые понятия

| Термин       | Описание                                                                                                                |
| ------------ | ----------------------------------------------------------------------------------------------------------------------- |
| CVGL         | Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта) |
| Gate-Fusion  | Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы                                    |
| SRGF         | Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности                                |
| RCGF         | Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями                                  |
| text-dropout | Стохастическое игнорирование текстовых признаков при обучении                                                           |
| Lalign       | Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов)                        |
| FHL          | Focal Huber Loss — комбинированная функция потерь для регрессии                                                         |