Pavlenko_disser/ДИССЕР.md

aliases, tags

aliases	tags
диссер	#диссер глубокое_обучение

Gate Fusion

Тема: Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации

Специальность: 2.3.1 «Системный анализ, управление и обработка информации, статистика» Научный руководитель: к.т.н. доцент Бондаренко В.И.

---

Аннотация

Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.

Научная новизна

1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который:
   • сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
   • легковеснее и быстрее, чем ванильный Attention
2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности
3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.

Ключевые понятия

Термин	Описание
CVGL	Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта)
Gate-Fusion	Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы
SRGF	Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности
RCGF	Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями
text-dropout	Стохастическое игнорирование текстовых признаков при обучении
Lalign	Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов)
FHL	Focal Huber Loss — комбинированная функция потерь для регрессии