Тема: Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
Специальность: 2.3.1 «Системный анализ, управление и обработка информации, статистика»
Научный руководитель: к.т.н. доцент Бондаренко В.И.
Аннотация
Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.
Научная новизна
Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности
Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.
Ключевые понятия
Термин
Описание
CVGL
Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта)
Gate-Fusion
Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы
SRGF
Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности
RCGF
Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями
text-dropout
Стохастическое игнорирование текстовых признаков при обучении
Lalign
Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов)
FHL
Focal Huber Loss — комбинированная функция потерь для регрессии
