35 lines
4.0 KiB
Markdown
35 lines
4.0 KiB
Markdown
---
|
||
aliases:
|
||
- диссер
|
||
tags:
|
||
- "#диссер"
|
||
- глубокое_обучение
|
||
---
|
||
[[Gate Fusion]]
|
||
## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
|
||
|
||
**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
|
||
**Научный руководитель:** к.т.н. доцент Бондаренко В.И.
|
||
***
|
||
|
||
## Аннотация
|
||
|
||
Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.
|
||
## Научная новизна
|
||
|
||
1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который: сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
|
||
2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности
|
||
3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.
|
||
|
||
## Ключевые понятия
|
||
|
||
| Термин | Описание |
|
||
| ------------ | ----------------------------------------------------------------------------------------------------------------------- |
|
||
| CVGL | Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта) |
|
||
| Gate-Fusion | Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы |
|
||
| SRGF | Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности |
|
||
| RCGF | Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями |
|
||
| text-dropout | Стохастическое игнорирование текстовых признаков при обучении |
|
||
| Lalign | Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов) |
|
||
| FHL | Focal Huber Loss — комбинированная функция потерь для регрессии |
|