90 lines
5.4 KiB
Markdown
90 lines
5.4 KiB
Markdown
---
|
||
tags: [диссер, metadata, geolocation, fusion, UAV, remote-sensing]
|
||
aliases: [Deep Coding, Geolocation-Aware]
|
||
---
|
||
|
||
# Вставка метаданных геолокации в модели глубокого обучения
|
||
|
||
> Источник: Madadikhaljan & Schmitt, "Geolocation-Aware Deep Coding" (PFG, 2025)
|
||
|
||
## Ключевая идея — Deep Coding
|
||
|
||
**Аналогия:** термин взят из практики разработки ПО — "жёсткое кодирование" (hardcoding). Здесь: создание **отдельных подветвей** внутри глубоких блоков модели, требующих внимания к деталям, специфичным для геолокации.
|
||
|
||
Стратегия не зависит от архитектуры — применима к UNet, ResNet, AlexNet, VGG и другим.
|
||
|
||
---
|
||
|
||
## Два шага методологии
|
||
|
||
### Шаг 1 — Анализ и разделение датасета на регионы
|
||
|
||
**Регион** — пространственное разделение глобального датасета на подмножества со схожими геолокационными характеристиками.
|
||
|
||
Что считается "сходством":
|
||
- Форма, цвет, материал, высота, внешний вид объектов
|
||
- Климатические свойства местоположения
|
||
- Типы землепользования, культур, природных опасностей
|
||
|
||
**Примеры разбивки** (зависит от задачи):
|
||
| Задача | Разумная единица региона |
|
||
|---|---|
|
||
| Классификация с/х культур | Климатические регионы |
|
||
| Обнаружение контуров зданий | Границы городов |
|
||
| Общая сегментация | Страна, континент, геохеш |
|
||
|
||
### Шаг 2 — Внедрение геолокационной осведомлённости в архитектуру
|
||
|
||
---
|
||
|
||
## Способы вставки геолокации (по уровню обработки)
|
||
|
||
### Уровень входных данных
|
||
|
||
Геолокационная информация добавляется как дополнительные каналы к входному изображению:
|
||
|
||
- **Mahara & Rishe (2023):** координаты → геохеш-коды → растровый слой, конкатенируется с картой признаков
|
||
- **Liu et al. (2018):** два растра с декартовыми координатами добавляются к входному изображению
|
||
- **Zhang et al. (2021):** координаты → векторные признаки через FC-слои → конкатенация со спектральными признаками
|
||
|
||
### Уровень промежуточных признаков (Deep Coding)
|
||
|
||
Отдельные подветви внутри глубоких блоков — информация о геолокации встраивается как структурная часть признакового пространства, а не побочный числовой вектор.
|
||
|
||
---
|
||
|
||
## Почему прямая подача координат не оптимальна
|
||
|
||
> Декартовы и широтно-долготные координаты предназначены для определения местоположения в метрическом пространстве, но **не отражают геолокационные сходства и различия** данных с разными микроклиматами.
|
||
|
||
Пример: две точки с близкими координатами могут находиться по разные стороны горного хребта — климат, растительность и материалы застройки будут принципиально разными, хотя координаты почти одинаковы.
|
||
|
||
Решение: кластеризация по геолокационному сходству + специализированные ветки сети для каждого кластера.
|
||
|
||
---
|
||
|
||
## Связь с текстовым кодированием метаданных
|
||
|
||
Deep Coding — архитектурный подход (отдельные ветки). Альтернатива — **текстовые шаблоны** как контейнер для метаданных, позволяющие не менять архитектуру:
|
||
|
||
```
|
||
"Drone aerial photo from UAV, taken from height <h> meters,
|
||
camera orientation yaw <yaw>°, pitch <pitch>°, roll <roll>°.
|
||
<time> time, season is <season>."
|
||
```
|
||
|
||
Сравнение подходов:
|
||
|
||
| Подход | Изменение архитектуры | Тип метаданных | Гибкость |
|
||
|---|---|---|---|
|
||
| Deep Coding | Да (подветки) | Геолокация, кластеры | Низкая |
|
||
| Геохеш как канал | Минимальное | Координаты | Средняя |
|
||
| Текстовые шаблоны | Нет | Любые | Высокая |
|
||
|
||
---
|
||
|
||
## Связанные заметки
|
||
|
||
- [[Взвешенное_управление_Residual_Branch]]
|
||
- [[DEQFusion_ProgressiveFusion]]
|