---
tags: [диссер, metadata, geolocation, fusion, UAV, remote-sensing]
aliases: [Deep Coding, Geolocation-Aware]
---

# Вставка метаданных геолокации в модели глубокого обучения

> Источник: Madadikhaljan & Schmitt, "Geolocation-Aware Deep Coding" (PFG, 2025)

## Ключевая идея — Deep Coding

**Аналогия:** термин взят из практики разработки ПО — "жёсткое кодирование" (hardcoding). Здесь: создание **отдельных подветвей** внутри глубоких блоков модели, требующих внимания к деталям, специфичным для геолокации.

Стратегия не зависит от архитектуры — применима к UNet, ResNet, AlexNet, VGG и другим.

---

## Два шага методологии

### Шаг 1 — Анализ и разделение датасета на регионы

**Регион** — пространственное разделение глобального датасета на подмножества со схожими геолокационными характеристиками.

Что считается "сходством":
- Форма, цвет, материал, высота, внешний вид объектов
- Климатические свойства местоположения
- Типы землепользования, культур, природных опасностей

**Примеры разбивки** (зависит от задачи):
| Задача | Разумная единица региона |
|---|---|
| Классификация с/х культур | Климатические регионы |
| Обнаружение контуров зданий | Границы городов |
| Общая сегментация | Страна, континент, геохеш |

### Шаг 2 — Внедрение геолокационной осведомлённости в архитектуру

---

## Способы вставки геолокации (по уровню обработки)

### Уровень входных данных

Геолокационная информация добавляется как дополнительные каналы к входному изображению:

- **Mahara & Rishe (2023):** координаты → геохеш-коды → растровый слой, конкатенируется с картой признаков
- **Liu et al. (2018):** два растра с декартовыми координатами добавляются к входному изображению
- **Zhang et al. (2021):** координаты → векторные признаки через FC-слои → конкатенация со спектральными признаками

### Уровень промежуточных признаков (Deep Coding)

Отдельные подветви внутри глубоких блоков — информация о геолокации встраивается как структурная часть признакового пространства, а не побочный числовой вектор.

---

## Почему прямая подача координат не оптимальна

> Декартовы и широтно-долготные координаты предназначены для определения местоположения в метрическом пространстве, но **не отражают геолокационные сходства и различия** данных с разными микроклиматами.

Пример: две точки с близкими координатами могут находиться по разные стороны горного хребта — климат, растительность и материалы застройки будут принципиально разными, хотя координаты почти одинаковы.

Решение: кластеризация по геолокационному сходству + специализированные ветки сети для каждого кластера.

---

## Связь с текстовым кодированием метаданных

Deep Coding — архитектурный подход (отдельные ветки). Альтернатива — **текстовые шаблоны** как контейнер для метаданных, позволяющие не менять архитектуру:

```
"Drone aerial photo from UAV, taken from height <h> meters,
 camera orientation yaw <yaw>°, pitch <pitch>°, roll <roll>°.
 <time> time, season is <season>."
```

Сравнение подходов:

| Подход | Изменение архитектуры | Тип метаданных | Гибкость |
|---|---|---|---|
| Deep Coding | Да (подветки) | Геолокация, кластеры | Низкая |
| Геохеш как канал | Минимальное | Координаты | Средняя |
| Текстовые шаблоны | Нет | Любые | Высокая |

---

## Связанные заметки

- [[Взвешенное_управление_Residual_Branch]]
- [[DEQFusion_ProgressiveFusion]]
