Вставка метаданных геолокации в модели глубокого обучения

Источник: Madadikhaljan & Schmitt, "Geolocation-Aware Deep Coding" (PFG, 2025)

Ключевая идея — Deep Coding

Аналогия: термин взят из практики разработки ПО — "жёсткое кодирование" (hardcoding). Здесь: создание отдельных подветвей внутри глубоких блоков модели, требующих внимания к деталям, специфичным для геолокации.

Стратегия не зависит от архитектуры — применима к UNet, ResNet, AlexNet, VGG и другим.

Два шага методологии

Шаг 1 — Анализ и разделение датасета на регионы

Регион — пространственное разделение глобального датасета на подмножества со схожими геолокационными характеристиками.

Что считается "сходством":

Форма, цвет, материал, высота, внешний вид объектов
Климатические свойства местоположения
Типы землепользования, культур, природных опасностей

Примеры разбивки (зависит от задачи):

Задача	Разумная единица региона
Классификация с/х культур	Климатические регионы
Обнаружение контуров зданий	Границы городов
Общая сегментация	Страна, континент, геохеш

Шаг 2 — Внедрение геолокационной осведомлённости в архитектуру

Способы вставки геолокации (по уровню обработки)

Уровень входных данных

Геолокационная информация добавляется как дополнительные каналы к входному изображению:

Mahara & Rishe (2023): координаты → геохеш-коды → растровый слой, конкатенируется с картой признаков
Liu et al. (2018): два растра с декартовыми координатами добавляются к входному изображению
Zhang et al. (2021): координаты → векторные признаки через FC-слои → конкатенация со спектральными признаками

Уровень промежуточных признаков (Deep Coding)

Отдельные подветви внутри глубоких блоков — информация о геолокации встраивается как структурная часть признакового пространства, а не побочный числовой вектор.

Почему прямая подача координат не оптимальна

Декартовы и широтно-долготные координаты предназначены для определения местоположения в метрическом пространстве, но не отражают геолокационные сходства и различия данных с разными микроклиматами.

Пример: две точки с близкими координатами могут находиться по разные стороны горного хребта — климат, растительность и материалы застройки будут принципиально разными, хотя координаты почти одинаковы.

Решение: кластеризация по геолокационному сходству + специализированные ветки сети для каждого кластера.

Связь с текстовым кодированием метаданных

Deep Coding — архитектурный подход (отдельные ветки). Альтернатива — текстовые шаблоны как контейнер для метаданных, позволяющие не менять архитектуру:

"Drone aerial photo from UAV, taken from height <h> meters,
 camera orientation yaw <yaw>°, pitch <pitch>°, roll <roll>°.
 <time> time, season is <season>."

Сравнение подходов:

Подход	Изменение архитектуры	Тип метаданных	Гибкость
Deep Coding	Да (подветки)	Геолокация, кластеры	Низкая
Геохеш как канал	Минимальное	Координаты	Средняя
Текстовые шаблоны	Нет	Любые	Высокая

5.4 KiB Raw Blame History Unescape Escape