--- tags: [диссер, metadata, geolocation, fusion, UAV, remote-sensing] aliases: [Deep Coding, Geolocation-Aware] --- # Вставка метаданных геолокации в модели глубокого обучения > Источник: Madadikhaljan & Schmitt, "Geolocation-Aware Deep Coding" (PFG, 2025) ## Ключевая идея — Deep Coding **Аналогия:** термин взят из практики разработки ПО — "жёсткое кодирование" (hardcoding). Здесь: создание **отдельных подветвей** внутри глубоких блоков модели, требующих внимания к деталям, специфичным для геолокации. Стратегия не зависит от архитектуры — применима к UNet, ResNet, AlexNet, VGG и другим. --- ## Два шага методологии ### Шаг 1 — Анализ и разделение датасета на регионы **Регион** — пространственное разделение глобального датасета на подмножества со схожими геолокационными характеристиками. Что считается "сходством": - Форма, цвет, материал, высота, внешний вид объектов - Климатические свойства местоположения - Типы землепользования, культур, природных опасностей **Примеры разбивки** (зависит от задачи): | Задача | Разумная единица региона | |---|---| | Классификация с/х культур | Климатические регионы | | Обнаружение контуров зданий | Границы городов | | Общая сегментация | Страна, континент, геохеш | ### Шаг 2 — Внедрение геолокационной осведомлённости в архитектуру --- ## Способы вставки геолокации (по уровню обработки) ### Уровень входных данных Геолокационная информация добавляется как дополнительные каналы к входному изображению: - **Mahara & Rishe (2023):** координаты → геохеш-коды → растровый слой, конкатенируется с картой признаков - **Liu et al. (2018):** два растра с декартовыми координатами добавляются к входному изображению - **Zhang et al. (2021):** координаты → векторные признаки через FC-слои → конкатенация со спектральными признаками ### Уровень промежуточных признаков (Deep Coding) Отдельные подветви внутри глубоких блоков — информация о геолокации встраивается как структурная часть признакового пространства, а не побочный числовой вектор. --- ## Почему прямая подача координат не оптимальна > Декартовы и широтно-долготные координаты предназначены для определения местоположения в метрическом пространстве, но **не отражают геолокационные сходства и различия** данных с разными микроклиматами. Пример: две точки с близкими координатами могут находиться по разные стороны горного хребта — климат, растительность и материалы застройки будут принципиально разными, хотя координаты почти одинаковы. Решение: кластеризация по геолокационному сходству + специализированные ветки сети для каждого кластера. --- ## Связь с текстовым кодированием метаданных Deep Coding — архитектурный подход (отдельные ветки). Альтернатива — **текстовые шаблоны** как контейнер для метаданных, позволяющие не менять архитектуру: ``` "Drone aerial photo from UAV, taken from height meters, camera orientation yaw °, pitch °, roll °.