7.8 KiB
tags
| tags | ||
|---|---|---|
|
Текстовые шаблоны для кодирования метаданных аэрофотоснимков
1. Обоснование подхода
Почему текст, а не прямая подача числовых признаков?
Прямая подача числовых метаданных в виде векторов требует дополнительной входной ветви и усложняет архитектуру. Текстовые шаблоны позволяют:
- задействовать предобученные языковые модели (CLIP, MobileCLIP), чьи пространства уже содержат богатые семантические структуры;
- передавать метаданные без изменения архитектуры модели;
- обеспечить семантическую интерпретацию числовых значений (не просто
h=450, а"taken from a height of 450 meters"); - унифицировать разнородные источники информации в едином входном формате.
Авторы LLaVA-ST установили, что прямая передача точных числовых значений в текст ухудшает обучение; преобразование в интерпретируемые категории, интервалы или относительные описания — улучшает.
Выбор языка шаблонов
Английский язык выбран как основной по следующим основаниям:
- Модели CLIP и MobileCLIP обучены преимущественно на англоязычных корпусах (WIT — 100% EN, LAION-5B — ~40% EN оригинал + ~3B переведённых пар).
- Анализ косинусного сходства показывает: медианное сходство для англоязычного текста (0.296 при 50-м перцентиле) выше, чем для оригинального нетранслированного (0.286).
- Англоязычные описания обеспечивают более согласованные с изображениями текстовые эмбеддинги.
2. Типы метаданных аэрофотоснимков
Числовые признаки
| Признак | Описание | Влияние на изображение |
|---|---|---|
| Высота съёмки (h) | Высота БПЛА над землёй, м | Масштаб объектов, разрешение |
| Yaw | Азимутный угол камеры, ° | Ориентация сцены |
| Pitch | Угол тангажа, ° | Перспективные искажения |
| Roll | Угол крена, ° | Наклон горизонта |
| Количество объектов класса | Агрегированный счётчик по метаклассу | Семантическое содержание |
Категориальные признаки
| Признак | Значения | Влияние на изображение |
|---|---|---|
| Тип платформы | БПЛА / Спутник | Разрешение, угол обзора |
| Время суток | Утро / День / Вечер / Ночь | Освещённость, длина теней |
| Сезон | Весна / Лето / Осень / Зима | Цвет растительности, снег |
| Погода | Ясно / Облачно / Дождь / Туман | Видимость, шум, блики |
3. Разработанные шаблоны
Задача регрессии (высота / углы ориентации)
Минимальный шаблон с акцентом на числовое значение:
"This is a drone aerial image taken from a height of <h> meters"
Расширенный шаблон с углами:
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°."
Задача классификации
Варианты с указанием целевого класса без лишних метаданных:
a) "The target is a <class> in an aerial photo"
b) "An aerial photo contains a <class>"
c) "An aerial view showing a <class>"
Задача семантической сегментации (полный шаблон)
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
Here is next amount of metaclasses. Road: <count>, Nature: <count>, Construction: <count>,
Obstacle: <count>, Water: <count>"
Смысл каждого компонента:
- Высота → масштаб захватываемого контекста;
- Ориентация камеры → геометрия проекции;
- Временные параметры → освещённость и внешний вид объектов;
- Метаклассы → семантическое содержание сцены.
4. Принципы разработки шаблонов
- Структурированность — числовые и категориальные значения лингвистически корректно связаны со смысловыми описаниями.
- Семантическая интерпретируемость — текст остаётся читаемым человеком.
- Согласование с визуальными признаками — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
- Минимальная достаточность — набор признаков определяется доступностью данных в датасете или возможностью их извлечения методом VQA.
5. Интерполяция значений высоты
При дискретности меток высоты в датасете введён механизм интерполяции:
h_q = round(h / d_step) · d_step # квантование до ближайшего шага
h_out = max(h_min, min(h_max, h_q)) # ограничение диапазоном датасета
где d_step — шаг интерполяции. Экспериментально установлены оптимальные значения: d_step ∈ {5, 10}.
Цель: обеспечить более плавную ассоциацию между визуальным представлением изображения и значением высоты, повысить устойчивость к вариациям высоты и углов поворота камеры.
6. Извлечение категориальных признаков методом VQA
Признаки, не содержащиеся явно в метаданных датасета (сезон, погода, время суток), могут быть получены с помощью Visual Question Answering:
- Вопрос: "What is the approximate season shown in this aerial image?"
- Вопрос: "What time of day does this image appear to be taken?"
- Вопрос: "What is the weather condition in this image?"
Это позволяет автоматически обогащать текстовые описания без ручной разметки.