---
tags:
  - диссер
  - "#text_prompts"
---

# Текстовые шаблоны для кодирования метаданных аэрофотоснимков

## 1. Обоснование подхода

### Почему текст, а не прямая подача числовых признаков?

Прямая подача числовых метаданных в виде векторов требует дополнительной входной ветви и усложняет архитектуру. Текстовые шаблоны позволяют:

- задействовать предобученные языковые модели (CLIP, MobileCLIP), чьи пространства уже содержат богатые семантические структуры;
- передавать метаданные без изменения архитектуры модели;
- обеспечить семантическую интерпретацию числовых значений (не просто `h=450`, а `"taken from a height of 450 meters"`);
- унифицировать разнородные источники информации в едином входном формате.

> Авторы LLaVA-ST установили, что прямая передача точных числовых значений в текст **ухудшает** обучение; преобразование в интерпретируемые категории, интервалы или относительные описания — **улучшает**.

### Выбор языка шаблонов

Английский язык выбран как основной по следующим основаниям:

- Модели CLIP и MobileCLIP обучены преимущественно на англоязычных корпусах (WIT — 100% EN, LAION-5B — ~40% EN оригинал + ~3B переведённых пар).
- Анализ косинусного сходства показывает: медианное сходство для англоязычного текста (0.296 при 50-м перцентиле) выше, чем для оригинального нетранслированного (0.286).
- Англоязычные описания обеспечивают более согласованные с изображениями текстовые эмбеддинги.

---

## 2. Типы метаданных аэрофотоснимков

### Числовые признаки

| Признак | Описание | Влияние на изображение |
|---|---|---|
| Высота съёмки (h) | Высота БПЛА над землёй, м | Масштаб объектов, разрешение |
| Yaw | Азимутный угол камеры, ° | Ориентация сцены |
| Pitch | Угол тангажа, ° | Перспективные искажения |
| Roll | Угол крена, ° | Наклон горизонта |
| Количество объектов класса | Агрегированный счётчик по метаклассу | Семантическое содержание |

### Категориальные признаки

| Признак | Значения | Влияние на изображение |
|---|---|---|
| Тип платформы | БПЛА / Спутник | Разрешение, угол обзора |
| Время суток | Утро / День / Вечер / Ночь | Освещённость, длина теней |
| Сезон | Весна / Лето / Осень / Зима | Цвет растительности, снег |
| Погода | Ясно / Облачно / Дождь / Туман | Видимость, шум, блики |

---

## 3. Разработанные шаблоны

### Задача регрессии (высота / углы ориентации)

Минимальный шаблон с акцентом на числовое значение:

```
"This is a drone aerial image taken from a height of <h> meters"
```

Расширенный шаблон с углами:

```
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°."
```

### Задача классификации

Варианты с указанием целевого класса без лишних метаданных:

```
a) "The target is a <class> in an aerial photo"
b) "An aerial photo contains a <class>"
c) "An aerial view showing a <class>"
```

### Задача семантической сегментации (полный шаблон)

```
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>. 
Here is next amount of metaclasses. Road: <count>, Nature: <count>, Construction: <count>, 
Obstacle: <count>, Water: <count>"
```

Смысл каждого компонента:
- **Высота** → масштаб захватываемого контекста;
- **Ориентация камеры** → геометрия проекции;
- **Временные параметры** → освещённость и внешний вид объектов;
- **Метаклассы** → семантическое содержание сцены.

---

## 4. Принципы разработки шаблонов

1. **Структурированность** — числовые и категориальные значения лингвистически корректно связаны со смысловыми описаниями.
2. **Семантическая интерпретируемость** — текст остаётся читаемым человеком.
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
4. **Минимальная достаточность** — набор признаков определяется доступностью данных в датасете или возможностью их извлечения методом VQA.

---

## 5. Интерполяция значений высоты

При дискретности меток высоты в датасете введён механизм интерполяции:

```
h_q   = round(h / d_step) · d_step          # квантование до ближайшего шага
h_out = max(h_min, min(h_max, h_q))         # ограничение диапазоном датасета
```

где `d_step` — шаг интерполяции. Экспериментально установлены оптимальные значения: `d_step ∈ {5, 10}`.

Цель: обеспечить более плавную ассоциацию между визуальным представлением изображения и значением высоты, повысить устойчивость к вариациям высоты и углов поворота камеры.

---

## 6. Извлечение категориальных признаков методом VQA

Признаки, не содержащиеся явно в метаданных датасета (сезон, погода, время суток), могут быть получены с помощью Visual Question Answering:

- **Вопрос:** "What is the approximate season shown in this aerial image?"
- **Вопрос:** "What time of day does this image appear to be taken?"
- **Вопрос:** "What is the weather condition in this image?"

Это позволяет автоматически обогащать текстовые описания без ручной разметки.