---
tags:
  - диссер
  - text_prompts
---

[[text_templates]]
# Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков

## 3.1. Обоснование текстового кодирования метаданных

### Контекст мультимодальных систем

В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.

**Определение текстового шаблона** (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
- переноса дополнительной информации в языковое представление;
- обеспечения семантической интерпретации данных;
- унификации разнородных источников информации без усложнения архитектуры.

### Обзор аналогичных подходов

| Работа | Что кодируется | Способ кодирования |
|---|---|---|
| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |

**Общий вывод из литературы:** прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.

---

## 3.2. Типы данных, извлекаемых из аэрофотоснимков

### Числовые признаки

| Признак | Физический смысл | Влияние на изображение |
|---|---|---|
| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
| Pitch, ° | Угол тангажа | Перспективные искажения |
| Roll, ° | Угол крена | Наклон горизонта |
| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |

### Категориальные признаки

| Признак | Возможные значения |
|---|---|
| Тип платформы | БПЛА / Спутник |
| Время суток | Утро / День / Вечер / Ночь |
| Сезон | Весна / Лето / Осень / Зима |
| Погода | Ясно / Облачно / Дождь / Туман |

### Извлечение недостающих признаков

Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):

```
"What is the approximate season shown in this aerial image?"
"What time of day does this image appear to be taken?"
"What is the weather condition in this image?"
```

---

## 3.3. Лингвистические особенности шаблонов

### Выбор языка

Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.

| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
|---|---|---|
| WIT (OpenAI) | 100% | 100% |
| LAION-5B | 39.6% | ~100% (с переводом) |
| COYO-700M | N/A | ~100% |
| DataComp-1B | 35.5% | ~70–80% |

Косинусное сходство эмбеддингов (CLIP ViT-B/32):
- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)

### Принципы формирования шаблонов

1. **Структурированность** — числовые значения лингвистически корректно связаны со смысловыми описаниями.
2. **Семантическая интерпретируемость** — текст читаем человеком.
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.

---

## 3.4. Разработанные шаблоны

### Регрессия

```
"This is a drone aerial image taken from a height of <h> meters"
```

### Классификация

```
a) "The target is a <class> in an aerial photo"
b) "An aerial photo contains a <class>"  
c) "An aerial view showing a <class>"
```

### Семантическая сегментация (полный шаблон)

```
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>. 
Here is next amount of metaclasses. 
Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
```

Компоненты и их роль:
- `<h>` → масштаб контекста
- `yaw/pitch/roll` → геометрия проекции
- `<time>`, `<season>` → освещённость и внешний вид объектов
- метаклассы → семантическое содержание сцены

---

## 3.5. Баланс числовых и категориальных признаков

Использование обоих типов признаков обеспечивает компромисс:
- **Числовые** → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
- **Категориальные** → семантическая интерпретируемость, устойчивость к точности измерений.

Выбор конкретного набора признаков определяется:
1. Доступностью данных в датасете.
2. Возможностью извлечения через VQA.
3. Физическим влиянием на визуальное представление сцены.