136 lines
7.9 KiB
Markdown
136 lines
7.9 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
- text_prompts
|
||
---
|
||
|
||
[[text_templates]]
|
||
# Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков
|
||
|
||
## 3.1. Обоснование текстового кодирования метаданных
|
||
|
||
### Контекст мультимодальных систем
|
||
|
||
В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.
|
||
|
||
**Определение текстового шаблона** (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
|
||
- переноса дополнительной информации в языковое представление;
|
||
- обеспечения семантической интерпретации данных;
|
||
- унификации разнородных источников информации без усложнения архитектуры.
|
||
|
||
### Обзор аналогичных подходов
|
||
|
||
| Работа | Что кодируется | Способ кодирования |
|
||
|---|---|---|
|
||
| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
|
||
| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
|
||
| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
|
||
| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |
|
||
|
||
**Общий вывод из литературы:** прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.
|
||
|
||
---
|
||
|
||
## 3.2. Типы данных, извлекаемых из аэрофотоснимков
|
||
|
||
### Числовые признаки
|
||
|
||
| Признак | Физический смысл | Влияние на изображение |
|
||
|---|---|---|
|
||
| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
|
||
| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
|
||
| Pitch, ° | Угол тангажа | Перспективные искажения |
|
||
| Roll, ° | Угол крена | Наклон горизонта |
|
||
| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |
|
||
|
||
### Категориальные признаки
|
||
|
||
| Признак | Возможные значения |
|
||
|---|---|
|
||
| Тип платформы | БПЛА / Спутник |
|
||
| Время суток | Утро / День / Вечер / Ночь |
|
||
| Сезон | Весна / Лето / Осень / Зима |
|
||
| Погода | Ясно / Облачно / Дождь / Туман |
|
||
|
||
### Извлечение недостающих признаков
|
||
|
||
Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):
|
||
|
||
```
|
||
"What is the approximate season shown in this aerial image?"
|
||
"What time of day does this image appear to be taken?"
|
||
"What is the weather condition in this image?"
|
||
```
|
||
|
||
---
|
||
|
||
## 3.3. Лингвистические особенности шаблонов
|
||
|
||
### Выбор языка
|
||
|
||
Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.
|
||
|
||
| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
|
||
|---|---|---|
|
||
| WIT (OpenAI) | 100% | 100% |
|
||
| LAION-5B | 39.6% | ~100% (с переводом) |
|
||
| COYO-700M | N/A | ~100% |
|
||
| DataComp-1B | 35.5% | ~70–80% |
|
||
|
||
Косинусное сходство эмбеддингов (CLIP ViT-B/32):
|
||
- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
|
||
- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
|
||
- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)
|
||
|
||
### Принципы формирования шаблонов
|
||
|
||
1. **Структурированность** — числовые значения лингвистически корректно связаны со смысловыми описаниями.
|
||
2. **Семантическая интерпретируемость** — текст читаем человеком.
|
||
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
|
||
|
||
---
|
||
|
||
## 3.4. Разработанные шаблоны
|
||
|
||
### Регрессия
|
||
|
||
```
|
||
"This is a drone aerial image taken from a height of <h> meters"
|
||
```
|
||
|
||
### Классификация
|
||
|
||
```
|
||
a) "The target is a <class> in an aerial photo"
|
||
b) "An aerial photo contains a <class>"
|
||
c) "An aerial view showing a <class>"
|
||
```
|
||
|
||
### Семантическая сегментация (полный шаблон)
|
||
|
||
```
|
||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
|
||
Here is next amount of metaclasses.
|
||
Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
|
||
```
|
||
|
||
Компоненты и их роль:
|
||
- `<h>` → масштаб контекста
|
||
- `yaw/pitch/roll` → геометрия проекции
|
||
- `<time>`, `<season>` → освещённость и внешний вид объектов
|
||
- метаклассы → семантическое содержание сцены
|
||
|
||
---
|
||
|
||
## 3.5. Баланс числовых и категориальных признаков
|
||
|
||
Использование обоих типов признаков обеспечивает компромисс:
|
||
- **Числовые** → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
|
||
- **Категориальные** → семантическая интерпретируемость, устойчивость к точности измерений.
|
||
|
||
Выбор конкретного набора признаков определяется:
|
||
1. Доступностью данных в датасете.
|
||
2. Возможностью извлечения через VQA.
|
||
3. Физическим влиянием на визуальное представление сцены.
|