132 lines
7.8 KiB
Markdown
132 lines
7.8 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
- "#text_prompts"
|
||
---
|
||
|
||
# Текстовые шаблоны для кодирования метаданных аэрофотоснимков
|
||
|
||
## 1. Обоснование подхода
|
||
|
||
### Почему текст, а не прямая подача числовых признаков?
|
||
|
||
Прямая подача числовых метаданных в виде векторов требует дополнительной входной ветви и усложняет архитектуру. Текстовые шаблоны позволяют:
|
||
|
||
- задействовать предобученные языковые модели (CLIP, MobileCLIP), чьи пространства уже содержат богатые семантические структуры;
|
||
- передавать метаданные без изменения архитектуры модели;
|
||
- обеспечить семантическую интерпретацию числовых значений (не просто `h=450`, а `"taken from a height of 450 meters"`);
|
||
- унифицировать разнородные источники информации в едином входном формате.
|
||
|
||
> Авторы LLaVA-ST установили, что прямая передача точных числовых значений в текст **ухудшает** обучение; преобразование в интерпретируемые категории, интервалы или относительные описания — **улучшает**.
|
||
|
||
### Выбор языка шаблонов
|
||
|
||
Английский язык выбран как основной по следующим основаниям:
|
||
|
||
- Модели CLIP и MobileCLIP обучены преимущественно на англоязычных корпусах (WIT — 100% EN, LAION-5B — ~40% EN оригинал + ~3B переведённых пар).
|
||
- Анализ косинусного сходства показывает: медианное сходство для англоязычного текста (0.296 при 50-м перцентиле) выше, чем для оригинального нетранслированного (0.286).
|
||
- Англоязычные описания обеспечивают более согласованные с изображениями текстовые эмбеддинги.
|
||
|
||
---
|
||
|
||
## 2. Типы метаданных аэрофотоснимков
|
||
|
||
### Числовые признаки
|
||
|
||
| Признак | Описание | Влияние на изображение |
|
||
|---|---|---|
|
||
| Высота съёмки (h) | Высота БПЛА над землёй, м | Масштаб объектов, разрешение |
|
||
| Yaw | Азимутный угол камеры, ° | Ориентация сцены |
|
||
| Pitch | Угол тангажа, ° | Перспективные искажения |
|
||
| Roll | Угол крена, ° | Наклон горизонта |
|
||
| Количество объектов класса | Агрегированный счётчик по метаклассу | Семантическое содержание |
|
||
|
||
### Категориальные признаки
|
||
|
||
| Признак | Значения | Влияние на изображение |
|
||
|---|---|---|
|
||
| Тип платформы | БПЛА / Спутник | Разрешение, угол обзора |
|
||
| Время суток | Утро / День / Вечер / Ночь | Освещённость, длина теней |
|
||
| Сезон | Весна / Лето / Осень / Зима | Цвет растительности, снег |
|
||
| Погода | Ясно / Облачно / Дождь / Туман | Видимость, шум, блики |
|
||
|
||
---
|
||
|
||
## 3. Разработанные шаблоны
|
||
|
||
### Задача регрессии (высота / углы ориентации)
|
||
|
||
Минимальный шаблон с акцентом на числовое значение:
|
||
|
||
```
|
||
"This is a drone aerial image taken from a height of <h> meters"
|
||
```
|
||
|
||
Расширенный шаблон с углами:
|
||
|
||
```
|
||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°."
|
||
```
|
||
|
||
### Задача классификации
|
||
|
||
Варианты с указанием целевого класса без лишних метаданных:
|
||
|
||
```
|
||
a) "The target is a <class> in an aerial photo"
|
||
b) "An aerial photo contains a <class>"
|
||
c) "An aerial view showing a <class>"
|
||
```
|
||
|
||
### Задача семантической сегментации (полный шаблон)
|
||
|
||
```
|
||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
|
||
Here is next amount of metaclasses. Road: <count>, Nature: <count>, Construction: <count>,
|
||
Obstacle: <count>, Water: <count>"
|
||
```
|
||
|
||
Смысл каждого компонента:
|
||
- **Высота** → масштаб захватываемого контекста;
|
||
- **Ориентация камеры** → геометрия проекции;
|
||
- **Временные параметры** → освещённость и внешний вид объектов;
|
||
- **Метаклассы** → семантическое содержание сцены.
|
||
|
||
---
|
||
|
||
## 4. Принципы разработки шаблонов
|
||
|
||
1. **Структурированность** — числовые и категориальные значения лингвистически корректно связаны со смысловыми описаниями.
|
||
2. **Семантическая интерпретируемость** — текст остаётся читаемым человеком.
|
||
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
|
||
4. **Минимальная достаточность** — набор признаков определяется доступностью данных в датасете или возможностью их извлечения методом VQA.
|
||
|
||
---
|
||
|
||
## 5. Интерполяция значений высоты
|
||
|
||
При дискретности меток высоты в датасете введён механизм интерполяции:
|
||
|
||
```
|
||
h_q = round(h / d_step) · d_step # квантование до ближайшего шага
|
||
h_out = max(h_min, min(h_max, h_q)) # ограничение диапазоном датасета
|
||
```
|
||
|
||
где `d_step` — шаг интерполяции. Экспериментально установлены оптимальные значения: `d_step ∈ {5, 10}`.
|
||
|
||
Цель: обеспечить более плавную ассоциацию между визуальным представлением изображения и значением высоты, повысить устойчивость к вариациям высоты и углов поворота камеры.
|
||
|
||
---
|
||
|
||
## 6. Извлечение категориальных признаков методом VQA
|
||
|
||
Признаки, не содержащиеся явно в метаданных датасета (сезон, погода, время суток), могут быть получены с помощью Visual Question Answering:
|
||
|
||
- **Вопрос:** "What is the approximate season shown in this aerial image?"
|
||
- **Вопрос:** "What time of day does this image appear to be taken?"
|
||
- **Вопрос:** "What is the weather condition in this image?"
|
||
|
||
Это позволяет автоматически обогащать текстовые описания без ручной разметки.
|