first commit
This commit is contained in:
131
3_work/methods/text_templates.md
Normal file
131
3_work/methods/text_templates.md
Normal file
@@ -0,0 +1,131 @@
|
||||
---
|
||||
tags:
|
||||
- диссер
|
||||
- "#text_prompts"
|
||||
---
|
||||
|
||||
# Текстовые шаблоны для кодирования метаданных аэрофотоснимков
|
||||
|
||||
## 1. Обоснование подхода
|
||||
|
||||
### Почему текст, а не прямая подача числовых признаков?
|
||||
|
||||
Прямая подача числовых метаданных в виде векторов требует дополнительной входной ветви и усложняет архитектуру. Текстовые шаблоны позволяют:
|
||||
|
||||
- задействовать предобученные языковые модели (CLIP, MobileCLIP), чьи пространства уже содержат богатые семантические структуры;
|
||||
- передавать метаданные без изменения архитектуры модели;
|
||||
- обеспечить семантическую интерпретацию числовых значений (не просто `h=450`, а `"taken from a height of 450 meters"`);
|
||||
- унифицировать разнородные источники информации в едином входном формате.
|
||||
|
||||
> Авторы LLaVA-ST установили, что прямая передача точных числовых значений в текст **ухудшает** обучение; преобразование в интерпретируемые категории, интервалы или относительные описания — **улучшает**.
|
||||
|
||||
### Выбор языка шаблонов
|
||||
|
||||
Английский язык выбран как основной по следующим основаниям:
|
||||
|
||||
- Модели CLIP и MobileCLIP обучены преимущественно на англоязычных корпусах (WIT — 100% EN, LAION-5B — ~40% EN оригинал + ~3B переведённых пар).
|
||||
- Анализ косинусного сходства показывает: медианное сходство для англоязычного текста (0.296 при 50-м перцентиле) выше, чем для оригинального нетранслированного (0.286).
|
||||
- Англоязычные описания обеспечивают более согласованные с изображениями текстовые эмбеддинги.
|
||||
|
||||
---
|
||||
|
||||
## 2. Типы метаданных аэрофотоснимков
|
||||
|
||||
### Числовые признаки
|
||||
|
||||
| Признак | Описание | Влияние на изображение |
|
||||
|---|---|---|
|
||||
| Высота съёмки (h) | Высота БПЛА над землёй, м | Масштаб объектов, разрешение |
|
||||
| Yaw | Азимутный угол камеры, ° | Ориентация сцены |
|
||||
| Pitch | Угол тангажа, ° | Перспективные искажения |
|
||||
| Roll | Угол крена, ° | Наклон горизонта |
|
||||
| Количество объектов класса | Агрегированный счётчик по метаклассу | Семантическое содержание |
|
||||
|
||||
### Категориальные признаки
|
||||
|
||||
| Признак | Значения | Влияние на изображение |
|
||||
|---|---|---|
|
||||
| Тип платформы | БПЛА / Спутник | Разрешение, угол обзора |
|
||||
| Время суток | Утро / День / Вечер / Ночь | Освещённость, длина теней |
|
||||
| Сезон | Весна / Лето / Осень / Зима | Цвет растительности, снег |
|
||||
| Погода | Ясно / Облачно / Дождь / Туман | Видимость, шум, блики |
|
||||
|
||||
---
|
||||
|
||||
## 3. Разработанные шаблоны
|
||||
|
||||
### Задача регрессии (высота / углы ориентации)
|
||||
|
||||
Минимальный шаблон с акцентом на числовое значение:
|
||||
|
||||
```
|
||||
"This is a drone aerial image taken from a height of <h> meters"
|
||||
```
|
||||
|
||||
Расширенный шаблон с углами:
|
||||
|
||||
```
|
||||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°."
|
||||
```
|
||||
|
||||
### Задача классификации
|
||||
|
||||
Варианты с указанием целевого класса без лишних метаданных:
|
||||
|
||||
```
|
||||
a) "The target is a <class> in an aerial photo"
|
||||
b) "An aerial photo contains a <class>"
|
||||
c) "An aerial view showing a <class>"
|
||||
```
|
||||
|
||||
### Задача семантической сегментации (полный шаблон)
|
||||
|
||||
```
|
||||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
|
||||
Here is next amount of metaclasses. Road: <count>, Nature: <count>, Construction: <count>,
|
||||
Obstacle: <count>, Water: <count>"
|
||||
```
|
||||
|
||||
Смысл каждого компонента:
|
||||
- **Высота** → масштаб захватываемого контекста;
|
||||
- **Ориентация камеры** → геометрия проекции;
|
||||
- **Временные параметры** → освещённость и внешний вид объектов;
|
||||
- **Метаклассы** → семантическое содержание сцены.
|
||||
|
||||
---
|
||||
|
||||
## 4. Принципы разработки шаблонов
|
||||
|
||||
1. **Структурированность** — числовые и категориальные значения лингвистически корректно связаны со смысловыми описаниями.
|
||||
2. **Семантическая интерпретируемость** — текст остаётся читаемым человеком.
|
||||
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
|
||||
4. **Минимальная достаточность** — набор признаков определяется доступностью данных в датасете или возможностью их извлечения методом VQA.
|
||||
|
||||
---
|
||||
|
||||
## 5. Интерполяция значений высоты
|
||||
|
||||
При дискретности меток высоты в датасете введён механизм интерполяции:
|
||||
|
||||
```
|
||||
h_q = round(h / d_step) · d_step # квантование до ближайшего шага
|
||||
h_out = max(h_min, min(h_max, h_q)) # ограничение диапазоном датасета
|
||||
```
|
||||
|
||||
где `d_step` — шаг интерполяции. Экспериментально установлены оптимальные значения: `d_step ∈ {5, 10}`.
|
||||
|
||||
Цель: обеспечить более плавную ассоциацию между визуальным представлением изображения и значением высоты, повысить устойчивость к вариациям высоты и углов поворота камеры.
|
||||
|
||||
---
|
||||
|
||||
## 6. Извлечение категориальных признаков методом VQA
|
||||
|
||||
Признаки, не содержащиеся явно в метаданных датасета (сезон, погода, время суток), могут быть получены с помощью Visual Question Answering:
|
||||
|
||||
- **Вопрос:** "What is the approximate season shown in this aerial image?"
|
||||
- **Вопрос:** "What time of day does this image appear to be taken?"
|
||||
- **Вопрос:** "What is the weather condition in this image?"
|
||||
|
||||
Это позволяет автоматически обогащать текстовые описания без ручной разметки.
|
||||
Reference in New Issue
Block a user