7.9 KiB
tags
| tags | ||
|---|---|---|
|
Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков
3.1. Обоснование текстового кодирования метаданных
Контекст мультимодальных систем
В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.
Определение текстового шаблона (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
- переноса дополнительной информации в языковое представление;
- обеспечения семантической интерпретации данных;
- унификации разнородных источников информации без усложнения архитектуры.
Обзор аналогичных подходов
| Работа | Что кодируется | Способ кодирования |
|---|---|---|
| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |
Общий вывод из литературы: прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.
3.2. Типы данных, извлекаемых из аэрофотоснимков
Числовые признаки
| Признак | Физический смысл | Влияние на изображение |
|---|---|---|
| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
| Pitch, ° | Угол тангажа | Перспективные искажения |
| Roll, ° | Угол крена | Наклон горизонта |
| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |
Категориальные признаки
| Признак | Возможные значения |
|---|---|
| Тип платформы | БПЛА / Спутник |
| Время суток | Утро / День / Вечер / Ночь |
| Сезон | Весна / Лето / Осень / Зима |
| Погода | Ясно / Облачно / Дождь / Туман |
Извлечение недостающих признаков
Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):
"What is the approximate season shown in this aerial image?"
"What time of day does this image appear to be taken?"
"What is the weather condition in this image?"
3.3. Лингвистические особенности шаблонов
Выбор языка
Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.
| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
|---|---|---|
| WIT (OpenAI) | 100% | 100% |
| LAION-5B | 39.6% | ~100% (с переводом) |
| COYO-700M | N/A | ~100% |
| DataComp-1B | 35.5% | ~70–80% |
Косинусное сходство эмбеддингов (CLIP ViT-B/32):
- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)
Принципы формирования шаблонов
- Структурированность — числовые значения лингвистически корректно связаны со смысловыми описаниями.
- Семантическая интерпретируемость — текст читаем человеком.
- Согласование с визуальными признаками — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
3.4. Разработанные шаблоны
Регрессия
"This is a drone aerial image taken from a height of <h> meters"
Классификация
a) "The target is a <class> in an aerial photo"
b) "An aerial photo contains a <class>"
c) "An aerial view showing a <class>"
Семантическая сегментация (полный шаблон)
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
Here is next amount of metaclasses.
Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
Компоненты и их роль:
<h>→ масштаб контекстаyaw/pitch/roll→ геометрия проекции<time>,<season>→ освещённость и внешний вид объектов- метаклассы → семантическое содержание сцены
3.5. Баланс числовых и категориальных признаков
Использование обоих типов признаков обеспечивает компромисс:
- Числовые → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
- Категориальные → семантическая интерпретируемость, устойчивость к точности измерений.
Выбор конкретного набора признаков определяется:
- Доступностью данных в датасете.
- Возможностью извлечения через VQA.
- Физическим влиянием на визуальное представление сцены.