first commit

2026-04-24 09:49:17 +03:00
commit 5782a2b35f
46 changed files with 1783 additions and 0 deletions
--- a/0_disser/chapter3_templates.md
+++ b/0_disser/chapter3_templates.md
@@ -0,0 +1,135 @@
+---
+tags:
+  - диссер
+  - text_prompts
+---
+
+[[text_templates]]
+# Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков
+
+## 3.1. Обоснование текстового кодирования метаданных
+
+### Контекст мультимодальных систем
+
+В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.
+
+**Определение текстового шаблона** (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
+- переноса дополнительной информации в языковое представление;
+- обеспечения семантической интерпретации данных;
+- унификации разнородных источников информации без усложнения архитектуры.
+
+### Обзор аналогичных подходов
+
+| Работа | Что кодируется | Способ кодирования |
+|---|---|---|
+| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
+| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
+| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
+| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |
+
+**Общий вывод из литературы:** прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.
+
+---
+
+## 3.2. Типы данных, извлекаемых из аэрофотоснимков
+
+### Числовые признаки
+
+| Признак | Физический смысл | Влияние на изображение |
+|---|---|---|
+| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
+| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
+| Pitch, ° | Угол тангажа | Перспективные искажения |
+| Roll, ° | Угол крена | Наклон горизонта |
+| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |
+
+### Категориальные признаки
+
+| Признак | Возможные значения |
+|---|---|
+| Тип платформы | БПЛА / Спутник |
+| Время суток | Утро / День / Вечер / Ночь |
+| Сезон | Весна / Лето / Осень / Зима |
+| Погода | Ясно / Облачно / Дождь / Туман |
+
+### Извлечение недостающих признаков
+
+Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):
+
+```
+"What is the approximate season shown in this aerial image?"
+"What time of day does this image appear to be taken?"
+"What is the weather condition in this image?"
+```
+
+---
+
+## 3.3. Лингвистические особенности шаблонов
+
+### Выбор языка
+
+Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.
+
+| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
+|---|---|---|
+| WIT (OpenAI) | 100% | 100% |
+| LAION-5B | 39.6% | ~100% (с переводом) |
+| COYO-700M | N/A | ~100% |
+| DataComp-1B | 35.5% | ~70–80% |
+
+Косинусное сходство эмбеддингов (CLIP ViT-B/32):
+- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
+- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
+- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)
+
+### Принципы формирования шаблонов
+
+1. **Структурированность** — числовые значения лингвистически корректно связаны со смысловыми описаниями.
+2. **Семантическая интерпретируемость** — текст читаем человеком.
+3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
+
+---
+
+## 3.4. Разработанные шаблоны
+
+### Регрессия
+
+```
+"This is a drone aerial image taken from a height of <h> meters"
+```
+
+### Классификация
+
+```
+a) "The target is a <class> in an aerial photo"
+b) "An aerial photo contains a <class>"  
+c) "An aerial view showing a <class>"
+```
+
+### Семантическая сегментация (полный шаблон)
+
+```
+"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
+defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>. 
+Here is next amount of metaclasses. 
+Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
+```
+
+Компоненты и их роль:
+- `<h>` → масштаб контекста
+- `yaw/pitch/roll` → геометрия проекции
+- `<time>`, `<season>` → освещённость и внешний вид объектов
+- метаклассы → семантическое содержание сцены
+
+---
+
+## 3.5. Баланс числовых и категориальных признаков
+
+Использование обоих типов признаков обеспечивает компромисс:
+- **Числовые** → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
+- **Категориальные** → семантическая интерпретируемость, устойчивость к точности измерений.
+
+Выбор конкретного набора признаков определяется:
+1. Доступностью данных в датасете.
+2. Возможностью извлечения через VQA.
+3. Физическим влиянием на визуальное представление сцены.