first commit
This commit is contained in:
147
0_disser/chapter2_multimodal.md
Normal file
147
0_disser/chapter2_multimodal.md
Normal file
@@ -0,0 +1,147 @@
|
||||
---
|
||||
tags:
|
||||
- диссер
|
||||
---
|
||||
|
||||
|
||||
# Глава 2. Мультимодальный подход в задаче сопоставления изображений
|
||||
|
||||
## 2.1. Эволюция мультимодальных архитектур
|
||||
|
||||
### Предпосылки
|
||||
|
||||
Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.
|
||||
|
||||
Ключевые этапы:
|
||||
- **Image Annotation (2000-е)** — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
|
||||
- **DeViSE (2013)** — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
|
||||
- **VQA (2015)** — совместная обработка текста и изображения; первые механизмы внимания.
|
||||
- **CLIP (2021)** — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.
|
||||
|
||||
---
|
||||
|
||||
## 2.2. Архитектурные подходы
|
||||
|
||||
### Раздельные (dual-stream) архитектуры
|
||||
|
||||
Два независимых трансформера + cross-attention на поздних стадиях.
|
||||
|
||||
| Модель | Год | Особенность |
|
||||
|---|---|---|
|
||||
| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
|
||||
| LXMERT | 2019 | Третий объединяющий модуль |
|
||||
| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
|
||||
| **CLIP** | 2021 | Слияние только через общее эмбеддинговое пространство |
|
||||
|
||||
### Однопотоковые (single-stream) архитектуры
|
||||
|
||||
Единый трансформер, принимающий все модальности одновременно.
|
||||
|
||||
| Модель | Год | Особенность |
|
||||
|---|---|---|
|
||||
| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
|
||||
| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
|
||||
| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |
|
||||
|
||||
### Encoder-Decoder архитектуры
|
||||
|
||||
| Модель | Год | Особенность |
|
||||
|---|---|---|
|
||||
| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
|
||||
| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |
|
||||
|
||||
---
|
||||
|
||||
## 2.3. Методы объединения признаков
|
||||
|
||||
### Простые методы
|
||||
|
||||
| Метод | Формула | Плюсы | Минусы |
|
||||
|---|---|---|---|
|
||||
| Конкатенация | `[f_A; f_B] ∈ R^{d_A+d_B}` | Сохраняет всю информацию | Рост размерности |
|
||||
| Сложение | `f_A + f_B ∈ R^d` | Компактность | Взаимная компенсация значений |
|
||||
| Умножение | `f_A ⊙ f_B ∈ R^d` | Выявляет зависимости | Обнуление при нулевых компонентах |
|
||||
| Взвешенная сумма | `α·f_A + β·f_B` | Гибкость коэффициентов | Фиксированные веса, нет адаптации |
|
||||
|
||||
### Параметризованные методы
|
||||
|
||||
- **MLP-fusion**: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
|
||||
- **Билинейное произведение**: высокая выразительность, квадратичный рост параметров.
|
||||
|
||||
### Адаптивные методы
|
||||
|
||||
#### Cross-Attention Fusion
|
||||
|
||||
```
|
||||
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
|
||||
```
|
||||
|
||||
Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).
|
||||
|
||||
**Плюсы:** контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.
|
||||
**Минусы:** O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.
|
||||
|
||||
#### Gate-Fusion
|
||||
|
||||
```
|
||||
fused = v_img ⊙ g + v_text ⊙ (1 − g)
|
||||
g = σ(linear([v_img; v_text]))
|
||||
```
|
||||
|
||||
**Плюсы:** O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.
|
||||
**Минусы:** меньшая выразительность межмодальных зависимостей по сравнению с full attention.
|
||||
|
||||
#### Progressive Fusion
|
||||
|
||||
Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.
|
||||
|
||||
---
|
||||
|
||||
## 2.4. Извлечение визуальных признаков
|
||||
|
||||
### CNN-подход
|
||||
|
||||
- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
|
||||
- Пространственная структура сохраняется в картах активаций H×W×C.
|
||||
- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
|
||||
- Рецептивное поле расширяется с глубиной сети.
|
||||
|
||||
**Хорошо сочетается с:** Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.
|
||||
|
||||
### Transformer-подход (ViT)
|
||||
|
||||
- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
|
||||
- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
|
||||
- Менее жёсткая пространственная структура (последовательность токенов).
|
||||
- Требует больших данных для обучения.
|
||||
|
||||
---
|
||||
|
||||
## 2.5. Извлечение текстовых признаков
|
||||
|
||||
### Токенизация и эмбеддинги
|
||||
|
||||
- Токенизация на уровне подслов (subword units) — обработка редких слов.
|
||||
- Self-attention формирует контекстно-зависимые эмбеддинги.
|
||||
- Агрегированные представления инвариантны к длине текста.
|
||||
|
||||
### Текст как контейнер для метаданных
|
||||
|
||||
Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.
|
||||
|
||||
**Преимущество:** расширение информационной ёмкости модели без изменения архитектуры.
|
||||
|
||||
---
|
||||
|
||||
## 2.6. Сравнение методов объединения применительно к задаче CVGL
|
||||
|
||||
| Критерий | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
|
||||
| --------------------------------- | ------- | -------- | ---------- | ----------- |
|
||||
| Вычислит. сложность | O(d) | O(d) | O(d²) | O(d) |
|
||||
| Адаптивность к примеру | ✗ | ✗ | ✓ | ✓ |
|
||||
| Устойчивость к шуму | Низкая | Низкая | Средняя | Высокая |
|
||||
| Сохранение пространств. структуры | ✓ | ✓ | Частично | ✓ |
|
||||
| Выразительность зависимостей | Низкая | Низкая | Высокая | Средняя |
|
||||
| Применимость на UAV real-time | ✓ | ✓ | Ограничено | ✓ |
|
||||
|
||||
**Вывод:** для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.
|
||||
135
0_disser/chapter3_templates.md
Normal file
135
0_disser/chapter3_templates.md
Normal file
@@ -0,0 +1,135 @@
|
||||
---
|
||||
tags:
|
||||
- диссер
|
||||
- text_prompts
|
||||
---
|
||||
|
||||
[[text_templates]]
|
||||
# Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков
|
||||
|
||||
## 3.1. Обоснование текстового кодирования метаданных
|
||||
|
||||
### Контекст мультимодальных систем
|
||||
|
||||
В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.
|
||||
|
||||
**Определение текстового шаблона** (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
|
||||
- переноса дополнительной информации в языковое представление;
|
||||
- обеспечения семантической интерпретации данных;
|
||||
- унификации разнородных источников информации без усложнения архитектуры.
|
||||
|
||||
### Обзор аналогичных подходов
|
||||
|
||||
| Работа | Что кодируется | Способ кодирования |
|
||||
|---|---|---|
|
||||
| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
|
||||
| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
|
||||
| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
|
||||
| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |
|
||||
|
||||
**Общий вывод из литературы:** прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.
|
||||
|
||||
---
|
||||
|
||||
## 3.2. Типы данных, извлекаемых из аэрофотоснимков
|
||||
|
||||
### Числовые признаки
|
||||
|
||||
| Признак | Физический смысл | Влияние на изображение |
|
||||
|---|---|---|
|
||||
| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
|
||||
| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
|
||||
| Pitch, ° | Угол тангажа | Перспективные искажения |
|
||||
| Roll, ° | Угол крена | Наклон горизонта |
|
||||
| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |
|
||||
|
||||
### Категориальные признаки
|
||||
|
||||
| Признак | Возможные значения |
|
||||
|---|---|
|
||||
| Тип платформы | БПЛА / Спутник |
|
||||
| Время суток | Утро / День / Вечер / Ночь |
|
||||
| Сезон | Весна / Лето / Осень / Зима |
|
||||
| Погода | Ясно / Облачно / Дождь / Туман |
|
||||
|
||||
### Извлечение недостающих признаков
|
||||
|
||||
Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):
|
||||
|
||||
```
|
||||
"What is the approximate season shown in this aerial image?"
|
||||
"What time of day does this image appear to be taken?"
|
||||
"What is the weather condition in this image?"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 3.3. Лингвистические особенности шаблонов
|
||||
|
||||
### Выбор языка
|
||||
|
||||
Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.
|
||||
|
||||
| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
|
||||
|---|---|---|
|
||||
| WIT (OpenAI) | 100% | 100% |
|
||||
| LAION-5B | 39.6% | ~100% (с переводом) |
|
||||
| COYO-700M | N/A | ~100% |
|
||||
| DataComp-1B | 35.5% | ~70–80% |
|
||||
|
||||
Косинусное сходство эмбеддингов (CLIP ViT-B/32):
|
||||
- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
|
||||
- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
|
||||
- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)
|
||||
|
||||
### Принципы формирования шаблонов
|
||||
|
||||
1. **Структурированность** — числовые значения лингвистически корректно связаны со смысловыми описаниями.
|
||||
2. **Семантическая интерпретируемость** — текст читаем человеком.
|
||||
3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
|
||||
|
||||
---
|
||||
|
||||
## 3.4. Разработанные шаблоны
|
||||
|
||||
### Регрессия
|
||||
|
||||
```
|
||||
"This is a drone aerial image taken from a height of <h> meters"
|
||||
```
|
||||
|
||||
### Классификация
|
||||
|
||||
```
|
||||
a) "The target is a <class> in an aerial photo"
|
||||
b) "An aerial photo contains a <class>"
|
||||
c) "An aerial view showing a <class>"
|
||||
```
|
||||
|
||||
### Семантическая сегментация (полный шаблон)
|
||||
|
||||
```
|
||||
"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation
|
||||
defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>.
|
||||
Here is next amount of metaclasses.
|
||||
Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
|
||||
```
|
||||
|
||||
Компоненты и их роль:
|
||||
- `<h>` → масштаб контекста
|
||||
- `yaw/pitch/roll` → геометрия проекции
|
||||
- `<time>`, `<season>` → освещённость и внешний вид объектов
|
||||
- метаклассы → семантическое содержание сцены
|
||||
|
||||
---
|
||||
|
||||
## 3.5. Баланс числовых и категориальных признаков
|
||||
|
||||
Использование обоих типов признаков обеспечивает компромисс:
|
||||
- **Числовые** → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
|
||||
- **Категориальные** → семантическая интерпретируемость, устойчивость к точности измерений.
|
||||
|
||||
Выбор конкретного набора признаков определяется:
|
||||
1. Доступностью данных в датасете.
|
||||
2. Возможностью извлечения через VQA.
|
||||
3. Физическим влиянием на визуальное представление сцены.
|
||||
Reference in New Issue
Block a user