148 lines
9.2 KiB
Markdown
148 lines
9.2 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
|
||
|
||
# Глава 2. Мультимодальный подход в задаче сопоставления изображений
|
||
|
||
## 2.1. Эволюция мультимодальных архитектур
|
||
|
||
### Предпосылки
|
||
|
||
Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.
|
||
|
||
Ключевые этапы:
|
||
- **Image Annotation (2000-е)** — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
|
||
- **DeViSE (2013)** — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
|
||
- **VQA (2015)** — совместная обработка текста и изображения; первые механизмы внимания.
|
||
- **CLIP (2021)** — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.
|
||
|
||
---
|
||
|
||
## 2.2. Архитектурные подходы
|
||
|
||
### Раздельные (dual-stream) архитектуры
|
||
|
||
Два независимых трансформера + cross-attention на поздних стадиях.
|
||
|
||
| Модель | Год | Особенность |
|
||
|---|---|---|
|
||
| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
|
||
| LXMERT | 2019 | Третий объединяющий модуль |
|
||
| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
|
||
| **CLIP** | 2021 | Слияние только через общее эмбеддинговое пространство |
|
||
|
||
### Однопотоковые (single-stream) архитектуры
|
||
|
||
Единый трансформер, принимающий все модальности одновременно.
|
||
|
||
| Модель | Год | Особенность |
|
||
|---|---|---|
|
||
| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
|
||
| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
|
||
| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |
|
||
|
||
### Encoder-Decoder архитектуры
|
||
|
||
| Модель | Год | Особенность |
|
||
|---|---|---|
|
||
| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
|
||
| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |
|
||
|
||
---
|
||
|
||
## 2.3. Методы объединения признаков
|
||
|
||
### Простые методы
|
||
|
||
| Метод | Формула | Плюсы | Минусы |
|
||
|---|---|---|---|
|
||
| Конкатенация | `[f_A; f_B] ∈ R^{d_A+d_B}` | Сохраняет всю информацию | Рост размерности |
|
||
| Сложение | `f_A + f_B ∈ R^d` | Компактность | Взаимная компенсация значений |
|
||
| Умножение | `f_A ⊙ f_B ∈ R^d` | Выявляет зависимости | Обнуление при нулевых компонентах |
|
||
| Взвешенная сумма | `α·f_A + β·f_B` | Гибкость коэффициентов | Фиксированные веса, нет адаптации |
|
||
|
||
### Параметризованные методы
|
||
|
||
- **MLP-fusion**: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
|
||
- **Билинейное произведение**: высокая выразительность, квадратичный рост параметров.
|
||
|
||
### Адаптивные методы
|
||
|
||
#### Cross-Attention Fusion
|
||
|
||
```
|
||
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
|
||
```
|
||
|
||
Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).
|
||
|
||
**Плюсы:** контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.
|
||
**Минусы:** O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.
|
||
|
||
#### Gate-Fusion
|
||
|
||
```
|
||
fused = v_img ⊙ g + v_text ⊙ (1 − g)
|
||
g = σ(linear([v_img; v_text]))
|
||
```
|
||
|
||
**Плюсы:** O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.
|
||
**Минусы:** меньшая выразительность межмодальных зависимостей по сравнению с full attention.
|
||
|
||
#### Progressive Fusion
|
||
|
||
Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.
|
||
|
||
---
|
||
|
||
## 2.4. Извлечение визуальных признаков
|
||
|
||
### CNN-подход
|
||
|
||
- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
|
||
- Пространственная структура сохраняется в картах активаций H×W×C.
|
||
- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
|
||
- Рецептивное поле расширяется с глубиной сети.
|
||
|
||
**Хорошо сочетается с:** Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.
|
||
|
||
### Transformer-подход (ViT)
|
||
|
||
- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
|
||
- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
|
||
- Менее жёсткая пространственная структура (последовательность токенов).
|
||
- Требует больших данных для обучения.
|
||
|
||
---
|
||
|
||
## 2.5. Извлечение текстовых признаков
|
||
|
||
### Токенизация и эмбеддинги
|
||
|
||
- Токенизация на уровне подслов (subword units) — обработка редких слов.
|
||
- Self-attention формирует контекстно-зависимые эмбеддинги.
|
||
- Агрегированные представления инвариантны к длине текста.
|
||
|
||
### Текст как контейнер для метаданных
|
||
|
||
Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.
|
||
|
||
**Преимущество:** расширение информационной ёмкости модели без изменения архитектуры.
|
||
|
||
---
|
||
|
||
## 2.6. Сравнение методов объединения применительно к задаче CVGL
|
||
|
||
| Критерий | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
|
||
| --------------------------------- | ------- | -------- | ---------- | ----------- |
|
||
| Вычислит. сложность | O(d) | O(d) | O(d²) | O(d) |
|
||
| Адаптивность к примеру | ✗ | ✗ | ✓ | ✓ |
|
||
| Устойчивость к шуму | Низкая | Низкая | Средняя | Высокая |
|
||
| Сохранение пространств. структуры | ✓ | ✓ | Частично | ✓ |
|
||
| Выразительность зависимостей | Низкая | Низкая | Высокая | Средняя |
|
||
| Применимость на UAV real-time | ✓ | ✓ | Ограничено | ✓ |
|
||
|
||
**Вывод:** для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.
|