---
tags:
  - диссер
---


# Глава 2. Мультимодальный подход в задаче сопоставления изображений

## 2.1. Эволюция мультимодальных архитектур

### Предпосылки

Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.

Ключевые этапы:
- **Image Annotation (2000-е)** — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
- **DeViSE (2013)** — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
- **VQA (2015)** — совместная обработка текста и изображения; первые механизмы внимания.
- **CLIP (2021)** — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.

---

## 2.2. Архитектурные подходы

### Раздельные (dual-stream) архитектуры

Два независимых трансформера + cross-attention на поздних стадиях.

| Модель | Год | Особенность |
|---|---|---|
| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
| LXMERT | 2019 | Третий объединяющий модуль |
| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
| **CLIP** | 2021 | Слияние только через общее эмбеддинговое пространство |

### Однопотоковые (single-stream) архитектуры

Единый трансформер, принимающий все модальности одновременно.

| Модель | Год | Особенность |
|---|---|---|
| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |

### Encoder-Decoder архитектуры

| Модель | Год | Особенность |
|---|---|---|
| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |

---

## 2.3. Методы объединения признаков

### Простые методы

| Метод | Формула | Плюсы | Минусы |
|---|---|---|---|
| Конкатенация | `[f_A; f_B] ∈ R^{d_A+d_B}` | Сохраняет всю информацию | Рост размерности |
| Сложение | `f_A + f_B ∈ R^d` | Компактность | Взаимная компенсация значений |
| Умножение | `f_A ⊙ f_B ∈ R^d` | Выявляет зависимости | Обнуление при нулевых компонентах |
| Взвешенная сумма | `α·f_A + β·f_B` | Гибкость коэффициентов | Фиксированные веса, нет адаптации |

### Параметризованные методы

- **MLP-fusion**: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
- **Билинейное произведение**: высокая выразительность, квадратичный рост параметров.

### Адаптивные методы

#### Cross-Attention Fusion

```
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
```

Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).

**Плюсы:** контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.  
**Минусы:** O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.

#### Gate-Fusion

```
fused = v_img ⊙ g + v_text ⊙ (1 − g)
g = σ(linear([v_img; v_text]))
```

**Плюсы:** O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.  
**Минусы:** меньшая выразительность межмодальных зависимостей по сравнению с full attention.

#### Progressive Fusion

Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.

---

## 2.4. Извлечение визуальных признаков

### CNN-подход

- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
- Пространственная структура сохраняется в картах активаций H×W×C.
- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
- Рецептивное поле расширяется с глубиной сети.

**Хорошо сочетается с:** Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.

### Transformer-подход (ViT)

- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
- Менее жёсткая пространственная структура (последовательность токенов).
- Требует больших данных для обучения.

---

## 2.5. Извлечение текстовых признаков

### Токенизация и эмбеддинги

- Токенизация на уровне подслов (subword units) — обработка редких слов.
- Self-attention формирует контекстно-зависимые эмбеддинги.
- Агрегированные представления инвариантны к длине текста.

### Текст как контейнер для метаданных

Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.

**Преимущество:** расширение информационной ёмкости модели без изменения архитектуры.

---

## 2.6. Сравнение методов объединения применительно к задаче CVGL

| Критерий                          | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
| --------------------------------- | ------- | -------- | ---------- | ----------- |
| Вычислит. сложность               | O(d)    | O(d)     | O(d²)      | O(d)        |
| Адаптивность к примеру            | ✗       | ✗        | ✓          | ✓           |
| Устойчивость к шуму               | Низкая  | Низкая   | Средняя    | Высокая     |
| Сохранение пространств. структуры | ✓       | ✓        | Частично   | ✓           |
| Выразительность зависимостей      | Низкая  | Низкая   | Высокая    | Средняя     |
| Применимость на UAV real-time     | ✓       | ✓        | Ограничено | ✓           |

**Вывод:** для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.