first commit

0_disser/chapter2_multimodal.md

@@ -0,0 +1,147 @@
+---
+tags:
+  - диссер
+---
+
+
+# Глава 2. Мультимодальный подход в задаче сопоставления изображений
+
+## 2.1. Эволюция мультимодальных архитектур
+
+### Предпосылки
+
+Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.
+
+Ключевые этапы:
+- **Image Annotation (2000-е)** — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
+- **DeViSE (2013)** — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
+- **VQA (2015)** — совместная обработка текста и изображения; первые механизмы внимания.
+- **CLIP (2021)** — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.
+
+---
+
+## 2.2. Архитектурные подходы
+
+### Раздельные (dual-stream) архитектуры
+
+Два независимых трансформера + cross-attention на поздних стадиях.
+
+| Модель | Год | Особенность |
+|---|---|---|
+| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
+| LXMERT | 2019 | Третий объединяющий модуль |
+| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
+| **CLIP** | 2021 | Слияние только через общее эмбеддинговое пространство |
+
+### Однопотоковые (single-stream) архитектуры
+
+Единый трансформер, принимающий все модальности одновременно.
+
+| Модель | Год | Особенность |
+|---|---|---|
+| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
+| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
+| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |
+
+### Encoder-Decoder архитектуры
+
+| Модель | Год | Особенность |
+|---|---|---|
+| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
+| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |
+
+---
+
+## 2.3. Методы объединения признаков
+
+### Простые методы
+
+| Метод | Формула | Плюсы | Минусы |
+|---|---|---|---|
+| Конкатенация | `[f_A; f_B] ∈ R^{d_A+d_B}` | Сохраняет всю информацию | Рост размерности |
+| Сложение | `f_A + f_B ∈ R^d` | Компактность | Взаимная компенсация значений |
+| Умножение | `f_A ⊙ f_B ∈ R^d` | Выявляет зависимости | Обнуление при нулевых компонентах |
+| Взвешенная сумма | `α·f_A + β·f_B` | Гибкость коэффициентов | Фиксированные веса, нет адаптации |
+
+### Параметризованные методы
+
+- **MLP-fusion**: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
+- **Билинейное произведение**: высокая выразительность, квадратичный рост параметров.
+
+### Адаптивные методы
+
+#### Cross-Attention Fusion
+
+```
+Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
+```
+
+Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).
+
+**Плюсы:** контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.  
+**Минусы:** O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.
+
+#### Gate-Fusion
+
+```
+fused = v_img ⊙ g + v_text ⊙ (1 − g)
+g = σ(linear([v_img; v_text]))
+```
+
+**Плюсы:** O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.  
+**Минусы:** меньшая выразительность межмодальных зависимостей по сравнению с full attention.
+
+#### Progressive Fusion
+
+Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.
+
+---
+
+## 2.4. Извлечение визуальных признаков
+
+### CNN-подход
+
+- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
+- Пространственная структура сохраняется в картах активаций H×W×C.
+- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
+- Рецептивное поле расширяется с глубиной сети.
+
+**Хорошо сочетается с:** Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.
+
+### Transformer-подход (ViT)
+
+- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
+- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
+- Менее жёсткая пространственная структура (последовательность токенов).
+- Требует больших данных для обучения.
+
+---
+
+## 2.5. Извлечение текстовых признаков
+
+### Токенизация и эмбеддинги
+
+- Токенизация на уровне подслов (subword units) — обработка редких слов.
+- Self-attention формирует контекстно-зависимые эмбеддинги.
+- Агрегированные представления инвариантны к длине текста.
+
+### Текст как контейнер для метаданных
+
+Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.
+
+**Преимущество:** расширение информационной ёмкости модели без изменения архитектуры.
+
+---
+
+## 2.6. Сравнение методов объединения применительно к задаче CVGL
+
+| Критерий                          | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
+| --------------------------------- | ------- | -------- | ---------- | ----------- |
+| Вычислит. сложность               | O(d)    | O(d)     | O(d²)      | O(d)        |
+| Адаптивность к примеру            | ✗       | ✗        | ✓          | ✓           |
+| Устойчивость к шуму               | Низкая  | Низкая   | Средняя    | Высокая     |
+| Сохранение пространств. структуры | ✓       | ✓        | Частично   | ✓           |
+| Выразительность зависимостей      | Низкая  | Низкая   | Высокая    | Средняя     |
+| Применимость на UAV real-time     | ✓       | ✓        | Ограничено | ✓           |
+
+**Вывод:** для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.