9.2 KiB
tags
| tags | |
|---|---|
|
Глава 2. Мультимодальный подход в задаче сопоставления изображений
2.1. Эволюция мультимодальных архитектур
Предпосылки
Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.
Ключевые этапы:
- Image Annotation (2000-е) — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
- DeViSE (2013) — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
- VQA (2015) — совместная обработка текста и изображения; первые механизмы внимания.
- CLIP (2021) — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.
2.2. Архитектурные подходы
Раздельные (dual-stream) архитектуры
Два независимых трансформера + cross-attention на поздних стадиях.
| Модель | Год | Особенность |
|---|---|---|
| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
| LXMERT | 2019 | Третий объединяющий модуль |
| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
| CLIP | 2021 | Слияние только через общее эмбеддинговое пространство |
Однопотоковые (single-stream) архитектуры
Единый трансформер, принимающий все модальности одновременно.
| Модель | Год | Особенность |
|---|---|---|
| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |
Encoder-Decoder архитектуры
| Модель | Год | Особенность |
|---|---|---|
| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |
2.3. Методы объединения признаков
Простые методы
| Метод | Формула | Плюсы | Минусы |
|---|---|---|---|
| Конкатенация | [f_A; f_B] ∈ R^{d_A+d_B} |
Сохраняет всю информацию | Рост размерности |
| Сложение | f_A + f_B ∈ R^d |
Компактность | Взаимная компенсация значений |
| Умножение | f_A ⊙ f_B ∈ R^d |
Выявляет зависимости | Обнуление при нулевых компонентах |
| Взвешенная сумма | α·f_A + β·f_B |
Гибкость коэффициентов | Фиксированные веса, нет адаптации |
Параметризованные методы
- MLP-fusion: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
- Билинейное произведение: высокая выразительность, квадратичный рост параметров.
Адаптивные методы
Cross-Attention Fusion
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).
Плюсы: контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.
Минусы: O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.
Gate-Fusion
fused = v_img ⊙ g + v_text ⊙ (1 − g)
g = σ(linear([v_img; v_text]))
Плюсы: O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.
Минусы: меньшая выразительность межмодальных зависимостей по сравнению с full attention.
Progressive Fusion
Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.
2.4. Извлечение визуальных признаков
CNN-подход
- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
- Пространственная структура сохраняется в картах активаций H×W×C.
- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
- Рецептивное поле расширяется с глубиной сети.
Хорошо сочетается с: Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.
Transformer-подход (ViT)
- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
- Менее жёсткая пространственная структура (последовательность токенов).
- Требует больших данных для обучения.
2.5. Извлечение текстовых признаков
Токенизация и эмбеддинги
- Токенизация на уровне подслов (subword units) — обработка редких слов.
- Self-attention формирует контекстно-зависимые эмбеддинги.
- Агрегированные представления инвариантны к длине текста.
Текст как контейнер для метаданных
Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.
Преимущество: расширение информационной ёмкости модели без изменения архитектуры.
2.6. Сравнение методов объединения применительно к задаче CVGL
| Критерий | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
|---|---|---|---|---|
| Вычислит. сложность | O(d) | O(d) | O(d²) | O(d) |
| Адаптивность к примеру | ✗ | ✗ | ✓ | ✓ |
| Устойчивость к шуму | Низкая | Низкая | Средняя | Высокая |
| Сохранение пространств. структуры | ✓ | ✓ | Частично | ✓ |
| Выразительность зависимостей | Низкая | Низкая | Высокая | Средняя |
| Применимость на UAV real-time | ✓ | ✓ | Ограничено | ✓ |
Вывод: для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.