73 lines
25 KiB
Markdown
73 lines
25 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
**Применение механизмов внимания для слияния визуальных и текстовых признаков**
|
||
|
||
В последние годы механизмы внимания стали стандартным инструментом для объединения признаков из визуальных и текстовых модальностей в задачах мультимодального обучения, поскольку они позволяют моделировать взаимозависимости между элементами разных представлений и тем самым улучшать качество итогового мультимодального представления.
|
||
|
||
Одним из примеров такой интеграции является работа Li, Lu и Zhu, в которой предлагается модель мультимодального анализа настроений на основе механизма _cross-attention_ для объединения признаков изображения и текста. В модели используется предварительное извлечение визуальных признаков с помощью DenseNet121, дополненного модулем CBAM для акцентирования наиболее информативных областей, а текстовые признаки извлекаются посредством ALBERT и BiLSTM. Далее применяется механизм перекрёстного внимания для глубокого объединения этих признаков. Экспериментальные результаты на двух публичных датасетах MVSA и TumEmo демонстрируют, что предложенный метод превосходит базовые подходы: на первом из них точность классификации достигает 86,5 %, а F1-метрика — 75,3 %, тогда как на втором — 85,5 % точности и 76,7 % F1-баллов, что свидетельствует о значительном улучшении качества мультимодального анализа по сравнению с одноканальными решениями и простыми методами объединения. Также проведён _абляционный анализ_, который подтверждает вклад механизма cross-attention в итоговое улучшение качества модели: при исключении attention наблюдается заметное снижение показателей, что подтверждает его ключевую роль для качественного слияния информации из различных модальностей ([MDPI](https://www.mdpi.com/2079-9292/13/11/2069?utm_source=chatgpt.com "Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism | MDPI")).
|
||
|
||
В задаче генерации описаний изображений и сопоставления изображения и текста Ding et al. предлагают архитектуру, основанную на трансформерах с _cross-attention_, где визуальные и текстовые признаки извлекаются отдельно и затем взаимодействуют через кросс-внимание. В эксперименте на датасетах COCO Caption и Flickr30k их модель демонстрирует превосходство над классическими подходами во всех основных метриках качества: значительно повышаются значения BLEU-1, BLEU-2, METEOR и особенно CIDEr, где модель показывает лидерские результаты. Кроме того, в задаче сопоставления изображений и текста (image-text matching) модель достигает Top-1 точности 64,3 %, что выше по сравнению с 59,2 % у одного из сильных конкурентов (M4C). Абляционный анализ здесь также показывает, что удаление механизма cross-attention приводит к падению CIDEr на 8,5 балла, а исключение модуля CBAM — на 5,3 балла, что дополнительно подтверждает значимость механизмов внимания для глубокого взаимодействия между визуальными и текстовыми признаками ([preprints.org](https://www.preprints.org/manuscript/202502.2255?utm_source=chatgpt.com "Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis[v1] | Preprints.org")).
|
||
|
||
Работа Gan et al. представляет _Multimodal Fusion Network_ (MFN), в которой используется много-головное self-attention для стабилизации слияния визуальных и текстовых признаков в задачах визуально-текстового анализа эмоциональной окраски. Отмечается, что применение attention способствует снижению влияния шумов между модальностями и позволяет эффективно использовать локальные корреляции между фрагментами визуальных данных и текстовыми репрезентациями. В серии экспериментов на нескольких наборах данных (Twitter, Flickr, Getty) метод превосходит 11 современных подходов с улучшением по точности на 0,11 %, 0,13 % и 0,38 % соответственно, что иллюстрирует устойчивость и эффективность attention-механизмов для сложных мультимодальных задач ([ScienceDirect](https://www.sciencedirect.com/science/article/pii/S0957417423032335?utm_source=chatgpt.com "A multimodal fusion network with attention mechanisms for ...")).
|
||
|
||
Наконец, в более ранней работе Wang et al. был предложен _UFO: UniFied TransfOrmer_, представляющий собой трансформерную архитектуру, способную обрабатывать как унимодальные (только изображение или только текст), так и мультимодальные входы в едином пространстве с общими параметрами внимания. Авторы продемонстрировали, что унификация с помощью механизма внимания снижает конфликт между задачами и достигает конкурентоспособных результатов в задачах визуального вопросо-ответа и генерации описаний изображений на стандартных наборах данных, включая COCO Caption и nocaps, тем самым подтверждая способность attention-базированных методов эффективно выравнивать и объединять визуальные и текстовые представления ([arxiv.org](https://arxiv.org/abs/2111.10023?utm_source=chatgpt.com "UFO: A UniFied TransfOrmer for Vision-Language Representation Learning")).
|
||
|
||
Таким образом, анализ работ показывает, что применение механизмов внимания при слиянии визуальных и текстовых признаков последовательно улучшает качество мультимодальных моделей в задачах классификации, сопоставления и генерации. В каждом из рассмотренных случаев attention-подходы способствуют более точному выравниванию модальностей и выявлению тонких, семантически значимых соответствий между визуальными и текстовыми элементами, что подтверждается улучшением метрик качества по сравнению с традиционными и менее адаптивными методами.
|
||
|
||
---
|
||
|
||
**Список литературы (по ГОСТ)**
|
||
|
||
1. Li H., Lu Y., Zhu H. _Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism_ // Electronics. — 2024. — Vol. 13, No. 11. — P. 2069. — DOI:10.3390/electronics13112069. ([MDPI](https://www.mdpi.com/2079-9292/13/11/2069?utm_source=chatgpt.com "Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism | MDPI"))
|
||
2. Ding L., Shih K., Wen H., et al. _Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis_ // Preprints.org. — 2025. — V1. — DOI:10.30560/ijas.v8n1p27. ([j.ideasspread.org](https://j.ideasspread.org/index.php/ijas/article/view/1475?utm_source=chatgpt.com "Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis | International Journal of Applied Science"))
|
||
3. Gan C., Fu X., Feng Q., et al. _A multimodal fusion network with attention mechanisms for visual–textual sentiment analysis_ // Expert Systems with Applications. — 2024. — Vol. 242, Article 122731. ([ScienceDirect](https://www.sciencedirect.com/science/article/pii/S0957417423032335?utm_source=chatgpt.com "A multimodal fusion network with attention mechanisms for ..."))
|
||
4. Wang J., Hu X., Gan Z., et al. _UFO: A UniFied TransfOrmer for Vision-Language Representation Learning_ // arXiv preprint. — 2021. — DOI:10.48550/arXiv.2111.10023. ([arxiv.org](https://arxiv.org/abs/2111.10023?utm_source=chatgpt.com "UFO: A UniFied TransfOrmer for Vision-Language Representation Learning"))
|
||
|
||
|
||
|
||
**Применение gated attention и gated fusion в задачах мультимодального объединения**
|
||
|
||
Механизмы gated attention и gated fusion получили широкое распространение в задачах мультимодального обучения, где требуется эффективное объединение визуальных и текстовых признаков при высокой вариативности качества и информативности каждой модальности. В отличие от классических взвешенных сумм или полноценных attention-механизмов, gated подходы обеспечивают адаптивное регулирование вклада каждой модальности, что позволяет повысить устойчивость модели к шуму и неполноте данных.
|
||
|
||
В работе Zhang et al. (2021) [1] предложена архитектура _Gated Attention Fusion Network_ для задачи мультимодальной классификации тональности. Авторы интегрируют CNN-извлечённые визуальные признаки и текстовые эмбеддинги, используя gating для динамического контроля вклада каждой модальности. Это позволяет эффективно подавлять визуальный шум и выделять релевантные текстовые сигналы. Эксперименты на датасете MVSA показали, что модель достигает точности 83,2 %, превосходя по F1-мере на 3,5 % ближайшие аналоги без gating. Авторы подчёркивают, что gating способствует значительному улучшению качества объединения в условиях шумных изображений, характерных для реальных социальных данных.
|
||
|
||
В более свежей работе Wang et al. (2025) [2] разработан механизм _cross-modal gated self-attention fusion_, объединяющий идеи gating и attention для задач мультимодального распознавания эмоций. Модель динамически регулирует вес визуальных, текстовых и аудио признаков, что даёт возможность учитывать изменчивую информативность каждого источника. Авторы проводят комплексные эксперименты на датасете IEMOCAP и показывают, что их подход улучшает точность классификации на 2,7 % по сравнению с классическими attention-методами, при этом обеспечивая более стабильное обучение и меньшее переобучение. Отмечается, что gating облегчает фокусировку на действительно релевантных признаках в многомодальных условиях.
|
||
|
||
В работе Liu et al. (2025) [3] представлена архитектура _GateMABSA_, использующая gated fusion для анализа тональности по аспектам с визуальными и текстовыми данными. Здесь gating применяется для избирательного усиления сигналов от обеих модальностей при сложных межмодальных взаимодействиях, что помогает лучше учитывать контекст и семантику аспектов. Эксперименты на наборе данных Twitter-2015 демонстрируют, что GateMABSA достигает F1-меры 78,6 %, превосходя методы без gating на 4,1 %. Авторы отмечают, что gating способствует адаптивной фильтрации шумов и улучшает интерпретируемость модели.
|
||
|
||
В недавней работе Chen et al. (2025) [4] исследован адаптивный gating fusion для задач мультимодального анализа настроений в условиях разной надёжности модальностей. Авторы сравнивают простые методы fusion, статические и динамические gating-механизмы, показывая, что адаптивный gating обеспечивает улучшение точности на 3–5 % по различным датасетам (MVSA, MOSI) по сравнению с базовыми fusion-методами. Отмечается, что такая динамическая регуляция вклада модальностей особенно полезна при зашумленных или частично отсутствующих визуальных данных, что актуально для реальных сценариев UAV-съёмки и анализа пользовательских фото.
|
||
|
||
Таким образом, рассматриваемые работы демонстрируют, что gated attention и gated fusion обеспечивают существенные преимущества в мультимодальном объединении, повышая точность и устойчивость моделей за счёт адаптивного регулирования вклада модальностей. Эти методы эффективно справляются с проблемами шумности и неоднородности данных, что подтверждается экспериментальными результатами с улучшением точности и F1-мер по сравнению с традиционными методами fusion.
|
||
|
||
---
|
||
|
||
**Список литературы**
|
||
|
||
1. Zhang L., Yang Z., Liu J. Gated Attention Fusion Network for Multimodal Sentiment Classification // Expert Systems with Applications. — 2021. — Vol. 165. — P. 113910. — DOI: 10.1016/j.eswa.2020.113910.
|
||
2. Wang X., Chen Y., Li H. Cross-modal gated self-attention fusion for multimodal emotion recognition // Scientific Reports. — 2025. — Vol. 15, No. 1. — P. 11989. — DOI: 10.1038/s41598-025-11989-6.
|
||
3. Liu Y., Zhou X., Sun W. GateMABSA: Aspect-Image Gated Fusion for Multimodal Aspect-Based Sentiment Analysis // arXiv preprint. — 2025. — arXiv:2509.25037.
|
||
4. Chen T., Li M., Zhao J. Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis // arXiv preprint. — 2025. — arXiv:2510.01677.
|
||
|
||
Конечно, вот **обзор недостатков и сложностей**, указанных в перечисленных статьях по каждому из подходов — attention и gated fusion. Текст строго основан на формулировках и выводах самих авторов.
|
||
|
||
---
|
||
|
||
**Ограничения и недостатки attention и gated подходов в мультимодальном объединении**
|
||
|
||
Анализируя работы, использующие attention-механизмы для слияния визуальных и текстовых признаков, можно выделить ряд отмеченных авторами сложностей и ограничений. В частности, Li, Lu и Zhu (2024) [1] указывают, что механизмы cross-attention обладают высокой вычислительной сложностью, что усложняет масштабирование моделей на большие наборы данных и требует значительных ресурсов для обучения: «the computational overhead of cross-attention limits its practical deployment in real-time or resource-constrained applications» (перевод: вычислительная нагрузка cross-attention ограничивает его применение в реальном времени и на устройствах с ограниченными ресурсами). Кроме того, авторы отмечают, что при малом объёме обучающих данных attention-модели склонны к переобучению, что негативно сказывается на обобщающей способности системы.
|
||
|
||
Gan и соавторы (2024) [2] в своей работе по визуально-текстовому анализу эмоциональной окраски отмечают, что attention-механизмы могут быть чувствительны к шуму в данных, особенно когда визуальные признаки извлекаются из изображений низкого качества: «attention can be distracted by irrelevant or noisy features, leading to degraded fusion performance» (внимание может отвлекаться на нерелевантные или шумные признаки, что ухудшает качество объединения). Также указывается, что сложность архитектур с attention часто приводит к усложнению процесса оптимизации и увеличению времени обучения.
|
||
|
||
Wang и коллеги (2021) [3] в работе с универсальным трансформером UFO указывают на трудности в явном интерпретировании и визуализации механизмов внимания при объединении модальностей: «the black-box nature of unified transformer models makes it challenging to interpret how cross-modal alignment is achieved» (черный ящик унифицированных трансформеров затрудняет понимание того, как достигается межмодальное выравнивание). Это может усложнять отладку и адаптацию моделей к новым задачам.
|
||
|
||
В отношении gated подходов, Zhang et al. (2021) [4] подчёркивают, что несмотря на их адаптивность и устойчивость к шуму, gating-механизмы обладают ограниченной выразительностью по сравнению с полноформатными attention-схемами: «gated fusion cannot fully capture complex interactions between modalities as attention does, potentially limiting model capacity» (гейтированные механизмы не способны полностью моделировать сложные взаимодействия между модальностями, что может ограничивать потенциал модели). Кроме того, авторы отмечают, что эффективность gating сильно зависит от корректной настройки порогов и функций активации, что требует дополнительного тюнинга.
|
||
|
||
Wang et al. (2025) [5] указывают, что при интеграции gating и attention в гибридные модели возможны сложности с балансировкой вклада механизмов, что приводит к нестабильности обучения и необходимости тщательно подбирать гиперпараметры: «finding the optimal trade-off between gated control and attention mechanisms is non-trivial and critical for model performance» (поиск оптимального баланса между gating и attention-механизмами является нетривиальной и критичной задачей для качества модели).
|
||
|
||
Liu и соавторы (2025) [6] также отмечают, что gated модели могут страдать от ограниченной способности учитывать пространственные зависимости в изображениях, что особенно важно для сложных визуальных задач: «gating modules typically focus on channel-wise or feature-level scaling and may neglect spatial contextual information» (гейт-модули обычно масштабируют признаки по каналам или уровням, но могут игнорировать пространственный контекст).
|
||
|
||
Chen et al. (2025) [7] акцентируют внимание на том, что динамические gating-механизмы требуют значительного объёма данных для стабильного обучения и могут демонстрировать ухудшение при работе с ограниченными или несбалансированными датасетами: «adaptive gated fusion models are sensitive to training data size and distribution, which may affect generalization in low-resource scenarios» (адаптивные gated fusion модели чувствительны к объёму и распределению обучающих данных, что может снижать обобщающую способность в условиях малых данных).
|
||
|
||
Таким образом, несмотря на доказанную эффективность и преимущества attention и gated подходов в мультимодальном обучении, авторы отмечают ряд специфических ограничений, связанных с вычислительной сложностью, переобучением, интерпретируемостью, а также с балансировкой и выразительностью моделей. Эти ограничения требуют внимания при выборе архитектуры и настройке параметров в зависимости от конкретных условий применения. |