---
tags: [диссер, fusion, multimodal, архитектура]
aliases: [DEQ-Fusion, Progressive Fusion]
---

# DEQ-Fusion и Progressive Fusion

## DEQ-Fusion (Deep Equilibrium Fusion)

**Суть:** итоговое представление определяется не как результат прохождения фиксированного числа слоёв, а как **стационарная точка (равновесие)** параметризованного преобразования.

Объединённое представление формируется как решение уравнения, в котором различные источники признаков **итеративно и взаимозависимо** влияют друг на друга до достижения согласованного состояния.

**Преимущества перед каскадными MLP/attention:**
- Моделирует глубокие и рекуррентные взаимодействия между модальностями без явного увеличения глубины сети
- Фиксированное число параметров при теоретически бесконечной глубине
- Равновесное состояние естественно подавляет шум и усиливает согласованные признаки

**Недостатки:**
- Более сложное обучение
- Необходимость численных методов поиска фиксированной точки
- Повышенные требования к стабильности и сходимости

---

## Progressive Fusion

**Суть:** объединение строится как **явная последовательность этапов**, на каждом из которых представления модальностей постепенно уточняются через residual-связи.

Поздние, более семантически насыщенные признаки через остаточные связи влияют на более ранние представления — **обратное распространение высокоуровневого контекста**.

**Свойства:**
- Дискретный процесс с фиксированным числом шагов
- Архитектурно реализуется как каскад fusion-блоков
- Каждая итерация явно задана в графе вычислений
- Проще в обучении и отладке чем DEQ

---

## Сравнение и связь между подходами

Оба подхода стремятся уйти от «однократного» слияния в сторону **итеративного согласования представлений**.

| Свойство | Progressive Fusion | DEQ-Fusion |
|---|---|---|
| Число шагов | Фиксированное, конечное | Стремится к бесконечности |
| Реализация | Явный каскад блоков | Поиск фиксированной точки |
| Сложность обучения | Низкая | Высокая |
| Глубина | Явная, ограниченная | Неявная, теоретически бесконечная |

**DEQ-Fusion — предельный случай Progressive Fusion:** число шагов прогрессивного объединения стремится к бесконечности, модель ищет устойчивое равновесное состояние вместо явного разворачивания итераций.

> Progressive Fusion = **дискретная, архитектурно развёрнутая аппроксимация** итеративного согласования
>
> DEQ-Fusion = **неявная, непрерывная по глубине форма** того же принципа через равновесие

---

## Связанные заметки

- [[Взвешенное_управление_Residual_Branch]]
- [[Metadata_Insertion]]