63 lines
4.2 KiB
Markdown
63 lines
4.2 KiB
Markdown
---
|
||
tags: [диссер, fusion, multimodal, архитектура]
|
||
aliases: [DEQ-Fusion, Progressive Fusion]
|
||
---
|
||
|
||
# DEQ-Fusion и Progressive Fusion
|
||
|
||
## DEQ-Fusion (Deep Equilibrium Fusion)
|
||
|
||
**Суть:** итоговое представление определяется не как результат прохождения фиксированного числа слоёв, а как **стационарная точка (равновесие)** параметризованного преобразования.
|
||
|
||
Объединённое представление формируется как решение уравнения, в котором различные источники признаков **итеративно и взаимозависимо** влияют друг на друга до достижения согласованного состояния.
|
||
|
||
**Преимущества перед каскадными MLP/attention:**
|
||
- Моделирует глубокие и рекуррентные взаимодействия между модальностями без явного увеличения глубины сети
|
||
- Фиксированное число параметров при теоретически бесконечной глубине
|
||
- Равновесное состояние естественно подавляет шум и усиливает согласованные признаки
|
||
|
||
**Недостатки:**
|
||
- Более сложное обучение
|
||
- Необходимость численных методов поиска фиксированной точки
|
||
- Повышенные требования к стабильности и сходимости
|
||
|
||
---
|
||
|
||
## Progressive Fusion
|
||
|
||
**Суть:** объединение строится как **явная последовательность этапов**, на каждом из которых представления модальностей постепенно уточняются через residual-связи.
|
||
|
||
Поздние, более семантически насыщенные признаки через остаточные связи влияют на более ранние представления — **обратное распространение высокоуровневого контекста**.
|
||
|
||
**Свойства:**
|
||
- Дискретный процесс с фиксированным числом шагов
|
||
- Архитектурно реализуется как каскад fusion-блоков
|
||
- Каждая итерация явно задана в графе вычислений
|
||
- Проще в обучении и отладке чем DEQ
|
||
|
||
---
|
||
|
||
## Сравнение и связь между подходами
|
||
|
||
Оба подхода стремятся уйти от «однократного» слияния в сторону **итеративного согласования представлений**.
|
||
|
||
| Свойство | Progressive Fusion | DEQ-Fusion |
|
||
|---|---|---|
|
||
| Число шагов | Фиксированное, конечное | Стремится к бесконечности |
|
||
| Реализация | Явный каскад блоков | Поиск фиксированной точки |
|
||
| Сложность обучения | Низкая | Высокая |
|
||
| Глубина | Явная, ограниченная | Неявная, теоретически бесконечная |
|
||
|
||
**DEQ-Fusion — предельный случай Progressive Fusion:** число шагов прогрессивного объединения стремится к бесконечности, модель ищет устойчивое равновесное состояние вместо явного разворачивания итераций.
|
||
|
||
> Progressive Fusion = **дискретная, архитектурно развёрнутая аппроксимация** итеративного согласования
|
||
>
|
||
> DEQ-Fusion = **неявная, непрерывная по глубине форма** того же принципа через равновесие
|
||
|
||
---
|
||
|
||
## Связанные заметки
|
||
|
||
- [[Взвешенное_управление_Residual_Branch]]
|
||
- [[Metadata_Insertion]]
|