4.2 KiB
tags, aliases
| tags | aliases | ||||||
|---|---|---|---|---|---|---|---|
|
|
DEQ-Fusion и Progressive Fusion
DEQ-Fusion (Deep Equilibrium Fusion)
Суть: итоговое представление определяется не как результат прохождения фиксированного числа слоёв, а как стационарная точка (равновесие) параметризованного преобразования.
Объединённое представление формируется как решение уравнения, в котором различные источники признаков итеративно и взаимозависимо влияют друг на друга до достижения согласованного состояния.
Преимущества перед каскадными MLP/attention:
- Моделирует глубокие и рекуррентные взаимодействия между модальностями без явного увеличения глубины сети
- Фиксированное число параметров при теоретически бесконечной глубине
- Равновесное состояние естественно подавляет шум и усиливает согласованные признаки
Недостатки:
- Более сложное обучение
- Необходимость численных методов поиска фиксированной точки
- Повышенные требования к стабильности и сходимости
Progressive Fusion
Суть: объединение строится как явная последовательность этапов, на каждом из которых представления модальностей постепенно уточняются через residual-связи.
Поздние, более семантически насыщенные признаки через остаточные связи влияют на более ранние представления — обратное распространение высокоуровневого контекста.
Свойства:
- Дискретный процесс с фиксированным числом шагов
- Архитектурно реализуется как каскад fusion-блоков
- Каждая итерация явно задана в графе вычислений
- Проще в обучении и отладке чем DEQ
Сравнение и связь между подходами
Оба подхода стремятся уйти от «однократного» слияния в сторону итеративного согласования представлений.
| Свойство | Progressive Fusion | DEQ-Fusion |
|---|---|---|
| Число шагов | Фиксированное, конечное | Стремится к бесконечности |
| Реализация | Явный каскад блоков | Поиск фиксированной точки |
| Сложность обучения | Низкая | Высокая |
| Глубина | Явная, ограниченная | Неявная, теоретически бесконечная |
DEQ-Fusion — предельный случай Progressive Fusion: число шагов прогрессивного объединения стремится к бесконечности, модель ищет устойчивое равновесное состояние вместо явного разворачивания итераций.
Progressive Fusion = дискретная, архитектурно развёрнутая аппроксимация итеративного согласования
DEQ-Fusion = неявная, непрерывная по глубине форма того же принципа через равновесие