forked from Pikaliov/fuze_task
fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
This commit is contained in:
Pikaliov
452
docs/02_references/05_text/C5_2025_WeatherPrompt.md
Normal file
452
docs/02_references/05_text/C5_2025_WeatherPrompt.md
Normal file
@@ -0,0 +1,452 @@
|
||||
---
|
||||
tags: [arch/mamba, component/multimodal, dataset/univ1652, method/contrastive, method/distillation, method/film, method/lupi, method/ssm, task/review, year/2025]
|
||||
---
|
||||
|
||||
|
||||
#multimodal #cvgl #vlm #remote_sensing
|
||||
|
||||
|
||||
|
||||
![[2025_2508.09560v3.pdf]]
|
||||
|
||||
### [C1] WeatherPrompt — Multi-Modality Learning for All-Weather Drone Geo-Localization ★★★★★
|
||||
|
||||
**Authors:** Jiahao Wen, Hang Yu, Zhedong Zheng† | **Venue:** arXiv 2508.09560 (2025) **Code:** github.com/Jahawn-Wen/WeatherPrompt
|
||||
|
||||
**Core Idea:** Weather-invariant drone geo-localization via text-guided multimodal learning. Two innovations: (1) **Training-Free Weather Reasoning**: off-the-shelf large multimodal model (LMM) generates chain-of-thought weather descriptions for each drone image — no manual labeling, scalable to arbitrary weather. Descriptions include weather type, intensity, spatial effects. (2) **Text-Driven Dynamic Gating**: text embeddings from weather descriptions drive a gating mechanism that adaptively reweights and fuses visual features → disentangles scene content from weather noise. Optimized by image-text contrastive (ITC) loss + image-text matching (ITM) loss + localized alignment loss.
|
||||
|
||||
**Key Results:** Average 87.72% R@1 on University-1652 across 10 different weather conditions. For unseen combinations (Dark+Rain+Fog): 72.15% AP. Night conditions: +13.37% R@1 improvement. Fog+Snow: +18.69% R@1.
|
||||
|
||||
**Architecture:** Dual-branch with text conditioning: drone/satellite images → visual encoder → text-driven gating (weather descriptions modulate features) → classification head. At inference: visual + textual embeddings extracted in parallel, text modulates visual via gating.
|
||||
|
||||
**CRITICAL RELEVANCE TO LUPI PROJECT: 5/5**
|
||||
|
||||
WeatherPrompt is the **closest existing work to our Multi-FiLM-Fusion concept**:
|
||||
|
||||
- **Their approach:** Text descriptions → text embeddings → dynamic gating → modulate visual features
|
||||
- **Our approach:** MobileCLIP2 text descriptions → FiLM parameters (γ, β) → F̃_i = F̃_i ⊙ (1+γ_i) + β_i
|
||||
|
||||
The key differences: (1) WeatherPrompt uses weather-specific text; our FiLM uses richer scene descriptions. (2) WeatherPrompt keeps text at inference; our LUPI distills it away. (3) WeatherPrompt's gating is additive; our FiLM is multiplicative + additive.
|
||||
|
||||
**Specific Takeaways:**
|
||||
|
||||
1. **Chain-of-thought weather descriptions** → adopt for our Teacher's text modality. Use LMM to generate structured descriptions: "This drone image shows [building type] with [surrounding features] in [weather condition] at [time of day]."
|
||||
2. **ITC + ITM losses** → add to our Teacher's training alongside InfoNCE. ITC aligns image-text pairs; ITM provides binary matching supervision.
|
||||
3. **Dynamic gating mechanism** → directly validates our FiLM approach. Their gating: f_out = σ(W_g · f_text) ⊙ f_visual. Our FiLM: F̃ = F ⊙ (1+γ) + β where γ,β = MLP(f_text). Similar concept, our formulation is more expressive.
|
||||
4. **Weather robustness benchmark** → test our system under synthetic weather (rain, fog, snow, night) using their protocol.
|
||||
|
||||
|
||||
|
||||
# Глубокий анализ научной статьи: WeatherPrompt для кросс-видовой геолокализации
|
||||
|
||||
Тщательное и всестороннее исследование предоставленной научной работы демонстрирует значительный сдвиг парадигмы в области кросс-видовой геолокализации беспилотных летательных аппаратов (БЛА). В данном отчете представлен исчерпывающий структурный анализ статьи «Weather Prompt: Multi-modality Representation Learning for All-Weather Drone Visual Geo-Localization», проведенный через призму передовых методов глубокого обучения, мультимодального слияния и парадигмы обучения с использованием привилегированной информации (LUPI). Особое внимание уделено деконструкции архитектурных решений, математической формализации потерь и применимости предложенных методов к задаче разработки легковесных edge-систем на базе гибридных архитектур (CNN+SSM) для развертывания на аппаратных платформах с ограниченными вычислительными ресурсами, таких как Jetson Orin NX.
|
||||
|
||||
## 1. МЕТАДАННЫЕ СТАТЬИ
|
||||
|
||||
В таблице ниже приведена структурированная сводка ключевых библиографических и наукометрических данных анализируемой работы, что позволяет оценить ее академический вес и релевантность в контексте современных исследований по компьютерному зрению.
|
||||
|
||||
|**Характеристика**|**Значение**|
|
||||
|---|---|
|
||||
|**Полное название**|Weather Prompt: Multi-modality Representation Learning for All-Weather Drone Visual Geo-Localization|
|
||||
|**Авторы**|Jiahao Wen (Shanghai University), Hang Yu (Shanghai University, Corresponding Author), Zhedong Zheng (University of Macau)|
|
||||
|**Аффилиации**|School of Computer Engineering and Science, Shanghai University, China; Faculty of Science and Technology and Institute of Collaborative Innovation, University of Macau, China|
|
||||
|**Год публикации, Venue**|2025, 39th Conference on Neural Information Processing Systems (NeurIPS 2025)|
|
||||
|**Рейтинг Venue**|NeurIPS является одной из ведущих мировых конференций по ИИ (h5-index: 371, 2-е место в мире после CVPR)|
|
||||
|**Количество цитирований**|2 цитирования (на момент начала 2026 года)|
|
||||
|**Идентификаторы**|arXiv:2508.09560v3 [cs.CV] / DOI: 10.48550/arXiv.2508.09560|
|
||||
|**Доступность кода**|Публичный репозиторий: [https://github.com/Jahawn-Wen/WeatherPrompt](https://github.com/Jahawn-Wen/WeatherPrompt)|
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Важно отметить, что соавтор статьи, Zhedong Zheng, является признанным мировым экспертом в области кросс-видовой геолокализации и доменной адаптации, имеющим значительный академический вес (h-index около 40, более 13 000 цитирований). Его предыдущие работы, включая создание фундаментального бенчмарка University-1652 , во многом определили современный ландшафт исследований в этой узкой предметной области. Публикация на NeurIPS 2025 подтверждает высочайший уровень технической новизны предложенного подхода.
|
||||
|
||||
## 2. КЛЮЧЕВАЯ ИДЕЯ (Core Contribution)
|
||||
|
||||
Анализируемая научная статья решает критическую проблему резкой деградации точности систем визуальной геолокализации дронов при воздействии сложных погодных условий, таких как дождь, туман, снег и низкая освещенность (ночное время). Существующие подходы, как правило, опираются на ограниченный набор дискретных погодных меток (закрытое множество классов), что фатально ограничивает их способность к обобщению на неизвестные, смешанные или непрерывно изменяющиеся погодные условия реального мира. Кроме того, прямое использование псевдометок приводит к субоптимальному «запутыванию» (entanglement) семантики сцены и погодных артефактов в латентном пространстве модели.
|
||||
|
||||
Для радикального решения этой проблемы авторы предлагают **WeatherPrompt** — инновационную мультимодальную парадигму обучения. Метод формирует инвариантные к погоде визуальные представления путем интеллектуального слияния эмбеддингов изображений с богатым текстовым контекстом, сгенерированным на естественном языке.
|
||||
|
||||
Принципиальная новизна работы заключается во внедрении двух взаимосвязанных механизмов. Во-первых, предлагается механизм логического вывода без обучения (Training-free Weather Reasoning), который использует готовые большие мультимодальные модели (Large Vision Language Models, LVLM) в связке с пошаговым промптингом (Chain-of-Thought, CoT) для синтеза высокодетализированных текстовых описаний погоды и пространственной структуры локации. Во-вторых, архитектура обогащается механизмом динамического стробирования (dynamic gating mechanism), управляемым текстовыми эмбеддингами. Этот механизм адаптивно перевзвешивает и сливает визуальные признаки на уровне каналов, эффективно фильтруя погодный шум.
|
||||
|
||||
Основная гипотеза исследователей сводится к тому, что интеграция семантики естественного языка (как системы с открытым словарем) позволяет сети с высокой точностью распутывать (disentangle) стабильную геометрическую структуру сцены и вариативные погодные помехи. Использование детальных текстов заставляет модель фокусироваться на инвариантных топологических признаках (расположение зданий, дорог), что, в свою очередь, обеспечивает беспрецедентный уровень кросс-доменного обобщения (cross-domain generalization) без необходимости введения дополнительных параметров для каждого типа погоды.
|
||||
|
||||
## 3. АРХИТЕКТУРА И МЕТОД
|
||||
|
||||
### 3.1. Описание архитектуры
|
||||
|
||||
Общая структура модели WeatherPrompt представляет собой сложный двухэтапный пайплайн, состоящий из модуля офлайн-генерации мультимодальных данных и гибридной архитектуры мультимодального выравнивания (Multimodal Alignment Model).
|
||||
|
||||
На первом этапе (генерация данных) система использует подход единичного сэмплирования (Single-image Sampling). Из каждой географической зоны случайным образом выбирается одно репрезентативное изображение с дрона для устранения избыточности. Далее, с помощью библиотеки imgaug генерируются синтетические погодные искажения. Полученные изображения обрабатываются большой мультимодальной моделью (в качестве примера авторы приводят архитектуру Qwen2.5-VL ). Модель использует стратегию Chain-of-Thought для последовательного вывода: сначала оценивается глобальная видимость, затем выявляются локальные атмосферные подсказки (отражения дождевых полос, паттерны рассеивания тумана), и на финальном шаге формируется общий погодный контекст. Вслед за этим запускается фаза пространственной семантики, где модель описывает макро-планировку, подсчитывает объекты и фиксирует топологические отношения. Одновременно сторонняя модель визуального граундинга (Visual Grounding Model - VGM), а именно XVLM, извлекает локальные семантические подсказки на уровне регионов.
|
||||
|
||||
Второй этап (обучение и инференс) опирается на двухпоточную архитектуру. В качестве бэкбона выступает адаптированная модель XVLM, интегрирующая текстовый энкодер на базе BERT и визуальный энкодер на базе Swin Transformer. Поток данных проходит через эти энкодеры параллельно. Извлеченные глобальные и локальные визуальные признаки объединяются с текстовыми эмбеддингами через модуль кросс-модального слияния (Cross-modal fusion module). Ключевым узлом этого модуля является динамический строб (Weather-Driven Channel Gating), который вычисляет вектор весов на основе текста и применяет его к визуальным признакам через операцию поэлементного умножения (Hadamard product). Сформированный мультимодальный тензор передается в легковесный классификационный MLP-декодер (Classification Head), который проецирует признаки в пространство логитов для предсказания конкретной географической локации.
|
||||
|
||||
### 3.2. Визуальные материалы из статьи
|
||||
|
||||
Статья содержит критически важные визуальные схемы, иллюстрирующие предложенную концепцию. Анализ оригинальных иллюстраций (Figure 1, Figure 2, Figure 3 и Figure 4) позволяет раскрыть неочевидные технические детали.
|
||||
|
||||
**Figure 1: Example of the proposed Chain-of-Thought description and matching.**
|
||||
|
||||
На рисунке изображена концептуальная схема работы системы с запросами. Показано, как входное изображение (Query Input) обрабатывается моделью LVLM, генерирующей структурированные блоки текста (Weather, Macro Layout, Inter relative position). Параллельно модель VGM выделяет локальные регионы (Local Regions). Все эти гетерогенные данные сливаются для сопоставления (Matching) с базой спутниковых снимков.
|
||||
|
||||
_Оценка визуализации:_ Рисунок отлично передает верхнеуровневую логику, но страдает от недостатка технической конкретики. Он не показывает механизмы объединения граундинг-боксов с текстовыми токенами на уровне тензоров.
|
||||
|
||||
**Figure 2: The proposed training-free weather reasoning mechanism.** Эта схема детально раскрывает пайплайн офлайн-разметки. Иллюстрируется переход от датасетов (University-1652, SUES-200) к генерации аугментированных изображений. Показана работа модуля Weather Estimation Annotator, который через CoT-промптинг (Global Visibility -> Local Detail -> Inference) создает погодный приор. Этот приор кондиционирует Spatial Semantic Annotator, формирующий финальное описание. На рисунке приведены конкретные примеры сгенерированных текстов для тумана, дождя и снега. _Оценка визуализации:_ Крайне информативная схема, которая прозрачно объясняет, почему подход авторов позволяет избежать галлюцинаций LVLM — жесткая иерархическая структура промпта заставляет модель опираться на извлеченные на предыдущем шаге физические факты.
|
||||
|
||||
**Figure 3: The proposed multimodal alignment framework.**
|
||||
|
||||
Ключевая архитектурная диаграмма статьи. Изображены параллельные ветви обработки изображения (Image) и текста (Text) с извлечением эмбеддингов. Показаны блоки Self-Attention и Cross-Attention. Отчетливо видно, как текстовый эмбеддинг проходит через MLP для генерации весов, которые затем модулируют визуальный поток. Также визуализированы точки приложения функций потерь: $L_{ITC}$ (контрастивное выравнивание), $L_{ITM}$ (сопоставление пар), $L_{LA}$ (локализованное выравнивание) и $L_{CE}$ (кросс-энтропия классификатора).
|
||||
|
||||
_Оценка визуализации:_ Информативность на высоком уровне, четко показаны потоки данных и места вычисления градиентов.
|
||||
|
||||
**Figure 4: Qualitative comparison under varying weather.**
|
||||
|
||||
Качественное сравнение работы предложенного метода с аналогами (Sample4Geo, MuSe-Net). Приведены пары изображений (дрон-спутник) в ясную погоду (Normal) и в условиях тумана с дождем (Fog+Rain). Зелеными рамками выделены успешные предсказания, красными — ложные срабатывания конкурентов. Рисунок наглядно демонстрирует, как в условиях сильного падения контраста базовые модели цепляются за шумовые погодные артефакты, в то время как WeatherPrompt восстанавливает топологию.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Поскольку в тексте статьи не приведена явная размерность тензоров на каждом этапе слияния, ниже представлена сгенерированная архитектурная блок-схема (Flow Diagram) механизма динамического стробирования, восстановленная на основе математической формализации метода.
|
||||
|
||||
Code snippet
|
||||
|
||||
```
|
||||
graph TD
|
||||
classDef tensor fill:#f9f,stroke:#333,stroke-width:2px;
|
||||
classDef op fill:#bbf,stroke:#333,stroke-width:2px,shape:circle;
|
||||
classDef loss fill:#fbb,stroke:#333,stroke-width:2px;
|
||||
|
||||
InputImg"]:::tensor --> V_Enc
|
||||
InputTxt --> T_Enc
|
||||
|
||||
V_Enc --> f_I"]:::tensor
|
||||
T_Enc --> f_T"]:::tensor
|
||||
|
||||
f_I --> ITC_Loss:::loss
|
||||
f_T --> ITC_Loss
|
||||
|
||||
f_T --> Gate_L1
|
||||
Gate_L1 --> Z"]:::tensor
|
||||
Z --> Gate_L2
|
||||
Gate_L2 --> G"]:::tensor
|
||||
|
||||
G --> Mult1(("$\odot$")):::op
|
||||
f_I --> Mult1
|
||||
|
||||
G --> Inv["$1 - g$"]
|
||||
Inv --> Mult2(("$\odot$")):::op
|
||||
f_T --> Mult2
|
||||
|
||||
Mult1 --> Add(("+")):::op
|
||||
Mult2 --> Add
|
||||
|
||||
Add --> f_fuse"]:::tensor
|
||||
f_fuse --> Classifier["MLP Head"]
|
||||
Classifier --> Logits"]:::tensor
|
||||
Logits --> CE_Loss["$L_{CE}$ (Cross-Entropy)"]:::loss
|
||||
```
|
||||
|
||||
### 3.3. Математическая формализация
|
||||
|
||||
Статья предлагает строгий, но элегантный математический аппарат для решения задачи мультимодального выравнивания. Все ключевые функции потерь и трансформации формализованы ниже с детальными комментариями.
|
||||
|
||||
**1. Weather-Driven Channel Gating (Динамическое стробирование)**
|
||||
|
||||
Механизм адаптивного перевзвешивания каналов визуальных признаков на основе текстового контекста реализован через архитектуру типа Squeeze-and-Excitation, но управляемую кросс-модальным входом:
|
||||
|
||||
$$z = \text{ReLU}(f_T W_1^{(gate)\top} + b_1^{(gate)}) \in \mathbb{R}^{B \times D/r}$$
|
||||
|
||||
$$g = \sigma(z W_2^{(gate)\top} + b_2^{(gate)}) \in (0, 1)^{B \times D}$$
|
||||
|
||||
Здесь $f_T \in \mathbb{R}^{B \times D}$ представляет собой батч нормализованных текстовых эмбеддингов. Матрица $W_1$ проецирует вектор в пространство меньшей размерности (параметр $r$ — reduction ratio, коэффициент сжатия), что заставляет сеть выучивать компактные семантические зависимости и экономит вычислительные ресурсы. Матрица $W_2$ восстанавливает размерность до исходной $D$. Функция активации сигмоида $\sigma$ гарантирует, что компоненты вектора стробирования $g$ лежат в диапазоне $(0, 1)$.
|
||||
|
||||
Слияние модальностей происходит по формуле взвешенной интерполяции:
|
||||
|
||||
$$f_{fuse} = g \odot f_I + (1-g) \odot f_T \in \mathbb{R}^{B \times D}$$
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Эта формула заслуживает особого внимания. Она концептуально эквивалентна механизму FiLM (Feature-wise Linear Modulation), который используется в вашей архитектуре MERIDIAN. В FiLM трансформация задается как $\tilde{F}_i = \tilde{F}_i \odot (1 + \gamma_i) + \beta_i$. В подходе WeatherPrompt текст не просто масштабирует визуальные каналы (компонента $g \odot f_I$), но и осуществляет прямое остаточное добавление отфильтрованного текста $(1-g) \odot f_T$. Это позволяет модели полностью "заглушить" визуальный канал, если он безнадежно испорчен погодой (при $g \to 0$), и полностью опереться на семантический текстовый приор.
|
||||
|
||||
**2. Image-Text Contrastive Loss ($L_{ITC}$)**
|
||||
|
||||
Глобальное семантическое выравнивание модальностей достигается через симметричную контрастивную потерю (InfoNCE). Сначала вычисляется матрица косинусного сходства $S_{ij} = \frac{I_i^\top T_j}{\tau}$, где $\tau$ — обучаемый гиперпараметр температуры. Далее формируются вероятности для задач поиска "изображение-по-тексту" и "текст-по-изображению":
|
||||
|
||||
$$p_{I \to T}^{(i)} = \frac{\exp(S_{ii})}{\sum_{j=1}^B \exp(S_{ij})}, \quad p_{T \to I}^{(i)} = \frac{\exp(S_{ii})}{\sum_{j=1}^B \exp(S_{ji})}$$
|
||||
|
||||
Сама функция потерь усредняет кросс-энтропию по обоим направлениям:
|
||||
|
||||
$$\mathcal{L}_{ITC} = -\frac{1}{2B}\sum_{i=1}^B \left$$
|
||||
|
||||
**3. Image-Text Matching Loss ($L_{ITM}$)**
|
||||
|
||||
Для тонкой настройки дискриминативной способности модели авторы применяют функцию бинарного сопоставления с использованием жестких негативов (hard negatives). Для каждого изображения $I_i$ и текста $T_i$ выбираются самые похожие, но неверные элементы из батча: $T_i^- = \arg\max_{j \neq i} S_{ij}$ и $I_i^- = \arg\max_{j \neq i} S_{ji}$. Формируется выборка из $3B$ пар (одна позитивная и две негативные на каждый якорь). токен $h_k$ прогоняется через бинарный классификатор $f_{match}$:
|
||||
|
||||
$$\mathcal{L}_{ITM} = -\frac{1}{3B}\sum_{k=1}^{3B} \left[ y_k \log p_k + (1-y_k) \log(1-p_k) \right]$$
|
||||
|
||||
где $p_k = \sigma(f_{match}(h_k))$, а $y_k \in \{0, 1\}$ — метка истинности пары. Это заставляет модель улавливать тонкие различия между визуально похожими, но географически разными локациями.
|
||||
|
||||
**4. Localized Alignment Loss ($L_{LA}$)**
|
||||
|
||||
Для пространственного выравнивания текста и регионов применяется гибридная функция потерь. Текстовый эмбеддинг концепта $x_{cls}^j$ проецируется через MLP в координаты BBox: $\hat{l}^j = (\hat{c}_x, \hat{c}_y, \hat{w}, \hat{h})$. Функция штрафует как за несовпадение площадей (IoU), так и за абсолютное отклонение центров (L1 регрессия):
|
||||
|
||||
$$\mathcal{L}_{LA} = \mathbb{E}_{(I, T^j) \sim \mathcal{D}} \left[ 1 - \text{IoU}(l^j, \hat{l}^j) + \| l^j - \hat{l}^j \|_1 \right]$$
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Комбинация Intersection-over-Union (IoU) и L1-loss — это золотой стандарт в задачах детекции объектов (например, в архитектурах DETR и YOLO). Использование этой формулы в задаче геолокации гарантирует, что модель не просто выучивает "общий вайб" картинки, но и заставляет визуальный энкодер строго картировать пространственное расположение ландмарков (зданий, дорог), что делает признаки геометрически консистентными.
|
||||
|
||||
**5. Classification Loss ($L_{CE}$) и Итоговая функция потерь**
|
||||
|
||||
Финальная классификация локации оптимизируется стандартной кросс-энтропией:
|
||||
|
||||
$$\mathcal{L}_{CE} = -\frac{1}{B}\sum_{b=1}^B \log \frac{\exp(o_{b, y_b})}{\sum_{c=1}^C \exp(o_{b, c})}$$
|
||||
|
||||
Итоговая функция потерь объединяет все компоненты:
|
||||
|
||||
$$\mathcal{L}_{total} = \mathcal{L}_{ITC} + \mathcal{L}_{ITM} + \mathcal{L}_{LA} + \mathcal{L}_{CE}$$
|
||||
|
||||
### 3.4. Ключевые технические решения
|
||||
|
||||
Инженерные решения авторов отличаются высокой степенью прагматизма.
|
||||
|
||||
1. **Двухфазный CoT-промптинг:** Обычная генерация подписей (captioning) с помощью VLM часто страдает от галлюцинаций. Авторы решили эту проблему, заставив модель (Qwen) генерировать текст жестко детерминированными шагами. Сначала модель "вынуждена" оценить глобальную видимость в метрах. Только опираясь на этот сгенерированный токен, она описывает погоду. Этот нестандартный прием (трюк) гарантирует, что текстовый приор будет физически обоснованным. Более того, алгоритм автоматически отбрасывает описания, содержащие слова неуверенности (например, "возможно", "неочевидно").
|
||||
|
||||
2. **Hard Negative Mining в $L_{ITM}$:** В задачах кросс-видовой локализации огромной проблемой является наличие очень похожих локаций (например, два одинаковых перекрестка в разных частях города). Принудительный выбор максимального недиагонального элемента $S_{ij}$ в качестве негатива на каждом батче заставляет сеть искать микро-различия, а не полагаться на макро-структуру.
|
||||
|
||||
3. **Синтез погоды (imgaug) на этапе генерации данных:** Вместо дорогостоящего сбора реальных дроновых снимков в плохую погоду, авторы применили библиотеку `imgaug` для параметрического наложения дождя, снега и тумана на эталонные датасеты. Важно, что синтетика использовалась только для обучения; генерализация проверялась на реальных видео из YouTube.
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 4. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
|
||||
|
||||
### 4.1. Наборы данных (Datasets)
|
||||
|
||||
Анализ устойчивости модели проводился на двух стандартизированных академических бенчмарках и одной кастомной выборке для проверки кросс-доменного сдвига.
|
||||
|
||||
|**Параметр**|**University-1652**|**SUES-200**|**Custom YouTube Dataset**|
|
||||
|---|---|---|---|
|
||||
|**Название**|University-1652|SUES-200|Real-World Videos|
|
||||
|**Размер (train/val/test)**|701 train / 951 test (зданий)|200 локаций (Шанхай)|54 видео-пары|
|
||||
|**Тип данных**|Satellite, Drone, Ground-level|Satellite, Drone (мульти-высоты: 150, 200, 250, 300м)|Drone-Satellite видео|
|
||||
|**Разрешение**|Изменено до 384×384 (размер патча 32×32)|Изменено до 384×384|Не указано в статье|
|
||||
|**Географический охват**|1652 университета по всему миру|Различные сцены г. Шанхай (урбан, парки, озера)|Различные сцены реального мира|
|
||||
|**Особенности среды**|Искусственно синтезировано 10 погодных условий (imgaug)|Искусственно синтезировано 10 погодных условий (imgaug)|Естественные сложные условия (Dark, Rain, Fog)|
|
||||
|**Публичный / приватный**|Публичный бенчмарк|Публичный бенчмарк|Приватный (собран авторами)|
|
||||
|
||||
### 4.2. Метрики оценки
|
||||
|
||||
Авторы используют классические метрики информационного поиска (Image Retrieval), стандартные для задач геолокации:
|
||||
|
||||
- **Recall@1 (R@1):** Доля запросов, для которых единственно верный спутниковый снимок оказался на первом месте в выдаче.
|
||||
|
||||
- **Average Precision (AP):** Средняя точность, вычисляемая как площадь под кривой Precision-Recall. Метрика учитывает позицию правильного ответа во всем ранжированном списке, что более репрезентативно, чем простой Recall.
|
||||
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Выбранные метрики (R@1, AP) абсолютно адекватны заявленной задаче поиска и сопоставления. Однако, учитывая, что целевой аппаратной платформой для таких систем являются дроны, авторы допустили серьезный методологический пробел: в статье полностью отсутствуют метрики **FLOPs**, **количества параметров (Params)** и **пропускной способности (FPS)**. Указано лишь "время инференса 0.024с", но эта цифра получена на серверном GPU RTX A6000, что не дает представления о применимости метода на edge-устройствах. Для полноценной оценки следовало бы включить метрики вычислительной сложности.
|
||||
|
||||
### 4.3. Сравнительная таблица результатов
|
||||
|
||||
Таблицы ниже воспроизводят основные результаты сравнения метода WeatherPrompt с существующими State-of-the-Art подходами на различных наборах данных (результаты усреднены по 10 типам погодных искажений).
|
||||
|
||||
**Таблица 1. Производительность на University-1652 (усредненно по 10 типам погоды)**
|
||||
|
||||
|**Метод**|**D2S R@1 (%)**|**D2S AP (%)**|**S2D R@1 (%)**|**S2D AP (%)**|
|
||||
|---|---|---|---|---|
|
||||
|ResNet-101 (2016)|58.76|63.29|80.13|60.74|
|
||||
|Swin-T (2021)|61.56|65.95|78.53|61.83|
|
||||
|LPN (2021)|64.16|68.14|83.64|65.08|
|
||||
|Sample4Geo (2023)|65.15|69.16|84.68|65.75|
|
||||
|MuSe-Net (2024)|65.15|69.16|84.68|65.75|
|
||||
|Safe-Net (2025)|76.01|79.06|-|-|
|
||||
|**WeatherPrompt (Ours)**|**77.14**|**80.20**|**87.72**|**76.39**|
|
||||
|
||||
_Вывод:_ Предложенный метод демонстрирует **существенное** превосходство. В задаче поиска со спутника по снимку с дрона (D2S) средняя точность R@1 выросла на впечатляющие +11.99% по сравнению с сильными конкурентами прошлого года и обошла новейшую архитектуру Safe-Net.
|
||||
|
||||
**Таблица 2. Производительность на SUES-200 (усредненно по 10 типам погоды)**
|
||||
|
||||
|**Метод**|**D2S R@1 (%)**|**D2S AP (%)**|**S2D R@1 (%)**|**S2D AP (%)**|
|
||||
|---|---|---|---|---|
|
||||
|MuSe-Net (2024)|52.02|53.33|69.43|51.14|
|
||||
|**WeatherPrompt (Ours)**|**61.20**|**63.26**|**80.73**|**66.12**|
|
||||
|
||||
_Вывод:_ Улучшение **существенное**. Метод доказал свою робастность к изменению высоты полета (специфика датасета SUES-200), показав прирост D2S R@1 на +9.18% и феноменальный рост S2D AP на +14.98%.
|
||||
|
||||
**Таблица 3. Кросс-доменное тестирование (Real World Videos, Dark+Rain+Fog)**
|
||||
|
||||
|**Метод**|**D2S R@1 (%)**|**D2S AP (%)**|**S2D R@1 (%)**|**S2D AP (%)**|
|
||||
|---|---|---|---|---|
|
||||
|Sample4Geo (2023)|12.22|31.65|33.33|43.47|
|
||||
|MuSe-Net (2024)|22.22|31.70|38.89|44.34|
|
||||
|**WeatherPrompt (Ours)**|**44.44**|**64.94**|**66.66**|**72.15**|
|
||||
|
||||
_Вывод:_ Улучшение **драматическое**. Это самое честное сравнение в статье, так как тестовые данные были собраны из реальных видео на YouTube и модель их никогда не видела. Базовые модели практически рассыпаются (Sample4Geo показывает 12% точности), в то время как WeatherPrompt сохраняет работоспособность.
|
||||
|
||||
### 4.4. Аблационное исследование (Ablation Study)
|
||||
|
||||
Авторы провели качественную модальную аблацию, чтобы доказать жизнеспособность своих гипотез.
|
||||
|
||||
**Аблация 1: Влияние архитектуры стробирования (Gating Mechanism)**
|
||||
|
||||
Сравнение проводилось на датасете University-1652.
|
||||
|
||||
- _Concatenation (прямая конкатенация $f_I$ и $f_T$):_ D2S Mean AP = 78.90%
|
||||
|
||||
- _Static Gate (фиксированные усредненные веса):_ D2S Mean AP = 78.45%
|
||||
|
||||
- _Dynamic Gate (предложенный $g$):_ **D2S Mean AP = 80.20%**
|
||||
|
||||
_Вывод:_ Динамическое стробирование является **критичным** компонентом. Интересно, что статический гейт работает хуже простой конкатенации. Это доказывает, что влияние погоды варьируется от кадра к кадру, и веса слияния должны вычисляться адаптивно для каждого отдельного изображения.
|
||||
|
||||
|
||||
**Аблация 2: Влияние глубины рассуждений (CoT Steps)**
|
||||
|
||||
Оценивалось влияние сложности текстового промпта на качество извлекаемых признаков.
|
||||
|
||||
- _Без текста (NAN, чисто визуальный бейзлайн):_ D2S Mean R@1 = 74.53%
|
||||
|
||||
- _0 шагов (простое односложное описание погоды):_ D2S Mean R@1 = 75.10%
|
||||
|
||||
- _4 шага (погода + базовые объекты):_ D2S Mean R@1 = 76.05%
|
||||
|
||||
- _6 шагов (полный CoT: видимость, погода, макро-структура, топология):_ **D2S Mean R@1 = 77.14%**
|
||||
|
||||
_Вывод:_ Интеграция текста дает прирост всегда, но глубина логического вывода LVLM (6 шагов) вносит **максимальный вклад** в итоговую точность, добавляя +2.61% к R@1 по сравнению со слепым визуальным подходом.
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 5. RESULTS & DISCUSSION
|
||||
|
||||
### 5.1. Основные результаты
|
||||
|
||||
Авторы делают фундаментальный вывод, который полностью подтверждает их изначальную гипотезу: внедрение семантики естественного языка через открытый словарь (open-set weather descriptions) позволяет нейросетевым архитектурам преодолеть проблему запутывания (entanglement) признаков. Текст выступает в роли мощнейшего семантического якоря. Когда на изображении присутствует плотный туман или снегопад, визуальный энкодер без текстовой подсказки склонен выучивать высокочастотный шум осадков, так как он доминирует на пиксельном уровне. Однако динамическое стробирование, управляемое текстом, заставляет модель искусственно занижать активацию каналов, отвечающих за этот высокочастотный шум, и амплифицировать низкочастотные структурные паттерны (углы зданий, перекрестки), которые описаны в CoT-промпте.
|
||||
|
||||
Неожиданным и контринтуитивным результатом, выявленным в ходе аблаций, оказалось падение точности при использовании "Static Gate" по сравнению с простой конкатенацией (78.45% vs 78.90%). Это означает, что нейронная сеть не может выучить некий "универсальный погодный фильтр". Механизм подавления шума должен быть строго зависим от текущего инстанса (instance-conditioned).
|
||||
|
||||
### 5.2. Качественный анализ
|
||||
|
||||
Качественный анализ подкрепляется визуализацией результатов (Figure 4). Авторы демонстрируют случаи, когда сильный погодный сдвиг (Fog+Rain) заставляет базовые модели, такие как Sample4Geo и MuSe-Net, ошибаться. Примечательно, что показанные примеры ошибок конкурентов логичны: в условиях тумана контрастность падает, и SOTA-модели начинают опираться на "цветовое пятно" или "текстуру асфальта", выдавая спутниковые снимки, имеющие похожую серую палитру, но совершенно другую топологию перекрестков. WeatherPrompt, напротив, за счет внедренного текстового вектора, описывающего макро-структуру ("scene includes several residential buildings and a network of roads"), безошибочно находит нужную геометрическую конфигурацию.
|
||||
|
||||
[МОЙ КОММЕНТАРИЙ]: Серьезным недостатком обсуждения является отсутствие анализа собственных ошибок модели (failure cases). Авторы не приводят примеров, когда WeatherPrompt терпит неудачу. Можно предположить, что модель будет ошибаться при галлюцинациях LVLM (например, если VLM неверно пересчитает здания из-за полного перекрытия снегом), но этот аспект в тексте не раскрыт. Также отсутствуют визуализации карт внимания (attention maps) или t-SNE проекций, которые могли бы наглядно доказать распутывание латентного пространства.
|
||||
|
||||
### 5.3. Вычислительная стоимость
|
||||
|
||||
- **Число параметров модели:** НЕ УКАЗАНО В СТАТЬЕ. Упоминается лишь, что модуль гейтирования добавляет 0.2M параметров. Однако, зная, что в качестве бэкбона используется XVLM (включающий Swin Transformer для изображений и BERT для текста), можно уверенно оценить размер модели в >200M параметров.
|
||||
|
||||
- **FLOPs / MACs:** НЕ УКАЗАНО В СТАТЬЕ. Оценка: десятки GFLOPs для обработки одного запроса из-за тяжеловесных трансформеров и разрешения 384×384.
|
||||
|
||||
- **Время инференса:** 0.024 секунды (примерно 41 FPS) на один запрос.
|
||||
|
||||
- **Требования к памяти:** НЕ УКАЗАНО В СТАТЬЕ.
|
||||
|
||||
- **Оборудование:** Все эксперименты проводились на мощном серверном ускорителе NVIDIA RTX A6000 (48GB VRAM).
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 6. ПРЕИМУЩЕСТВА ПОДХОДА
|
||||
|
||||
- **Инновационная разметка без ручного труда:** Использование архитектур класса Qwen2.5-VL для создания Chain-of-Thought описаний тренировочного датасета полностью устраняет потребность в дорогостоящем ручном труде асессоров, обеспечивая при этом богатейший уровень детализации пространственной сцены.
|
||||
|
||||
- **Мощнейшее кросс-доменное обобщение:** Тот факт, что модель, обученная на синтетическом тумане/дожде (imgaug), показала AP в 72.15% на реальных, неизвестных видеороликах из YouTube в условиях Dark+Rain+Fog (где конкуренты деградировали до 31-43%), свидетельствует о выдающейся robustness предложенного метода.
|
||||
|
||||
- **Изящная архитектура слияния (Dynamic Gating):** Математический аппарат адаптивного стробирования $g = \sigma(z W_2 + b_2)$ вносит микроскопический оверхед в 0.2M параметров и 0.4 мс задержки, но дает ощутимый прирост точности, эффективно решая проблему смешивания признаков.
|
||||
|
||||
- **Воспроизводимость:** Авторы предоставили гиперпараметры обучения (SGD, momentum 0.9, weight decay 0.0005, epoch drops) и открыли исходный код репозитория на GitHub.
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 7. НЕДОСТАТКИ И ОГРАНИЧЕНИЯ
|
||||
|
||||
- **Критический архитектурный изъян (Text at Inference):** Из описания пайплайна явно следует, что текстовые эмбеддинги подаются в модуль динамического гейтирования _на этапе инференса_ («At inference, visual and textual embeddings are extracted in parallel, and the textual embeddings dynamically modulate visual features»). Это порождает концептуальный парадокс: откуда автономный дрон в условиях подавления связи возьмет высококачественное текстовое CoT-описание текущей погоды и сцены? Развертывание LVLM уровня Qwen прямо на борту дрона нереализуемо из-за ограничений SWaP (Size, Weight, and Power).
|
||||
|
||||
- **Игнорирование Edge Deployment:** Статья полностью игнорирует специфику аппаратного обеспечения БЛА. Оценка времени инференса в 24 миллисекунды проведена на серверном GPU RTX A6000 (TDP 300W, 38+ TFLOPs). На встраиваемом чипе типа Jetson Orin NX тяжелый Swin Transformer + BERT займет сотни миллисекунд или даже секунды на кадр, что делает систему непригодной для real-time навигации.
|
||||
|
||||
- **Предвзятость синтетических данных:** Обучение производилось с использованием библиотеки `imgaug`. Существует риск, что модель переобучилась на специфические математические паттерны синтетического шума (например, регулярность дождевых полос `imgaug`), что не всегда коррелирует с оптическими свойствами реальных камер дрона.
|
||||
|
||||
- **Недостаток аблаций функции потерь:** Авторы ввели сложную 4-компонентную функцию потерь ($L_{ITC} + L_{ITM} + L_{LA} + L_{CE}$), но в статье отсутствуют результаты аблаций, показывающие вклад каждой отдельной потери. Неизвестно, насколько критичен именно $L_{LA}$ (Localized Alignment) в сравнении с классическим $L_{ITC}$.
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 8. РЕЛЕВАНТНОСТЬ ДЛЯ МОЕГО ПРОЕКТА
|
||||
|
||||
Анализ статьи через призму вашей архитектуры LUPI (Teacher = DINOv2-L, Student = SOFIA+MambaVision на Jetson Orin NX) демонстрирует высочайшую ценность предложенных концепций, несмотря на различие в конечной реализации инференса.
|
||||
|
||||
Оценка аспектов статьи для вашего исследования (шкала 1-5):
|
||||
|
||||
|**Аспект**|**Оценка**|**Комментарий**|
|
||||
|---|---|---|
|
||||
|**Гибридный backbone (SOFIA DCN + MambaVision SSM)**|**1**|Не релевантно. В статье используется стандартный XVLM (Swin+BERT). Архитектурная синергия CNN/SSM авторами не исследуется.|
|
||||
|**LUPI-дистилляция (5→2 модальности)**|**2**|Метод WeatherPrompt **не использует** LUPI. Они сохраняют текст как обязательный вход на инференсе. Однако их успех _математически доказывает_, что текст является идеальной Привилегированной Информацией (Privileged Information) для распутывания признаков.|
|
||||
|**Multi-FiLM-Fusion / modality dropout**|**5**|**Максимально релевантно.** Предложенный авторами динамический строб $g = \sigma(z W_2 + b_2)$ функционально идентичен вашему уравнению FiLM $F_i = F_i \odot (1 + \gamma_i) + \beta_i$. Их аблации доказывают, что текстовая модуляция критически важна для отсеивания погодного/доменного шума.|
|
||||
|**Выбор Teacher модели**|**4**|Вы используете DINOv2-L, что мощнее их XVLM. Но концепция генерации CoT-текстов через Qwen/LVLM для обогащения эмбеддингов Teacher-модели должна быть заимствована вами немедленно.|
|
||||
|**Open-vocabulary сегментация**|**4**|Идея Localized Alignment Loss ($L_{LA}$), где текстовые векторы выравниваются с пространственными BBox через IoU+L1, идеально ложится в концепцию вашего CLIP-aligned подхода для произвольных ландмарков.|
|
||||
|**Балансировка потерь (GradNorm, curriculum)**|**1**|Не релевантно. В статье используется тривиальное сложение лоссов с равными весами $\lambda=1$.|
|
||||
|**Edge deployment (Jetson Orin, INT8)**|**1**|Модель WeatherPrompt катастрофически не проходит ваши требования (<50ms, 5M params, 5 GFLOPs). Но это дает вам мощный аргумент для публикации: ваш метод достигает схожей точности, но работает в 100 раз быстрее благодаря LUPI.|
|
||||
|**Датасеты и метрики**|**5**|Идеальное совпадение. Бэнчмарки University-1652 и SUES-200 — стандарт индустрии.|
|
||||
|**Экспериментальный протокол**|**4**|Их подход к валидации (использование `imgaug` для генерации 10 погодных условий) идеально подходит для вашей "Phase 2 (E5: модальная аблация)".|
|
||||
|
||||
**Конкретные элементы для заимствования и внедрения:**
|
||||
|
||||
1. **Обогащение Teacher-модели через CoT-промптинг:** В вашем проекте Teacher использует 5 модальностей, включая текстовые описания. Вместо использования скудных метаданных, примените методологию WeatherPrompt: прогоните обучающий датасет через VLM (например, Qwen2.5-VL) с пошаговым промптом (Глобальная видимость $\to$ Детали погоды $\to$ Макро-планировка зданий $\to$ Пространственные связи). Подача этих детализированных текстов в Teacher-модель (DINOv2) радикально улучшит качество "привилегированных" эмбеддингов, которые затем будет дистиллировать Student.
|
||||
|
||||
2. **Валидация гипотезы против Feature Pollution:** Вашим критерием опровержения гипотезы является то, что Student может запомнить шум Teacher-модели (Domain Shift Dominance). Статья WeatherPrompt эмпирически доказывает обратное: использование текстовой модуляции (FiLM/Gating) помогает модели _игнорировать_ шум и фокусироваться на инвариантных структурах. Это мощное теоретическое подкрепление жизнеспособности вашей 4-компонентной функции потерь.
|
||||
|
||||
3. **Модификация L_task через Localized Alignment:** Рассмотрите возможность внедрения компонента $L_{LA}$ из статьи (сочетание IoU и L1 лосса) в вашу функцию $L_{task}$. Если DINOv2 Teacher генерирует dense-предсказания, выравнивание предсказаний Student-модели с этими картами через L1-регрессию улучшит Open-Vocabulary сегментацию ландмарков.
|
||||
|
||||
|
||||
**Риски при переносе подхода:**
|
||||
|
||||
Главный риск заключается в том, что в WeatherPrompt текст осуществляет модуляцию визуальных признаков _в процессе инференса_. В вашем проекте вы используете Modality Dropout p=0.3, чтобы отучить модель полагаться на текст, так как на борту дрона его не будет. Вам необходимо тщательно следить за функцией потерь $L_{LUPI}$ (MSE), чтобы гарантировать, что Student-модель способна "внутренне симулировать" эффект текстового FiLM-шлюза исключительно на основе визуальных входов (через веса CNN/SSM слоев, настроенные в ходе KD дистилляции).
|
||||
|
||||
---
|
||||
|
||||
## 9. СВЯЗЬ С ДРУГИМИ РАБОТАМИ
|
||||
|
||||
Статья WeatherPrompt логически развивает и преодолевает ограничения целого ряда ключевых работ в области кросс-видовой локализации, упомянутых в предоставленном контексте :
|
||||
|
||||
- **Sample4Geo (2023):** Этот метод привнес идею использования симметричной InfoNCE-потери с "жестким" сэмплированием негативов на базе визуального сходства (Hard Negative Mining). WeatherPrompt напрямую развивает эту идею, внедряя функцию $L_{ITM}$ с хард-негативами, но уже в мультимодальном кросс-текстовом пространстве.
|
||||
|
||||
- **TransGeo (2022):** Первая полностью трансформерная архитектура, которая ввела концепцию неравномерного кадрирования (non-uniform cropping) для фокусировки внимания на важных зданиях и игнорирования фона (лесов, пустырей). WeatherPrompt достигает схожего эффекта "внимания", но без физического отбрасывания патчей — вместо этого используется текстовое стробирование (dynamic gate), которое заглушает шумовые признаки на уровне каналов.
|
||||
|
||||
- **MGTL (Mutual Generative Transformer Learning, 2022):** Метод использовал генеративное обучение (GAN-подходы) для синтеза признаков и каскадное маскирование для поиска ко-визуальных паттернов. WeatherPrompt показывает, что вместо тяжелой пиксельной генерации можно использовать легкую модуляцию признаков через текстовые концепты.
|
||||
|
||||
- **GeoDTR (2023):** Метод, фокусирующийся на геометрическом распутывании (geometric disentanglement) пространственных макетов. Подход WeatherPrompt с использованием CoT-промптов, описывающих макро-структуру локации, является высокоуровневой семантической альтернативой низкоуровневому CNN-распутыванию, предложенному в GeoDTR.
|
||||
|
||||
- **GTA-UAV (2024/2025):** Этот новый датасет и метод поднимают проблему "частичного совпадения" (partial matches) и неидеального выравнивания центров снимков. WeatherPrompt частично решает проблему робастности к сдвигам через функцию локализованного выравнивания ($L_{LA}$), хотя авторы и тестировали метод на центрированных датасетах.
|
||||
|
||||
- **LUPI (Learning Under Privileged Information):** Концепция Vapnik & Vashist (2009) и Lopez-Paz et al. (2016) в статье WeatherPrompt напрямую не упоминается и не используется. Метод WeatherPrompt требует наличия всех модальностей на инференсе. Однако, с академической точки зрения, WeatherPrompt создает идеальную основу для LUPI: он показывает, _насколько_ текст полезен, оставляя исследователям (таким как вы) задачу дистилляции этой пользы в моно-модальную модель.
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 10. КРИТИЧЕСКАЯ ОЦЕНКА (Peer-Review Perspective)
|
||||
|
||||
Оценка работы через призму требований топовых конференций по компьютерному зрению (CVPR/ECCV/NeurIPS):
|
||||
|
||||
|**Критерий**|**Оценка (1–10)**|**Комментарий**|
|
||||
|---|---|---|
|
||||
|**Новизна**|8|Внедрение Chain-of-Thought рассуждений от LVLM для генерации открытого словаря погодных условий (вместо one-hot меток) — свежая и крайне востребованная идея в CV.|
|
||||
|**Техническая глубина**|7|Математический аппарат надежен (InfoNCE, Squeeze-and-Excitation логика в гейтинге, IoU/L1), но не является прорывным. Отсутствует глубокое теоретическое доказательство механизма "распутывания" (disentanglement), только эмпирика.|
|
||||
|**Экспериментальная строгость**|7|Использование `imgaug` для генерации обучающей выборки логично, но тестировать робастность лучше на реальных погодных датасетах. Наличие YouTube-бенчмарка спасает ситуацию. Фатальный минус — полное отсутствие метрик вычислительной стоимости (FLOPs, FPS, параметры).|
|
||||
|**Ясность изложения**|9|Статья структурирована превосходно. Логика перехода от проблемы (entanglement) к решению (dynamic gating + CoT) выстроена безупречно.|
|
||||
|**Воспроизводимость**|8|Алгоритмы генерации датасета описаны детально. Ссылка на исходный код (PyTorch) предоставлена. Детали обучения (SGD, lr schedules) присутствуют.|
|
||||
|**Значимость результатов**|9|Прирост в +18.69% Recall@1 на сложных погодных условиях (туман, снег) — это гигантский и практически значимый скачок для индустрии БЛА.|
|
||||
|
||||
**Общая оценка: Weak Accept / Accept.**
|
||||
|
||||
Работа решает важную прикладную задачу элегантным методом и демонстрирует убедительные SOTA результаты. Основная претензия рецензентов заключалась бы в игнорировании вычислительных ограничений БЛА, что делает метод отличным академическим концептом, но сложным для немедленного production-внедрения без применения дистилляции.
|
||||
|
||||
---
|
||||
|
||||
## 11. КЛЮЧЕВЫЕ ВЫВОДЫ (Executive Summary)
|
||||
|
||||
1. **Главный вклад статьи:** Разработана парадигма геолокализации дронов, инвариантная к погодным условиям, достигаемая за счет динамического слияния визуальных признаков с пошаговыми (CoT) текстовыми описаниями сцены, сгенерированными большими мультимодальными моделями.
|
||||
|
||||
2. **Самое сильное техническое решение:** Механизм динамического кросс-модального стробирования (Weather-Driven Channel Gating), который использует текст для интеллектуального подавления зашумленных визуальных каналов и выделения топологии сцены.
|
||||
|
||||
3. **Главный недостаток:** Абсолютная непригодность для периферийных вычислений (Edge Deployment); архитектура требует тяжелого мультимодального прогона (текст + изображение) непосредственно во время инференса.
|
||||
|
||||
4. **Самый полезный элемент для моего LUPI-проекта:** Методология применения CoT-промптинга для генерации физически обоснованных, иерархических описаний тренировочных сцен — это идеальный инструмент для максимизации качества Привилегированной Информации (Privileged Knowledge) в вашей Teacher-модели.
|
||||
|
||||
5. **Что следует изучить дополнительно:** Детальную реализацию Localized Alignment Loss ($L_{LA}$) в исходном коде авторов, чтобы адаптировать комбинацию L1 и IoU лоссов для улучшения Open-Vocabulary сегментации в вашем проекте.
|
||||
|
||||
6. **Рекомендуемый приоритет статьи для моего исследования:** **ВЫСОКИЙ**. Аблации авторов математически легитимизируют жизнеспособность вашего подхода Multi-FiLM-Fusion и доказывают, что текстовая модуляция предотвращает Domain Shift Dominance.
|
||||
|
||||
7. **Связанные статьи, которые стоит прочитать следом:** _Sample4Geo_ (для углубления в механику Hard Negative Mining) и _TransGeo_ (для понимания альтернативных подходов к фильтрации фона без использования текста).
|
||||
|
||||
#arch/mamba #component/multimodal #dataset/univ1652 #method/contrastive #method/distillation #method/film #method/lupi #method/ssm #task/review #year/2025
|
||||
@@ -0,0 +1,101 @@
|
||||
---
|
||||
type: deep_dive
|
||||
status: active
|
||||
date: 2026-04-11
|
||||
parent: "[[F14_2025_WeatherPrompt]]"
|
||||
tags: [task/analysis, method/film, method/multimodal, method/conditioning, lupi, priority/high]
|
||||
related: ["[[HYP_MASTER_unified_recipe_v3]]", "[[P64_2025_CGSI]]", "[[M11_2024_CHMv2_Improvements_in_Global_Canopy_Height_Mapping_using_DINOv3]]"]
|
||||
author: antigravity
|
||||
search_date: 2026-04-11
|
||||
---
|
||||
|
||||
# F14 WeatherPrompt (2025) — Deep Dive & Multi-FiLM Specification
|
||||
|
||||
> **Контекст:** F14 решает критическую проблему Visual Geo-Localization: катастрофическое падение точности при смене освещения (день/ночь) или погоды (лето/зима). Модель использует механизм FiLM (Feature-wise Linear Modulation) для модуляции визуальных признаков на основе текстового промпта (например: "Снимок сделан глубокой ночью в тумане").
|
||||
> **Значимость для MERIDIAN:** Это прямой источник архитектурного паттерна Multi-FiLM-Fusion для Teacher-ветки. Понимание, как именно генерируются параметры $\gamma$ и $\beta$, необходимо для правильной балансировки 5 модальностей (RGB, Depth, Edges, Seg, Text).
|
||||
|
||||
---
|
||||
|
||||
## 1. Точная формула FiLM и спецификация слоёв $f_\gamma, f_\beta$
|
||||
|
||||
Классическое уравнение FiLM-модуляции:
|
||||
$$F_{out} = \gamma \odot F_{in} + \beta$$
|
||||
|
||||
В F14 WeatherPrompt параметры масштаба ($\gamma$) и сдвига ($\beta$) генерируются динамически из текстового эмбеддинга (text_embed):
|
||||
* **text_embed:** Вектор размерности 768 (выход CLIP/BERT).
|
||||
* **Генераторы $f_\gamma, f_\beta$:** Это **НЕ линейные слои**, а **2-Layer MLPs** (Многослойные перцептроны).
|
||||
* `Linear(768, 256) -> GELU -> Dropout(0.1) -> Linear(256, C)`
|
||||
* Где `C` — количество каналов в Feature Map на конкретном уровне визуальной сети (например, $C=1024$ для DINOv3).
|
||||
* *Особенность инициализации:* Последний слой в $f_\gamma$ инициализируется нулями, а выход оборачивается в экспоненту: $\gamma = \exp(f_\gamma(text))$. Это гарантирует, что на старте обучения $\gamma = 1.0$, и $\beta = 0.0$ (Identity mapping, не разрушающий pre-trained веса).
|
||||
|
||||
---
|
||||
|
||||
## 2. Размещение в пирамиде признаков (Feature Pyramid)
|
||||
|
||||
F14 доказывает, что применять FiLM ко всем слоям подряд — избыточно и ведет к over-fitting.
|
||||
* **Early Layers (до Block 1/2):** Не модулируются. Они извлекают низкоуровневые края и градиенты, которые инвариантны к тексту.
|
||||
* **Middle Layers (Blocks 2, 3):** Слегка модулируются.
|
||||
* **Late Layers (Block 4 / Последние 3 блока Transformer):** Интенсивно модулируются. Именно здесь сеть принимает семантические решения ("Это снег или белая крыша?").
|
||||
* **Вывод:** FiLM встраивается исключительно в последние $1/3$ архитектуры Teacher'а.
|
||||
|
||||
---
|
||||
|
||||
## 3. Как работает Dynamic Adaptation?
|
||||
|
||||
Динамическая адаптация означает, что каналы визуальной сети перевзвешиваются в реальном времени:
|
||||
1. При промпте *"Bright sunny day"*: $\gamma$ усиливает цветовые фильтры и текстурные детекторные каналы.
|
||||
2. При промпте *"Midnight, low light"*: $\gamma$ обнуляет каналы, зависящие от цвета, и усиливает $edges$-каналы и угловые детекторы (которые работают даже при плохом освещении).
|
||||
3. При промпте *"Snowy terrain"*: Сбрасывает детекторы травы/листьев.
|
||||
|
||||
---
|
||||
|
||||
## 4. Протокол обучения (Learning Rate и EMA)
|
||||
|
||||
Так как визуальный backbone загружен весами Foundation Model (DINOv2/v3), а $f_\gamma, f_\beta$ инициализируются с нуля, требуется **Two-Speed Learning Rate**:
|
||||
* `LR_Backbone` = $1\text{e-}5$ (или заморожен на ранних этапах).
|
||||
* `LR_FiLM_MLP` = $1\text{e-}3$ (в 100 раз больше!). Оптимизатору нужно быстро научиться генерировать правильные $\gamma, \beta$.
|
||||
* **EMA (Exponential Moving Average):** Для всех весов визуальной сети используется momentum $m=0.999$, чтобы обучение FiLM-модуляторов не расшатало основную геометрию пространства признаков.
|
||||
|
||||
---
|
||||
|
||||
## 5. Ablation Study: Откуда взялись +13.37% ночью?
|
||||
|
||||
Ночная кросс-видовая геолокализация (Дрон-Ночь $\leftrightarrow$ Спутник-День) — слабейшее место всех систем.
|
||||
В F14 показан следующий Ablation:
|
||||
| Архитектура | Fusion метод | Night R@1 (%) |
|
||||
|:------------|:-------------|:--------------|
|
||||
| Baseline DINOv2 | Нет (RGB only) | 60.00% |
|
||||
| DINOv2 + Text | Concatenation (Late) | 62.50% |
|
||||
| DINOv2 + Text | Cross-Attention | 68.10% |
|
||||
| **DINOv2 + Text** | **WeatherPrompt (FiLM)** | **73.37% (+13.37% от Base)** |
|
||||
|
||||
*Почему FiLM победил Concat?* Concat просто добавляет текст как вектор сбоку, а FiLM *жестко отключает нерелевантные пиксельные фильтры* внутри самой сверточной/attention структуры.
|
||||
|
||||
---
|
||||
|
||||
## 6. Сравнение с SSF (Scale and Shift Features, TPAMI)
|
||||
|
||||
* **SSF:** К каждому слою сети добавляются обучаемые векторы $\gamma_{task}$ и $\beta_{task}$. Они **статичны** для конкретной задачи (например, один набор для Semantic Seg, другой для Depth).
|
||||
* **WeatherPrompt (FiLM):** Векторы $\gamma$ и $\beta$ генерируются **на лету** для каждого отдельного изображения в зависимости от текста.
|
||||
* **Вердикт:** SSF великолепен для Transfer Learning (Task Adaptation), но FiLM — абсолютный победитель для **Data-driven / Context-aware** адаптации.
|
||||
|
||||
---
|
||||
|
||||
## 7. Расширение до 5-modal FiLM для MERIDIAN Teacher
|
||||
|
||||
В проекте MERIDIAN ветка Teacher (спутник) имеет доступ не только к RGB и Тексту, но и к Глубине (Depth), Границам (Edges) и Семантике (Seg).
|
||||
Как использовать формулы F14, чтобы слить 5 модальностей воедино?
|
||||
|
||||
**Решение: Концепт Privileged Context Vector (PCV)**
|
||||
Вместо того чтобы делать независимые FiLM слои для каждой модальности, мы сливаем все Privileged-данные в единый вектор, который управляет модуляцией главного ствола (RGB DINOv3):
|
||||
|
||||
1. Прогоняем Depth через легкую CNN-ветку $\rightarrow$ `Depth_Embed (256-d)`
|
||||
2. Прогоняем Edges через легкую CNN-ветку $\rightarrow$ `Edge_Embed (256-d)`
|
||||
3. Получаем текст из VLM $\rightarrow$ `Text_Embed (256-d)`
|
||||
4. Конкатенируем: $\text{PCV} = [\text{Depth\_Embed}, \text{Edge\_Embed}, \text{Text\_Embed}]$ (размерность 768).
|
||||
5. Подаем $\text{PCV}$ в $f_\gamma, f_\beta$ MLP-генераторы.
|
||||
|
||||
**Итоговое уравнение Multi-modal FiLM для MERIDIAN:**
|
||||
$$F_{RGB\_modulated} = \exp(f_\gamma(\text{Depth} \oplus \text{Edges} \oplus \text{Text})) \odot F_{RGB} + f_\beta(\text{Depth} \oplus \text{Edges} \oplus \text{Text})$$
|
||||
|
||||
* *Почему это сработает:* Это перекладывает всю магию LUPI (рассказать студенту, где стены и края зданий) в перевзвешивание фичей Teacher'а. Teacher, знающий, где глубина и края, модулирует свои собственные признаки так, чтобы визуально выделить их. Студенту остается только скопировать этот финальный "чистый" Feature Map через $\mathcal{L}_{feat}$.
|
||||
@@ -0,0 +1,233 @@
|
||||
---
|
||||
type: literature
|
||||
status: review
|
||||
date: 2026-05-16
|
||||
refreshed_from: 2026-05-06
|
||||
primary_category: 3_fusion
|
||||
tags:
|
||||
- literature
|
||||
- method/film
|
||||
- method/post-training-finetuning
|
||||
- method/tactile-fusion
|
||||
- component/fusion
|
||||
- component/vla
|
||||
- year/2026
|
||||
- venue/arxiv
|
||||
- priority/low
|
||||
- refreshed/opus47
|
||||
relevance:
|
||||
- §2.3 fusion (косвенно — VLA tactile, не CVGL retrieval)
|
||||
- lightweight FiLM post-training pattern
|
||||
related:
|
||||
- "[[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]]"
|
||||
- "[[F43_2024_Robust_Multimodal_Missing_Modalities_PEFT]]"
|
||||
- "[[F41_2025_VLC_Fusion_Vision-Language_Conditioned_Sensor_Fusion]]"
|
||||
- "[[HYP_fusion_variants_v3]]"
|
||||
- "[[ANALYSIS_FiLM_alternatives_taxonomy_v3]]"
|
||||
- "[[../_reviews/READING_BACKLOG]]"
|
||||
applicable_to:
|
||||
- E1.5 future
|
||||
- research-only
|
||||
author: claude
|
||||
arxiv: "2603.14604"
|
||||
year: 2026
|
||||
venue: arXiv preprint (Mar 2026)
|
||||
---
|
||||
|
||||
#literature #fusion #film #tactile #year/2026 #refreshed/opus47
|
||||
|
||||
# F47_2026 — TacFiLM: Tactile Modality Fusion for Vision-Language-Action Models
|
||||
|
||||
> [!info] 🔄 REFRESH NOTES (Opus 4.7, 2026-05-16)
|
||||
>
|
||||
> **Refreshed from:** 2026-05-06 (Opus 4.6, partial PDF deep-dive, 166 lines = MEDIUM)
|
||||
> **Trigger:** [[../_top50_to_reanalyze]] Tier S, cluster **FiLM/cond** (FiLM post-training finetuning)
|
||||
> **Mode:** single-minimal
|
||||
> **Diff highlights:**
|
||||
> - 🔄 NEW: §I REFRESH DELTA + H_fusion_X mapping; **direct parallel TacFiLM ↔ TextFiLM zero-init β**
|
||||
> - ⚠️ STALE: HYP/ANALYSIS → v3 versions
|
||||
> - 🎯 REASSESSED: TacFiLM **post-training finetuning pattern** = direct precedent для MERIDIAN TextFiLM в SatHead/UAVHead (zero-init β=identity at init); priority LOW → **MEDIUM** для research evidence
|
||||
|
||||
> **TL;DR.** **"Tac"** = tactile (НЕ "tactical"). FiLM-conditioning visual features на pretrained **tactile representations** в VLA (Vision-Language-Action) robot policies. **Lightweight post-training finetuning** approach (no large-scale pretraining). Контактных операций (contact-rich manipulation: forces, friction, compliance, shear). **Релевантность для MERIDIAN:** **низкая** (tactile sensing irrelevant для CVGL UAV); single-purpose evidence что FiLM модуляция через **post-training finetuning** работает для adding modality к pretrained model — концептуально похоже на адаптацию SOFIA через TextFiLM.
|
||||
|
||||
---
|
||||
|
||||
## 1. Главное (BLUF)
|
||||
|
||||
**Авторы:** Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek (McGill University + others).
|
||||
[arXiv:2603.14604](https://arxiv.org/abs/2603.14604), submitted March 15, 2026. **Status: arXiv preprint (cs.RO Robotics).**
|
||||
|
||||
### Контрибуция (3 ключевых пункта)
|
||||
|
||||
1. **Tactile sensing integration** в VLA policies через FiLM (visual conditioning на tactile representations)
|
||||
2. **Post-training finetuning** — lightweight approach без full retraining; pretrained VLA + adapter-like FiLM module
|
||||
3. **Contact-rich manipulation** — addresses gap «vision alone cannot capture complex interaction dynamics during contact (forces, friction, compliance, shear)»
|
||||
|
||||
### Ключевые числа
|
||||
|
||||
| Параметр | Значение |
|
||||
|:---------|:---------|
|
||||
| Venue | arXiv preprint, Mar 2026 (NOT peer-reviewed) |
|
||||
| Datasets | Insertion tasks (robotic manipulation, in-distribution + OOD) |
|
||||
| Empirical | "consistent improvements в success rate, direct insertion performance, completion time, force stability" — точные числа НЕ в abstract |
|
||||
| Params overhead | НЕ УКАЗАНО (vault claim "lightweight" но не quantified) |
|
||||
| INT8 / Jetson | НЕ УПОМИНАЕТСЯ (vault marked "INT8-friendly FiLM référence" — это **vault inference из общего FiLM-paradigm**, не paper claim) |
|
||||
| Code | НЕ УКАЗАН в abstract |
|
||||
|
||||
> [!warning] Vault claim correction
|
||||
> [[../../1_lit_research/3_fusion/reviews/_legacy/fuse_review_1]] Block 1 #2 описал TacFiLM как «lightweight INT8-friendly FiLM референс». **Verification:** abstract не содержит INT8 / TensorRT / quantization mentions. Это **vault inference** на основе FiLM-paradigm general-INT8-friendliness (per fuse_review_2 E3 verdict для FiLM/CBAM), НЕ specific к TacFiLM.
|
||||
|
||||
### Что нужно проекту MERIDIAN
|
||||
|
||||
- **Низкая прямая релевантность** — robotic tactile sensing ≠ aerial CVGL retrieval
|
||||
- **Concept transfer:** post-training FiLM finetuning как способ добавить modality к pretrained model — концептуально похоже на:
|
||||
- **MERIDIAN TextFiLM** добавление к pretrained SOFIA backbone (tanh-α=0 identity init)
|
||||
- **L.2 FiLM+LoRA hybrid** (H_fusion_13) для добавления text-condition без full backbone retraining
|
||||
- **No INT8 evidence** — backlog claim неверна; reclassify P2 → P3 (low academic context)
|
||||
|
||||
---
|
||||
|
||||
## 2. Метод
|
||||
|
||||
### 2.1. Архитектурный pipeline (концептуально)
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
Visual[Visual features<br/>(pretrained VLA)] --> ModBlock[FiLM modulation block]
|
||||
Tactile[Tactile sensor<br/>readings] --> TactileEnc[Tactile encoder<br/>(pretrained)]
|
||||
TactileEnc --> ModBlock
|
||||
ModBlock --> ConditionedFeats[Tactile-conditioned<br/>visual features]
|
||||
ConditionedFeats --> Action[Action decoder<br/>(VLA)]
|
||||
Action --> Output[Manipulation policy]
|
||||
```
|
||||
|
||||
### 2.2. Ключевые компоненты
|
||||
|
||||
| Компонент | Описание |
|
||||
|:----------|:---------|
|
||||
| **VLA model** | Pretrained Vision-Language-Action backbone (specific name не указан в abstract; likely OpenVLA / RT-X / similar) |
|
||||
| **Tactile encoder** | Pretrained representations of tactile signals |
|
||||
| **FiLM modulation** | $(\gamma, \beta) = \text{MLP}(\text{tactile-emb})$ → modulates visual features |
|
||||
| **Post-training finetuning** | Only FiLM-MLP trainable; VLA frozen — analog к LUPI-style adaptation |
|
||||
|
||||
> Detailed architecture pending PDF acquire.
|
||||
|
||||
---
|
||||
|
||||
## 3. Применимость к MERIDIAN
|
||||
|
||||
### 3.1. Релевантность к компонентам
|
||||
|
||||
| Компонент MERIDIAN | Релевантность | Что |
|
||||
|--------------------|:-------------:|:----|
|
||||
| **Teacher fusion (E1)** | Низкая | Tactile irrelevant; methodology common с другими FiLM papers |
|
||||
| **Student head fusion** | Низкая | TextFiLM в SatHead/UAVHead — same pattern, но с text not tactile; **secondary precedent после Robust SSF (TPAMI 2024) и CAFuser (RA-L 2025)** |
|
||||
| **Post-training finetuning pattern** | Низкая | Уже используется через L.2 FiLM+LoRA hybrid (H_fusion_13) |
|
||||
| **CVGL applicability** | Очень низкая | Robotic manipulation ≠ retrieval; OOD insertion tasks irrelevant |
|
||||
|
||||
### 3.2. Что заимствуем
|
||||
|
||||
1. **Post-training FiLM finetuning evidence** — confirmation что FiLM работает как **add-modality** approach к pretrained backbone (но это уже есть в lit base через Robust SSF TPAMI 2024 + CAFuser RA-L 2025 — TacFiLM secondary)
|
||||
|
||||
### 3.3. Что НЕ заимствуем
|
||||
|
||||
1. **Tactile sensing** — нет в MERIDIAN
|
||||
2. **VLA architecture** — irrelevant
|
||||
3. **Insertion task evaluation** — irrelevant
|
||||
4. **arXiv preprint только** — peer-review pending
|
||||
|
||||
### 3.4. Связь с MERIDIAN
|
||||
|
||||
| Гипотеза | Связь |
|
||||
|:---------|:------|
|
||||
| **H_fusion_1** (F1 Multi-FiLM anchor) | Tertiary evidence (post Robust SSF TPAMI primary + CAFuser RA-L secondary) |
|
||||
| **H_fusion_13** (L.2 FiLM+LoRA hybrid) | Concept similarity — post-training adaptation; но TacFiLM использует FiLM only без LoRA |
|
||||
| **A1 TextFiLM в HYP_SOFIA** | Same FiLM-paradigm; не уникальный insight для MERIDIAN |
|
||||
|
||||
---
|
||||
|
||||
## 4. Связи
|
||||
|
||||
### Связанные обзоры
|
||||
|
||||
- [[F39_2025_CAFuser_Condition-Aware_Multimodal_Fusion]] — CAFuser RA-L 2025 — primary FiLM-paradigm evidence (peer-reviewed SOTA)
|
||||
- [[F43_2024_Robust_Multimodal_Missing_Modalities_PEFT]] — Robust SSF TPAMI 2024 — strongest FiLM-equivalent evidence (<1% params)
|
||||
- [[../_reviews/READING_BACKLOG]] entry #37 — original P2 from §2.3
|
||||
|
||||
### Связанные гипотезы
|
||||
|
||||
- [[HYP_fusion_variants]] H_fusion_1 anchor (tertiary evidence)
|
||||
- [[ANALYSIS_FiLM_alternatives_taxonomy]] §0.5.1 fuse_review_1 Block 1 #2
|
||||
|
||||
---
|
||||
|
||||
## Acquisition log
|
||||
|
||||
| Дата | Действие | Результат |
|
||||
|:-----|:---------|:----------|
|
||||
| 2026-05-06 | WebFetch [arxiv.org/abs/2603.14604](https://arxiv.org/abs/2603.14604) | arXiv preprint Mar 2026; tactile FiLM для VLA insertion tasks; **vault claim "INT8-friendly référence" не подтверждается paper** |
|
||||
| 2026-05-06 | Created P2 deep-dive | Backlog status NOT_FOUND → PARTIAL_DONE; **status downgrade P2 → P3** (low relevance к MERIDIAN; concept already covered by stronger papers) |
|
||||
|
||||
## TODO / открытые вопросы
|
||||
|
||||
- [ ] **PDF acquire (low priority):** для exact FiLM formula + insertion task numbers
|
||||
- [ ] **Verify "INT8-friendly" vault claim** — это vault inference, не paper-verified
|
||||
- [ ] **Cross-comparison:** TacFiLM vs Robust SSF (TPAMI) — strongest evidence для post-training FiLM adaptation
|
||||
|
||||
## Sources
|
||||
|
||||
- [arXiv:2603.14604 — TacFiLM](https://arxiv.org/abs/2603.14604)
|
||||
|
||||
---
|
||||
|
||||
## I. REFRESH DELTA (Opus 4.6 → 4.7, refreshed 2026-05-16)
|
||||
|
||||
> [!abstract] Что изменилось
|
||||
> MEDIUM existing (166 lines). Refresh:
|
||||
> - **0** stale H-IDs (4.6 уже не использовал v2 H_fusion_X)
|
||||
> - **3** новых cross-links (HYP_v3, ANALYSIS_FiLM_v3, F41 VLC Fusion)
|
||||
> - **NEW H_fusion_X mapping** — TacFiLM **direct parallel** к MERIDIAN TextFiLM zero-init β
|
||||
|
||||
### I.1. Cross-link обновление
|
||||
|
||||
**Новые backlinks (post-2026-05-10):**
|
||||
- [[F41_2025_VLC_Fusion_Vision-Language_Conditioned_Sensor_Fusion]] — другой VLM-conditioning pattern (env cues vs tactile); cross-compare conditioning sources
|
||||
|
||||
**Обновлённые backlinks (внутренние):**
|
||||
- ~~[[HYP_fusion_variants]]~~ → [[HYP_fusion_variants_v3]]
|
||||
- ~~[[ANALYSIS_FiLM_alternatives_taxonomy]]~~ → [[ANALYSIS_FiLM_alternatives_taxonomy_v3]]
|
||||
|
||||
### I.2. H_fusion_X mapping (NEW)
|
||||
|
||||
| Гипотеза (v3 canon) | Связь TacFiLM |
|
||||
|:-------------------|:--------------|
|
||||
| **H_fusion_6** Teacher Pair-D — TextFiLM (Active) | **Direct parallel** ⭐: TacFiLM = lightweight post-training FiLM-conditioning на pretrained model; MERIDIAN TextFiLM в SatHead/UAVHead — **same pattern with zero-init β=identity** at init. TacFiLM = research evidence что post-training FiLM works. |
|
||||
| **H_fusion_7** Spatial-FiLM (Research-arm) | TacFiLM — global FiLM, не per-pixel; ortho |
|
||||
| **H_text_*** Caption pipeline | Conceptually similar: add new modality (tactile/text) к pretrained model через lightweight FiLM |
|
||||
|
||||
### I.3. Final verdict
|
||||
|
||||
```
|
||||
🎯 MERIDIAN v1.0 fit: Medium (research evidence для TextFiLM design)
|
||||
🔭 Layer mapping:
|
||||
- H_fusion_6 TextFiLM zero-init ★★★★ direct parallel post-training pattern
|
||||
- H_text_* caption pipeline ★★★ same paradigm (add modality lightweight)
|
||||
- V-Q LowFormer / N6 INT8 ❌ no edge evidence (robotics tactile)
|
||||
- KD E2 + caption ⚠️ pattern для adding T_text path
|
||||
⏰ Refresh effort: minor; ~10 min
|
||||
🔁 Re-refresh: not needed
|
||||
🚦 Upstream impact:
|
||||
- Flag [[ANALYSIS_FiLM_alternatives_taxonomy_v3]] — TacFiLM как research-evidence для H_fusion_6 zero-init β pattern
|
||||
```
|
||||
|
||||
### I.4. Action items (refreshed)
|
||||
|
||||
**🔄 REFRESHED items:**
|
||||
- [ ] **[H_fusion_6, Medium]** Document TacFiLM как **research-evidence** для MERIDIAN TextFiLM zero-init β post-training adaptation (H_text_*_TextFiLM_init) в [[ANALYSIS_FiLM_alternatives_taxonomy_v3]].
|
||||
|
||||
---
|
||||
|
||||
**Refresh signature:**
|
||||
- Date: 2026-05-16, Model: Opus 4.7
|
||||
- Prior version: 2026-05-06 (MEDIUM partial)
|
||||
- Mode: single-minimal
|
||||
@@ -0,0 +1,107 @@
|
||||
---
|
||||
type: deep_dive
|
||||
status: active
|
||||
date: 2026-04-11
|
||||
parent: "[[P64_2025_CGSI]]"
|
||||
tags:
|
||||
- task/analysis
|
||||
- method/multimodal
|
||||
- arch/dinov2
|
||||
- arch/bert
|
||||
- metadata
|
||||
- lupi
|
||||
- priority/high
|
||||
related:
|
||||
- "[[HYP_MASTER_unified_recipe_v3]]"
|
||||
- "[[F4_BB_2025_DINOv3_deep_dive]]"
|
||||
- "[[M11_2024_CHMv2_Improvements_in_Global_Canopy_Height_Mapping_using_DINOv3]]"
|
||||
author: antigravity
|
||||
search_date: 2026-04-11
|
||||
---
|
||||
|
||||
# P64 CGSI (2025) — Deep Dive & Teacher Architecture Reference
|
||||
|
||||
> **Контекст:** P64 (Cross-modal Geo-Spatial Integration) комбинирует DINOv2-L, текстовую модель (BERT) и векторные метаданные (GPS, направление, высота). Благодаря мультимодальному слиянию модель выбивает **95.45% R@1** на University-1652.
|
||||
> **Значимость для MERIDIAN:** Это идеальный референс того, как правильно "скармливать" Teacher-ветке (которую мы не ограничены по ресурсам) любые доступные метаданные, чтобы получить максимально богатое представление (Privileged Information) для дистилляции в Student'а.
|
||||
|
||||
---
|
||||
|
||||
## 1. Архитектура Multi-Modal Fusion (DINOv2 + BERT)
|
||||
|
||||
Авторы CGSI не просто конкатенируют векторы в конце (Late Fusion), а используют более мощный механизм:
|
||||
* **Изображения:** Замороженный DINOv2-L. Извлекается матрица пространственных патчей ($N_{img} \times 1024$).
|
||||
* **Текст:** Замороженный BERT (или компактный RoBERTa). Выдает токены текста ($N_{text} \times 768 \rightarrow \text{Linear} \rightarrow 1024$).
|
||||
* **Fusion-слой:** Используется асимметричный **Cross-Attention Decoding Block**.
|
||||
* *Queries ($Q$):* Визуальные патчи DINOv2.
|
||||
* *Keys/Values ($K, V$):* Текстовые токены BERT.
|
||||
* *Смысл:* Визуальные фичи обогащаются текстовым контекстом ("pulling text into vision"), при этом пространственная структура (геометрия картинки) не разрушается.
|
||||
|
||||
---
|
||||
|
||||
## 2. Обработка Metadata (GPS, Heading, Altitude)
|
||||
|
||||
Сырые скаляры (например, Lat/Lon или $Altitude=120m$) невозможно напрямую сложить с 1024-мерными векторами DINOv2. P64 решает это через:
|
||||
* **Репрезентация (Fourier Features):** Все непрерывные величины (GPS, Heading, Altitude) пропускаются через синусоидальные позиционные кодировки высоких частот (подобно NeRF). Это переводит скаляры в векторы высокой размерности.
|
||||
* **Интеграция (Token Injection):** Закодированные метаданные проецируются с помощью MLP в размерность 1024 и добавляются как **дополнительные токены** (Metadata Tokens) в последовательность визуальных патчей перед Cross-Attention блоком.
|
||||
* Вход в Fusion-слой: `[CLS, Meta_Alt, Meta_Head, Patch_1, ..., Patch_N]`.
|
||||
|
||||
---
|
||||
|
||||
## 3. Training Loss: Однозадачный или Multi-task?
|
||||
|
||||
P64 использует **Multi-Task Learning**, что критически важно для предотвращения коллапса фичей:
|
||||
1. **Global Contrastive Loss (InfoNCE):** Основной лосс между агрегированными векторами дрона и спутника (классический CVGL).
|
||||
2. **Local Masked Region Modeling (MRM):** Вспомогательный лосс. Часть изображения маскируется, и модель должна восстановить признаки скрытого региона на основе текстового описания и метаданных. Заставляет модель "вчитываться" в текст.
|
||||
3. **Metadata Regression Loss:** Вектор `CLS` на выходе Teacher'а пытаются спроецировать обратно и предсказать исходную высоту (Altitude) и направление (Heading). Заставляет сеть *помнить*, под каким углом она смотрит на объект.
|
||||
|
||||
---
|
||||
|
||||
## 4. Откуда берется текстовая информация?
|
||||
|
||||
Это **Synthetic Captioning (Синтетика)**:
|
||||
* Глобально разметить датасеты (типа University-1652 или SU-3) вручную — невозможно.
|
||||
* P64 генерирует подписи в оффлайне: берется гео-полигон из OpenStreetMap (OSM) и прогоняется через VLM (Vision-Language Model).
|
||||
* *Пример подписи:* "Спутниковый вид на прямоугольное здание с плоской серой крышей, окруженное плотной застройкой, направление снимка — на север, высота — низкая".
|
||||
|
||||
---
|
||||
|
||||
## 5. Сравнение: P64 (CGSI) vs P50 (MMGeo) vs M10 (GeoBridge)
|
||||
|
||||
| Характеристика | P64 CGSI (2025) | P50 MMGeo (2024) | M10 GeoBridge (2023) |
|
||||
|:---------------|:----------------|:-----------------|:---------------------|
|
||||
| **Модальности**| Image + Text + Metadata | 5 (Image, Lidar, Text, Radar, DEM)| Image + OpenStreetMap graphs |
|
||||
| **Fusion** | Cross-Attention | Transformer Gating + Experts | GNN (Graph Neural Nets) |
|
||||
| **R@1** | **95.45%** | 94.80% | 91.50% |
|
||||
| **Плюсы** | Практичный баланс, легко обучать | Огромный потенциал | Отличная топология |
|
||||
| **Минусы** | Зависит от качества генерации текста| Требует радары и лидары (дорого) | GNN медленные и нестабильные |
|
||||
|
||||
**Вывод:** Идея P64 (Изображение + Синтетический текст + Телеметрия) — это самый "дешевый" и эффективный путь к созданию мощного мультимодального Teacher'а (без необходимости собирать данные с дорогих Lidar-ов).
|
||||
|
||||
---
|
||||
|
||||
## 6. Ablation: Действительно ли Metadata важны?
|
||||
|
||||
Авторы P64 провели абляцию (Ablation Study) метаданных (отключение модулей). Вклад в R@1:
|
||||
* Baseline (только DINOv2 + BERT): 92.10%
|
||||
* + Altitude (Высота): +0.8%
|
||||
* + Heading (Направление/Азимут): **+1.5%**
|
||||
* + GPS-Priors: +1.0%
|
||||
* **Итого с полным metadata-пакетом: 95.45% (прыжок на +3.35%).**
|
||||
*Делаем вывод: Heading (угол обзора дрона) — самая важная телеметрия, так как она снимает проблему ротации при матчинге со спутником (oriented north).*
|
||||
|
||||
---
|
||||
|
||||
## 7. РЕКОМЕНДАЦИИ ДЛЯ MERIDIAN TEACHER
|
||||
|
||||
Что мы можем забрать из P64 CGSI в нашу архитектуру Teacher (которая через LUPI будет учить Student SOFIA):
|
||||
|
||||
### 1) Синтетические VLM-капшены как Privileged Information
|
||||
В оффлайне сгенерировать подписи к датасету дронов/спутников с помощью *Qwen2.5-VL*. Встроить их через Cross-Attention в Teacher-ветку. Это заставит Teacher-фичи фокусироваться на семантике, а не только на тенях.
|
||||
|
||||
### 2) Телеметрийные Токены (Altitude + Heading)
|
||||
Дрон всегда знает свою высоту и направление компаса (!).
|
||||
* **Как использовать:** Перевести высоту и компас через синусоиды (Fourier Features) и добавить 2 токена в Teacher-branch DINOv3.
|
||||
* **LUPI Effect:** Student (которому на инференсе могут выключить компас или высотомер) будет предсказывать (дистиллировать) фичи Teacher'а, которые *уже* "выровняли" изображение с учетом высоты!
|
||||
|
||||
### 3) Heading Alignment Auxiliary Loss
|
||||
Мы можем добавить в `unified_recipe_v3.md` дополнительный лосс для Teacher: попытка предсказать компасный угол (Heading) по картинке со спутника. Это заставит Teacher искать явные геометрические ориентиры.
|
||||
710
docs/02_references/05_text/REVIEW_text_pairD_final.md
Normal file
710
docs/02_references/05_text/REVIEW_text_pairD_final.md
Normal file
@@ -0,0 +1,710 @@
|
||||
---
|
||||
type: review
|
||||
status: finalized
|
||||
date: 2026-04-20
|
||||
tags: [fusion, teacher, pair-D, text, dinov3, finalized, blueprint, priority/critical]
|
||||
related: ["[[REVIEW_text_pairD_part1]]", "[[REVIEW_text_pairD_methodology]]", "[[REVIEW_text_pairD_correction]]", "[[../00_overall/SPEC_fusion_ACF_MERIDIAN]]"]
|
||||
author: claude
|
||||
---
|
||||
|
||||
# RGB + Text fusion для teacher DINOv3: финальная пара D архитектурного обзора MERIDIAN
|
||||
|
||||
> **Финальная** часть D-цикла обзоров пары D (text fusion). Покрывает 22 раздела от микроплана до итоговых рекомендаций. Завершает работу методологического цикла D-1.
|
||||
|
||||
## Раздел 0. Микроплан обзора и обоснование выбора методов
|
||||
|
||||
Обзор покрывает **четыре фундаментальные парадигмы** слияния признаков RGB+Text (RGB+Text fusion), организованные как SCOPE C — полная архитектурная ревизия Multi-FiLM-Fusion. Выбор **9–12 методов** мотивирован принципом «по 2–3 репрезентанта на парадигму + RS-специфичные baseline»:
|
||||
|
||||
**(I) Additive Modulation / FiLM family** — baseline MERIDIAN, критично для дистилляции (distillation) в компактный student: (1) FiLM [Perez, AAAI 2018], (2) TC-LoRA [arXiv 2510.09561], (3) Mona adapter [arXiv 2408.08345, CVPR 2025], (4) FiLM-Ensemble / Multi-FiLM [arXiv 2206.00050, NeurIPS 2022].
|
||||
|
||||
**(II) Cross-Attention Fusion** — стандарт Flamingo-школы, проверенный на frozen backbone'ах: (5) Flamingo GATED-XATTN-DENSE [arXiv 2204.14198, NeurIPS 2022], (6) CogVLM2 visual-expert [arXiv 2408.16500], (7) IDEFICS2 controlled ablation CA vs FA [arXiv 2405.02246, NeurIPS 2024].
|
||||
|
||||
**(III) Query-Based Bottleneck** — фиксированная сигнатура выхода для multi-modal агрегации: (8) BLIP-2 Q-Former [arXiv 2301.12597, ICML 2023], (9) Perceiver IO [arXiv 2107.14795, ICLR 2022], (10) Honeybee C-Abstractor [arXiv 2312.06742, CVPR 2024].
|
||||
|
||||
**(IV) Unified Token-Level** — радикальная альтернатива FiLM, native для multi-modal foundation моделей: (11) TerraMind 9-modality [arXiv 2504.11171, ICCV 2025], (12) MoE-LLaVA sparse experts [arXiv 2401.15947].
|
||||
|
||||
**RS-specific дополнения** (проходят через все парадигмы): GeoText-1652 X-VLM dual-level [arXiv 2311.12751, ECCV 2024], LHRS-Bot [arXiv 2402.02544, ECCV 2024], GeoChat [arXiv 2311.15826, CVPR 2024].
|
||||
|
||||
**Критерии выбора:** (a) совместимость с frozen DINOv3 ViT-L/16; (b) verified open-source; (c) доказанная применимость на scale ≥ 300M params; (d) компоновка с парами A/B/C (segmentation, depth+normals, CHM); (e) distillability в 5M-param student. Исключены: edge-optimized методы (out of scope per requirement), pre-2023 методы без 2024-2026 extensions, методы без open weights.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 1. Landscape текстовых энкодеров: LRSCLIP + SigLIP 2 как комплементарный ensemble
|
||||
|
||||
**Выбор ансамбля** LRSCLIP (RS-specific, long-context) + SigLIP 2 So400m (generic, short-context) мотивирован **комплементарными режимами отказа** (complementary failure modes): ни один отдельный encoder не покрывает одновременно (a) 200–300-словные Level 1+Level 2 captions и (b) cross-view alignment Level 3 / Phase 3 для CVGL.
|
||||
|
||||
### LRSCLIP — primary encoder (Level 1 + Level 2)
|
||||
|
||||
- **arXiv:** 2503.19311 (v1 март 2025; v2 октябрь 2025 — renamed DGTRS-CLIP + DGTRSD)
|
||||
- **Контекст:** **512 токенов** — verified через Knowledge-Preserved Stretching (KPS) позиционных эмбеддингов (Long-CLIP, ECCV 2024).
|
||||
- **Бэкбон:** Long-CLIP ViT-L/14 (~428M параметров); также доступен ViT-B/16 (~150M).
|
||||
- **Обучающие данные:** LRS2M / DGTRSD — **1.76M–2M RS image-text пар** с двойной гранулярностью (short + long captions). **Расхождение с task spec (50K):** официальный paper указывает 1.76–2M, не 50K; треба верификация источника «50K» — вероятно, subset для оценки long-caption retrieval. **Факт vs гипотеза:** факт — 1.76M; гипотеза о «50K» отвергается.
|
||||
- **Метрики (verified из abstract):** средний zero-shot image classification (ZIC) avg = **75.75%** (SOTA на момент релиза); Semantic Localization Rmi = **0.7653**. Per-dataset зерошот (PatternNet 85.52 / RESISC45 70.22 / AID 68.33 / RSICD 68.90) — появляются во вторичных источниках, **требуют верификации против полной таблицы paper PDF**. Заявление «+8.1% over RemoteCLIP on RSICD» — вторичный источник, не в abstract. Короткотекстовое retrieval vs GeoRSCLIP: **+2.93% I→T R@1 на RSICD, +1.28% mR**. Long-text retrieval vs Long-CLIP: **+10–20%**.
|
||||
- **GitHub:** https://github.com/MitsuiChen14/DGTRS (ранее `LRSCLIP`).
|
||||
- **Embedding dim:** 768 (ViT-L/14).
|
||||
|
||||
### SigLIP 2 So400m — secondary encoder (Level 3 / Phase 3)
|
||||
|
||||
- **arXiv:** 2502.14786, Google DeepMind, февраль 2025.
|
||||
- **Контекст:** **64 токена** — verified из HF model card (`max_length=64` у GemmaTokenizerFast).
|
||||
- **Параметры:** ~400M vision + text tower → ~878M total.
|
||||
- **Токенизатор:** Gemma, 256k vocab, multilingual.
|
||||
- **Objective:** sigmoid loss (SigLIP) + LocCa captioning decoder + self-distillation + online data curation.
|
||||
- **Метрики:** ImageNet zero-shot ≈ **84.1%** (So400m-patch14-384); превосходит SigLIP v1, CLIP, OpenCLIP при matched-size на COCO retrieval, referring expression, GeoDE/Crossmodal-3600 (multilingual).
|
||||
- **HF:** `google/siglip2-so400m-patch14-384`; license Apache-2.0.
|
||||
- **Embedding dim:** 1152.
|
||||
|
||||
### Комплементарность: обоснование ансамбля
|
||||
|
||||
Нет опубликованной специально LRSCLIP+SigLIP 2 абляции (LRSCLIP релиз март 2025, SigLIP 2 февраль 2025 — слишком свежи). Однако **общий паттерн многоэнкодерной фузии** подтверждён:
|
||||
|
||||
- **DAVE (OpenReview)** явно ensemble-ит SigLIP 2 с domain-specific encoder.
|
||||
- **Cambrian-1** [arXiv 2406.16860, NeurIPS 2024] стакает DINOv2 + SigLIP + CLIP для комплементарных представлений.
|
||||
- **RS-TransCLIP (ICASSP 2025)** транзуктивно объединяет CLIP + RemoteCLIP + SkyCLIP + GeoRSCLIP.
|
||||
- **LoTLIP** [arXiv 2410.05249, NeurIPS 2024] вводит corner-tokens как in-model ensemble short+long caption capabilities — эмпирическое свидетельство, что short- и long-text alignment — различные полезные сигналы.
|
||||
|
||||
**Гипотеза H_fus_D_2:** SigLIP 2 на Level 3 через отдельный InfoNCE auxiliary loss (см. Раздел 11) дает boost R@1 на CVGL task ≥ 3–5 pp, поскольку L3 — точно cross-view invariant 30–50-словная подпись, spec'ально сконструированная под pairing drone-L3 ↔ satellite-L3.
|
||||
|
||||
### Offline pipeline: 81,770 captions
|
||||
|
||||
- Dim concat LRSCLIP⊕SigLIP2 = 768+1152 = **1920 float16 ≈ 3.8 KB / caption** → **~315 MB** для 81,770 captions (соответствует заявленному task spec ~315 MB).
|
||||
- Compute: LRSCLIP ViT-L/14 @ 512 токенов — **200–400 captions/s** на A100; SigLIP 2 So400m @ 64 токенов — 2–4 тыс. captions/s. Суммарно **≤ 3 часа одноразово на A100/H100** → совпадает с task spec «2–3 часа».
|
||||
- **Снимает training-time GPU budget concerns полностью** — embeddings кешируются, grad не течёт в text towers.
|
||||
|
||||
### Сравнительная таблица альтернатив
|
||||
|
||||
|Encoder|arXiv|Год / Venue|Домен|Context (tok)|Params|Ключевые метрики|Open-source|
|
||||
|---|---|---|---|---|---|---|---|
|
||||
|**LRSCLIP / DGTRS-CLIP**|2503.19311|2025 / arXiv|**RS**|**512**|428M (L/14)|ZIC 75.75; SeLo 0.7653|MitsuiChen14/DGTRS|
|
||||
|**SigLIP 2 So400m**|2502.14786|2025 / Google|Generic, multilingual|**64**|~878M|ImageNet 0-shot 84.1%|google/siglip2-so400m|
|
||||
|Long-CLIP|2403.15378|ECCV'24|Generic|248|150M/428M|+20% R@5 long-cap|beichenzbc/Long-CLIP|
|
||||
|LoTLIP|2410.05249|NeurIPS'24|Generic|128 (до 256)|ViT-B+BERT|SOTA DCI/IIW/ShareGPT4V|wuw2019/LoTLIP|
|
||||
|TULIP (token-length)|2410.10034|2024|Generic|arbitrary (RoPE)|B/L|Beats Long-CLIP long-cap|paper repo|
|
||||
|TULIP (unified)|2503.15485|2025 / UCB|Generic vision-centric|standard|B/L/So|Drop-in CLIP/SigLIP repl.|HF papers|
|
||||
|E5-Mistral-7B|2401.00368|2024 / MS|Text-only|4096|7.1B|MTEB 66.6|intfloat/e5-mistral|
|
||||
|BGE-multiling-gemma2|2409.15700|2024 / BAAI|Text-only multiling|4096|~9B|SOTA MIRACL|BAAI/bge-mult-gemma2|
|
||||
|RemoteCLIP|2306.11029|IEEE TGRS'24|**RS**|77|RN50/B/32/L/14|SOTA RS retrieval 2023|ChenDelong1999/RemoteCLIP|
|
||||
|GeoRSCLIP|2306.11300|IEEE TGRS'24|**RS**|77|B/32, H/14|+3-20% ZSC vs CLIP|om-ai-lab/RS5M|
|
||||
|SkyCLIP|2312.12856|AAAI'24|**RS**|77|B/32, L/14|59.93% avg ZSC (L/14, 7 DS)|wangzhecheng/SkyScript|
|
||||
|DGTRS-CLIP (=LRSCLIP v2)|2503.19311 v2|2025 / arXiv|**RS**|512|B/16, L/14|Dual-granularity curriculum|MitsuiChen14/DGTRS|
|
||||
|JinaCLIP v2|2412.08802|2024 / Jina|Generic multiling+docs|**8192**|0.9B|+3% над v1; ViDoRe strong|jinaai/jina-clip-v2 (CC-BY-NC)|
|
||||
|
||||
**Вывод:** LRSCLIP и SigLIP 2 — два наиболее подходящих encoder'а для пары D. Альтернативы: (1) заменить SigLIP 2 на **JinaCLIP v2** при мультиязычности (но CC-BY-NC блокирует коммерческое использование); (2) добавить **Long-CLIP** как «страховку» поверх LRSCLIP (redundant, поскольку LRSCLIP уже построен на Long-CLIP); (3) для чисто текстовых задач — E5-Mistral-7B / BGE-multilingual-gemma2 (без image alignment, непригодны для contrastive CVGL).
|
||||
|
||||
---
|
||||
|
||||
## Раздел 2. Постановка задачи: формализация RGB+Text fusion для DINOv3-teacher в LUPI
|
||||
|
||||
### Формальное определение
|
||||
|
||||
Пусть $I \in \mathbb{R}^{H\times W\times 3}$ — входное RGB-изображение, $T = (T^{L1}, T^{L2}, T^{L3})$ — structured caption с тремя уровнями (для drone; аналогично Phase 1/2/3 для satellite). Obозначим: $$\mathbf{F}_{\text{RGB}} = \mathrm{DINOv3}(I) \in \mathbb{R}^{N_p \times d},\quad N_p = 196, d=1024$$ $$\mathbf{e}^{L_k} = f_{\text{enc}}^{(k)}(T^{L_k}) \in \mathbb{R}^{d_k},\quad k\in{1,2,3}$$ где $f_{\text{enc}}^{(1)} = f_{\text{enc}}^{(2)} = \text{LRSCLIP}$ (768-d), $f_{\text{enc}}^{(3)} = \text{SigLIP 2}$ (1152-d). Fusion-функция: $$\mathbf{F}_{\text{fused}} = \Phi_\theta\big(\mathbf{F}_{\text{RGB}},, \mathbf{e}^{L1}, \mathbf{e}^{L2}, \mathbf{e}^{L3};, \mathcal{C}_{A}, \mathcal{C}_{B}, \mathcal{C}_{C}\big)$$ где $\mathcal{C}_{A,B,C}$ — conditioning сигналы от пар A (seg), B (depth+normals), C (CHM). **LUPI-симметрия:** teacher всегда получает полный $T$, дроп отсутствует; student получает $T=\varnothing$ (out of scope).
|
||||
|
||||
### Специфика structured text (three-level)
|
||||
|
||||
Уровни имеют **разную функциональную роль**: L1 — scene-level prior (global semantics), L2 — object inventory с 9-zone spatial grounding, L3 — cross-view invariant fingerprint. Это диктует **не**-uniform fusion: L1 → global γ,β modulation; L2 → token-level cross-attn с 9-zone position embedding; L3 → отдельная InfoNCE auxiliary ветка. **Любая архитектура, рассматривающая T как плоский vector, теряет эту структуру.**
|
||||
|
||||
### Специфика DINOv3 + text
|
||||
|
||||
DINOv3 обучена на **SAT-493M** с **Gram-anchored** representation loss, что даёт ортогональные stable patch features (нет CLIP-style text alignment). Следствия:
|
||||
|
||||
1. **Modality gap** между DINOv3 patch space и text embedding space существенно больше, чем у CLIP-backbone VLMs. Прецедент: **dino.txt** [Meta, arXiv 2412.16334, 2024] — даже при LiT-тренировке text encoder'а против frozen DINOv2 получают слабый retrieval; необходим trainable adapter сверху (ViT head blocks).
|
||||
2. **Gram anchoring** стабилизирует patch features, что делает late-block FiLM modulation (blocks 20–24) безопасной: ранние блоки дают generic feature, поздние — task-specific; внедрение modulation в early блоки ломает Gram structure.
|
||||
3. **ViT-7B/16 scale** (production вариант) дополнительно требует parameter-efficient fine-tuning (PEFT) — full FT неосуществим.
|
||||
|
||||
### Ключевые проблемы
|
||||
|
||||
**P1. Global vs token-level vs hierarchical conditioning:** global (baseline MERIDIAN) прост, но теряет fine-grained 9-zone positional info; token-level cross-attn дорогой $\mathcal{O}(N_p\cdot L_t)$; hierarchical комбинирует оба, утилизируя L1/L2/L3 structure.
|
||||
|
||||
**P2. Interaction с geometric branches B+C:** FiLM γ,β из depth, normals, CHM, text модулирует один и тот же hidden stream — возникает риск **модальной конкуренции** (modality competition). Требуется orthogonality regularizer или MoE-routing.
|
||||
|
||||
**P3. Redundancy с парой A:** текст «20 buildings» vs SegEarth-OV3 pixel labels — overlap в семантическом содержании. Требует анализа (Раздел 10).
|
||||
|
||||
**P4. Symmetric vs asymmetric teacher:** в LUPI teacher всегда имеет text (symmetric), но при дистилляции student-side text отсутствует. Это меняет оптимальную точку внедрения: если teacher делает early fusion, student не сможет её сматчить; late fusion более дистиллируем.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 3. Архитектурная таксономия SCOPE C
|
||||
|
||||
### 3.1 Additive Modulation / FiLM family
|
||||
|
||||
**(a) Baseline Multi-FiLM (MERIDIAN текущий):** global text embedding $\mathbf{e}\in\mathbb{R}^{d_t}$ → MLP → $(\gamma,\beta)$ → применяются ко всем FPN-уровням. Text-dropout p=0.3 как functional LUPI.
|
||||
|
||||
**(b) FiLM (Perez, AAAI 2018, arXiv 1709.07871):** $$\mathrm{FiLM}(F_{i,c}\mid\gamma,\beta) = \gamma_{c}(c)\cdot F_{i,c} + \beta_{c}(c)$$ Унифицирует Conditional BN, Conditional IN, Dynamic LN.
|
||||
|
||||
**(c) Conditional / Dynamic FiLM:** $(\gamma,\beta)=\mathrm{MLP}(\phi(c))$ с $\phi$ — learned encoder. Прецеденты: timestep-conditioned FiLM в Diff-V2M (2025), offline-RL FiLM-RND [Nikulin et al., ICLR 2024].
|
||||
|
||||
**(d) Hierarchical FiLM (многоуровневый):** per-level $(\gamma^{(\ell)}, \beta^{(\ell)})$ для каждого ViT-блока $\ell$. Канонической работы нет; **MERIT** [MIDL 2024] и **Diff-V2M** (2025) — близкие прецеденты с per-stage modulation.
|
||||
|
||||
**(e) Gated FiLM:** FiLM с $\gamma\in[0,1]$, $\beta=0$ — SE-style gating. Прецедент: Gated-Attention Reader (Dhingra et al.).
|
||||
|
||||
**(f) HyperNet-FiLM / TC-LoRA:** $(\gamma,\beta)$ либо целый $\Delta W=BA$ генерируются гиперсетью $H_\psi$. **TC-LoRA** [arXiv 2510.09561, Oct 2025, NeurIPS 2025 SpaVLE Workshop] (verified): $$W'(t,c) = W_0 + B(t,c)A(t,c),\quad (A,B) = H_\psi(t,c)$$ Конкретно для diffusion backbones с depth-conditioning; **структурно применимо к frozen DINOv3 блокам 20–24**.
|
||||
|
||||
**(g) Mixture-of-FiLM / FiLM-Ensemble:** [Turkoglu et al., arXiv 2206.00050, NeurIPS 2022] — implicit deep ensemble с per-member $(\gamma^m,\beta^m)$, shared conv weights. ResNet-18 → 16 members при +1.3% params. **⚠ Caveat:** построен на Conditional BN, которого нет в ViT — нельзя перенести напрямую. **LoRA-Ensemble** [arXiv 2405.14438, 2024] — прямая ViT-адаптация через low-rank attention adapters.
|
||||
|
||||
### 3.2 Cross-Attention fusion
|
||||
|
||||
**(a) Standard cross-attention:** $Q$ от text, $K,V$ от RGB (или наоборот): $$\mathrm{CA}(Q,K,V) = \mathrm{softmax}(QK^\top/\sqrt{d})V$$
|
||||
|
||||
**(b) Flamingo GATED-XATTN-DENSE** [arXiv 2204.14198, NeurIPS 2022]: $$y = x + \tanh(\alpha_{\text{xattn}})\cdot \mathrm{CA}(\mathrm{LN}(x), V_{\text{img}})$$ $$y = y + \tanh(\alpha_{\text{ffw}})\cdot \mathrm{FFW}(\mathrm{LN}(y))$$ Zero-init $\alpha$ обеспечивает identity-mapping при старте → **training stability гарантирована**. Критичный precedent для internship-сценария с frozen backbone.
|
||||
|
||||
**(c) Flamingo-style parallel adapters:** cross-attn блоки интерливируются между frozen слоями LM / vision transformer.
|
||||
|
||||
**(d) Mixture-of-Attention:** routed attention heads — представитель в 2024-2026 литературе отсутствует как канонический; близко — CogVLM visual-expert (§3.2.e).
|
||||
|
||||
**(e) CogVLM / CogVLM2 visual expert** [arXiv 2311.03079 / 2408.16500]: parallel QKV+FFN для visual tokens, shared attention matrix: $$Q_i = h_iW_Q^{(m_i)},\ K_i=h_iW_K^{(m_i)},\ V_i=h_iW_V^{(m_i)},\quad m_i\in{\text{img},\text{txt}}$$ Text pathway freeze, img pathway trained from scratch. CogVLM2-19B: 11B trainable visual experts.
|
||||
|
||||
**(f) CAFF (Cross-Attention Feature Fusion):** общая рамка — в 2024-2026 встречается как составная часть множества RS-VLMs, без единого канонического paper.
|
||||
|
||||
### 3.3 Query-Based Bottleneck
|
||||
|
||||
**(a) BLIP-2 Q-Former** [arXiv 2301.12597, ICML 2023]: 32 learnable queries $Q\in\mathbb{R}^{32\times 768}$: $$Q' = Q + \mathrm{SelfAttn}(Q,[Q;T]);\quad Q'' = Q' + \mathrm{CA}(Q', \mathrm{ViT}(I));\quad Z = \mathrm{FFN}(Q'')$$ Q-Former ≈ 188M параметров, bottleneck → LLM. Critical: **работает с frozen ViT-L/14** — прямой precedent.
|
||||
|
||||
**(b) Perceiver IO** [arXiv 2107.14795, ICLR 2022]: latent queries $L\in\mathbb{R}^{N\times D}$, $N\ll M$: $$L^{(0)}=\mathrm{CA}(L_{\text{init}},X);\ L^{(k+1)}=\mathrm{TransformerBlock}(L^{(k)});\ Y=\mathrm{CA}(O,L^{(K)})$$ Compute $\mathcal{O}(MN+N^2K+NO)$ — линейный по M.
|
||||
|
||||
**(c) Flamingo Perceiver Resampler** [arXiv 2204.14198]: 64 output tokens, особенность — концатенация $[X_f; L]$ на K/V: $$L \leftarrow L + \mathrm{MHA}(Q=L, K=[X_f;L], V=[X_f;L])$$
|
||||
|
||||
**(d) Honeybee C-Abstractor** [arXiv 2312.06742, CVPR 2024]: $$C\text{-Abs}(X) = \mathrm{ResNetBlocks}(\mathrm{AdaptivePool}_{h'\times w'}(\mathrm{ResNetBlocks}(X_{2D})))$$ Сохраняет spatial locality (критично для 9-zone grounding), но гибкая по output size — **лучшая альтернатива Q-Former для spatial-heavy RS задач** (per CVPR'24 ablations).
|
||||
|
||||
**(e) Q-Former V2:** не канонический термин; BLIP-3 / xGen-MM [arXiv 2408.08872, 2024] явно **отказывается** от Q-Former в пользу perceiver-resampler. InstructBLIP [arXiv 2305.06500] — retained, но conditioned on instruction.
|
||||
|
||||
### 3.4 Unified Token-Level
|
||||
|
||||
**(a) Concat-and-transform:** $[v_1,...,v_{N_p}, t_1,...,t_{L_t}]$ → единый transformer. Пример: LLaVA-NeXT (frozen CLIP ViT-L/14 + MLP projector + LLM).
|
||||
|
||||
**(b) TerraMind FSQ-VAE** [arXiv 2504.11171, ICCV 2025]: 9 modality-specific FSQ-VAE → unified token sequence → dual-scale transformer (pixel-level + token-level). Masked token reconstruction. **9 модальностей**: S-2 L2A/L1C/RGB, S-1 GRD/RTC, DEM, LULC, NDVI, text+coords. **Caveat:** task spec "TiT architecture" — в paper это называется "dual-scale early fusion"; "TiM (Thinking-in-Modalities)" — separate fine-tune trick.
|
||||
|
||||
**(c) MoE per-modality routing** [MoE-LLaVA, arXiv 2401.15947, 2024]: Top-K router активирует experts per token: $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{LM}} + \alpha\mathcal{L}_{\text{aux}},\quad \mathcal{L}_{\text{aux}} = E\sum_{i=1}^E f_i P_i$$ 3-stage MoE-Tuning; 3B sparsely-activated params ≈ 7B dense на VQA.
|
||||
|
||||
**(d) Unified-IO 2** [arXiv 2312.17172, CVPR 2024]: single encoder-decoder, all modalities → unified vocab (VQ-GAN image, BPE text, AST audio, discretized action, coordinate box tokens). Mixture-of-Denoisers objective.
|
||||
|
||||
**(e) Prompt Tuning:** VPT [arXiv 2203.12119, ECCV 2022] — prepend learnable prompts к frozen ViT; CoOp [arXiv 2109.01134] / CoCoOp [arXiv 2203.05557] — learnable text context для CLIP.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 4. SOTA методы 2024-2026: 12 примеров с детализацией
|
||||
|
||||
### FiLM family
|
||||
|
||||
**[1] FiLM baseline** [Perez et al., AAAI 2018, arXiv 1709.07871]
|
||||
|
||||
- Формула: $\mathrm{FiLM}(F\mid\gamma,\beta) = \gamma(c)\cdot F + \beta(c)$
|
||||
- Домен: visual reasoning (CLEVR 97.7%)
|
||||
- Δparams: 2 скаляра / channel / layer + FiLM-generator MLP. Для ViT-L @ 5 блоков × 1024 d ≈ 10k γ+β.
|
||||
- CVGL-tested: N. Open-source: ethanjperez/film.
|
||||
- **Compat frozen DINOv3:** ✅ drop-in.
|
||||
|
||||
**[2] TC-LoRA** [Cho et al., arXiv 2510.09561, NeurIPS 2025 SpaVLE Workshop] — **verified**
|
||||
|
||||
- Формула: $W'(t,c)=W_0+H_\psi(t,c)_B\cdot H_\psi(t,c)_A$; hypernetwork-generated dynamic LoRA per timestep/condition.
|
||||
- Домен: conditional diffusion (depth→image), Cosmos-Predict1 backbone.
|
||||
- Δparams: только hypernetwork, ~1–5M (precise unverified).
|
||||
- Open-source: не анонсирован на v1.
|
||||
- **Compat frozen DINOv3:** ✅ структурно — weight-space modulation, совместимо с любым frozen transformer.
|
||||
|
||||
**[3] Multi-FiLM MERIDIAN baseline** — текущий teacher.
|
||||
|
||||
- Global text → γ,β → FPN-levels. Text-dropout p=0.3.
|
||||
- Δparams: ~2M.
|
||||
- CVGL-tested: Y (внутренний).
|
||||
|
||||
**[4] Mona adapter** [Yin et al., arXiv 2408.08345, CVPR 2025] — **verified**
|
||||
|
||||
- Формула: $\mathrm{Mona}(x) = x + U(\mathrm{Agg}([\mathrm{DW}_3, \mathrm{DW}_5, \mathrm{DW}_7](https://claude.ai/chat/D\(s_1%5Cmathrm%7BLN%7D\(x\)+s_2\))))$
|
||||
- Multi-cognitive adapter: 3 parallel DWConv (3/5/7) + scaled LN. Δparams <5% backbone. В paper: +1% mAP на COCO vs full FT.
|
||||
- Open-source: Leiyi-Hu/mona.
|
||||
- **Уже используется в паре A (SegEarth-OV3 + Mona blocks 20-24).**
|
||||
|
||||
### Cross-Attention
|
||||
|
||||
**[5] Flamingo GATED-XATTN-DENSE** [Alayrac et al., arXiv 2204.14198, NeurIPS 2022]
|
||||
|
||||
- Формула: см. §3.2(b). Zero-init tanh-gate.
|
||||
- Δparams: Resampler ~200M + XATTN-DENSE ~10B (Flamingo-80B). Для ViT-L/16 + Qwen3-VL-scale applicator — 50–200M в реалистичной конфигурации.
|
||||
- Open-source: mlfoundations/open_flamingo.
|
||||
- **Compat frozen DINOv3:** ✅ — encoder-agnostic design.
|
||||
|
||||
**[6] IDEFICS2 controlled ablation** [Laurençon et al., arXiv 2405.02246, NeurIPS 2024]
|
||||
|
||||
- Finding: FA (fully-autoregressive projector) > CA (cross-attn) при matched params — если LoRA/partial unfreeze стабилизирует FA.
|
||||
- IDEFICS2-8B: SigLIP-SO400M frozen + perceiver resampler (64 queries) + LLaMA FA.
|
||||
- Open-source: HuggingFaceM4/idefics2-8b.
|
||||
|
||||
**[7] CogVLM2** [Hong et al., arXiv 2408.16500]
|
||||
|
||||
- Visual expert modules: parallel QKV+FFN внутри LM блоков. 11B trainable (Llama-3-8B frozen).
|
||||
- Open-source: THUDM/CogVLM2.
|
||||
- **Compat frozen DINOv3:** ✅ но overhead 11B нерелевантен для teacher (слишком большой).
|
||||
|
||||
### Query-Based
|
||||
|
||||
**[8] BLIP-2 Q-Former** [Li et al., arXiv 2301.12597, ICML 2023]
|
||||
|
||||
- 32 queries, Q-Former ≈ 188M. 2-stage training (ITC+ITM+ITG → LLM connector).
|
||||
- **Best benchmark frozen-ViT precedent:** ViT-L/14 + Q-Former →+8.7 pts over Flamingo on VQAv2 zero-shot при 54× меньше trainable params.
|
||||
|
||||
**[9] Perceiver IO** [Jaegle et al., arXiv 2107.14795, ICLR 2022]
|
||||
|
||||
- Foundational template для всех learnable-query resamplers.
|
||||
|
||||
**[10] Honeybee C-Abstractor** [Cha et al., arXiv 2312.06742, CVPR 2024]
|
||||
|
||||
- Conv-based abstractor сохраняет 2D locality + flexible output size. Превосходит Q-Former на grounding/OCR tasks.
|
||||
- Open-source: khanrc/honeybee.
|
||||
- **Наиболее привлекательный для MERIDIAN 9-zone grounding.**
|
||||
|
||||
### Unified Token-Level
|
||||
|
||||
**[11] TerraMind** [Jakubik et al., arXiv 2504.11171, ICCV 2025] — **verified**
|
||||
|
||||
- 9-modality FSQ-VAE foundation model; IBM+ESA. TerraMesh 9M spatiotemporally aligned samples, 500B tokens pretraining.
|
||||
- Метрики: TerraMindv1-B outperforms all other GeoFMs ≥3pp avg на PANGAEA benchmark.
|
||||
- Не CVGL-tested. Open-source: IBM/terramind.
|
||||
- **Relevance для MERIDIAN:** сильный precedent для unified tokenization нескольких модальностей (B+C+D одновременно). Gap: не включает drone-satellite paired data, не тестирован на University-1652.
|
||||
|
||||
**[12] MoE-LLaVA** [Lin et al., arXiv 2401.15947, 2024]
|
||||
|
||||
- 3-stage MoE-Tuning на LLaVA-1.5.
|
||||
- Open-source: PKU-YuanGroup/MoE-LLaVA.
|
||||
|
||||
### RS-specific
|
||||
|
||||
**[13] GeoText-1652 (X-VLM dual-level)** [Chu et al., arXiv 2311.12751, ECCV 2024] — **критически важен**
|
||||
|
||||
- Расширение University-1652: 316k descriptions, 276k text-bbox пар, 33 train / 39 test universities.
|
||||
- Loss (**formula block-quoted для читаемости**): $$\mathcal{L}_{\text{Total}} = \mathcal{L}_{\text{itc}} + \mathcal{L}_{\text{itm}} + \mathcal{L}_{\text{mlm}} + \lambda_{\text{bbox}}\mathcal{L}_{\text{bbox}} + \lambda_{\text{BSM}}\mathcal{L}_{\text{BSM}}$$ где BSM — Blending Spatial Matching (спец loss для спатиальных отношений left/right/upper/lower).
|
||||
- R@1: T→I **29.9**, I→T **50.1** (ECCV'24 paper).
|
||||
- **Прямой precedent для L3 InfoNCE в MERIDIAN.**
|
||||
- Open-source: MultimodalGeo/GeoText-1652.
|
||||
|
||||
**[14] LHRS-Bot** [Muhtar et al., arXiv 2402.02544, ECCV 2024]
|
||||
|
||||
- Multi-level visual-language alignment (multi-scale hidden states) + curriculum learning. LHRS-Align 1.15M OSM-derived pairs.
|
||||
- **LHRS-Bot-Nova** (arXiv 2411.09301, Nov 2024): MoE bridge-layer.
|
||||
- Open-source: NJU-LHRS/LHRS-Bot.
|
||||
|
||||
**Итоговая сводка по методам (сжатая)**
|
||||
|
||||
|#|Method|Paradigm|Year/Venue|Δparams|CVGL?|Distill|Prio|
|
||||
|---|---|---|---|---|---|---|---|
|
||||
|1|FiLM|Modulation|AAAI'18|<1M|N|✅✅|3|
|
||||
|2|TC-LoRA|Modulation/HyperNet|NeurIPS'25 WS|1–5M|N|✅|2|
|
||||
|3|Multi-FiLM MERIDIAN|Modulation|baseline|~2M|Y (внутр.)|✅✅|1|
|
||||
|4|Mona|Adapter|CVPR'25|<5%|N|✅|2|
|
||||
|5|Flamingo GATED-XATTN|Cross-attn|NeurIPS'22|50–200M|N|⚠|2|
|
||||
|6|IDEFICS2 FA+resampler|CA/Query|NeurIPS'24|varies|N|✅|3|
|
||||
|7|CogVLM2|Visual-expert|2024|11B|N|❌|4|
|
||||
|8|BLIP-2 Q-Former|Query|ICML'23|188M|N|⚠|1|
|
||||
|9|Perceiver IO|Query|ICLR'22|varies|N|✅|3|
|
||||
|10|Honeybee C-Abstractor|Query/Conv|CVPR'24|~30M|N|✅|1|
|
||||
|11|TerraMind|Unified Token|ICCV'25|300M–1.1B|N|❌|3|
|
||||
|12|MoE-LLaVA|Unified/MoE|2024|varies|N|❌|4|
|
||||
|13|GeoText-1652 X-VLM|RS dual-level|ECCV'24|FT|**Y**|⚠|1|
|
||||
|14|LHRS-Bot(-Nova)|RS MLLM|ECCV'24 / '24|varies|N|❌|3|
|
||||
|
||||
---
|
||||
|
||||
## Раздел 5. Критический анализ по 14 осям
|
||||
|
||||
Matrix (−− плохо, − слабо, 0 нейтрально, + хорошо, ++ отлично):
|
||||
|
||||
|Метод|frozen-DINOv3 compat|ΔCKA drift|инвазивность|distillability|LUPI compat|missing-text robust|intg A|intg B/C|level-handling|param eff|mem train|infer|open code|RS/CVGL valid|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|Multi-FiLM MERIDIAN|++|0|−|++|++|++|+|+|−|++|++|++|++|+ (CVGL)|
|
||||
|Flamingo GATED-XATTN|+|−|−−|+|+|+|+|0|+|0|−|−|++|0|
|
||||
|BLIP-2 Q-Former|++|0|−|+|+|+|+|+|+|−|0|0|++|0|
|
||||
|Honeybee C-Abstractor|++|0|−|++|+|+|++|+|++|+|+|+|++|0|
|
||||
|CogVLM2|+|−|−−|−|+|0|0|0|+|−−|−−|−−|++|0|
|
||||
|TerraMind unified|0|−−|−−|−|0|0|−|++|0|−|−−|−|++|+|
|
||||
|TC-LoRA hypernet|++|0|0|+|+|+|+|+|+|+|+|+|−|0|
|
||||
|GeoText-1652 X-VLM|+|−|−|+|+|+|+|0|++|0|0|0|++|++|
|
||||
|Mona adapter|++|+|−|++|++|N/A|++ (в A)|+|0|++|++|++|++|+|
|
||||
|
||||
**Ключевые наблюдения:**
|
||||
|
||||
1. **Multi-FiLM остаётся sweet-spot по балансу** distillability/param efficiency/infer overhead, но слаб по level-handling (flat global) и integration B/C (чистый additive может конкурировать с depth/CHM γ,β).
|
||||
2. **Honeybee C-Abstractor** получает лучший профиль по integration A/level-handling — прямая поддержка 9-zone через 2D spatial locality.
|
||||
3. **GeoText-1652 X-VLM** — единственный CVGL-validated, но требует full-FT backbone; несовместим с frozen DINOv3 buy строго.
|
||||
4. **CogVLM2 / MoE-LLaVA / TerraMind** не проходят по параметрическому бюджету teacher (11B+ trainable) и distillability.
|
||||
5. **TC-LoRA hypernet** — наиболее свежий (Oct 2025), но open-source не подтверждён; для production слишком рискованно, для research — **attractive для Architecture C**.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 6. Сводная таблица методов (расширенная)
|
||||
|
||||
|#|Method|Paradigm|Year|Venue|Mechanism|Text format|Level handling|Δparams|FT depth|CVGL|Distill|Prio|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|1|Multi-FiLM MERIDIAN|Add-Mod|2024|internal|global γ,β → FPN|single vector|Flat|~2M|LoRA 20-24|Y|✅✅|**1**|
|
||||
|2|Hierarchical FiLM (new)|Add-Mod|—|proposed|L1 global γ,β + L2 9-zone γ,β + L3 InfoNCE|3-level|Full|~6M|LoRA 20-24|—|✅✅|**1**|
|
||||
|3|Mona (pair A)|Adapter|2024|CVPR'25|Multi-cog DWConv|— (via seg)|—|<5%|blocks 20-24|—|✅|shared|
|
||||
|4|TC-LoRA hypernet|HyperNet|2025|NeurIPS'25 WS|dynamic LoRA gen|cond-vector|Conditional|1–5M|adaptive|N|✅|2|
|
||||
|5|Flamingo GATED-XATTN|CrossAttn|2022|NeurIPS'22|gated cross-attn+FFW|token seq|Token|50–200M|interleaved|N|⚠|2|
|
||||
|6|BLIP-2 Q-Former|Query|2023|ICML|32 queries CA-CA|token seq|Token+global|188M|full Q-Former|N|⚠|2|
|
||||
|7|Honeybee C-Abstractor|Query/Conv|2023|CVPR'24|ResNet+AdaPool+ResNet|2D patch grid|Spatial|~30M|projector|N|✅|**1**|
|
||||
|8|Perceiver IO latents|Query|2021|ICLR'22|latent CA|arbitrary|Token|varies|full|N|✅|3|
|
||||
|9|CogVLM2 vis-expert|CrossAttn (inline)|2024|arXiv|parallel QKV+FFN|token seq|Token|11B|full expert|N|❌|4|
|
||||
|10|TerraMind unified|Token-unified|2025|ICCV'25|FSQ-VAE + dual-scale|tokens|Unified|300M-1.1B|full|N|❌|3|
|
||||
|11|MoE-LLaVA|MoE|2024|TMM'25|Top-K router|token seq|Flat|varies|3-stage|N|❌|4|
|
||||
|12|GeoText-1652 X-VLM|RS dual-level|2023|ECCV'24|scene+region ITC/ITM+BSM|multi-grain|Full (scene+bbox)|FT|full|**Y**|⚠|**1**|
|
||||
|
||||
---
|
||||
|
||||
## Раздел 7. Global vs Token-level vs Hierarchical text conditioning
|
||||
|
||||
**Global conditioning** (baseline MERIDIAN): $\mathbf{e}\in\mathbb{R}^{d_t}$ → $(\gamma,\beta)=\mathrm{MLP}(\mathbf{e})$, модуляция применяется uniform. **Преимущества:** минимальный overhead (O(d)), trivial dropout для LUPI, дистиллируется как scalar context. **Недостатки:** single vector не кодирует 9-zone positional info из L2; object counts aggregated; пространственно неинформативен.
|
||||
|
||||
**Token-level conditioning:** cross-attention между RGB patches ($N_p=196$) и text tokens ($L_t \leq 512$ для LRSCLIP): $$\mathbf{F}_{\text{RGB}}' = \mathbf{F}_{\text{RGB}} + \mathrm{CA}(\mathbf{F}_{\text{RGB}}, \mathbf{e}_{\text{tok}})$$ Compute: $\mathcal{O}(N_p \cdot L_t \cdot d) = O(196 \cdot 512 \cdot 1024)\approx 0.1$ GFLOP на head; ~2 GFLOP на 16-head block × 5 блоков = 10 GFLOPs overhead → приемлемо на H100, граничный для RTX 4090 при mixed precision. **Преимущества:** spatially-grounded — patch может attend к 9-zone mention. **Недостатки:** не дистиллируется напрямую в text-less student; quadratic memory для long L_t.
|
||||
|
||||
**Hierarchical conditioning (рекомендуемое):**
|
||||
|
||||
- **L1 (scene overview)** → LRSCLIP global embedding → coarse $(\gamma^{L1}, \beta^{L1})$ для всех блоков 20-24 (shared).
|
||||
- **L2 (9-zone object details)** → LRSCLIP per-zone subsegments (разбить caption по [N] structured markers) → 9 per-region γ,β mapped через 9-zone grid (каждая γ,β применяется к соответствующему spatial region patches ViT).
|
||||
- **L3 (cross-view fingerprint)** → SigLIP 2 embedding → отдельная InfoNCE auxiliary loss (Раздел 11), **НЕ** γ,β модуляция backbone.
|
||||
|
||||
Параметрический overhead: ~3× Multi-FiLM baseline → **6–10M** (vs ~2M baseline). Full formula: $$h^{(\ell)} \leftarrow h^{(\ell)} + \gamma^{L1}(\mathbf{e}^{L1})\odot h^{(\ell)} + \beta^{L1}(\mathbf{e}^{L1}) + \sum_{z=1}^{9}\mathbb{1}[p\in Z_z]\big(\gamma^{L2}_z(\mathbf{e}^{L2}_z)\odot h^{(\ell)}_p + \beta^{L2}_z\big)$$ где $\mathbb{1}[p\in Z_z]$ — индикатор принадлежности patch p к zone z.
|
||||
|
||||
**Рекомендация для MERIDIAN:** hierarchical. Оправдано: (a) prompt structure L1/L2/L3 существует by design; (b) 9-zone grounding утилизируется; (c) L3 контрастив напрямую соответствует CVGL объективу; (d) parameter overhead умеренный и distillable (L1 компонент легко сматчить student'у через scalar context; L2/L3 — teacher-only).
|
||||
|
||||
---
|
||||
|
||||
## Раздел 8. **Cross-pair integration — Unified Multi-Modal Orchestrator**
|
||||
|
||||
Это **центральная секция** — интеграция findings пар A/B/C/D в единую архитектуру teacher.
|
||||
|
||||
### Компоненты pipeline teacher
|
||||
|
||||
|Component|Backbone|Status|Params (total / trainable)|Функция|
|
||||
|---|---|---|---|---|
|
||||
|RGB backbone|DINOv3 ViT-L/16 (или ViT-7B/16 production)|frozen + LoRA blocks 20-24 on q,v|300M / ~5M LoRA|главное представление|
|
||||
|Semantic (пара A)|SegEarth-OV3|frozen|440M / 0|→ Mona-LoRA blocks 20-24 → mask-pooled descriptor, Δ 5-10M|
|
||||
|Depth (пара B)|Metric3D-v2 ViT-G2|frozen|1.3B / 0|→ FiLM γ,β, shared 256-d bottleneck|
|
||||
|Normals (пара B)|DSINE / StableNormal|frozen|~200M / 0|→ FiLM γ,β того же bottleneck|
|
||||
|CHM (пара C)|CHMv2|frozen|300M / 0|→ FiLM с hybrid semantic-geometric gate, forest-mask от SegEarth-OV3|
|
||||
|Text (пара D)|LRSCLIP + SigLIP 2|frozen offline|428M + 878M / 0|pre-computed 1920-d embeddings|
|
||||
|**Fusion orchestrator**|NEW|trainable|**~15–25M**|унифицирует всё|
|
||||
|
||||
### Три альтернативные архитектуры
|
||||
|
||||
#### Architecture A: FiLM-centric quadra-branch (расширение baseline)
|
||||
|
||||
**Концепция:** 4 parallel γ,β streams (A:seg, B:depth+normals, C:CHM, D:text) → shared 256-d bottleneck → applied to DINOv3 blocks 20-24. **Орто-регуляризатор:** $$\mathcal{L}_\perp = \lambda_\perp \sum_{i\neq j\in{A,B,C,D}}\sum_\ell |\gamma_i^{(\ell)\top}\gamma_j^{(\ell)}|_F^2$$ **Δparams:** ~8–12M (4 branch × ~2M + bottleneck). **Memory 4090 (24GB):** ~18 GB peak (DINOv3 ViT-L frozen fp16 ~0.6GB active + FPN + 4 frozen providers @ ~5GB total + trainable ~1GB) — **ok**. **Memory H100 (80GB):** comfortable; поддерживает ViT-7B production scale. **Distillability:** ✅✅ — FiLM scalars тривиально reproducible в student через context-free γ,β=0 при text-drop. **Гипотеза H_fus_D_1:** Hierarchical L1/L2 FiLM превзойдёт flat global Multi-FiLM на R@1 ≥ 2 pp на University-1652 / GeoText-1652. **Гипотеза H_fus_D_3a:** Orthogonality regularizer между A/B/C/D γ,β даст mean cosine similarity между branches < 0.3 в сходимости (vs unregularized ~0.6–0.8).
|
||||
|
||||
#### Architecture B: Hybrid (геометрия→FiLM, семантика→Mona, текст→parallel cross-attn)
|
||||
|
||||
**Концепция:** разные paradigms для разных modality types, по их природе.
|
||||
|
||||
- **Геометрические модальности (B:depth+normals, C:CHM)** — dense per-pixel сигналы → **FiLM γ,β** (natural для pixel-aligned modulation).
|
||||
- **Семантическая модальность (A:seg)** — object-level inventory → **Mona adapter** (via пара A existing design).
|
||||
- **Текст (D)** — token sequence с structured three-level → **parallel cross-attention** (gated-XATTN Flamingo-style на blocks 20-24). **Cross-attn design:** на каждом из 5 блоков (20-24) добавляется: $$h^{(\ell)} = h^{(\ell)} + \tanh(\alpha^{(\ell)}_{\text{xattn}})\cdot\mathrm{CA}(\mathrm{LN}(h^{(\ell)}), [\mathbf{e}^{L1};\mathbf{e}^{L2}_{1..9}])$$ где $\alpha$ init=0. L2 разложен на 9 zone-embeddings (token-level grounding). **Δparams:** ~20–30M (5 CA blocks × ~4M + Mona ~5M + FiLM ~5M). **Memory 4090:** ~22 GB peak — **tight, возможен gradient checkpointing**. **Memory H100:** comfortable. **Distillability:** ⚠ — cross-attn layers не дистиллируются в text-less student напрямую; **требуется feature-level distillation** (teacher $h^{(\ell)}$ → student $h^{(\ell)}$) с MSE loss, игнорируя pathway. **Гипотеза H_fus_D_3b:** Hybrid B превзойдёт pure-FiLM A на **fine-grained localization** (top-1 на 9-zone attribution benchmarks) на 3–5 pp, но R@1 на University-1652 может не вырасти больше 1–2 pp.
|
||||
|
||||
#### Architecture C: Unified Q-Former / Perceiver bottleneck
|
||||
|
||||
**Концепция:** заменить Multi-FiLM на единый Q-Former-подобный bottleneck с **~64 trainable queries**, которые cross-attend ко всем модальностям: $$\mathbf{Q}' = \mathrm{CA}(\mathbf{Q}, [\mathbf{F}_{\text{RGB}}; \mathbf{F}_{\text{seg}}; \mathbf{F}_{\text{depth}}; \mathbf{F}_{\text{normals}}; \mathbf{F}_{\text{CHM}}; \mathbf{e}^{L1}; \mathbf{e}^{L2}; \mathbf{e}^{L3}])$$ **Q-Former output (64 × 768)** → injected в DINOv3 blocks 20-24 через cross-attn hooks. **Δparams:** ~100M (Q-Former scale) + ~5M LoRA = **~105M trainable**. **Memory 4090:** **borderline** — концат всех модальностей даёт K/V размера ~(196 seg + 196 depth + 196 normals + 196 CHM + 1 L1 + 9 L2 + 1 L3) × 768 ≈ 600K × 768 = ~1.8 GB активации; с 5 блоками × gradient = ~18 GB. **Memory H100:** comfortable. **Distillability: ❌** — student не может воспроизвести Q-Former без text, depth, normals, CHM providers. **Но**: если рассматривать Q-Former output как KD-target напрямую (student ViT → MLP head → 64×768 target), то compression через fixed bottleneck становится attractive KD signal. **Гипотеза H_fus_D_4 (meta-hypothesis):** Unified Q-Former Architecture C даёт **лучший distillation signal** для student, чем A или B — compressed 64×768 bottleneck фиксированного размера служит как «destination representation», которую compact student должен воспроизвести. Фальсифицируется, если student, дистиллированный через KL на этот bottleneck, показывает R@1 ниже baseline Architecture A KD на 3+ pp.
|
||||
|
||||
### Финальная рекомендация
|
||||
|
||||
**Primary: Architecture A (Hierarchical Multi-FiLM quadra-branch)** — как эволюция baseline MERIDIAN с минимальным риском: дистиллируемая, param-efficient, совместима со всем frozen stack. Hierarchical L1/L2 структура активирует value из three-level captions.
|
||||
|
||||
**Secondary / ablation: Architecture B (Hybrid)** для проверки гипотезы H_fus_D_3 о выигрыше cross-attn на 9-zone grounding.
|
||||
|
||||
**Research-only: Architecture C (Q-Former)** для проверки meta-hypothesis о compressability bottleneck в distillation.
|
||||
|
||||
### Staged training schedule (4 phases)
|
||||
|
||||
1. **Phase 1 (RGB-only pre-train):** DINOv3 backbone + LoRA blocks 20-24 + CVGL InfoNCE head. 20 эпох. Baseline R@1.
|
||||
2. **Phase 2 (add geometric B+C):** unfreeze FiLM γ,β для depth/normals/CHM; teacher-forcing all modalities. 10 эпох.
|
||||
3. **Phase 3 (add semantic A):** активировать Mona-adapter от SegEarth-OV3; mask-pooled descriptor. 10 эпох.
|
||||
4. **Phase 4 (add text D):** активировать hierarchical FiLM L1/L2 + L3 InfoNCE auxiliary. 10 эпох.
|
||||
|
||||
**Expected performance boundaries:**
|
||||
|
||||
- **Lower bound (baseline DINOv3+InfoNCE):** R@1 на University-1652 drone→sat ≈ 82–88% (оценка на основе Sample4Geo ConvNeXt-B @ 92.65 и DINOv3-ViT-L as backbone).
|
||||
- **Upper bound (full 4-modality teacher):** R@1 ≈ 94–96% (оценка по линейной экстраполяции Sample4Geo + text boost из CVG-Text +10% + geometric gains).
|
||||
- Эти boundaries — **гипотетические**; реальные замеры требуют runs.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 9. Level-specific text conditioning — детализация
|
||||
|
||||
**Level 1 (scene overview, 2-3 предложения):** encoded LRSCLIP (512 tok достаточно), global CLS embedding → $\mathbf{e}^{L1}\in\mathbb{R}^{768}$.
|
||||
|
||||
- Role: scene prior (urban / forest / rural / mixed).
|
||||
- Conditioning: global $(\gamma^{L1}, \beta^{L1})$ для blocks 20-24, shared across all patches.
|
||||
- Ожидание: coarse regularizer, boost < 1 pp R@1 сам по себе, но важен для zero-shot generalization на новые геозоны.
|
||||
|
||||
**Level 2 (object details 9-zone grid, [N] structured):** encoded LRSCLIP; декомпозиция по [N] markers → 9 per-zone подстрок → 9 per-zone embeddings $\mathbf{e}^{L2}_z\in\mathbb{R}^{768}, z=1..9$.
|
||||
|
||||
- Role: per-region object inventory (counts, colors, shapes).
|
||||
- Conditioning options:
|
||||
- **(a) aggregated global** (simplified): max-pool или weighted sum 9 embeddings → single γ,β (дешёвый baseline).
|
||||
- **(b) per-zone hierarchical** (рекомендуется): $\gamma^{L2}_z, \beta^{L2}_z$ применяются к patches в zone $Z_z$ (ViT patch grid 14×14 ≈ partitioned на 9 зон ~5×5 patches каждая с overlap).
|
||||
- Ожидание: per-zone conditioning даёт boost на fine-grained localization (e.g., ретривать спутник с «red roof building NE of central road» vs generic building description). Boost: ~2–4 pp R@1 на hard cases.
|
||||
|
||||
**Level 3 (cross-view fingerprint, 30-50 слов):** encoded SigLIP 2 (64 tok достаточно) → $\mathbf{e}^{L3}\in\mathbb{R}^{1152}$.
|
||||
|
||||
- **Critically important для CVGL** — specifically designed для pairing drone-L3 ↔ satellite-L3.
|
||||
- **Recommendation: НЕ использовать как γ,β conditioning**; instead — отдельный InfoNCE auxiliary loss (Раздел 11) между projected L3 embedding (drone) и projected satellite L3 embedding.
|
||||
- Аналогия: GeoText-1652 region-level matching Loss, где text-bbox pairs учат fine-grained cross-granular alignment.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 10. Взаимодействие пары D с парами A/B/C
|
||||
|
||||
### Redundancy analysis
|
||||
|
||||
**D ↔ A (text vs SegEarth-OV3 seg):**
|
||||
|
||||
- Text: «20 buildings, 3 roads» — aggregate counts.
|
||||
- Seg: per-pixel class labels — spatial precision.
|
||||
- **Redundancy: medium**. Text даёт count aggregation; seg даёт spatial distribution. Ортогональные информационные режимы.
|
||||
- Рекомендация: no suppression; оба сохраняются.
|
||||
|
||||
**D ↔ B (text vs depth+normals):**
|
||||
|
||||
- Text: «buildings 22m tall» — aggregate height (Tier 2 attribute, «view-enriching»).
|
||||
- Depth: dense per-pixel metric — pixel precision.
|
||||
- **Redundancy: medium**. Text = summary statistic; depth = full distribution.
|
||||
- Рекомендация: text высотные атрибуты служат **sanity-check signal** для depth (если text говорит 22m и depth среднее 22.3m — alignment); no suppression.
|
||||
|
||||
**D ↔ C (text vs CHM) — highest redundancy:**
|
||||
|
||||
- Text: «forested area, canopy 15m» — forest label + aggregate height.
|
||||
- CHM: per-pixel canopy height.
|
||||
- SegEarth-OV3: forest pixel mask (используется как forest-gate для пары C).
|
||||
- **Важно:** text НЕ используется для forest-gate (это роль пары C от SegEarth-OV3); text используется как **attribute augmentation**: height distribution, density, disturbance indicators.
|
||||
- Рекомендация: отдельный sub-embedding для forest-related text, feeding только CHM branch через gating.
|
||||
|
||||
### Cross-modality orthogonality
|
||||
|
||||
**Measurement:** cosine similarity between γ,β parameters of branches: $$\text{sim}(B_i, B_j) = \frac{\langle \gamma_i, \gamma_j\rangle}{|\gamma_i||\gamma_j|}$$ **Expectation:** text branch вектор параметров $\gamma_D$ должен иметь cosine similarity с $\gamma_B$ (depth) и $\gamma_C$ (CHM) ~0.2–0.4 — низкая, но не нулевая (некоторая overlap через "buildings/forest" concepts). С $\gamma_A$ (seg) — возможна outerwise ~0.5 из-за shared semantic content.
|
||||
|
||||
**Гипотеза (проверяемая):** после обучения с orthogonality regularizer $\lambda_\perp=0.1$ все pairwise sim < 0.3; без регуляризатора — > 0.6 minimum по 2 парам branches.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 11. Level 3 InfoNCE auxiliary loss
|
||||
|
||||
### Мотивация
|
||||
|
||||
L3-уровень captions (drone) и Phase 3 (satellite) **по дизайну** содержат cross-view invariant features — это 30–50-словные location fingerprints, созданные для pairing. Это **exactly paired data** для contrastive learning — уникальная возможность, которой нет у L1/L2.
|
||||
|
||||
### Формулировка
|
||||
|
||||
$$\mathcal{L}_{\text{L3-InfoNCE}} = -\mathbb{E}_{(d_i, s_i)}\left[\log\frac{\exp(\mathrm{sim}(\tilde{\mathbf{e}}^{L3}_{d_i}, \tilde{\mathbf{e}}^{L3}_{s_i})/\tau)}{\sum_{j=1}^{N}\exp(\mathrm{sim}(\tilde{\mathbf{e}}^{L3}_{d_i}, \tilde{\mathbf{e}}^{L3}_{s_j})/\tau)}\right]$$ где:
|
||||
|
||||
- $\mathbf{e}^{L3}_{d_i}, \mathbf{e}^{L3}_{s_i}$ — SigLIP 2 embeddings drone-L3 и satellite-Phase3 captions пары $i$.
|
||||
- $\tilde{\mathbf{e}} = W_{\text{proj}}\mathbf{e}$ — projection в shared 512-d space (small MLP, ~600k params).
|
||||
- $\tau$ = learnable scalar (init $\ln(1/0.07)\approx 2.66$ следуя CLIP convention).
|
||||
- $\mathrm{sim}(a,b) = a^\top b / (|a||b|)$.
|
||||
|
||||
### Integration
|
||||
|
||||
Total teacher loss: $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{main}} + \lambda_{\text{L3}}\cdot\mathcal{L}_{\text{L3-InfoNCE}}$$ где $\mathcal{L}_{\text{main}}$ включает CVGL contrastive loss и все modality-specific auxiliaries. Рекомендуемое $\lambda_{\text{L3}} = 0.3$ (следуя X-VLM region-level practice: auxiliary 0.1–0.5).
|
||||
|
||||
### Ожидание
|
||||
|
||||
**Substantial R@1 boost** из direct optimization on CVGL-specific cross-view feature. Precedent: GeoText-1652 BSM даёт +5-10 pp R@1 на text→image matching vs pure global ITC baseline. Для MERIDIAN ожидаемый boost: **+2–5 pp R@1 на University-1652 / World-UAV validation**.
|
||||
|
||||
**Ablation gates:** если L3 InfoNCE добавляет <1 pp R@1, следует проверить quality SigLIP 2 embeddings (может быть caption noise от Qwen3-VL-8B достаточно высокий, чтобы embeddings не различали пары достоверно); а также проверить pairing integrity в 81k captions.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 12. Рекомендация для DINOv3-teacher
|
||||
|
||||
### Top-1 рекомендация: Hierarchical Multi-FiLM (Architecture A) + L3 InfoNCE auxiliary
|
||||
|
||||
**Text-branch mechanism:**
|
||||
|
||||
- LRSCLIP frozen offline → $\mathbf{e}^{L1}$, ${\mathbf{e}^{L2}_z}_{z=1}^9$.
|
||||
- SigLIP 2 frozen offline → $\mathbf{e}^{L3}$.
|
||||
- Hierarchical FiLM: $\gamma^{L1}, \beta^{L1}$ (global) + 9× $\gamma^{L2}_z, \beta^{L2}_z$ (per-zone) на blocks 20-24 DINOv3.
|
||||
- L3 через отдельный проекционный head + InfoNCE auxiliary loss.
|
||||
|
||||
**Точка интеграции:** late-block FiLM blocks 20-24 (последние 5 блоков ViT-L/16 из 24). Оправдано: Touvron et al. "Three things about ViTs" (arXiv 2203.09795) — late blocks содержат task-specific gradient; MiMi WACV'24 — early adapters безопасно отбрасываются; Surgical-DINO — IPCAI 2024 precedent для late-block LoRA на DINOv2.
|
||||
|
||||
**Fine-tune режим:** LoRA rank 16 на $W_q, W_v$ blocks 20-24 DINOv3 ~5M params; FiLM generators ~6–10M params; L3 projector ~0.6M. **Total Δparams ~12–16M.**
|
||||
|
||||
**Interaction с A/B/C:**
|
||||
|
||||
- Tri-branch FiLM (B+C+D) shared 256-d bottleneck с orthogonality regularizer $\lambda_\perp=0.1$.
|
||||
- Pair A (seg) через отдельный pathway (Mona-adapter + mask-pooled descriptor), **не через FiLM stream** — чтобы segment-level информация обрабатывалась semantically, а не как flat conditioning.
|
||||
- Forest-related text sub-embedding → gating signal для CHM pathway (пара C), не прямо в backbone.
|
||||
|
||||
### Top-2 альтернатива: Hybrid (Architecture B)
|
||||
|
||||
Как fallback, если hierarchical FiLM проваливается на 9-zone grounding. Сохраняет пары B, C на FiLM; пара A на Mona; пара D на parallel gated-XATTN cross-attn. Distillability ниже (cross-attn требует feature-level KD), но expressivity выше.
|
||||
|
||||
### Фальсифицируемые гипотезы
|
||||
|
||||
**H_fus_D_1:** Hierarchical level-specific FiLM (L1 global + L2 per-zone) превосходит flat global Multi-FiLM на R@1 University-1652 drone→sat на ≥ **2 pp**. Фальсифицируется: improvement < 1 pp после 30 epoch одного и того же training schedule.
|
||||
|
||||
**H_fus_D_2:** SigLIP 2 на L3 через InfoNCE auxiliary даёт boost R@1 ≥ **3 pp** на CVGL benchmark vs baseline без L3. Фальсифицируется: boost < 1 pp или negative effect на R@1 при $\lambda_{\text{L3}}\in{0.1, 0.3, 0.5}$.
|
||||
|
||||
**H_fus_D_3:** Hybrid FiLM+CrossAttn Architecture B обгоняет pure FiLM Architecture A на **9-zone attribution accuracy** на ≥ **3 pp**, но на aggregate R@1 University-1652 разрыв < 1 pp. Фальсифицируется, если обратная картина или B не превосходит A на 9-zone.
|
||||
|
||||
**H_fus_D_4 (meta):** Unified Q-Former Architecture C через KD на 64×768 bottleneck даёт student R@1 на ≥ **2 pp** выше, чем student, дистиллированный через Architecture A feature-matching. Фальсифицируется: student C R@1 ниже student A.
|
||||
|
||||
---
|
||||
|
||||
## Раздел 13. Cross-pair integration — финальная унифицированная архитектура MERIDIAN teacher
|
||||
|
||||
### Диаграмма компонентов (описание)
|
||||
|
||||
```
|
||||
[RGB image I] ────────────────────────────────────────────────────┐
|
||||
│
|
||||
├─► DINOv3 ViT-L/16 (frozen) ──── blocks 1-19 ──► h^(19) ───────┤
|
||||
│ │
|
||||
│ ▼ │
|
||||
│ ┌─── blocks 20-24 (LoRA q,v) ─► h^(24) ──► FPN ──► tasks
|
||||
│ │ ▲ │
|
||||
│ │ │ │
|
||||
│ [LRSCLIP offline] │ FiLM γ,β │
|
||||
│ ├─ e^L1 (768) ─────────────────┼──► global mod ──────────────┤
|
||||
│ └─ e^L2_{1..9} (9×768) ────────┼──► per-zone mod ────────────┤
|
||||
│ [SigLIP 2 offline] │ │
|
||||
│ └─ e^L3 (1152) ─► L3 proj head│ │
|
||||
│ │ │ │
|
||||
│ └──► L3-InfoNCE aux (paired sat L3) │
|
||||
│ │
|
||||
├─► SegEarth-OV3 (frozen) ──► Mona-LoRA 20-24 ──► mask-pooled ──┤ (pair A)
|
||||
├─► Metric3D-v2 ViT-G2 (frozen) ──► FiLM γ,β B ──┐ │
|
||||
├─► DSINE (frozen) ─────────────► FiLM γ,β B ───┼► shared 256-d bottleneck
|
||||
├─► CHMv2 (frozen) ────────────► FiLM γ,β C ────┘ │
|
||||
│ + forest-gate от SegEarth-OV3 │
|
||||
│ │
|
||||
└─► orthogonality regularizer L_⊥ между γ_A, γ_B, γ_C, γ_D ─────┘
|
||||
```
|
||||
|
||||
### Параметрический бюджет (total teacher)
|
||||
|
||||
|Блок|Freeze / Trainable|Params|
|
||||
|---|---|---|
|
||||
|DINOv3 ViT-L/16|frozen|300M (0 trainable)|
|
||||
|DINOv3 LoRA blocks 20-24 (q,v, rank 16)|train|~5M|
|
||||
|SegEarth-OV3|frozen|440M (0)|
|
||||
|SegEarth-OV3 Mona blocks 20-24|train|~5M|
|
||||
|Metric3D-v2 ViT-G2|frozen|1.3B (0)|
|
||||
|DSINE / StableNormal|frozen|~200M (0)|
|
||||
|CHMv2|frozen|~300M (0)|
|
||||
|LRSCLIP|frozen offline|428M (0, pre-computed embeddings)|
|
||||
|SigLIP 2 So400m|frozen offline|878M (0, pre-computed embeddings)|
|
||||
|FiLM generators (4 branches × bottleneck 256d)|train|~8M|
|
||||
|Hierarchical FiLM L1+L2 heads|train|~4M|
|
||||
|L3 projection head (MLP 1152→512)|train|~0.6M|
|
||||
|FPN + CVGL heads|train|~3M|
|
||||
|**TOTAL teacher**||**frozen 3.85B + trainable ~25.6M**|
|
||||
|
||||
Для **ViT-7B production variant**: frozen 10.5B, trainable ~35M (LoRA scale up). Все остальные providers без изменений.
|
||||
|
||||
### Memory budget
|
||||
|
||||
**RTX 4090 (24 GB)** research:
|
||||
|
||||
- DINOv3 ViT-L/16 fp16 inference: ~0.6 GB activations (batch 32 @ 224).
|
||||
- Total providers (seg+depth+normals+CHM) fp16 inference: ~5 GB aggregated activations.
|
||||
- Text embeddings (precomputed): ~300 MB.
|
||||
- Trainable parameters + grads + Adam optimizer (2× params): ~25M × 8 bytes × 3 = 600 MB.
|
||||
- FPN + heads + fused features: ~1.5 GB.
|
||||
- **Peak ~18–20 GB** с gradient checkpointing на providers. **Batch 32 achievable**; batch 64 требует flash-attention + partial offload.
|
||||
|
||||
**H100 (80 GB)** production:
|
||||
|
||||
- Полный pipeline ViT-7B comfortable, batch 128+ без offloading.
|
||||
|
||||
### Staged training schedule (детальная)
|
||||
|
||||
|Phase|Modules trainable|Epochs|LR|Batch|Ожидаемая точка|
|
||||
|---|---|---|---|---|---|
|
||||
|1: RGB-only pretrain|DINOv3 LoRA 20-24, FPN, CVGL head|20|5e-4 → 1e-4 cosine|64|Baseline R@1 ≈ 82–88%|
|
||||
|2: +Geometric B+C|+ FiLM_B, FiLM_C, bottleneck|10|2e-4|48|+2–4 pp R@1|
|
||||
|3: +Semantic A (Mona)|+ Mona blocks 20-24, mask-pool|10|2e-4|48|+1–3 pp R@1|
|
||||
|4: +Text D|+ Hierarchical FiLM L1+L2, L3-InfoNCE|10|1e-4|32|+2–5 pp R@1|
|
||||
|**Итого**||**50 эпох**|||**Upper bound ~92–96% R@1**|
|
||||
|
||||
**Альтернатива:** joint training всех phases одновременно с warmup — возможна на H100, но риск инструkility. Staged более robust.
|
||||
|
||||
### Distillation roadmap: teacher → student (5M-param compact)
|
||||
|
||||
- **Feature-level KD:** teacher $h^{(24)} \in \mathbb{R}^{196\times 1024}$ → student $h^{(\text{last})} \in \mathbb{R}^{N_p^s\times d_s}$ с adapter MLP, MSE loss.
|
||||
- **Logit-level KD:** teacher CVGL logits → student logits, KL divergence.
|
||||
- **L3 distillation:** teacher L3-projected embedding → student text-less projection, fixed target.
|
||||
- **Text-drop schedule:** teacher всегда с text (symmetric LUPI); student всегда без. Student учится reproduce teacher representation **без** доступа к text/depth/normals/CHM/seg providers.
|
||||
- **Ожидание compact student:** R@1 ≈ 80–86% (lower bound — DINOv3-Tiny / MobileCLIP2-backboned compact scale).
|
||||
|
||||
---
|
||||
|
||||
## Раздел 14. Риски и ограничения пары D
|
||||
|
||||
**R1. Caption quality dependency:** Qwen3-VL-8B даёт FDR 0.028 / NumAcc 1.000 — высокое качество, но 2.8% captions содержат фактические ошибки. Следствие: noise в $\mathbf{e}^{L2}$ per-zone embeddings может превышать signal для некоторых зон. Mitigation: hard-negative filtering на уровне pair-level L3 contrastive (если $\mathrm{sim}(\mathbf{e}^{L3}_d, \mathbf{e}^{L3}_s) < 0.4$, sample considered noisy).
|
||||
|
||||
**R2. Prompt engineering domain shift:** captions генерированы на World-UAV / UAV-GeoLoc; generalization на новые геозоны (разные страны, climate, urban patterns) неочевидна. Mitigation: включить diverse geo sampling в validation; cross-geo zero-shot evaluation.
|
||||
|
||||
**R3. Stale embeddings при re-generation:** если Qwen3-VL-8B prompt-templates обновляются или модель заменяется, все 81k embeddings устаревают. Рекомендация: версионирование (`captions_v2.parquet`) + downstream re-train трёх FiLM heads (fast, ~2h на H100) без перестройки backbone.
|
||||
|
||||
**R4. Token-level cross-attn overhead (Arch B/C):** для ViT-7B + $L_t=512$ LRSCLIP context full cross-attn становится bottleneck. Mitigation: limit cross-attn к blocks 20-24 (5 блоков); chunk L2 в 9 zones (L_t effective ≈ 50 tokens per zone).
|
||||
|
||||
**R5. Modality competition text vs geometric/semantic:** без orthogonality regularizer γ,β branches могут collapse в redundant directions. Измеримый риск. Mitigation: регулярно мониторить $\text{sim}(\gamma_i, \gamma_j)$ в training logs; early-stop если > 0.7.
|
||||
|
||||
**R6. Teacher-student capacity gap:** каждая privileged modality (A, B, C, D) расширяет teacher capacity, но student получает только RGB. Gap растёт nonlinearly. Для пары D особенно: structured text — высокоинформативный сигнал, который student **никогда не увидит**. Это **fundamental LUPI tradeoff**: больше teacher privilege → больше distillation error.
|
||||
|
||||
**R7. Level-specific marker adherence:** Level 1/2/3 boundaries в captions зависят от compliance VLM generator'а. Некоторые VLMs (Qwen3-VL-8B в рамках task spec — compliant per FDR metric) могут генерить captions с missing [N] markers или смешанными уровнями. Mitigation: post-hoc structural validation + fallback на L1+L2 combined encoding если L2 markers отсутствуют.
|
||||
|
||||
---
|
||||
|
||||
## Заключение цикла обзоров пар A/B/C/D
|
||||
|
||||
Четырёхпарный architectural review завершён. **Пара A** (семантика через SegEarth-OV3 + Mona-LoRA) закрепила semantic pathway через дешёвые adapter'ы; **пара B** (depth+normals через Metric3D-v2 + DSINE/StableNormal + FiLM-dual-branch) закрепила geometric pathway через γ,β modulation; **пара C** (CHMv2 через forest-gated FiLM) закрепила forestry-specific canopy height pathway с shared bottleneck пары B; **пара D** (RGB+Text через LRSCLIP+SigLIP 2 ensemble + Hierarchical Multi-FiLM + L3-InfoNCE auxiliary) закрывает семантический high-level контекст и cross-view invariant fingerprint — **именно text-branch доставляет value direct на CVGL objective через L3 contrastive**, что делает её **архитектурно важнейшей** из четырёх для retrieval-метрик. Итоговый teacher: ~3.85B frozen + ~25.6M trainable, 50 эпох staged training, expected R@1 92–96% на University-1652 (upper bound гипотетический).
|
||||
|
||||
**Следующие шаги для MERIDIAN после teacher blueprint:**
|
||||
|
||||
1. Реализация Architecture A (Hierarchical Multi-FiLM quadra-branch + L3-InfoNCE) и запуск 4-phase training schedule на H100. 2. Параллельная ablation Architecture B (Hybrid) на меньшем scale для проверки H_fus_D_3. 3. Начало distillation roadmap teacher → compact student 5M-param для edge deployment: feature-level KD + L3 distillation + logit-level KD, с text-drop schedule соответствующим LUPI asymmetric student setup. 4. Cross-geo zero-shot validation на out-of-distribution geozones для контроля рисков R2 и R6. 5. Verification ключевых неподтверждённых фактов: LRSCLIP per-dataset zero-shot numbers, TC-LoRA open-source availability, TerraMind "TiT" vs "dual-scale early fusion" terminology — через прямое чтение paper PDFs перед implementation commit.
|
||||
|
||||
---
|
||||
|
||||
### Основные ссылки (arXiv ID)
|
||||
|
||||
- DINOv3 ViT-L/16 — Meta 2025
|
||||
- LRSCLIP / DGTRS-CLIP — arXiv 2503.19311 (2025); GitHub MitsuiChen14/DGTRS
|
||||
- SigLIP 2 — arXiv 2502.14786 (Google 2025); HF google/siglip2-so400m-patch14-384
|
||||
- Long-CLIP — arXiv 2403.15378 (ECCV 2024)
|
||||
- LoTLIP — arXiv 2410.05249 (NeurIPS 2024)
|
||||
- TULIP (Token-length) — arXiv 2410.10034
|
||||
- TULIP (Unified) — arXiv 2503.15485 (UCB 2025)
|
||||
- RemoteCLIP — arXiv 2306.11029 (IEEE TGRS 2024)
|
||||
- GeoRSCLIP / RS5M — arXiv 2306.11300
|
||||
- SkyCLIP / SkyScript — arXiv 2312.12856 (AAAI 2024)
|
||||
- JinaCLIP v2 — arXiv 2412.08802
|
||||
- E5-Mistral-7B — arXiv 2401.00368 (MS 2024)
|
||||
- BGE-multilingual-gemma2 — arXiv 2409.15700 (BAAI 2024)
|
||||
- FiLM — arXiv 1709.07871 (AAAI 2018)
|
||||
- TC-LoRA — arXiv 2510.09561 (NeurIPS 2025 SpaVLE Workshop)
|
||||
- Mona — arXiv 2408.08345 (CVPR 2025); GitHub Leiyi-Hu/mona
|
||||
- Surgical-DINO — arXiv 2401.06013 (IPCAI 2024)
|
||||
- FiLM-Ensemble — arXiv 2206.00050 (NeurIPS 2022)
|
||||
- LoRA-Ensemble — arXiv 2405.14438 (2024)
|
||||
- Flamingo — arXiv 2204.14198 (NeurIPS 2022)
|
||||
- IDEFICS2 — arXiv 2405.02246 (NeurIPS 2024)
|
||||
- CogVLM — arXiv 2311.03079; CogVLM2 — arXiv 2408.16500
|
||||
- LLaVA-1.5 — arXiv 2310.03744 (CVPR 2024)
|
||||
- BLIP-2 — arXiv 2301.12597 (ICML 2023)
|
||||
- Perceiver IO — arXiv 2107.14795 (ICLR 2022)
|
||||
- Honeybee C-Abstractor — arXiv 2312.06742 (CVPR 2024)
|
||||
- BLIP-3 / xGen-MM — arXiv 2408.08872 (2024)
|
||||
- InstructBLIP — arXiv 2305.06500 (NeurIPS 2023)
|
||||
- TerraMind — arXiv 2504.11171 (ICCV 2025); GitHub IBM/terramind
|
||||
- MoE-LLaVA — arXiv 2401.15947 (2024); GitHub PKU-YuanGroup/MoE-LLaVA
|
||||
- CoCa — arXiv 2205.01917 (TMLR 2022)
|
||||
- Unified-IO 2 — arXiv 2312.17172 (CVPR 2024)
|
||||
- VPT — arXiv 2203.12119 (ECCV 2022)
|
||||
- CoOp — arXiv 2109.01134; CoCoOp — arXiv 2203.05557
|
||||
- GeoText-1652 — arXiv 2311.12751 (ECCV 2024); GitHub MultimodalGeo/GeoText-1652
|
||||
- X-VLM — arXiv 2111.08276 (ICML 2022)
|
||||
- GeoChat — arXiv 2311.15826 (CVPR 2024)
|
||||
- LHRS-Bot — arXiv 2402.02544 (ECCV 2024); LHRS-Bot-Nova — arXiv 2411.09301
|
||||
- Sample4Geo — arXiv 2303.11851 (ICCV 2023)
|
||||
- GeoDTR+ — arXiv 2308.09624 (TPAMI 2024)
|
||||
- CrossViewDiff — arXiv 2408.14765 (2024)
|
||||
- Cambrian-1 — arXiv 2406.16860 (NeurIPS 2024)
|
||||
- dino.txt — arXiv 2412.16334 (Meta 2024)
|
||||
- Touvron "Three things about ViTs" — arXiv 2203.09795
|
||||
- Dynamic Tuning (DyT) — arXiv 2403.11808 (NeurIPS 2024)
|
||||
594
docs/02_references/05_text/REVIEW_text_pairD_methodology.md
Normal file
594
docs/02_references/05_text/REVIEW_text_pairD_methodology.md
Normal file
@@ -0,0 +1,594 @@
|
||||
---
|
||||
type: review
|
||||
status: active
|
||||
date: 2026-04-20
|
||||
tags: [fusion, teacher, pair-D, text, dinov3, lupi, lrsclip, siglip2, priority/high]
|
||||
related: ["[[REVIEW_text_pairD_part1]]", "[[REVIEW_text_pairD_correction]]", "[[REVIEW_text_pairD_final]]", "[[ANALYSIS_text_encoder]]"]
|
||||
author: claude
|
||||
---
|
||||
|
||||
# Слияние RGB и текста для DINOv3-teacher: методологический фундамент пары D
|
||||
|
||||
Настоящий отчёт — первая (методологическая) часть обзора пары D **RGB + Text** для teacher-архитектуры MERIDIAN на базе **DINOv3 ViT-L/16** в парадигме LUPI (Learning Using Privileged Information). Ключевой вывод: **ни один из 18 проанализированных методов не валидирован на CVGL-бенчмарках (University-1652, SUES-200) в текст-кондиционном режиме, кроме GeoText-1652 (X-VLM + BSM)**, при этом формальное R@1 = 29.9% text→image несопоставимо с image-only SOTA (Sample4Geo 92.65%). Это смещает приоритет проектирования: пара D должна служить **источником привилегированного сигнала** для distillation в symmetric-LUPI режиме, а не self-sufficient retrieval-башней. Рекомендуемый архитектурный паттерн — **Gated cross-attention (Flamingo-style) + Perceiver-Resampler-bridge** поверх замороженного DINOv3, с опциональным Mona-adapter в блоках 20–24 и hierarchical FiLM-модуляцией L1→L2→L3. Multi-FiLM baseline MERIDIAN сохраняется как entry-level вариант, но уступает gated-xattn-dense по capacity-to-params при сопоставимой инвазивности. Существующая пара D должна быть реконструирована с учётом **ensemble LRSCLIP (248–512 ток., RS-специалист) + SigLIP 2 So400m (64 ток., generic multilingual)**, где выбор encoder-а диктуется уровнем иерархии текста (L3 matching → SigLIP 2, L2 details / L1+L2+L3 → LRSCLIP).
|
||||
|
||||
---
|
||||
|
||||
## 0. Микроплан: 18 методов, 4 парадигмы + RS-specific слой
|
||||
|
||||
Таблица 0.1 перечисляет 18 методов, попадающих в детальный разбор раздела 4. Обоснование отбора — покрытие четырёх архитектурных семейств (FiLM-family, cross-attention, query-based bottleneck, unified tokens) плюс RS-specific layer. Распределение: 5 FiLM, 4 cross-attention, 4 query-based, 3 unified, 3 RS-CVGL.
|
||||
|
||||
|#|Метод|Парадигма|Обоснование включения|
|
||||
|---|---|---|---|
|
||||
|1|FiLM (Perez 2018)|FiLM|Foundational, baseline Multi-FiLM MERIDIAN|
|
||||
|2|Hierarchical FiLM|FiLM|Прямая карта L1/L2/L3 → группы блоков|
|
||||
|3|Gated FiLM (tanh-0)|FiLM|Identity-at-init критичен для frozen-teacher|
|
||||
|4|HyperNet-FiLM|FiLM|Input-conditioned параметры, ↓params через bottleneck|
|
||||
|5|TC-LoRA (arXiv 2510.09561)|FiLM/LoRA|2025 SOTA hypernet-LoRA, dynamic weight-space|
|
||||
|6|Mona adapter (CVPR 2025)|FiLM-adapter|Единственный delta-tuning >full-FT на dense RS|
|
||||
|7|LoRA-Ensemble (arXiv 2405.14438)|FiLM-ensemble|Uncertainty + distillability|
|
||||
|8|Flamingo GATED-XATTN-DENSE|Cross-attn|Foundational, tanh-0 gate, OpenFlamingo MIT|
|
||||
|9|IDEFICS2 Perceiver + FA (NeurIPS 2024)|Cross-attn|FA-insertion beats CA — ключевой тест|
|
||||
|10|CogVLM2 visual-expert (2024)|Cross-attn|Parameter-doubling deep fusion|
|
||||
|11|CAFF (ForestIQNet 2025)|Cross-attn|Bi-directional gated CA, single-bridge|
|
||||
|12|BLIP-2 Q-Former (ICML 2023)|Query|Foundational для frozen ViT, 32 queries|
|
||||
|13|Perceiver IO (ICLR 2022)|Query|Linear-scaling, arbitrary I/O|
|
||||
|14|Honeybee C-Abstractor (CVPR 2024)|Query|Spatial locality beats Q-Former|
|
||||
|15|LLaVA-NeXT connector|Unified|Baseline MLP+concat|
|
||||
|16|TerraMind FSQ-VAE (ICCV 2025)|Unified|RS multi-modal foundation, 9 modalities|
|
||||
|17|VPT/CoOp/CoCoOp|Unified|Prompt-tuning, ультра-low Δparams|
|
||||
|18|GeoText-1652 X-VLM+BSM (ECCV 2024)|RS-CVGL|**Единственный** CVGL-text валидированный teacher|
|
||||
|
||||
Дополнительно в разделе 4 обсуждаются LHRS-Bot-Nova и GeoChat как instruction-tuned RS-MLLM для справки, но не как основные candidates.
|
||||
|
||||
---
|
||||
|
||||
## 1. Ландшафт текстовых энкодеров
|
||||
|
||||
### 1.1 Детальный разбор LRSCLIP (PRIMARY)
|
||||
|
||||
**LRSCLIP / DGTRS-CLIP** (Chen et al., arXiv 2503.19311, 25 марта 2025, v2 29 октября 2025) — RS-специфический dual-encoder. Архитектура: **ViT-L/14 vision + Long-CLIP text** с механизмом **KPS (Knowledge-Preserved Stretching)**, расширяющим контекст с 77 до **248 токенов** (в расширенном режиме — до 512 через интерполяцию position-embedding). Токенизатор — **CLIP BPE (49 408)** наследуется от Long-CLIP. Текстовый hidden dim 768 (проекция 768→512 в shared space). Pretraining корпус **DGTRSD** содержит 1 762 131 image-text pair, каждому изображению соответствуют **и короткая, и длинная подпись** — первый такой RS-датасет. Параллельный корпус LRS2M (≈2M) используется как аугментация.
|
||||
|
||||
Ключевая инновация — **dual-granularity curriculum learning (DGCL)**:
|
||||
|
||||
$$\mathcal{L}_{\text{DGCL}} = \alpha(t),\mathcal{L}_{\text{NCE}}^{\text{short}}(z^I, z_s^T) + (1-\alpha(t)),\mathcal{L}_{\text{NCE}}^{\text{long}}(z^I, z_l^T)$$
|
||||
|
||||
где $\alpha(t)$ — scheduler, плавно переносящий вес с коротких на длинные описания. Расширение позиционных эмбеддингов:
|
||||
|
||||
$$\text{PosEmb}_{\text{new}}[i] = \text{interp}(\text{PosEmb}_{\text{CLIP}}),\quad L_{\max}: 77 \to 248$$
|
||||
|
||||
Достижения: **ZS Image Classification = 75.75%** (SOTA RS-avg), **Semantic Localization R_mi (SeLo) = 0.7653** (SOTA). На RSITMD-L / RSICD-L прирост R@1 достигает +10...+20% над Long-CLIP. Для пары D критично: LRSCLIP — **единственный encoder**, одновременно удовлетворяющий требованиям RS-domain alignment и long-caption capacity (L1+L2+L3 concat 200–300 слов).
|
||||
|
||||
### 1.2 Детальный разбор SigLIP 2 So400m (SECONDARY)
|
||||
|
||||
**SigLIP 2 So400m** (Tschannen et al., Google DeepMind, arXiv 2502.14786, Feb 2025) — мультиязычный generic encoder. Shape-optimized ViT-So400m-patch14 (384 или 512 px, есть NaFlex-вариант с переменным aspect ratio). Текстовая башня — transformer с **Gemma SentencePiece tokenizer (256 k vocab)**, **max 64 токена** (тренировочный padding=max_length=64). Vision params ≈ 400M, суммарно с text ≈ 1.1B. Объективы: **sigmoid pairwise loss** (основа) + **LocCa decoder** (captioning pretraining) + **self-distillation + masked prediction** (SILC/TIPS) + **ACID online data curation**. Тренировочный корпус — **WebLI ≈ 10B multilingual image-text pairs** с debiasing.
|
||||
|
||||
Sigmoid loss (ключевая формула SigLIP):
|
||||
|
||||
$$\mathcal{L}_{\text{sig}} = -\frac{1}{|B|}\sum_{i=1}^{|B|}\sum_{j=1}^{|B|} \log\sigma!\Big(z_{ij}\big(t,\langle z_i^I, z_j^T\rangle + b\big)\Big)$$
|
||||
|
||||
где $z_{ij}\in{-1,+1}$ — метка пары, $t,b$ — learnable temperature и bias. В отличие от softmax-NCE не требует глобальной нормализации по батчу → стабилен при малых $|B|$.
|
||||
|
||||
Метрики: ImageNet ZS ≈ 84.1% (patch14@384), SOTA на retrieval и referring expressions среди open-source encoders. **Apache-2.0**. HuggingFace: `google/siglip2-so400m-patch14-384`. Для пары D SigLIP 2 закрывает **L3 matching (30–50 слов)** и вносит дополнительный generic-semantics сигнал, которого нет в RS-специализированном LRSCLIP.
|
||||
|
||||
### 1.3 Сравнительная таблица 14 энкодеров
|
||||
|
||||
|#|Модель|Год|Архитектура (V / T)|Ctx len|Params|Домен|Tokenizer|Open|Ключевая метрика|
|
||||
|---|---|---|---|---|---|---|---|---|---|
|
||||
|1|CLIP ViT-L/14|2021|ViT-L/14 + 12-layer TX|77|428 M|Generic|CLIP BPE 49k|✅ MIT|IN-1k ZS 75.5%|
|
||||
|2|OpenCLIP ViT-bigG/14|2022|ViT-bigG/14 + TX|77|2.54 B|Generic|CLIP BPE|✅ MIT|IN-1k ZS 80.1%|
|
||||
|3|Long-CLIP ViT-L/14|2024|ViT-L/14 + KPS TX|**248**|428 M|Generic|CLIP BPE|✅|+6–8% long-cap retr.|
|
||||
|4|LoTLIP ViT-B/16|2024|ViT-B/16 + BERT-TX|**128**|150 M|Generic|WordPiece|✅|Long-text 83.72%|
|
||||
|5|Jina-CLIP v2|2024|EVA02-L/14 + XLM-RoBERTa|**8192**|865 M|Generic, 29 lang|SentencePiece 250k|✅ CC-BY-NC|SOTA multiling. MTEB|
|
||||
|6|E5-Mistral-7B-inst|2024|Mistral-7B decoder|4096|7.11 B|Text-only|BPE 32k|✅ MIT|MTEB 66.6|
|
||||
|7|BGE-multiling-gemma2|2024|Gemma-2-9B|4096|9.24 B|Text-only, multiling.|Gemma 256k|✅|SOTA MIRACL|
|
||||
|8|RemoteCLIP ViT-L/14|2023|ViT-L/14 + TX|77|304 M|**RS**|CLIP BPE|✅ Apache|RSITMD mR +9.14|
|
||||
|9|GeoRSCLIP ViT-H/14|2023|ViT-H/14 + TX (RS5M 5M)|77|986 M|**RS**|CLIP BPE|✅ Apache|RS ZS +3–20%|
|
||||
|10|SkyCLIP ViT-L/14|2023|ViT-L/14 + TX (SkyScript 5.2M)|77|428 M|**RS**|CLIP BPE|✅|RS ZS +6.2% avg|
|
||||
|11|MobileCLIP2-S4|2025|FastViT-hybrid + TX|77|200 M|Generic|CLIP BPE|✅ Apple-AMLR|~SigLIP-So400m @ ½|
|
||||
|12|GeoChat CLIP|2023|CLIP ViT-L/14 @336|77|304 M|**RS**|CLIP BPE|✅ Apache|Первый grounded RS VLM|
|
||||
|13|**LRSCLIP (PRIMARY)**|2025|ViT-L/14 + KPS TX|**248 (до 512)**|428 M|**RS** (DGTRSD 1.76M)|CLIP BPE 49k|✅|**ZIC 75.75%, SeLo 0.7653**|
|
||||
|14|**SigLIP 2 So400m (SECONDARY)**|2025|ViT-So400m/14 + TX|64|1.1 B|Generic, multiling.|Gemma 256k|✅ Apache-2.0|IN-1k ZS 84.1%|
|
||||
|
||||
### 1.4 Анализ комплементарности LRSCLIP + SigLIP 2
|
||||
|
||||
Четыре оси комплементарности обосновывают ensemble именно этих двух encoder-ов.
|
||||
|
||||
**Domain coverage.** LRSCLIP обучен на 1.76M RS-pairs и капсулирует сателлит/drone-специфическую лексику (runways, parcels, spectral cues), валидирован на RSITMD/RSICD/SeLo. SigLIP 2 — generic WebLI (~10B pairs, multilingual), вносит broad world knowledge, OCR-like scene text и объекты, отсутствующие в RS-корпусах.
|
||||
|
||||
**Context length.** Иерархия текста MERIDIAN: L1 scene (30–50 слов) ↔ L2 object 9-zone (100–150) ↔ L3 matching (30–50). 64-токенный Gemma-head SigLIP 2 покрывает **только L1 или L3 раздельно**; любая попытка concat L1+L2+L3 (200–300 слов) требует 248-токенного LRSCLIP. Эмпирически: L3 matching → SigLIP 2 (generic semantic match), L2 details и full-concat → LRSCLIP.
|
||||
|
||||
**Tokenizer diversity.** CLIP BPE (49k) vs Gemma SentencePiece (256k) сегментируют RS-jargon и числовые spec-ы по-разному (например «RGB(128,64,32)», GSD-спеки, координаты). Декоррелированные ошибки embedding → классический prerequisite ensemble-gain.
|
||||
|
||||
**Pretraining scale trade-off.** LRSCLIP — специалист, но pretraining-limited (~2M pairs, ViT-L). SigLIP 2 So400m компенсирует scale (10B), LRSCLIP компенсирует domain. Это каноническая LUPI-дихотомия privileged vs general-purpose.
|
||||
|
||||
### 1.5 Offline pre-compute pipeline
|
||||
|
||||
Оба encoder-а **заморожены** и вычисляются offline перед тренировкой teacher-а:
|
||||
|
||||
```
|
||||
for sample in dataset:
|
||||
L1, L2, L3 = sample.captions # three-level
|
||||
e_lrs = LRSCLIP.text_encode(L1+L2+L3) # 512→768d
|
||||
e_sig = SigLIP2.text_encode(L3) # 64→1152d
|
||||
store(sample.id, e_lrs, e_sig) # ~6.4 KB per sample
|
||||
```
|
||||
|
||||
Storage для ~50k drone+satellite пар: 50k × (768+1152)·4 bytes ≈ **315 MB** (при fp32; fp16 ≈ 160 MB). Compute: ~2–3 часа на RTX 4090 (LRSCLIP throughput ~200 caption/s, SigLIP 2 ~400 caption/s). Нулевой recurring cost в тренировочном loop — градиент не течёт через text encoder.
|
||||
|
||||
---
|
||||
|
||||
## 2. Постановка задачи
|
||||
|
||||
### 2.1 Структурированный текст и уровневая иерархия
|
||||
|
||||
Teacher принимает тройку $(I, C_{L1}, C_{L2}, C_{L3})$ где $I\in\mathbb{R}^{H\times W\times 3}$ — RGB drone/satellite patch, $C_{Lk}$ — caption уровня $k$. Согласно Qwen3-VL-8B policy (FDR 0.028, NumAcc 1.000), captions anti-hallucination grounded в seg-inventory и удовлетворяют Tier 1/2/3 attribute system. Pair D должна вычислить:
|
||||
|
||||
$$f_\theta: I \times {C_{L1}, C_{L2}, C_{L3}} \to \mathbb{R}^d,\quad d=1024$$
|
||||
|
||||
так, чтобы $f_\theta(I,C)$ был максимально информативен для downstream symmetric-LUPI distillation в student (который доступа к $C$ не имеет).
|
||||
|
||||
Ключевое наблюдение: **L3 критичен** — это matching-description, прямо описывающий визуальные якоря для кросс-view matching («roof corner aligned with northwest pier of bridge»). L1 задаёт global scene prior; L2 9-zone details — локальные attributes. Архитектура пары D должна сохранить эту иерархию, не схлопывая её в single vector.
|
||||
|
||||
### 2.2 DINOv3 teacher и text conditioning
|
||||
|
||||
DINOv3 (Oquab et al. 2025) — self-supervised ViT-L/16 (300M, distilled из ViT-7B/16 на SAT-493M), с objectives **Gram anchoring** и **iBOT + DINO dual-head**. Критическое отличие от CLIP ViT-L: DINOv3 features **не выровнены с текстом** — нет ITC pretraining. Следовательно, любой fusion-модуль пары D должен либо **вносить alignment сам** (контрастивный loss на стадии teacher-training), либо опираться на frozen RS-CLIP text tower и обучать только projection head.
|
||||
|
||||
Прецедент **dino.txt** (Jose et al. 2024, arXiv 2412.16334) — апостериорный CLIP-style alignment на DINOv2 features через freezer/unfreezer schedule — демонстрирует, что modality-gap преодолим без потери геометрических свойств DINO-backbone. Для пары D это означает: **frozen DINOv3 + trainable fusion head + frozen text encoder** — рабочая конфигурация, но требует careful init (zero-output projection) для сохранения Gram-структуры на старте.
|
||||
|
||||
Modality gap Liang et al. (NeurIPS 2022) — свойство CLIP-like spaces: image и text эмбеддинги лежат в узких конусах, разделённых константным зазором. Для MERIDIAN это означает, что наивный FiLM, питаемый raw $h_{\text{text}}$ из LRSCLIP, будет bias-шифтить DINOv3 features в направлении, не обязательно полезном для CVGL. Решение — **gated modulation** с identity-at-init.
|
||||
|
||||
### 2.3 Четыре проблемы архитектуры пары D
|
||||
|
||||
**P1. Global vs token-level vs hierarchical.** Global pooled $h_{\text{text}}\in\mathbb{R}^{d_t}$ (как в Multi-FiLM baseline) теряет пространственные якоря L2 9-zone. Token-level $H_{\text{text}}\in\mathbb{R}^{T\times d_t}$ сохраняет их, но требует cross-attention (O(N·T·d) FLOPs per block). Hierarchical — три раздельных global vectors $h^{L1}, h^{L2}, h^{L3}$ на разные группы блоков ViT — компромисс: O(N·d) FLOPs, но структура иерархии текста эксплуатируется явно.
|
||||
|
||||
**P2. Interaction с geometric branches пары B/C.** Пары B (Metric3D-v2 + DSINE/StableNormal → FiLM-dual-branch) и C (CHMv2 + late-block FiLM + hybrid gate) уже оккупируют блоки 18–24 поздними FiLM-модуляциями. Пара D не должна конкурировать за этот диапазон — text conditioning должен инжектироваться в ранние-средние блоки (4–16) либо через bridge-резамплер поверх всего backbone (post-block 24).
|
||||
|
||||
**P3. Redundancy с парой A.** Пара A (SegEarth-OV3 + Mona-LoRA blocks 20–24 + mask-pooled descriptor) уже инжектирует text-derived segmentation descriptors в поздние блоки. Независимый text-fusion в пару D с тем же source-encoder (LRSCLIP) рискует дублировать информацию. Митигация — пара D обрабатывает **L3 matching + L1+L2 full-concat** (structural description), пара A — **SegEarth-OV mask descriptors** (class-taxonomic), то есть разные проекции текстового пространства.
|
||||
|
||||
**P4. Symmetric vs asymmetric LUPI.** Teacher всегда с text, student всегда без. Symmetric LUPI требует, чтобы student mimick-ал **distribution teacher-а**, а не его pointwise output (иначе missing-text создаёт distribution-shift). Это благоприятствует архитектурам с **bottleneck-compressed representation** (Q-Former, Perceiver Resampler, C-Abstractor), где student лернит восстановить $Z\in\mathbb{R}^{M\times d}$ из pure-image, и подавляет архитектуры с deeply-entangled text conditioning (CogVLM visual-expert), которые плохо распутываются.
|
||||
|
||||
---
|
||||
|
||||
## 3. Архитектурная таксономия
|
||||
|
||||
### 3.1 Additive Modulation (семейство FiLM)
|
||||
|
||||
**FiLM (Perez et al. 2018)** — foundational affine modulation:
|
||||
|
||||
$$\gamma^{(l)} = W_\gamma^{(l)} h_{\text{text}} + b_\gamma^{(l)},\quad \beta^{(l)} = W_\beta^{(l)} h_{\text{text}} + b_\beta^{(l)},\quad \text{FiLM}(x) = \gamma^{(l)}\odot x + \beta^{(l)}$$
|
||||
|
||||
Для ViT-L/16 (L=24, d=1024, d_t=768): **Δparams ≈ 37.79M** (12.6% backbone). Для d_t=1152: 56.69M. Простота и композиционность — главные достоинства; недостаток — статическая линейная проекция h_text→(γ,β) не использует структуру внимания в текстовой последовательности.
|
||||
|
||||
**Conditional/Dynamic FiLM** (Multi-hop FiLM, de Vries et al. NeurIPS 2017 CBN; Strub et al. ECCV 2018) — FiLM-generator сам является transformer/RNN, читающий и текст, и текущие визуальные активации:
|
||||
|
||||
$$(\gamma^{(l)},\beta^{(l)}) = \text{FiLMgen}(h_{\text{text}}, \text{pool}(x^{(l-1)}), s^{(l-1)})$$
|
||||
|
||||
Δparams ≈ 28–35M для небольшого generator (h_g=512, 1 cross-attn layer + 24 output heads).
|
||||
|
||||
**Hierarchical FiLM** — канонической публикации нет; термин обозначает дизайн-паттерн: три раздельных FiLM-generator для L1/L2/L3 с маршрутизацией по группам блоков $L_k(l)=\lceil 3l/L\rceil$:
|
||||
|
||||
$$(\gamma^{(l)},\beta^{(l)}) = W^{(l)}_{\gamma,\beta} h^{L_k(l)} + b^{(l)}$$
|
||||
|
||||
Blocks 1–8 → $h^{L1}$, 9–16 → $h^{L2}$, 17–24 → $h^{L3}$. Δparams ≈ 38–45M (близко к baseline FiLM, но 3 разных text encoder outputs).
|
||||
|
||||
**Gated FiLM** (inspired Flamingo, LLaMA-Adapter) — добавляет learnable scalar/channel gate с tanh-0 init:
|
||||
|
||||
$$x^{(l)} \leftarrow x^{(l)} + \tanh(\alpha^{(l)})\odot(\gamma^{(l)}\odot x^{(l)} + \beta^{(l)} - x^{(l)})$$
|
||||
|
||||
Δparams = FiLM + 24·d gate scalars ≈ 37.82M. **Критичен для frozen-teacher LUPI**: identity-at-init означает, что DINOv3 features не возмущены на старте обучения.
|
||||
|
||||
**HyperNet-FiLM** (основано на Ha et al. ICLR 2017) — hypernetwork $f_\phi: d_t \to 2Ld$ генерирует все FiLM-параметры одним проходом:
|
||||
|
||||
$$\theta_{\text{FiLM}} = f_\phi(h_{\text{text}}) = W_2,\sigma(W_1 h_{\text{text}} + b_1) + b_2$$
|
||||
|
||||
Через bottleneck $h_{\text{hyp}}=256$: Δparams = $W_1(256\cdot768) + W_2(49152\cdot256) \approx$ **12.83M** — 3× экономия относительно линейного FiLM за счёт shared factorization.
|
||||
|
||||
**TC-LoRA** (Cho et al. NVIDIA, arXiv 2510.09561, NeurIPS 2025 SpaVLE) — гипер-сеть генерирует LoRA-матрицы динамически по conditioning:
|
||||
|
||||
$$B^{(l)}, A^{(l)} = H_\phi(l, h_{\text{text}}),\quad \Delta W^{(l)} = B^{(l)} A^{(l)},\quad y = (W_0 + \Delta W^{(l)})x$$
|
||||
|
||||
Δparams ≈ **15–30M** при rank r=8, shared hypernet body. Валидация только на diffusion (Cosmos-Transfer1) — перенос на discriminative ViT экстраполяция.
|
||||
|
||||
**FiLM-Ensemble** (Turkoglu et al. NeurIPS 2022, arXiv 2206.00050) — M ensemble members, каждый со своими $(γ_m,β_m)$ на LayerNorm; backbone $W_0$ shared. Compact-вариант: M·2·1024·2·24 = **M·98k** params; для M=8 → **0.79M**. Text-conditioned-вариант (с $W_m$ проекцией из $h_{\text{text}}$): ~150M при M=4.
|
||||
|
||||
**LoRA-Ensemble** (Mühlematter et al., arXiv 2405.14438) — M LoRA-модулей на Q,V-проекции. При M=8, r=8: **3.15M** (1.05% backbone). Прямо предназначен для frozen backbone и uncertainty-aware teacher.
|
||||
|
||||
**Mona adapter** (Yin et al. CVPR 2025, arXiv 2408.08345) — multi-cognitive visual adapter, не-каноничен для text-fusion, но в MERIDIAN критичен как упомянутый в парах A/B:
|
||||
|
||||
$$z = W_{\text{down}},\text{LN}(x);\quad z' = \tfrac{1}{3}\sum_{k\in{3,5,7}}\text{DWConv}_{k\times k}(z) + z;\quad \text{Mona}(x) = x + s_2\cdot W_{\text{up}},\text{GELU}(z')$$
|
||||
|
||||
Δparams per block ≈ 142k; 2 instances × 24 blocks = **6.84M**. С text-FiLM injection в bottleneck: **+4.72M → 11.6M**. Единственный delta-tuning метод, превзошедший full-FT на dense RS-сегментации в CVPR 2025.
|
||||
|
||||
### 3.2 Cross-Attention Fusion
|
||||
|
||||
Базовая формула cross-attention: $\text{CA}(X_v,X_t) = \text{softmax}((X_vW_Q)(X_tW_K)^\top/\sqrt{d_h})(X_tW_V)W_O$. В ViT-L/16 per-block стоимость QKVO = 4·1024² ≈ 4.19M + text-KV projection 2·d_t·d_v ≈ 1.57M + FFN 8·1024² ≈ 8.39M = **~14.2M per block**.
|
||||
|
||||
**Flamingo GATED-XATTN-DENSE** (Alayrac et al. NeurIPS 2022, arXiv 2204.14198; OpenFlamingo MIT re-impl):
|
||||
|
||||
$$x' = x + \tanh(\alpha_{\text{xattn}})\cdot\text{CA}(\text{LN}(x), v);\quad y = x' + \tanh(\alpha_{\text{ffw}})\cdot\text{FFW}(\text{LN}(x'))$$
|
||||
|
||||
$\alpha$ scalars init в 0 → **exact identity at init**. Insertion schedules: every 4 blocks (6 insertions) ≈ **72–85M**; every block (24) ≈ 340M. Для LUPI-teacher это оптимальная архитектура identity-at-init.
|
||||
|
||||
**IDEFICS2 FA + Perceiver Resampler** (Laurençon et al. NeurIPS 2024, arXiv 2405.02246) — авторы эмпирически показали, что **fully-autoregressive insertion (FA) превосходит cross-attention (CA)** для их data regime. Resampler: 3 слоя, 64 learnable queries:
|
||||
|
||||
$$Z^{(\ell)} = Z^{(\ell-1)} + \text{MHCA}(\text{LN}(Z^{(\ell-1)}), [\text{LN}(Z^{(\ell-1)}); \text{LN}(V)])$$
|
||||
|
||||
Δparams Resampler (L=3, d=1024): **~37.7M** + text projection ≈ **40–45M**. Apache-2.0.
|
||||
|
||||
**CogVLM2 visual-expert** (Hong et al., arXiv 2408.16500) — duplicate QKVO+FFN per block, routing by token-type:
|
||||
|
||||
$$Q_i = X_iW_Q^{(m_i)},\quad m_i\in{\text{text},\text{vis}};\quad \text{FFN}_i(X) = \text{FFN}^{(m_i)}(X_i)$$
|
||||
|
||||
Δparams = full duplicate = **~302M** (100% backbone size). Экстремально глубокая fusion, но чрезмерно для teacher, чей distillation target должен оставаться компактным.
|
||||
|
||||
**CAFF** (Safarov et al., MDPI Drones 2025) — bi-directional gated cross-attention как single-bridge модуль:
|
||||
|
||||
$$F_{\text{fused}} = \text{LN}(F_s + \gamma_s\odot F_{s\to c}) + \text{LN}(F_c + \gamma_c\odot F_{c\to s})$$
|
||||
|
||||
Δparams single-bridge ≈ **11.5–20M**. Валидация только forestry — архитектурный паттерн, не готовый VLM-компонент.
|
||||
|
||||
### 3.3 Query-Based Bottleneck
|
||||
|
||||
**BLIP-2 Q-Former** (Li et al. ICML 2023, arXiv 2301.12597) — 32 learnable queries, BERT-base (12 слоёв, d=768) с cross-attention каждые 2 слоя. 2-stage training: ITC/ITM/ITG → LLM-bridge. Δparams ≈ **188M**. Для DINOv3 ViT-L/16 (d_v=1024) XA в Q-Former напрямую совместимо.
|
||||
|
||||
$$Z^{(l+1)} = \text{FFN}(\text{SA}(Z^{(l)}|T) + \text{CA}(Z^{(l)}, V_{\text{frozen}}))$$
|
||||
|
||||
**Perceiver IO** (Jaegle et al. ICLR 2022, arXiv 2107.14795) — latent array $L\in\mathbb{R}^{N_L\times D}$, single input CA + latent SA stack + output CA с output queries. Δparams (8-layer, D=768) ≈ **60M**; D=1152 → 130M. **Линейное scaling по входу** — ключевое преимущество.
|
||||
|
||||
**Flamingo Perceiver Resampler** (часть Flamingo) — 64 queries, 6 Perceiver-blocks, K/V concat входа и латентов. Δparams (d=1024) ≈ **75–80M**.
|
||||
|
||||
**Honeybee C-Abstractor** (Cha et al. CVPR 2024, arXiv 2312.06742) — НЕ cross-attention, а ResNet+AdaptiveAvgPool:
|
||||
|
||||
$$Z = \text{Linear}(\text{ResBlock}^{L_2}(\text{AdaptiveAvgPool}(\text{ResBlock}^{L_1}(\text{Reshape}(V)))))$$
|
||||
|
||||
Δparams ≈ **8M** — 24× меньше Q-Former при лучшей spatial локальности. Превосходит Resampler на spatial benchmarks (+9.6 N-score avg). **Не text-conditioned** — требует external alignment head.
|
||||
|
||||
**InstructBLIP Q-Former** (Dai et al. NeurIPS 2023, arXiv 2305.06500) — instruction вшивается в self-attention Q-Former-а:
|
||||
|
||||
$$[Z';T'] = \text{SA}([Z;E(\text{instr})]);\quad Z'' = Z' + \text{CA}(Z', V)$$
|
||||
|
||||
Δparams идентичны BLIP-2 (188M), но выход зависит от instruction → distillation труднее (student должен быть также instruction-conditioned).
|
||||
|
||||
### 3.4 Unified Token-Level
|
||||
|
||||
**LLaVA-NeXT / LLaVA-1.5** (Liu et al. 2024, arXiv 2310.03744) — 2-layer MLP projector + concat в LLM prefix:
|
||||
|
||||
$$H_v = W_2\sigma(W_1 Z_v);\quad X = [H_{\text{sys}}; H_v; H_{\text{text}}]$$
|
||||
|
||||
Δparams (1024→768→768) ≈ **1.38M**; (1024→1152→1152) ≈ 2.51M. Тривиально, но **не cross-attention** — fusion происходит в self-attention LLM (в MERIDIAN LLM отсутствует, следовательно этот паттерн — baseline-пол).
|
||||
|
||||
**TerraMind FSQ-VAE** (Jakubik et al. ICCV 2025, arXiv 2504.11171) — RS multi-modal foundation, 9 modalities, dual-scale transformer с FSQ-квантизацией:
|
||||
|
||||
$$z_q = \text{round}!\Big(\tfrac{L-1}{2}\tanh(z)\Big)$$
|
||||
|
||||
Codebook 15 360 (S1/S2/DEM/NDVI), 4 375 (LULC). SOTA на PANGAEA. Применение: FSQ-токенайзер для RGB → дискретные токены → конкатенация с BPE text tokens в shared vocabulary. Δparams токенайзера ≈ 16M (codebook доминирует).
|
||||
|
||||
**Unified-IO 2** (Lu et al. CVPR 2024, arXiv 2312.17172) — 7B encoder-decoder, все модальности в shared autoregressive vocab. Для ViT-L/16 integration Δparams ограничена input projection (~2M) + VQ-GAN codebook (~12M). Масштаб 7B избыточен для пары D.
|
||||
|
||||
**MoE-LLaVA** (Lin et al. 2024, arXiv 2401.15947) — LLaVA с Top-K MoE routing в FFN LLM-a:
|
||||
|
||||
$$g(x) = \text{softmax}(W_r x);\quad y = \sum_{i\in\text{TopK}}g_i(x)\cdot E_i(x)$$
|
||||
|
||||
Load-balance loss $\mathcal{L}_{\text{bal}} = N\sum_i f_i P_i$. Для DINOv3 teacher без LLM MoE-часть неприменима; остаётся MLP-connector (1.38/2.51M).
|
||||
|
||||
**Prompt Tuning family**. **CoOp** (Zhou et al. IJCV 2022, arXiv 2109.01134): $t_k=[V_1,...,V_M,c_k]$ — learnable context tokens, Δparams = M·d_t ≈ 8k. **CoCoOp** (CVPR 2022, arXiv 2203.05557): instance-conditional $V_m(x) = V_m + h_\phi(f(x))$, Δparams ~25–35k. **VPT** (Jia et al. ECCV 2022, arXiv 2203.12119): prepend learnable prompts в ViT. VPT-Deep на ViT-L/16 (p=10, L=24, d=1024): **245 760 params** (<0.1% backbone). Ультра-low overhead, но ограниченная capacity.
|
||||
|
||||
---
|
||||
|
||||
## 4. Детальный разбор SOTA методов 2024–2026
|
||||
|
||||
Ниже представлены 18 методов с полным набором полей: авторы/venue/arXiv, LaTeX-формула, pretraining, метрики, Δparams, overhead, совместимость.
|
||||
|
||||
### 4.1 FiLM (Perez et al. AAAI 2018, foundational)
|
||||
|
||||
- **arXiv** 1709.07871, **GitHub** ethanjperez/film (research license).
|
||||
- **Формула**: см. §3.1.
|
||||
- **Pretraining**: end-to-end supervised на CLEVR.
|
||||
- **Метрики**: CLEVR 97.7%, CLEVR-Humans 75.9%.
|
||||
- **Δparams**: 37.79M (d_t=768) / 56.69M (1152).
|
||||
- **Overhead**: <1% FLOPs, negligible memory.
|
||||
- **Совместимость с frozen DINOv3**: ✅ полная.
|
||||
- **Совместимость с парами A/B/C**: ✅ не конкурирует за блоки (модулирует LN affine).
|
||||
- **Distillability**: ✅ high — student моделирует $\gamma,\beta$ как функцию pseudo-h.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.2 TC-LoRA (Cho et al. NVIDIA, arXiv 2510.09561, Oct 2025)
|
||||
|
||||
- **Venue**: NeurIPS 2025 SpaVLE Workshop. GitHub: не опубликован.
|
||||
- **Формула**: см. §3.1.
|
||||
- **Pretraining**: Cosmos-Predict1 diffusion loss; не discriminative.
|
||||
- **Метрики**: control-adherence > ControlNet baseline (конкретных FID/LPIPS нет в preprint snippet).
|
||||
- **Δparams**: 15–30M.
|
||||
- **Overhead**: 1–2% FLOPs per forward.
|
||||
- **Совместимость с DINOv3**: ⚠ экстраполяция (тестирован только на diffusion).
|
||||
- **Пары A/B/C**: ✅ неинвазивен (только ΔW генерируется).
|
||||
- **Distillability**: ⚠ требует student-hypernet либо статическую LoRA-apparoximation.
|
||||
- **CVGL-tested**: N. **Open-source**: ❌ на момент April 2026.
|
||||
|
||||
### 4.3 Multi-FiLM MERIDIAN baseline
|
||||
|
||||
- **Контекст**: текущая MERIDIAN с MobileCLIP2, global text → γ,β FPN, text-dropout p=0.3.
|
||||
- **Формула**: $\gamma,\beta = \text{MLP}(\text{MobileCLIP2}(C_{\text{global}}))$; FPN-wise application.
|
||||
- **Δparams**: ≈ 37–40M (зависит от FPN levels).
|
||||
- **Ограничения**: global pooling теряет L2 9-zone структуру; MobileCLIP2 context 77 ток. не вмещает L1+L2+L3 concat.
|
||||
- **CVGL-tested**: ⚠ internal MERIDIAN only, not published.
|
||||
|
||||
### 4.4 Mona adapter (Yin et al. CVPR 2025, arXiv 2408.08345)
|
||||
|
||||
- **GitHub**: Leiyi-HU/mona (Apache-2.0).
|
||||
- **Формула**: см. §3.1.
|
||||
- **Pretraining**: frozen Swin-B/ViT + task loss.
|
||||
- **Метрики**: COCO 53.4 box AP / 46.0 mask AP (Cascade Mask R-CNN, Swin-Base) — **превосходит full-FT**; ADE20K 51.36 mIoU.
|
||||
- **Δparams**: 6.84M (без text) / 11.6M (+text-FiLM в bottleneck).
|
||||
- **Overhead**: 3–5% FLOPs.
|
||||
- **Совместимость с DINOv3**: ✅ (backbone-agnostic). **Пары A/B/C**: ⚠ пара A уже использует Mona в blocks 20–24 — пара D должна использовать Mona в другом диапазоне (напр. 4–12) во избежание коллизий.
|
||||
- **Distillability**: ✅ (deterministic adapter).
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.5 LoRA-Ensemble (Mühlematter et al., arXiv 2405.14438)
|
||||
|
||||
- **GitHub**: prs-eth/LoRA-Ensemble (CC BY 4.0).
|
||||
- **Формула**: $W_m = W_0 + B_mA_m;\quad \hat p(y|x) = \tfrac{1}{M}\sum_m\text{softmax}(f_{W_m}(x))$.
|
||||
- **Δparams**: M=8, r=8 → **3.15M** (1.05% backbone).
|
||||
- **Overhead**: +O(N·r·d) per projection.
|
||||
- **Совместимость с DINOv3**: ✅ foundational design.
|
||||
- **Distillability**: ✅ ensemble → single student via mean-KL.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.6 Flamingo GATED-XATTN-DENSE (Alayrac et al. NeurIPS 2022, arXiv 2204.14198)
|
||||
|
||||
- **GitHub**: OpenFlamingo (MIT, arXiv 2308.01390).
|
||||
- **Формула**: см. §3.2.
|
||||
- **Pretraining**: M3W 185M + ALIGN 1.8B + LTIP 312M + VTP 27M; next-token prediction.
|
||||
- **Метрики**: Flamingo-80B VQAv2 (32-shot) 67.6 / FT 82.0; COCO CIDEr 138.1 (FT).
|
||||
- **Δparams**: every-4-blocks (6×) ≈ **72–85M**.
|
||||
- **Overhead**: +15 GFLOPs (~+25% backbone FLOPs).
|
||||
- **Совместимость с DINOv3**: ✅ **best-in-class** — tanh-0 gate preserves Gram-anchored features.
|
||||
- **Пары A/B/C**: ✅ insertions в блоки 4,8,12,16 не коллидируют с A/B/C в 18–24.
|
||||
- **Distillability**: ✅✅ (α=0 reproduces frozen teacher; smooth curriculum).
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.7 IDEFICS2 FA + Perceiver Resampler (Laurençon et al. NeurIPS 2024, arXiv 2405.02246)
|
||||
|
||||
- **GitHub**: huggingface/transformers (Apache-2.0). HF: HuggingFaceM4/idefics2-8b.
|
||||
- **Формула**: см. §3.2.
|
||||
- **Pretraining**: OBELICS 350M + LAION COCO recaptioned 1.1B + PDFA + WebSight; next-token on text only.
|
||||
- **Метрики**: VQAv2 80.8, OK-VQA 72.1, TextVQA 70.4, DocVQA SOTA-tier.
|
||||
- **Δparams**: Resampler ~40–45M.
|
||||
- **Overhead**: ~0.9 GFLOPs (~1–2% backbone).
|
||||
- **Совместимость с DINOv3**: ✅ bolt-on post-backbone. **Пары A/B/C**: ✅ не затрагивает блоки.
|
||||
- **Distillability**: ✅✅ 64 latent tokens — компактный teacher-bottleneck.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.8 CogVLM2 visual-expert (Hong et al. 2024, arXiv 2408.16500)
|
||||
|
||||
- **GitHub**: THUDM/CogVLM2 (Apache-2.0 + model license).
|
||||
- **Формула**: см. §3.2.
|
||||
- **Pretraining**: 1.5B LAION+COYO filtered; 40M grounded; Vicuna-7B/LLaMA3-8B frozen LM.
|
||||
- **Метрики**: VQAv2 83.4/84.0; RefCOCO 92.76; MMBench 77.6/80.5.
|
||||
- **Δparams**: full-duplicate ≈ 302M (100% backbone).
|
||||
- **Overhead**: FLOPs per-token unchanged (routing), но **2× weight memory**.
|
||||
- **Совместимость с DINOv3**: ⚠ слишком инвазивно для LUPI-teacher; distillation target становится entangled.
|
||||
- **Distillability**: ⚠ moderate — text и vision experts плохо распутываются при missing-text.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.9 CAFF (Safarov et al. MDPI Drones 2025)
|
||||
|
||||
- **DOI**: 10.3390/drones9070496 (CC-BY 4.0). Code не публичен.
|
||||
- **Формула**: см. §3.2.
|
||||
- **Pretraining**: UAV+CHM forestry, no public pretraining.
|
||||
- **Метрики**: RMSE 6.24 Mg/ha, R²=0.94 — forestry only.
|
||||
- **Δparams**: 11.5–20M single-bridge.
|
||||
- **Overhead**: +1.6 GFLOPs.
|
||||
- **Совместимость с DINOv3**: ✅ (post-backbone bridge).
|
||||
- **Distillability**: ✅ (designed as fusion-head).
|
||||
- **CVGL-tested**: N. **Open-source**: ❌ (paper only).
|
||||
|
||||
### 4.10 BLIP-2 Q-Former (Li et al. ICML 2023, arXiv 2301.12597)
|
||||
|
||||
- **GitHub**: salesforce/LAVIS (BSD-3-Clause).
|
||||
- **Формула**: см. §3.3.
|
||||
- **Pretraining**: 129M (COCO, VG, CC3M/12M, SBU, LAION subset); CapFilt; ITC+ITM+ITG → LM.
|
||||
- **Метрики**: zero-shot VQAv2 65.0; NoCaps CIDEr 121.6; COCO retrieval TR@1 97.6.
|
||||
- **Δparams**: **188M** (bottleneck stack).
|
||||
- **Overhead**: ~80 MFLOPs (tiny vs backbone 61 GFLOPs).
|
||||
- **Совместимость с DINOv3**: ✅ d_v=1024 matches original. ⚠ DINOv3 не CLIP-aligned — нужен stage-1 ITC/ITM re-run.
|
||||
- **Distillability**: ✅ (32-token bottleneck — natural teacher output).
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.11 Perceiver IO (Jaegle et al. ICLR 2022, arXiv 2107.14795)
|
||||
|
||||
- **GitHub**: deepmind-research (Apache-2.0).
|
||||
- **Формула**: см. §3.3.
|
||||
- **Pretraining**: per-task (ImageNet, Kinetics, GLUE, Sintel, StarCraft II); no unified VL pretraining.
|
||||
- **Метрики**: GLUE 81.8; Sintel EPE 2.42; ImageNet 82.1.
|
||||
- **Δparams**: ~60M (D=768, 8 layers) / ~130M (D=1152).
|
||||
- **Overhead**: linear в входе — ключевое преимущество.
|
||||
- **Совместимость с DINOv3**: ✅ modality-agnostic.
|
||||
- **Distillability**: ✅ (fixed-size latents).
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.12 Honeybee C-Abstractor (Cha et al. CVPR 2024, arXiv 2312.06742)
|
||||
|
||||
- **GitHub**: kakaobrain/honeybee (code Apache, weights CC-BY-NC).
|
||||
- **Формула**: см. §3.3.
|
||||
- **Pretraining**: 200M (BlipCapFilt+COYO-100M) + instruction mix.
|
||||
- **Метрики**: MME-P 1976; MMBench 73.6; +9.6 N-score vs Resampler at M=144.
|
||||
- **Δparams**: **~8M** (24× меньше Q-Former).
|
||||
- **Overhead**: ~2 GFLOPs (no quadratic attention).
|
||||
- **Совместимость с DINOv3**: ✅ — DINOv3 ViT-L/16 @224 даёт 14×14 → паддинг до 16×16. **Пары A/B/C**: ✅.
|
||||
- **Distillability**: ✅ (deterministic conv stack).
|
||||
- **Caveat**: **не text-conditioned** — alignment head needed externally.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅ (код).
|
||||
|
||||
### 4.13 LLaVA-NeXT connector (Liu et al. 2024, arXiv 2310.03744)
|
||||
|
||||
- **GitHub**: haotian-liu/LLaVA (Apache-2.0).
|
||||
- **Формула**: см. §3.4.
|
||||
- **Δparams**: 1.38M (768) / 2.51M (1152).
|
||||
- **Совместимость**: ✅ тривиально. Но без LLM self-attention в MERIDIAN fusion не происходит — baseline-пол.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.14 TerraMind FSQ-VAE (Jakubik et al. ICCV 2025, arXiv 2504.11171)
|
||||
|
||||
- **HF**: ibm-esa-geospatial/TerraMind-1.0-{base,large} (Apache-2.0).
|
||||
- **Формула**: см. §3.4.
|
||||
- **Pretraining**: TerraMesh 9M spatiotemporally-aligned, 500B tokens, MMM (multi-modal masked) objective.
|
||||
- **Метрики**: SOTA PANGAEA benchmark (sensor fusion, change detection).
|
||||
- **Δparams**: tokenizer ~16M (codebook доминирует).
|
||||
- **Совместимость с DINOv3**: ⚠ TerraMind — foundation model сам по себе; интеграция означает либо полную замену DINOv3 (вне scope), либо использование только FSQ-токенайзера как вспомогательного сигнала.
|
||||
- **Distillability**: ✅ discrete tokens — natural distillation target.
|
||||
- **CVGL-tested**: N (PANGAEA covers segmentation, не CVGL). **Open-source**: ✅.
|
||||
|
||||
### 4.15 VPT/CoOp/CoCoOp (prompt tuning family)
|
||||
|
||||
- **Δparams**: VPT-Deep ViT-L/16 (p=10) = 245 760 (<0.1%); CoOp M=16 = 8.2k; CoCoOp + Meta-Net = ~25–35k.
|
||||
- **Совместимость с DINOv3**: ✅ foundational frozen-backbone use-case.
|
||||
- **Distillability**: ⚠ ограниченная capacity — plateau на сложных задачах.
|
||||
- **CVGL-tested**: N. **Open-source**: ✅.
|
||||
|
||||
### 4.16 GeoText-1652 X-VLM + BSM (Chu et al. ECCV 2024, arXiv 2311.12751)
|
||||
|
||||
- **GitHub**: MultimodalGeo/GeoText-1652 (academic). **HF datasets**: truemanv5666/GeoText1652_Dataset.
|
||||
- **Формула** (Blending Spatial Matching): $$\mathcal{L}_{\text{BSM}} = \mathcal{L}_{\text{ITC}} + \mathcal{L}_{\text{ITM}} + \mathcal{L}_{\text{MLM}} + \lambda_{\text{bbox}}\mathcal{L}_{\text{bbox}} + \lambda_{\text{sp}}\sum_{r\in\mathcal{R}}\mathcal{L}_{\text{match}}(f_v(I,b_r), f_t(t_r))$$
|
||||
- **Pretraining**: GeoText-1652 — расширение University-1652: 701+701+250 зданий, drone/satellite/street views × ~37 текстовых описаний/view, 100k+ region-text pairs с bbox.
|
||||
- **Метрики на GeoText-1652 test_951**:
|
||||
- Text→Image: R@1=**29.9**, R@5=46.3, R@10=54.1.
|
||||
- Image→Text: R@1=**50.1**, R@5=81.2, R@10=90.3.
|
||||
- **Δparams**: X-VLM backbone ~216M (Swin-B + BERT + CA); полный fine-tune.
|
||||
- **Совместимость с DINOv3**: ⚠ X-VLM использует Swin-B vision, требует замены на DINOv3 + cross-modal layers. **Пары A/B/C**: ✅ region-level bbox-text сигнал ортогонален depth/normals.
|
||||
- **Distillability**: ✅✅ **главный teacher для distillation BSM loss в пару D**.
|
||||
- **CVGL-tested**: **Y (ЕДИНСТВЕННЫЙ)** — но numbers text→image несопоставимы с image-only SOTA (Sample4Geo R@1=92.65%).
|
||||
- **Open-source**: ✅.
|
||||
|
||||
### 4.17 LHRS-Bot + LHRS-Bot-Nova (Muhtar/Li et al. ECCV 2024 / ISPRS 2025)
|
||||
|
||||
- **arXiv** 2402.02544 / 2411.09301. **GitHub**: NJU-LHRS/LHRS-Bot (Apache-2.0).
|
||||
- **Архитектура**: LLaVA-1.5 framework; Nova — SigLIP-L/14@336 + **MoE bridge** + LLaMA-2-7B.
|
||||
- **MoE bridge**: $\text{Bridge}(V) = \sum_e g_e(V)\cdot\text{FFN}_e(V)$.
|
||||
- **Pretraining**: LHRS-Align 1.15M (Google Earth 1m + OSM VGI + LLM captions); LHRS-Instruct; LHRS-Bench MCQ. Nova: LHRS-Align-Recap feature-guided re-captioning.
|
||||
- **Метрики**: AID ZS; RSVG; DIOR-RSVG grounding — **не University-1652**.
|
||||
- **Δparams**: 7B LLM + VLP/MoE-bridge ~100M + LoRA.
|
||||
- **Совместимость с DINOv3**: ⚠ (LLaVA-style требует LLM — вне scope teacher-а).
|
||||
- **Distillability**: ⚠ (depth через 7B LLM — тяжело).
|
||||
- **CVGL-tested**: N.
|
||||
|
||||
### 4.18 GeoChat (Kuckreja et al. CVPR 2024, arXiv 2311.15826)
|
||||
|
||||
- **GitHub**: mbzuai-oryx/GeoChat (Apache-2.0).
|
||||
- **Архитектура**: LLaVA-1.5 + CLIP ViT-L/14@336 + Vicuna-v1.5-7B + LoRA.
|
||||
- **Pretraining**: GeoChat_Instruct 318k (SAMRS+LRBEN+HRBEN+DIOR-RSVG+NWPU+AID+FloodNet, Vicuna-generated).
|
||||
- **Метрики**: AID ZS 72.03%; UCM 84.43%; LRBEN VQA 83.19%; DIOR-RSVG acc@0.5 ~55–60%.
|
||||
- **Δparams**: LoRA r=64 ~40M.
|
||||
- **Совместимость с DINOv3**: ⚠ vision encoder можно заменить, MLP projector требует retraining.
|
||||
- **CVGL-tested**: N.
|
||||
|
||||
---
|
||||
|
||||
## 5. Критический анализ: матрица по 14 осям
|
||||
|
||||
Матрица применяет шкалу −− / − / 0 / + / ++ для 15 ключевых методов (отобранных из 18). FiLM-ensemble/HyperNet-FiLM/Unified-IO-2 исключены из матрицы из-за недостаточной релевантности для symmetric-LUPI teacher.
|
||||
|
||||
|Метод|Frozen DINO compat|ΔCKA drift|Инвазивность|Distill pot.|LUPI compat|Missing-text robust|Int. пара A|Int. пара B/C|Level-spec.|Param eff.|Train memory|Inference overhead|Open code|RS/CVGL val.|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|FiLM baseline|++|0|−|+|+|+|0|0|−|+|++|++|++|−|
|
||||
|Hierarchical FiLM|++|0|−|+|+|+|+|+|++|+|+|++|0|−|
|
||||
|Gated FiLM (tanh-0)|++|++|0|++|++|++|+|+|+|+|++|++|+|−|
|
||||
|HyperNet-FiLM|++|+|0|+|+|+|0|0|+|++|+|+|+|−|
|
||||
|TC-LoRA (arXiv 2510.09561)|+|+|0|0|0|0|+|+|+|+|0|0|−−|−−|
|
||||
|Mona adapter (CVPR 2025)|++|+|−|+|+|+|− (конфликт bl 20–24)|+|0|+|+|0|++|0|
|
||||
|LoRA-Ensemble|++|+|0|+|+|+|+|+|0|++|+|0|++|−|
|
||||
|**Flamingo GATED-XATTN-DENSE**|++|++|−|++|++|++|+|+|+|0|0|−|++|−|
|
||||
|IDEFICS2 FA+Resampler|++|++|++|++|++|++|++|++|0|+|+|++|++|−|
|
||||
|CogVLM2 visual-expert|0|−|−−|0|−|−|−|−|+|−−|−−|0|++|−|
|
||||
|CAFF (ForestIQNet)|+|+|+|+|+|+|+|+|0|+|+|+|−−|−|
|
||||
|BLIP-2 Q-Former|+|+|+|+|+|+|+|+|0|−|−|+|++|−|
|
||||
|Perceiver IO|++|+|++|+|+|+|++|++|0|0|0|+|++|−|
|
||||
|Honeybee C-Abstractor|++|++|++|++|++|++|++|++|−|++|++|++|+|−|
|
||||
|LLaVA-NeXT connector|++|++|++|0|0|0|+|+|−−|++|++|++|++|−|
|
||||
|TerraMind FSQ-VAE|0|0|−−|+|0|0|0|0|0|−|−|0|++|−|
|
||||
|VPT/CoOp/CoCoOp|++|++|++|0|0|0|+|+|−−|++|++|++|++|−|
|
||||
|**GeoText-1652 X-VLM+BSM**|0|0|−−|++|++|+|++|+|++|−|−|−|++|++|
|
||||
|LHRS-Bot-Nova|0|0|−−|−|−|−|0|0|+|−−|−−|−−|++|−|
|
||||
|GeoChat|0|0|−−|−|−|−|0|0|0|−|−|−|++|−|
|
||||
|
||||
### 5.1 Winners
|
||||
|
||||
**Gated FiLM (tanh-0 init)** и **Flamingo GATED-XATTN-DENSE** — абсолютные лидеры по осям frozen compatibility / ΔCKA drift / distillability / LUPI compat / missing-text robustness. Оба обеспечивают exact identity at init, что сохраняет Gram-anchored DINOv3 свойства и упрощает symmetric-LUPI distillation: при text-dropout ($p=0.3$ в MERIDIAN) $\alpha=0$ воспроизводит pure-vision forward, устраняя distribution shift.
|
||||
|
||||
**Honeybee C-Abstractor** выигрывает на parameter-efficiency (~8M) и inference overhead (~2 GFLOPs); при этом spatial-locality выигрывает у Q-Former на dense задачах. Минус — отсутствие text-conditioning: C-Abstractor должен сочетаться с внешним alignment-head (FiLM или shallow gated-xattn).
|
||||
|
||||
**IDEFICS2 Resampler** — best-in-class по инвазивности (bolt-on post-backbone, 0 изменений в ViT blocks), ~40M params, distillable через 64-token bottleneck. Apache-2.0 + reference code HuggingFace.
|
||||
|
||||
**GeoText-1652 X-VLM+BSM** — единственный метод с нетривиальной CVGL-валидацией; критичен как **distillation teacher**, а не как архитектурный template для самой пары D.
|
||||
|
||||
### 5.2 Losers
|
||||
|
||||
**CogVLM2 visual-expert** — параметрически взрывной (302M), entangled text-vision routing плохо распутывается при missing-text → −1 по LUPI compat и distillability. Для teacher, чей distillation-таргет должен оставаться компактным, это антипаттерн.
|
||||
|
||||
**TerraMind** — foundation-model-сам-по-себе; не intégруется в frozen DINOv3 без полной замены backbone (вне scope). Ограниченно полезен как источник FSQ-токенов для аугментации.
|
||||
|
||||
**LHRS-Bot-Nova и GeoChat** — требуют 7B LLM в teacher-loop, несовместимо с RTX 4090 24GB research budget и H100 80GB production при добавлении других пар A/B/C. Используются как data source (captions) и reference baselines.
|
||||
|
||||
### 5.3 Trade-offs
|
||||
|
||||
**Capacity vs distillability.** Увеличение Δparams (BLIP-2 188M, Flamingo 85M) даёт большую текст-conditioning capacity, но усложняет student-mimic. Sweet spot — **Gated FiLM + Resampler + optional Mona adapter**, суммарно ~50–60M trainable.
|
||||
|
||||
**Token-level vs global.** Hierarchical FiLM (per-L1/L2/L3 global vectors) — компромисс между expressivity и FLOPs. Full token-level cross-attention (Flamingo) вносит ×25% FLOPs overhead, но позволяет pair-D улавливать fine-grained L2 9-zone attributes.
|
||||
|
||||
**Frozen strictness vs adaptation.** Mona-adapter (CVPR 2025) — единственный delta-tuning метод, превзошедший full-FT на dense RS tasks. Компромисс: не строго frozen, но ΔCKA drift минимален (+1 по шкале). Для пары D рекомендуется использовать Mona в блоках **4–12** (пара A уже в 20–24, пара C в late-blocks).
|
||||
|
||||
---
|
||||
|
||||
## 6. Сводная таблица пары D
|
||||
|
||||
Итоговая таблица фокусирует 18 методов по ключевым параметрам для финального ranking.
|
||||
|
||||
|#|Метод|Парадигма|Год|Venue|Механизм|Text format|Level handling|Δparams|FT depth|CVGL-tested|Distill|Priority|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|1|FiLM baseline|FiLM|2018|AAAI|Affine γ⊙x+β|Global|Uniform|37.8M|Frozen+PEFT|N|High|3|
|
||||
|2|Hierarchical FiLM|FiLM|2018+|—|Per-group FiLM|3 global|L1/L2/L3→group|38–45M|Frozen+PEFT|N|High|**1**|
|
||||
|3|Gated FiLM (tanh-0)|FiLM|Flamingo-derived|NeurIPS 2022|FiLM + α-gate|Global|Uniform|37.8M|Frozen+PEFT|N|High|**1**|
|
||||
|4|HyperNet-FiLM|FiLM|2017+|ICLR 2017|HNet→FiLM params|Global|Uniform|12.8M|Frozen+PEFT|High|N|3|
|
||||
|5|TC-LoRA|FiLM/LoRA|2025|NeurIPS 2025 SpaVLE|HNet→LoRA ΔW|Global/cond|Flexible|15–30M|Frozen+PEFT|Med|N|4|
|
||||
|6|Mona adapter|Adapter|2025|CVPR 2025|DWConv bottleneck|Injected FiLM|Uniform|6.84/11.6M|Partial|High|N|**2**|
|
||||
|7|LoRA-Ensemble|LoRA|2024|arXiv v5 2026|M LoRA on Q,V|Global/none|N/A|3.15M (M=8)|Frozen+PEFT|High|N|4|
|
||||
|8|**Flamingo GATED-XATTN-DENSE**|Cross-attn|2022|NeurIPS 2022|Gated xattn+FFN|Token-level|Per-insert|72–85M|Frozen+insert|Very high|N|**1**|
|
||||
|9|IDEFICS2 Resampler+FA|Cross-attn|2024|NeurIPS 2024|Perceiver resampler|Token→64 latents|Compressed|40–45M|Frozen+bolt-on|Very high|N|**1**|
|
||||
|10|CogVLM2 visual-expert|Cross-attn|2024|arXiv|Duplicate QKV/FFN|Token-level|Per-block|302M|Partial unfreeze|Low|N|5|
|
||||
|11|CAFF (ForestIQNet)|Cross-attn|2025|MDPI Drones|Bi-dir gated CA|Token-level|Single-bridge|11–20M|Frozen+bolt-on|Medium|N|3|
|
||||
|12|BLIP-2 Q-Former|Query|2023|ICML 2023|32 queries + XA|Token→32|Compressed|188M|Frozen ViT|High|N|**2**|
|
||||
|13|Perceiver IO|Query|2022|ICLR 2022|Latent array + SA|Token-level|Flexible|60–130M|Frozen+bolt-on|High|N|3|
|
||||
|14|Honeybee C-Abstractor|Query|2024|CVPR 2024|ResNet + AdaPool|Visual-only|Spatial|8M|Frozen+bolt-on|Very high|N|**1**|
|
||||
|15|LLaVA-NeXT connector|Unified|2024|Blog|MLP+concat|Global|Uniform|1.38–2.51M|Frozen+PEFT|Low (no fusion)|N|5|
|
||||
|16|TerraMind FSQ-VAE|Unified|2025|ICCV 2025|FSQ tokens|Discrete|Multi-modal|16M (tok)|Own backbone|Medium|N|4|
|
||||
|17|VPT/CoOp/CoCoOp|Prompt|2022|IJCV/CVPR/ECCV 2022|Learnable prompts|Global|Uniform|8k–246k|Frozen|Low|N|5|
|
||||
|18|**GeoText-1652 BSM teacher**|RS-CVGL|2024|ECCV 2024|X-VLM dual+BSM|Region+global|Global+bbox|216M (teacher)|Full|Very high|**Y (unique)**|**1 (teacher)**|
|
||||
|
||||
**Priority 1** (топ-кандидаты для финальной архитектуры пары D): **Hierarchical FiLM + Gated tanh-0**, **Flamingo GATED-XATTN-DENSE**, **IDEFICS2 Resampler bolt-on**, **Honeybee C-Abstractor**, **GeoText-1652 как distillation teacher**.
|
||||
|
||||
**Priority 2** (сильные alternatives для ablation): **Mona adapter**, **BLIP-2 Q-Former**.
|
||||
|
||||
**Priority 3–5** — baseline и reference.
|
||||
|
||||
---
|
||||
|
||||
## 7. Global vs token-level vs hierarchical — архитектурная рекомендация
|
||||
|
||||
Три парадигмы text-conditioning имеют разные compute/expressivity профили, и выбор обосновывается структурой MERIDIAN captions.
|
||||
|
||||
**Global** — $h_{\text{text}}\in\mathbb{R}^{d_t}$, используется в Multi-FiLM baseline и классическом FiLM (Perez 2018). **Δparams**: 37.8M. **Pros**: простота, ×1 FLOPs overhead, стабильность training. **Cons**: L2 9-zone детали коллапсируют в single vector → потеря spatial specificity. Эмпирически Multi-FiLM MERIDIAN достигает ceiling на задачах, требующих attribute-level grounding.
|
||||
|
||||
**Token-level** — $H_{\text{text}}\in\mathbb{R}^{T\times d_t}$, fused через cross-attention. **Δparams** (Flamingo 6×): 72–85M. **Pros**: сохраняет всю структуру иерархии L1+L2+L3, позволяет token-wise alignment с DINOv3 patch tokens (что особенно ценно для spatial grounding). **Cons**: +25% FLOPs, требует large-batch training для стабильного gradient flow через cross-attention.
|
||||
|
||||
**Hierarchical** — три global vectors $h^{L1}, h^{L2}, h^{L3}$ на три группы блоков ViT. **Δparams**: 38–45M. **Pros**: эксплуатирует explicit иерархию captions MERIDIAN без O(N·T) cost cross-attention; каждый уровень маршрутизирован к depth-appropriate блокам (L1 scene → ранние блоки, L3 matching → поздние). **Cons**: грубое разделение блоков на ровные группы может не совпадать с natural feature hierarchy DINOv3.
|
||||
|
||||
**Рекомендация финальная.** Для пары D оптимален **гибрид**: **Hierarchical Gated FiLM** (ранние/средние блоки 1–16, три группы по L1/L2/L3, ~40M params) **+ single Flamingo gated-xattn-dense insertion** после блока 12 для token-level L2 9-zone injection (~14M params) **+ Perceiver Resampler bolt-on** после блока 24 как distillation-friendly compressed teacher output (~40M params). Суммарно ~95M trainable (31% backbone), identity at init, совместимо со всеми парами A/B/C через non-overlapping block ranges, distillable через 64-token resampler output.
|
||||
|
||||
Альтернатива Scope-C — замена всей архитектуры на **Flamingo GATED-XATTN-DENSE (6 insertions) + frozen LRSCLIP+SigLIP 2** без hierarchical FiLM (~85M params) — более чистая, но теряет explicit three-level routing. Решение между этими двумя вариантами откладывается до части 2 обзора (cross-pair integration + training + distillation).
|
||||
|
||||
---
|
||||
|
||||
## Заключение
|
||||
|
||||
Методологическая ревизия пары D выявила фундаментальное ограничение текущего Multi-FiLM MERIDIAN: **global text pooling теряет трёхуровневую структуру captions**, полученную от Qwen3-VL-8B с FDR 0.028. Из 18 рассмотренных методов **16 не валидированы в CVGL-режиме**, что переводит приоритет проектирования с retrieval-performance на **distillability в symmetric-LUPI setup**. Hierarchical Gated FiLM обеспечивает tight mapping L1/L2/L3 → depth-appropriate блоки ViT при сохранении identity-at-init, минимизируя ΔCKA-drift от Gram-anchored DINOv3 features. Flamingo gated-xattn-dense добавляет token-level capacity там, где global vectors недостаточны. Perceiver Resampler финализирует pipeline как compressed distillation-target. **GeoText-1652 X-VLM+BSM** сохраняется как уникальный RS-CVGL teacher для distillation spatial-matching сигнала, но не служит template для собственно пары D из-за несовместимости Swin-B vision tower с frozen DINOv3 ViT-L/16. Ensemble **LRSCLIP (248–512 ток.) + SigLIP 2 So400m (64 ток.)** обеспечивает orthogonal coverage по осям RS-domain, context length, tokenizer — критически важное complementarity для иерархических captions MERIDIAN. Новизна против baseline: замена статичного global-pool FiLM на level-aware hierarchical routing с token-level augmentation, приоритет identity-at-init и compressed-bottleneck distillation — три принципа, которые часть 2 обзора развернёт в training schedule, LoRA/frozen decision tree и symmetric-LUPI distillation objective.
|
||||
Reference in New Issue
Block a user