---
type: review
status: active
date: 2026-04-20
tags:
  - fusion
  - teacher
  - pair-A
  - segmentation
  - dinov3
  - segearth-ov3
  - mona-lora
  - priority/high
related:
  - "[[../00_overall/SPEC_fusion_ACF_MERIDIAN]]"
  - "[[../../01_teacher/SPEC_teacher_v2_dual_teacher]]"
  - "[[ANALYSIS_segformer_vs_segearth]]"
author: claude
---

# Слияние RGB + Semantic Segmentation для DINOv3-teacher в MERIDIAN

> Обзор пары A: 8 методов слияния RGB + Seg для teacher-стороны (на базе SegEarth-OV3) с DINOv3 ViT-L/16. Покрывает все уровни и механизмы fusion.

## 0. Микроплан

Для teacher-стороны пары A (RGB ⊕ Seg на базе SegEarth-OV3) отбираются **восемь** методов, покрывающих весь спектр уровней и механизмов слияния. Выбор оптимизирован под DINOv3 ViT-L/16 как приоритетную опцию с запасным вариантом DINOv2 ViT-L/14 (см. §2, замечание о patch-size).

1. **ODISE** (Xu et al., CVPR 2023, `2303.04803`) — foundational baseline для co-training shared-backbone схемы, задаёт верхнюю границу риска negative transfer.
2. **FC-CLIP** (Yu et al., NeurIPS 2023, `2308.02487`) — foundational canonical frozen-provider + mask-pooled attention; прямой прототип SegEarth-OV3-as-frozen-upstream.
3. **CAT-Seg** (Cho et al., CVPR 2024, `2303.11797`) — cost-volume cross-attention как механизм симметричного слияния image⊕text через аффинитет.
4. **SED** (Xie et al., CVPR 2024) — иерархический encoder-decoder с feature-pyramid seg-guidance; близко к inserting-in-blocks варианту.
5. **SAM2/SAM3-Adapter + Mona-adapter** (Chen et al., ICCVW 2023 / arXiv 2024-2025, `2304.09148`, `2408.04579`, `2511.19425`, `2408.08576`) — канонический LoRA/side-adapter путь для инъекции seg-сигнала во frozen ViT.
6. **MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP** (2023-2025) — token-level mask-attention modification; прямой прототип для mask-pooled attention через SegEarth-OV3-маски.
7. **SkySense++ / SkySense V2** (Wu et al., Nat. Mach. Intell. 2025 / Zhang et al., ICCV 2025, `2507.13812`) — RS-specific shared-backbone с семантическим pretraining; RS-нативный аналог ODISE.
8. **FeatUp / JAFAR / AnyUp + Perceiver-Resampler** (ICLR 2024 / NeurIPS 2025 / arXiv 2510.12764) — learnable feature-space resampler; опорный блок для patch-size alignment и late-fusion в пиксельном пространстве.

Дополнительно как teacher-side reference используется **DINOv3 SAT-493M** backbone (Siméoni et al., `2508.10104`, Meta FAIR, Aug 2025) и GeoPixel (Shabbir et al., ICML 2025, `2501.13925`) как RS-grounded LMM.

---

## 1. Обзор upstream-провайдеров масок (open-vocabulary RS segmentation)

SegEarth-OV3 (Li et al., arXiv `2512.08730`, Dec 2025) — baseline MERIDIAN — построен на **SAM 3** с **Perception Encoder Large+ (PE-L+)** (Bolya et al., `2504.13181`), входное разрешение **1008×1008**, stride-16. Ключевая особенность: training-free inference на основе двух голов SAM 3 (semantic head + Transformer-decoder instance head) с dual-head mask fusion и presence-guided filtering. Выходной формат: **dense per-class probability maps** (17 классов в основном протоколе, open-vocabulary по text prompts). mIoU усреднённо по 8 RS-датасетам **53.4 %** против 40.7 % у CorrCLIP и 39.1 % у CAT-Seg. Building extraction на WHU-Aerial достигает **86.9 % IoU** (+37.7 пп к SegEarth-OV). Cityscapes — 69.7 мIoU (+18.6 пп к предыдущему SOTA). Код: `github.com/earth-insights/SegEarth-OV-3`.

Таблица 1 — сравнение альтернатив. Все оценки — либо из оригинальных статей, либо из SegEarth-OV3 Tab. 1.

|Провайдер|Год/Venue|Backbone|Patch|Выходы|mIoU RS (avg)|Обуч.-free|Co-train|Совм. с DINOv3/16|Код/веса|
|---|---|---|---|---|---|---|---|---|---|
|**SegEarth-OV3** [Li'25] `2512.08730`|2025 arXiv|SAM 3 + PE-L+|16|dense + binary|**53.4**|✓|косвенно (LoRA на PE-L+)|**нативно**|Apache, полные|
|SegEarth-OV [Li'24] `2410.01768`|CVPR'25 Oral|CLIP-ViT-B/16 + SimFeatUp|16|dense|34.2|✓|✓|нативно|✓|
|Grounded-SAM2 [Ren'24] `2401.14159`|arXiv 2024|GroundingDINO + SAM2-Hiera|16|binary stack|~37 (RS)|частично|—|нативно|✓|
|EVF-SAM [Zhang'24] `2406.20076`|arXiv 2024|BEiT-3 + SAM|16|binary|~40 (generic)|—|✓|нативно|✓|
|CAT-Seg [Cho'24] `2303.11797`|CVPR'24|CLIP-ViT-B/16 или L/14|**14** (L)|dense|39.1 (RS tuned)|—|✓|**mismatch если L/14**|✓|
|SED [Xie'24]|CVPR'24|ConvNeXt-L + CLIP|16 (conv)|dense|~38|—|✓|нативно|✓|
|OVSeg [Liang'23] `2210.04150`|CVPR'23|CLIP-ViT-L/14|14|dense|~30|—|—|mismatch|✓|
|RSPrompter [Chen'23] `2306.16269`|TGRS 2024|SAM-ViT-H (stride-16)|16|instance masks|—|—|частично|нативно|✓|
|SkySense / SkySense++ [Wu'25] — NMI 2025|2024-25|Swin-H + ViT-L (MS/SAR)|16|dense|SOTA на LoveDA 56.1|—|**✓ (pretrain)**|частично|✓|
|SkySense V2 [Zhang'25] `2507.13812`|ICCV'25|Unified ViT + MoE + APM|16|dense|+1.8 vs SkySense|—|✓|✓|✓|
|GeoPixel [Shabbir'25] `2501.13925`|ICML'25|CLIP-ViT + pLoRA LLM + grounding|14/16|mask via [SEG] tok.|— (grounding)|—|—|частично|✓|
|ProxyCLIP/CorrCLIP [2024]|ECCV'24/25|CLIP + DINO/SAM proxies|16|dense|40.7|✓|✓|✓|✓|
|MaskCLIP++ [Zhou'22/24] `2208.12262`|ECCV'22 ext.|CLIP-ViT-B/16|16|dense|—|✓|—|нативно|✓|
|Prithvi-EO-2.0 [IBM/NASA'24]|arXiv 2024|ViT-L (HLS)|16|dense (task head)|—|—|✓|✓|✓|
|SpectralGPT [Hong'24]|TPAMI 2024|3D-MAE ViT|16|dense|—|—|✓|✓|✓|

**Ключевой вывод.** SegEarth-OV3 и большинство альтернатив (SAM, SAM 2, SAM 3, PE-L+, SkySense, SpectralGPT, Prithvi-EO-2.0) работают на **stride-16**. При использовании DINOv3 ViT-L/16 это даёт нативное соответствие сеток токенов; при DINOv2 ViT-L/14 необходим resampler (см. §7). SkySense++ и SkySense V2 — единственные RS-foundation-модели с семантически обогащённым pretraining, что даёт им преимущество для со-тренировки.

---

## 2. Постановка задачи слияния RGB + Seg для teacher-DINOv3

**Важное уточнение (verified vs original spec).** В исходной постановке указан DINOv3 ViT-L/14. По официальному tech-report Siméoni et al. (`2508.10104`, Aug 2025) и HuggingFace-модель-карт `facebook/dinov3-vitl16-pretrain-lvd1689m`, **все DINOv3-варианты используют patch-size 16**. Patch-14 соответствует DINOv2. Далее основной разбор строится для **DINOv3 ViT-L/16** (feat-dim 1024, 4 register-токена, RoPE), а DINOv2 ViT-L/14 рассматривается как запасной вариант с явным discussion patch-size mismatch.

**Формализация.** Обозначим вход $I\in\mathbb{R}^{H\times W\times 3}$. DINOv3 после patchification выдаёт последовательность $X_{\text{rgb}}\in\mathbb{R}^{N\times C}$, где $N = 1{+}r{+}\lfloor H/16\rfloor\lfloor W/16\rfloor$ ($r{=}4$ register-токенов), $C{=}1024$. SegEarth-OV3 выдаёт два формата:

- Dense tensor: $S_d\in\mathbb{R}^{H\times W\times K}$ (per-pixel class probabilities, $K$ произвольно для open-vocabulary).
- Binary stack: $S_b\in{0,1}^{H\times W\times K}$ — argmax либо threshold.

Цель fusion — построить $\tilde X = \mathcal{F}(X_{\text{rgb}}, S)$, такое что retrieval-loss $\mathcal{L}_{\text{CVGL}}$ на University-1652/SUES-200 минимизируется при сохранении DINO self-supervised представлений (CKA-drift $\Delta_{\text{CKA}}\le\epsilon$).

**Специфика UAV/RS.** (i) **Тонкие линейные структуры** (дороги, ЛЭП, rail-lines) занимают sub-patch ширину — naïve bilinear-upsample ViT-features фрагментирует их (SegEarth-OV Fig. 2, road-IoU < 35 % у всех training-free методов). (ii) **Сезонная и фенологическая изменчивость** vegetation-классов делает closed-set seg-representation хрупким — open-vocabulary с prompt-aug даёт лучший generalization. (iii) **Heavy class-imbalance** (roads ≪ buildings ≪ vegetation) требует seg-weighted loss либо mask-pooling вместо плотного concat.

**Специфика DINOv3.** DINOv3 обучен с **Gram anchoring** — новой loss, которая фиксирует patch-gram-матрицы относительно frozen teacher и препятствует разрушению dense-представлений при long-horizon training [Siméoni'25]. Любой fusion-механизм, интерферирующий с patch-attn и вызывающий сильный ΔCKA по dense-токенам, с высокой вероятностью частично уничтожит этот pretraining-эффект. Следствие: предпочтение side-branch и LoRA-инъекций перед full-fine-tune.

**Основные проблемы fusion.** (a) _Modality misalignment_ — CLIP/SigLIP-пространство SegEarth-OV3 не выровнено с DINO-пространством; между ними можно ожидать CKA < 0.3 (гипотеза по аналогии с Kornblith'19 для CLIP vs DINO). (b) _Patch-size mismatch_ — только при DINOv2 ViT-L/14. (c) _Destructive interference_ — особенно при unfreeze последних блоков, когда seg-gradient перекрывает DINO-objective. (d) _Upstream drift_ — если prompt-set SegEarth-OV3 меняется между train и inference, распределение $S_d$ нестационарно.

---

## 3. Таксономия методов слияния RGB + Seg

### 3.1 Четыре базовые оси

**Уровень слияния.** (1) _Input-level_ — канальный concat RGB⊕$S$ до patchification; редко применимо к DINOv3 из-за разрушения patch-embed weights. (2) _Early-token_ — после patchification, перед блоком 1. (3) _Mid-block_ — между блоками 1–24 ViT-L. (4) _Late_ — после `norm` из последнего блока. (5) _Loss-level_ — только auxiliary alignment losses без изменения forward-pass.

**Механизм.** Concat, sum, sigmoid-gating, **cross-attention** $\text{softmax}(QK^\top/\sqrt{d})V$ с $Q$=RGB, $K,V$=seg, **FiLM** $\gamma(S)\odot x + \beta(S)$, **adapter** $x + \sigma(W_{\text{down}}W_{\text{up}}x)$, **LoRA** $W + BA$ с $A\in\mathbb{R}^{r\times d}, B\in\mathbb{R}^{d\times r}, r\ll d$, prompt-injection (visual prompts concatenated to sequence), query-token resampling (Perceiver-style), **mask-pooled attention** $\tilde v_k = \text{softmax}(M_k),V$.

**Инвазивность.** Frozen + external adapter / partial unfreeze (last $N$ layers) / full fine-tune / co-training (shared-backbone).

**Симметрия.** Симметричные (оба потока равноправны, напр. CAT-Seg cost-volume) vs асимметричные (seg — modulator, напр. FiLM-conditioning).

### 3.2 Две новые оси, специфичные для SegEarth-OV3

**Представление семантики на входе.** (a) _Dense logits_ $S_d\in\mathbb{R}^{H\times W\times K}$ — самая богатая форма, но требует $K$-зависимого канала. (b) _Argmax-map_ $\in{0,\ldots,K-1}^{H\times W}$ — embedding-lookup стандартно. (c) _Binary mask stack_ $S_b$ — удобно для mask-pooled attention. (d) _Query-token embeddings_ — SegEarth-OV3 может отдавать presence-gated per-class embeddings как $M$ query-tokens, $M\ll N_{\text{patches}}$.

**Замкнутость semantic space.** _Closed-set_ — фиксированный $K$, что ограничивает vocabulary drift. _Open-vocabulary_ — prompt-set меняется при inference; требует prompt-independent fusion (например, seg подаётся как dense feature, не как one-hot).

### 3.3 Иерархическое представление

- Input-level → concat → closed-set (baseline, не-ViT-native) → **пример: ACNet 2019** (foundational).
- Early-token → prompt-injection → open-vocab → **пример: VPT 2022 + seg-prompts** (foundational).
- Mid-block → LoRA/adapter → open-vocab → **пример: SAM3-Adapter 2025, Mona 2024**.
- Mid-block → FiLM → closed-set → **пример: FiLM 2018** (foundational).
- Mid-block → cross-attention → open-vocab → **пример: CAT-Seg 2024, SED 2024**.
- Late → mask-pooled attention → open-vocab → **пример: FC-CLIP 2023, MaskCLIP++ 2024**.
- Co-training → shared backbone → open-vocab → **пример: ODISE 2023, SkySense V2 2025**.
- Loss-level → contrastive alignment → open-vocab → **пример: GeoRSCLIP + CKA-regularized distillation 2024**.

---

## 4. SOTA-методы (2024–2026)

### 4.1 ODISE [Xu et al., CVPR 2023 Highlight, `2303.04803`, NVlabs/ODISE]

Shared frozen Stable-Diffusion UNet-backbone + Mask2Former-style mask-generator + CLIP-classifier. Реально — **dual frozen provider**, а не shared-training, но вводит концепцию: diffusion-features содержат localized open-vocab knowledge. Trainable: 28.1 M. Ключ: implicit captioner для CLIP-conditioning diffusion.

$$ \tilde F_{\text{ODISE}}(I) = \text{DenoisingUNet}_{\theta^{\ast}}(I, c_{\phi}(I)), \quad c_{\phi}\text{ — learnable captioner.} $$

Метрики: ADE20K 23.4 PQ / 30.0 mIoU zero-shot при обучении только на COCO. **CVGL-tested: N**. Стоимость у teacher'а высокая (1.4 B params SD1.5). Формально это foundational reference для раздела co-training (§8).

### 4.2 FC-CLIP [Yu et al., NeurIPS 2023, `2308.02487`]

Single frozen convolutional CLIP-ConvNeXt-L: одновременно mask-generator и classifier. Mask-pooling over frozen CLIP features:

$$ e_k = \frac{\sum_{p\in M_k} F_p}{\sum_p M_{k,p}}, \quad p(c\mid M_k) \propto \exp(\langle e_k, t_c\rangle/\tau). $$

ADE20K 26.8 PQ; 6.6× быстрее ODISE. **CVGL-tested: N**. Критически важно для MERIDIAN: **парадигма frozen-provider с mask-pooling — прямой прототип SegEarth-OV3-as-upstream**. Совместимость с DINOv3: высокая, так как mask-pooling работает над любыми dense features, включая DINOv3 patch-tokens. Δparams ≈ 0 в teacher-backbone, mask-generator + projection ~30 M.

### 4.3 CAT-Seg [Cho et al., CVPR 2024, `2303.11797`, cvlab-kaist/CAT-Seg]

Cost-volume cross-attention над image⊕text embeddings CLIP. Cost-volume:

$$ C(p, c) = \cos!\left(F_{\text{img}}(p), F_{\text{txt}}(c)\right), \quad \tilde C = \text{Agg}_{\text{spatial}}\circ\text{Agg}_{\text{class}}(C). $$

Fine-tunes CLIP encoders; ViT-L/14 вариант, mIoU ADE20K-847 = 16.0. **CVGL-tested: N**. Стоимость: ~5 M params aggregation + full CLIP fine-tune. Применимость к паре A: CAT-Seg — симметричный template для RGB⊕Seg fusion, если рассматривать SegEarth-OV3 class-embeddings как «text side». Риск: full-FT разрушает DINO-объектив. Mitigation: LoRA-adapt CLIP текстовой ветви, frozen DINOv3.

### 4.4 SED [Xie et al., CVPR 2024]

Simple Encoder-Decoder для OVSS: hierarchical ConvNeXt-CLIP encoder + UNet-style decoder с feature-pyramid guidance. Формула decoder-fusion:

$$ F_{\ell-1}^{\text{dec}} = \text{Up}(F_{\ell}^{\text{dec}}) + \text{Conv}(F_{\ell}^{\text{enc}}) \odot \sigma(\text{Conv}(F_{\ell}^{\text{txt}})). $$

Важность для пары A: аналогичный side-decoder можно применить к DINOv3 как к encoder, подавая SegEarth-OV3-masks как $F^{\text{txt}}$-равнозначный сигнал на соответствующих уровнях.


### 4.5 MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP (семейство mask-attention)

**MaskCLIP++** [Zhou et al., `2208.12262` ext.] — модификация последнего attention-блока CLIP для dense prediction: replace `q⋅k^T` на `v⋅v^T`-based self-correlation. **SCLIP** [Wang et al., `2312.01597`, 2023] — correlative self-attention. **ProxyCLIP** [Lan et al., ECCV 2024] — использует DINO как proxy для reshaping CLIP attention. **CorrCLIP** — SAM-proxy attention rewriting. Ключевой формализм:

$$ \text{Attn}_{\text{rewrite}}(X) = \text{softmax}!\left(\frac{V V^\top}{\sqrt d}\right) V \quad\text{(MaskCLIP++, SCLIP)}. $$

Обычно training-free. Применимость: именно эти методы используются SegEarth-OV3 pipeline. Для teacher'а — можно воспроизвести ProxyCLIP-style attention-rewrite: DINOv3-self-attention как «structural prior», CLIP/SegEarth-OV3 как «semantic prior», результат — fused attention-map, который подаётся в последний блок teacher'a. **CVGL-tested: N.** Стоимость: 0 trainable params (training-free), inference +5–10 %.

### 4.6 SAM2/SAM3-Adapter + Mona [Chen et al., `2304.09148` / `2408.04579` / `2511.19425`; Li et al., `2408.08576`]

**SAM-Adapter** (ICCVW 2023) ввёл per-block task-prompts:

$$ P^{(i)} = \text{MLP}_{\text{up}}(\sigma(\text{MLP}_{\text{tune}}^{(i)}(F_{\text{task}}))), \quad x^{(i+1)} = \text{Block}^{(i)}!\left(x^{(i)} + P^{(i)}\right). $$

SAM2-Adapter и SAM3-Adapter (2024-2025) расширяют на hierarchical backbone SAM2/SAM3. **Mona-adapter** (Li et al., `2408.08576`) — multi-cognitive visual adapter с mixture convolutional filters для RS-specific instance-segmentation, +1.4 AP over LoRA. **Conv-LoRA** (Zhong et al., `2401.17868`) — injection conv-prior в LoRA-branch.

Критическое применение для пары A: DINOv3 блоки остаются frozen, в каждый вставляется Mona-style adapter, получающий на вход SegEarth-OV3-masks (через маленький conv-encoder 16→64→1024 ch). Δparams ≈ 2–5 M (r=8 LoRA + conv).

$$ x^{(i+1)} = x^{(i)} + \underbrace{\text{Block}^{(i)}_{\theta^{\ast}}(x^{(i)})}_{\text{frozen}} + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \underbrace{W^{(i)}_{\text{seg}},\phi_{\text{conv}}(S)}_{\text{Mona-injection}}. $$

### 4.7 SkySense / SkySense V2 / SkySense++ [Wu/Guo et al., CVPR 2024 / ICCV 2025 / NMI 2025]

SkySense V2 (`2507.13812`, Jul 2025) — unified transformer backbone для MS + SAR + HR-optical, 665 M params (vs 1.26 B у SkySense), Adaptive Patch Merging (APM), learnable modality prompts, MoE. Pretraining — query-based attention + multi-granularity contrastive. **SkySense++** (NMI 2025) добавляет semantic-enhanced pretraining на RS-Semantic (13 датасетов, pixel-level). SOTA на LoveDA 56.1 mIoU, iSAID ≈ 72 mIoU. Для пары A важно: SkySense V2 показывает, что shared-backbone + modality-prompt token — работающий RS-нативный аналог ODISE, с +1.8 pp vs SkySense на 16 датасетах.

$$ X_{\text{mod}} = \text{Attn}([P_{\text{mod}}; X_{\text{img}}]), \quad P_{\text{mod}}\in\mathbb{R}^{n_p\times C}\text{ — learnable mod-prompts.} $$

### 4.8 FeatUp / JAFAR / AnyUp + Perceiver-Resampler [Fu'24; Couairon'25; Wimmer'25]

**FeatUp** (ICLR 2024, `2403.10516`) — model-agnostic feature upsampler (JBU stack или implicit), multi-view consistency loss. Используется SegEarth-OV (CVPR 2025 Oral) как SimFeatUp. **LoftUp** (ICCV 2025 oral, `2504.14032`) — coordinate-based cross-attention-upsampler с SAM-mask pseudo-GT. **JAFAR** (NeurIPS 2025, `2506.11136`) — Spatial Feature Transform modulation + attention. **AnyUp** (`2510.12764`, Oct 2025) — **feature-agnostic**: обучена один раз, работает на DINOv2/v3, CLIP, SigLIP без retrain. Для пары A: AnyUp — единственный метод, который бесплатно поддерживает multiple backbones одновременно.

**Perceiver Resampler** (Flamingo, `2204.14198`): learnable queries $Q\in\mathbb{R}^{M\times C}$ cross-attendают в $N$ токенов, $M\ll N$:

$$ \tilde X = \text{softmax}!\left(\frac{QK^\top}{\sqrt d}\right)V,\quad K,V = X_{\text{src}}W_{k,v}. $$

Для пары A: идеален как 14↔16 grid-bridge, если MERIDIAN вынужденно останется на DINOv2 ViT-L/14. Стоимость 1 layer cross-attn ≈ 4 M params при $C{=}1024$.

### 4.9 CVGL-specific methods 2024-2026 с семантическими сигналами

Таблица 2 — CVGL SOTA с указанием использования сегментации.

|Метод|Год/Venue|Backbone|Uses-Seg|R@1 U-1652 D→S|Notes|
|---|---|---|---|---|---|
|Sample4Geo [Deuser'23] `2303.11851`|ICCV'23|ConvNeXt-B|N|92.65|GPS-sampling + DSS|
|MCCG [Shen'24]|TCSVT'24|ConvNeXt-B|N|93.9|multi-classifier|
|DAC [Xia'24]|2024|ConvNeXt|N|94.7|domain alignment|
|Game4Loc [Ji'25] `2409.16925`|AAAI'25 Oral|ViT-B/16 RoPE|N|— (new bench)|weighted InfoNCE|
|MEAN [2024] `2412.14819`|2024|ConvNeXt-T|N|96.25 (200m SUES)|multi-level alignment|
|CAMP [Wu'24]|TGRS'24|ConvNeXt-B|partial (position-aware)|94.6|contrastive attribute|
|GLQINet [2025] Sci.Rep.|2025|ConvNeXt-S|partial (quadrant)|95.2|quadrant attention|
|GLEAM-C [2025] `2509.07450`|2025|ConvNeXt-B / PE-L/14|N|≈ 96|multi-dataset|
|PFED-distill [2025] `2510.22582`|2025|DINOv2-B teacher → ConvNeXt-T student|N|≈ 95|_hierarchical distillation_|
|Geo² [2025] `2603.25819`|2025|VGGT + DINOv2 + Sample4Geo|**partial (geometry+semantics)**|—|geometry-guided|
|Scale-Aware [2025] `2603.07535`|2025|ViT + semantic-geometric|**Y** (explicit seg)|—|scale-aware seg-guidance|
|Learnable-Query-Aggreg. [2025] `2512.23938`|2025|DINOv2-L + conv-adapter|N|≈ 96|KV-routing, conv-adapter|
|CLIP-driven CVGL [RefineGate 2024]|2024 TGRS|CLIP|**Y (text-semantic)**|—|semantic branches in CL|

**Ключевой вывод.** На апрель 2026 только ≈2-3 CVGL-метода напрямую используют semantic segmentation как modality (Scale-Aware, Geo², CLIP-driven RefineGate). Большинство top-результатов держатся на ConvNeXt-B backbone + contrastive (InfoNCE/DSS). DINOv2/v3-based CVGL-методы начинают появляться в 2025 (PFED, Learnable-Query-Aggreg.), что делает нашу работу **новой нишей**: teacher-DINOv3 + SegEarth-OV3-LUPI не имеет прямых конкурентов.

---

## 5. Критический анализ (метод-за-методом)

Оценочная шкала: `−` неприемлемо, `0` нейтрально, `+` хорошо, `++` оптимально.

### 5.1 ODISE (co-training reference)

|Критерий|Оценка|Комментарий|
|---|---|---|
|Совместимость frozen DINOv3-L|`−`|требует shared-backbone, не frozen|
|Сохранность DINO-представлений|`−`|Gram-anchoring ломается при co-training|
|Инвазивность|`−`|full fine-tune shared backbone|
|Distillability-потенциал в CNN-student|`0`|SD1.5-features не ViT-specific, но тяжёлые|
|Совместимость с LUPI|`+`|teacher может потреблять дополнительные модальности|
|Устойчивость к missing modality|`0`|требует CLIP + SD оба|
|Patch-size robustness|`+`|SD UNet не ViT, patch-size irrelevant|
|Поддержка dense+binary seg|`+`|обе через Mask2Former head|
|Co-training с SegEarth-OV3|`++`|direct fit|
|Воспроизводимость|`+`|NVlabs/ODISE, CC-BY-NC|
|CVGL-tested|`N`|—|

### 5.2 FC-CLIP (frozen-provider paradigm)

|Критерий|Оценка|Комментарий|
|---|---|---|
|Совместимость frozen DINOv3-L|`++`|mask-pooling не требует unfreeze|
|Сохранность DINO-представлений|`++`|zero drift|
|Инвазивность|`++`|только decoder-head|
|Distillability|`++`|CNN-student может имитировать mask-pooled descriptors|
|LUPI|`++`|каноническая LUPI-схема|
|Missing modality|`+`|fallback к RGB-only работает|
|Patch-size robustness|`++`|mask-pooling агностичен к grid|
|Dense+binary|`++`|оба|
|Co-training|`0`|нужен только upstream|
|Воспроизводимость|`++`|✓|
|CVGL-tested|`N`|adaptation required|

### 5.3 CAT-Seg

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`0`|cost-volume над frozen features возможен, но обычно fine-tune|
|Сохранность DINO|`0`|при frozen — `+`, при FT — `−`|
|Инвазивность|`0`|aggregation module 5-10 M + optional FT|
|Distillability|`+`|cost-volume можно distill как cross-correlation|
|LUPI|`+`|cost-volume ~ LUPI-friendly|
|Missing modality|`−`|требует text side|
|Patch-size robust|`−` на L/14 / `+` на L/16|mismatch critical|
|Dense+binary|`+`|dense native, binary через soft-hard|
|Co-training|`+`|end-to-end LoRA возможна|
|Воспроизводимость|`++`|✓|
|CVGL-tested|`N`||

### 5.4 SED

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`+`|side-decoder|
|Сохранность DINO|`+`|drift только в FPN-слоях|
|Инвазивность|`+`|decoder 10-20 M|
|Distillability|`+`|FPN-descriptor передаётся|
|LUPI|`+`||
|Missing modality|`+`|fallback OK|
|Patch-size robust|`+`|hierarchical decoder|
|Dense+binary|`+`||
|Co-training|`+`||
|Воспроизводимость|`+`|✓|
|CVGL-tested|`N`||

### 5.5 SAM3-Adapter + Mona

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`++`|adapter-injection, backbone полностью frozen|
|Сохранность DINO|`++`|adapter residual, ΔCKA оценочно < 0.05|
|Инвазивность|`++`|2-5 M params|
|Distillability|`+`|adapter-descriptor transferable|
|LUPI|`++`|native fit|
|Missing modality|`++`|zeroing adapter — fallback|
|Patch-size robust|`+`|adapter-conv агностичен|
|Dense+binary|`++`|conv-encoder на вход принимает оба|
|Co-training|`+`|joint adapter+upstream LoRA|
|Воспроизводимость|`++`|SAM3-Adapter код released Nov 2025|
|CVGL-tested|`N`||

### 5.6 MaskCLIP++ / ProxyCLIP / CorrCLIP

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`++`|training-free attention rewrite|
|Сохранность DINO|`+`|заменяет last-block attn, ΔCKA на последнем слое|
|Инвазивность|`++`|0 trainable|
|Distillability|`0`|attention-pattern hard to distill to CNN|
|LUPI|`+`||
|Missing modality|`+`|fallback к vanilla attn|
|Patch-size robust|`++`||
|Dense+binary|`+`|dense native|
|Co-training|`−`|training-free противоречит co-training|
|Воспроизводимость|`++`||
|CVGL-tested|`N`||

### 5.7 SkySense V2 / SkySense++

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`−`|требует свой backbone, не DINOv3|
|Сохранность DINO|`−`|другой objective|
|Инвазивность|`−`|full pretraining required|
|Distillability|`+`|dense features transferable|
|LUPI|`+`|MS+SAR+HR — естественная privileged set|
|Missing modality|`++`|modality-prompt tokens|
|Patch-size robust|`++`|APM|
|Dense+binary|`+`||
|Co-training|`++`|native|
|Воспроизводимость|`+`|code released|
|CVGL-tested|`N`|только generic RS|

### 5.8 FeatUp / AnyUp + Perceiver Resampler

|Критерий|Оценка|Комментарий|
|---|---|---|
|Frozen DINOv3-L|`++`|post-hoc feature upsampling|
|Сохранность DINO|`++`|features остаются неизменными|
|Инвазивность|`++`|1-10 M params|
|Distillability|`+`|upsampler-free distillation возможна|
|LUPI|`+`||
|Missing modality|`++`||
|Patch-size robust|`++`|**ключевое преимущество**|
|Dense+binary|`++`||
|Co-training|`0`||
|Воспроизводимость|`++`|AnyUp released Oct 2025|
|CVGL-tested|`N`||

---

## 6. Сравнительная таблица пары A (итоговая)

|Method|Year|Venue|Domain|Mechanism|Input fmt|Δparams|FT depth|CVGL-tested|Distillability|Patch robust|**Priority**|
|---|---|---|---|---|---|---|---|---|---|---|---|
|ODISE|2023|CVPR|generic|shared-backbone|dense+bin|28 M + 1.4 B SD|full co-train|N|0|+|4|
|FC-CLIP|2023|NeurIPS|generic|mask-pooled attn|binary|30 M|decoder only|N|++|++|**1**|
|CAT-Seg|2024|CVPR|generic|cost-volume + cross-attn|dense|5-10 M + LoRA|LoRA|N|+|+/−|3|
|SED|2024|CVPR|generic|FPN side-decoder|dense|10-20 M|decoder+LoRA|N|+|+|3|
|MaskCLIP++/ProxyCLIP|2024|ECCV|generic/RS|attn-rewrite|dense|0|training-free|N|0|++|3|
|**SAM3-Adapter + Mona**|2025|arXiv/TGRS|RS/generic|LoRA+adapter-injection|dense+bin|2-5 M|LoRA only|N|+|+|**2**|
|SkySense V2/++|2025|ICCV/NMI|RS|shared-backbone|dense|665 M (own BB)|full pretrain|N|+|++|5|
|FeatUp/AnyUp + Perceiver|2024-2025|ICLR/NeurIPS|generic|feature resampling|dense+bin|1-10 M|FT-free|N|+|++|2|

**Priority 1** — основной рекомендуемый метод для MERIDIAN. **Priority 2** — дополнение/fallback. **Priority 3-4** — исследовательские ablations. **Priority 5** — не подходит (несовместимость backbone).

---

## 7. Patch-size alignment strategies

Этот раздел имеет смысл **только** при fallback к DINOv2 ViT-L/14. При использовании DINOv3 ViT-L/16 + SegEarth-OV3 (PE-L+ @1008, stride-16) grids **уже выровнены** → resampling не требуется.

### 7.1 Bilinear/Bicubic upsample

Стандартный baseline. На тонких структурах (roads, power lines) даёт aliasing: SegEarth-OV (Fig. 2) и IARU-Net 2025 показывают distortion масок на линейных объектах с IoU-drop 3-10 pp. Для UAV с GSD ~0.5 м bilinear teacher-features на дорогах (ширина 1-2 px) ломает geometrical consistency. **Не рекомендуется** для дорог/ЛЭП.

### 7.2 Learnable token resampler (Perceiver-style / Q-Former)

Cross-attention module с M learnable queries на целевой сетке (16×16 = 256 queries для stride-16): $$ \tilde X_{16} = \text{softmax}(Q_{16}K_{14}^\top/\sqrt d)V_{14}, \quad |Q_{16}|=256,,|K_{14}|=256. $$ Стоимость: 1 layer ≈ 4 M params, inference +3-5 %. Преимущество: сохраняет edges, learnable. **Рекомендуется** если DINOv2 L/14 остаётся backbone.

### 7.3 FlexiViT PI-resize

Beyer et al. CVPR 2023 (`2212.08013`). Pseudo-inverse resize kernel patch-embed: $\tilde W = W,P^{+}$. Zero inference-cost, но требует либо FlexiViT-pretrained backbone, либо short fine-tune. Теряет 0.5-2 pp ImageNet при naive application. Для MERIDIAN: применимо как **one-time convert** DINOv2 L/14 → виртуальный L/16.

### 7.4 Dual-patch-size DINOv3 finetuning

Жизнеспособно, но дорого: 10-50 GPU-days для full re-pretrain. Не оправданно на фоне доступных alternatives.

### 7.5 Frozen-feature projection vs feature-space resampling

**FeatUp / LoftUp / JAFAR / AnyUp** — upsample feature-maps до пиксельного разрешения, затем fuse в pixel-space. AnyUp (Oct 2025, `2510.12764`) работает feature-agnostic, без retrain per-backbone — **оптимальный выбор при mixing DINOv3+SAM+CLIP**. Δparams ~10 M, latency comparable to bilinear.

**Рекомендация MERIDIAN.** Идти на DINOv3 ViT-L/16 — устраняет mismatch вовсе; использовать AnyUp только для pixel-level fusion dense-features с SAM3-masks при необходимости.

---

## 8. Co-training SegEarth-OV3 + DINOv3 vs Frozen-provider

### 8.1 Frozen-provider (FC-CLIP-подобная парадигма)

SegEarth-OV3 полностью зафиксирован; его dense logits $S_d$ и binary stacks $S_b$ кешируются offline. DINOv3 остаётся frozen, обучаются только (a) адаптеры Mona в блоках 18-24, (b) projection-MLP seg→feature, (c) decoder-head для CVGL.

**Плюсы.** (i) Модульность: upstream можно менять (SegEarth-OV3 → SkySense++) без re-train teacher. (ii) Reproducibility: статический upstream → deterministic features. (iii) Нулевой risk negative transfer в DINOv3. (iv) Offline mask-caching радикально снижает training latency.

**Минусы.** (a) Domain gap: SegEarth-OV3 использует CLIP-aligned PE-L+, а DINO пространство ортогонально (CKA < 0.3 гипотетически). (b) Невозможность co-evolution: ошибки SegEarth-OV3 (prompt-set drift, false positives) транслируются без возможности correction.

### 8.2 Co-training (ODISE/SkySense-V2 path)

SegEarth-OV3 и DINOv3 делят части backbone или тренируются совместно с multi-task loss: $$ \mathcal{L} = \lambda_{\text{CVGL}} \mathcal{L}_{\text{InfoNCE}} + \lambda_{\text{seg}} \mathcal{L}_{\text{CE/Dice}} + \lambda_{\text{DINO}} \mathcal{L}_{\text{Gram-anchor}}. $$

**Плюсы.** (i) Feature alignment RGB⊕seg. (ii) Возможность propagation gradient'a CVGL-loss в upstream (fine-tune PE-L+). (iii) Estate-of-art на RS-foundation (SkySense V2 +1.8 pp).

**Минусы.** (a) _Negative transfer_: seg-задача (dense pixel-CE) и CVGL-задача (image-level retrieval) имеют разные gradient-направления; без GradNorm/PCGrad одна подавит другую. (b) _Loss of DINO universality_: Gram-anchoring нарушается, если unfreeze > 4 последних блоков. (c) 3-10× training cost.

### 8.3 Практические гибриды

(1) **LoRA-based co-training**: обе ветви имеют backbone frozen, trainable — только LoRA-adapters $r=8$ в last 6 блоках. $\Delta$ params ≈ 10 M. Совмещает модульность frozen-provider с небольшой co-evolution.

(2) **Staged training**: этап 1 — frozen SegEarth-OV3 + frozen DINOv3, trained only fusion-decoder 10 epochs. Этап 2 — unfreeze LoRA last 4 blocks DINOv3, train 5 epochs с малым LR. Этап 3 (optional) — joint LoRA both.

(3) **Multi-task loss balancing**: **GradNorm** (Chen'18, `1711.02257`) с adaptive weights; **PCGrad** (Yu'20, `2001.06782`) gradient surgery для проекции conflicting gradients; **CAGrad** (Liu'21, `2110.14048`) conflict-averse. Для MERIDIAN рекомендуется PCGrad: минимизирует negative interference при низком compute overhead.

(4) **CKA-regularization**: добавить regularizer $\mathcal{L}_{\text{CKA}} = -\text{CKA}(F_{\theta}, F_{\theta^{\ast}})$ на последних блоках, где $\theta^{\ast}$ — frozen reference DINOv3. Это эмпирический штраф за DINO-drift, измеряемый по Kornblith'19 (`1905.00414`).

**Итоговая рекомендация.** Для MERIDIAN-A: **staged LoRA-hybrid** — начать с frozen-provider (phase 1), затем LoRA-co-training last 4 blocks под PCGrad (phase 2). Это сохраняет distillability и минимизирует negative transfer.

---

## 9. Рекомендация для DINOv3-teacher по паре A

### Топ-2 метода

**Выбор 1 (основной): FC-CLIP-style frozen-provider + mask-pooled attention + SAM3-Adapter/Mona LoRA-injection.**

_Место интеграции._ SegEarth-OV3 — frozen provider. Binary mask stacks $S_b\in{0,1}^{H\times W\times K}$ (K ≈ 17-32 для RS) подаются через conv-encoder $\phi:H\times W\times K\to H/16\times W/16\times 256$ в Mona-adapter inside blocks **20-24** DINOv3 ViT-L/16. Для retrieval-head — mask-pooled feature descriptors: $$ e_k = \frac{1}{\sum M_k}\sum_p M_{k,p},F_p^{\text{DINOv3}}, \quad F_{\text{final}} = \text{concat}_k!\left(e_k\right) W_{\text{proj}}. $$

_Fine-tune режим._ Frozen DINOv3 backbone; trainable — только Mona-LoRA (r=8, 4 blocks, ~3 M) + retrieval-projection (~1 M) + optional SegEarth-OV3 PE-L+ LoRA (~5 M). Total Δparams ≈ 5-10 M.

_Интеграция с Multi-FiLM-Fusion (пара D, text)._ FiLM-параметры $(\gamma_t, \beta_t)$ из text-branch и Mona-adapter composable по аддитивной residual-схеме: $$ x^{(i+1)} = x^{(i)} + \text{Block}_{\theta^{\ast}}^{(i)}(x^{(i)}) + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \gamma_t^{(i)}\odot\phi_{\text{seg}}(S)^{(i)} + \beta_t^{(i)}. $$

Это сохраняет симметрию обращения с text⊕seg и не требует отдельной re-integration.

**Выбор 2 (дополнительный, для ablations): SED-style FPN side-decoder + AnyUp upsampling в pixel-space.**

_Место интеграции._ Dense logits $S_d$ подаются в side-decoder, принимающий DINOv3 intermediate features из блоков {6, 12, 18, 24}. Через hierarchical UNet с skip-connections и AnyUp-upsampling до пиксельного разрешения производится pixel-level fusion.

_Fine-tune режим._ Frozen DINOv3; trainable — side-decoder (~15 M) + AnyUp (~10 M). Этот вариант оптимален для **depth-pair B** и служит baseline-comparison для **выбора 1**.

### Фальсифицируемые гипотезы

**H_fus_A_1 (главная).** Frozen-provider (SegEarth-OV3) + Mona-LoRA-injection в блоки 20-24 DINOv3 ViT-L/16 + mask-pooled descriptor даёт **ΔR@1 ≥ 2.5 %** на University-1652 drone→satellite относительно Sample4Geo ConvNeXt-B baseline (R@1 = 92.65 %), одновременно сохраняя **distillability-score ≥ 0.85** (определяемый как R@1 CNN-student, обученного через CKA+InfoNCE distillation, нормализованный к R@1 teacher), при **Δparams ≤ 10 M**. Проверка: CKA-sweep по слоям 12-24 (expected ΔCKA last-block ≤ 0.05 vs vanilla DINOv3) и bootstrap CI по 1000 samples. _Основание для величины 2.5 %: +1-2 pp дают прямые ViT-upgrade в CVGL (Learnable-Query-Aggreg., 2025), семантическая модальность в LUPI-сценариях добавляет ещё ~1-2 pp по аналогии с FC-CLIP transfer gains._

**H_fus_A_2.** При использовании DINOv3 ViT-L/16 вместо DINOv2 ViT-L/14 + Perceiver-resampler, R@1 на University-1652 **не упадёт более чем на 0.5 %** благодаря Gram-anchoring и native stride-16 alignment с SegEarth-OV3. Проверка: ablation {DINOv2/14+Perceiver, DINOv3/16 direct} при идентичных остальных компонентах.

**H_fus_A_3.** Co-training (stage-2 PCGrad LoRA both DINOv3 and PE-L+) даёт **ΔR@1 ≤ +0.5 %** дополнительно к H_fus_A_1, но **увеличит distillability-loss ≥ 0.10** за счёт drift unique-to-teacher features. Это означает, что чистый frozen-provider — Pareto-оптимальный выбор для LUPI-CVGL в MERIDIAN, а co-training оправдан только если R@1-gain приоритетнее student-performance.

**H_fus_A_4 (вспомогательная).** Binary mask-stack представление при $K=17$ (стандартный SegEarth-OV3 protocol) даёт **ΔR@1 ≥ +0.7 %** по сравнению с argmax-map с embedding-lookup, так как сохраняет class-uncertainty в overlap regions. Проверка: ablation input-format при фиксированной fusion-архитектуре.

---

## 10. Риски и ограничения пары A

**Negative transfer.** Co-training SegEarth-OV3 ⊕ DINOv3 без PCGrad / CKA-regularization с вероятностью > 50 % (оценка по аналогии с FC-CLIP Tab. 4 и Kornblith'19) приведёт к падению ADE20K-feature-quality DINOv3 на 3-7 pp. _Mitigation:_ staged LoRA-hybrid + PCGrad + $\mathcal{L}_{\text{CKA}}$-regularizer.

**Modality competition.** RGB-ветвь эволюционно сильнее (DINOv3 pretrained на 1.689 B images); seg-сигнал рискует быть проигнорирован в early training. _Mitigation:_ seg-dropout schedule (gradual-unlocking) и independent seg-projection head с distinct contrastive loss.

**Feature drift.** Full fine-tune DINOv3 разрушит Gram-anchoring и универсальность features → student сможет distill только CVGL-specific patterns. _Mitigation:_ frozen backbone + LoRA-only + CKA-monitor.

**Upstream dependency.** SegEarth-OV3 качество масок имеет variance до 15 pp mIoU между классами (roads 49.6 IoU vs buildings 86.9 IoU). _Mitigation:_ per-class reliability-weighting mask-pooled descriptors.

**Distillability regression.** Чем сложнее teacher-fusion, тем выше риск ViT-specific patterns, которые CNN-student (<5M) не воспроизведёт. _Mitigation:_ constrain teacher-architecture к mask-pooled descriptors (a-la FC-CLIP) — они архитектура-агностичны.

**Open-vocabulary prompt drift.** Prompt-set SegEarth-OV3 меняется между train/inference → неустойчивость распределения $S_d$. _Mitigation:_ freeze prompt-set на train и inference; либо dense-feature-based fusion без prompts вовсе.

**Patch-size artifacts.** Только при DINOv2 L/14. _Mitigation:_ переход на DINOv3 L/16 или Perceiver-resampler.

**Latency у teacher.** SAM 3 + PE-L+ @1008×1008 + DINOv3 ViT-L/16 вместе ≈ 25-30 GFLOPs на изображение. _Mitigation:_ offline mask-caching делает это non-issue для train-time; inference-time у teacher'а не критичен в LUPI.

---

## Что предстоит проверить на следующем этапе (пара B, RGB+Depth)

Пара A установила, что для LUPI-CVGL оптимальна **frozen-provider + LoRA-injection + mask-pooled descriptor** схема с сохранением DINO-objective через Gram-anchoring. Эти findings переносимы на пару B (RGB⊕Depth), но с тремя критическими отличиями. Во-первых, depth из Metric3D v2 / Depth Anything v2 / UniDepth — это continuous-valued H×W×1 tensor, не discrete semantic, поэтому mask-pooling неприменим — потребуется либо FiLM-modulation (depth → γ,β), либо depth-as-query в cross-attention. Во-вторых, depth и RGB имеют гораздо меньший modality-gap, чем RGB и CLIP-aligned seg, поэтому риск negative transfer при co-training ниже, а вероятность дополнительного R@1-gain выше — стоит рассмотреть более агрессивную LoRA-unfreeze. В-третьих, depth геометрически информативен, что особенно ценно для UAV: следует проверить Geo² (`2603.25819`) и Scale-Aware CVGL (`2603.07535`) как прямые baselines, и гипотезу H_fus_B_1, что depth-fusion даёт большее ΔR@1 на SUES-200 (multi-height) чем на University-1652 (fixed height), именно за счёт depth-provided scale invariance.

Для пары B также критически важно проверить совместимость DINOv3 ViT-L/16 с depth-foundation-models: если UniDepth использует stride-16, grid-alignment сохраняется; если Metric3Dv2 — stride-14, понадобится AnyUp или Perceiver-resampler. Эта связка между парами A и B (общий resampler, общая Mona-adapter-архитектура, общий staged-training recipe) позволит MERIDIAN переиспользовать 80% infrastructure между двумя privileged modalities.

---

### Краткий библиографический указатель

- Siméoni et al. DINOv3. arXiv:2508.10104 (2025).
- Li et al. SegEarth-OV3. arXiv:2512.08730 (2025). github.com/earth-insights/SegEarth-OV-3
- Li et al. SegEarth-OV. CVPR 2025 Oral. arXiv:2410.01768.
- Xu et al. ODISE. CVPR 2023. arXiv:2303.04803.
- Yu et al. FC-CLIP. NeurIPS 2023. arXiv:2308.02487.
- Cho et al. CAT-Seg. CVPR 2024. arXiv:2303.11797.
- Xie et al. SED. CVPR 2024.
- Chen et al. SAM-Adapter (ICCVW'23, arXiv:2304.09148), SAM2-Adapter (arXiv:2408.04579), SAM3-Adapter (arXiv:2511.19425).
- Li et al. MC-SAM + Mona. arXiv:2408.08576 (2024).
- Zhong et al. Conv-LoRA. arXiv:2401.17868 (2024).
- Zhou et al. MaskCLIP / MaskCLIP++. arXiv:2208.12262.
- Wang et al. SCLIP. arXiv:2312.01597 (2023).
- Lan et al. ProxyCLIP. ECCV 2024.
- Fu et al. FeatUp. ICLR 2024. arXiv:2403.10516.
- Huang et al. LoftUp. ICCV 2025 Oral. arXiv:2504.14032.
- Couairon et al. JAFAR. NeurIPS 2025. arXiv:2506.11136.
- Wimmer et al. AnyUp. arXiv:2510.12764 (2025).
- Alayrac et al. Flamingo / Perceiver Resampler. NeurIPS 2022. arXiv:2204.14198.
- Li et al. BLIP-2 / Q-Former. ICML 2023. arXiv:2301.12597.
- Beyer et al. FlexiViT. CVPR 2023. arXiv:2212.08013.
- Dehghani et al. NaViT. NeurIPS 2023. arXiv:2307.06304.
- Guo et al. SkySense. CVPR 2024.
- Zhang et al. SkySense V2. ICCV 2025. arXiv:2507.13812.
- Wu et al. SkySense++. Nat. Mach. Intell. 2025. doi:10.1038/s42256-025-01078-8.
- Shabbir et al. GeoPixel. ICML 2025. arXiv:2501.13925.
- Bolya et al. Perception Encoder. arXiv:2504.13181.
- Carion et al. SAM 3. arXiv:2511.16719.
- Zheng et al. University-1652. ACM MM 2020.
- Deuser et al. Sample4Geo. ICCV 2023. arXiv:2303.11851.
- Ji et al. Game4Loc / GTA-UAV. AAAI 2025 Oral. arXiv:2409.16925.
- Xu et al. UAV-VisLoc. arXiv:2405.11936 (2024).
- Learnable-Query-Aggregation CVGL. arXiv:2512.23938 (2025).
- PFED-distill CVGL. arXiv:2510.22582 (2025).
- Geo² CVGL. arXiv:2603.25819 (2025).
- Scale-Aware CVGL. arXiv:2603.07535 (2025).
- Kornblith et al. CKA. ICML 2019. arXiv:1905.00414.
- Chen et al. GradNorm. ICML 2018. arXiv:1711.02257.
- Yu et al. PCGrad. NeurIPS 2020. arXiv:2001.06782.
- Liu et al. CAGrad. NeurIPS 2021. arXiv:2110.14048.