fuze_task/docs/02_references/03_segmentation/REVIEW_segmentation_pairA.md

type, status, date, tags, related, author

type	status	date	tags	related	author
review	active	2026-04-20	fusion teacher pair-A segmentation dinov3 segearth-ov3 mona-lora priority/high	../00_overall/SPEC_fusion_ACF_MERIDIAN ../../01_teacher/SPEC_teacher_v2_dual_teacher ANALYSIS_segformer_vs_segearth	claude

Слияние RGB + Semantic Segmentation для DINOv3-teacher в MERIDIAN

Обзор пары A: 8 методов слияния RGB + Seg для teacher-стороны (на базе SegEarth-OV3) с DINOv3 ViT-L/16. Покрывает все уровни и механизмы fusion.

0. Микроплан

Для teacher-стороны пары A (RGB ⊕ Seg на базе SegEarth-OV3) отбираются восемь методов, покрывающих весь спектр уровней и механизмов слияния. Выбор оптимизирован под DINOv3 ViT-L/16 как приоритетную опцию с запасным вариантом DINOv2 ViT-L/14 (см. §2, замечание о patch-size).

1. ODISE (Xu et al., CVPR 2023, 2303.04803) — foundational baseline для co-training shared-backbone схемы, задаёт верхнюю границу риска negative transfer.
2. FC-CLIP (Yu et al., NeurIPS 2023, 2308.02487) — foundational canonical frozen-provider + mask-pooled attention; прямой прототип SegEarth-OV3-as-frozen-upstream.
3. CAT-Seg (Cho et al., CVPR 2024, 2303.11797) — cost-volume cross-attention как механизм симметричного слияния image⊕text через аффинитет.
4. SED (Xie et al., CVPR 2024) — иерархический encoder-decoder с feature-pyramid seg-guidance; близко к inserting-in-blocks варианту.
5. SAM2/SAM3-Adapter + Mona-adapter (Chen et al., ICCVW 2023 / arXiv 2024-2025, 2304.09148, 2408.04579, 2511.19425, 2408.08576) — канонический LoRA/side-adapter путь для инъекции seg-сигнала во frozen ViT.
6. MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP (2023-2025) — token-level mask-attention modification; прямой прототип для mask-pooled attention через SegEarth-OV3-маски.
7. SkySense++ / SkySense V2 (Wu et al., Nat. Mach. Intell. 2025 / Zhang et al., ICCV 2025, 2507.13812) — RS-specific shared-backbone с семантическим pretraining; RS-нативный аналог ODISE.
8. FeatUp / JAFAR / AnyUp + Perceiver-Resampler (ICLR 2024 / NeurIPS 2025 / arXiv 2510.12764) — learnable feature-space resampler; опорный блок для patch-size alignment и late-fusion в пиксельном пространстве.

Дополнительно как teacher-side reference используется DINOv3 SAT-493M backbone (Siméoni et al., 2508.10104, Meta FAIR, Aug 2025) и GeoPixel (Shabbir et al., ICML 2025, 2501.13925) как RS-grounded LMM.

---

1. Обзор upstream-провайдеров масок (open-vocabulary RS segmentation)

SegEarth-OV3 (Li et al., arXiv 2512.08730, Dec 2025) — baseline MERIDIAN — построен на SAM 3 с Perception Encoder Large+ (PE-L+) (Bolya et al., 2504.13181), входное разрешение 1008×1008, stride-16. Ключевая особенность: training-free inference на основе двух голов SAM 3 (semantic head + Transformer-decoder instance head) с dual-head mask fusion и presence-guided filtering. Выходной формат: dense per-class probability maps (17 классов в основном протоколе, open-vocabulary по text prompts). mIoU усреднённо по 8 RS-датасетам 53.4 % против 40.7 % у CorrCLIP и 39.1 % у CAT-Seg. Building extraction на WHU-Aerial достигает 86.9 % IoU (+37.7 пп к SegEarth-OV). Cityscapes — 69.7 мIoU (+18.6 пп к предыдущему SOTA). Код: github.com/earth-insights/SegEarth-OV-3.

Таблица 1 — сравнение альтернатив. Все оценки — либо из оригинальных статей, либо из SegEarth-OV3 Tab. 1.

Провайдер	Год/Venue	Backbone	Patch	Выходы	mIoU RS (avg)	Обуч.-free	Co-train	Совм. с DINOv3/16	Код/веса
SegEarth-OV3 [Li'25] 2512.08730	2025 arXiv	SAM 3 + PE-L+	16	dense + binary	53.4	✓	косвенно (LoRA на PE-L+)	нативно	Apache, полные
SegEarth-OV [Li'24] 2410.01768	CVPR'25 Oral	CLIP-ViT-B/16 + SimFeatUp	16	dense	34.2	✓	✓	нативно	✓
Grounded-SAM2 [Ren'24] 2401.14159	arXiv 2024	GroundingDINO + SAM2-Hiera	16	binary stack	~37 (RS)	частично	—	нативно	✓
EVF-SAM [Zhang'24] 2406.20076	arXiv 2024	BEiT-3 + SAM	16	binary	~40 (generic)	—	✓	нативно	✓
CAT-Seg [Cho'24] 2303.11797	CVPR'24	CLIP-ViT-B/16 или L/14	14 (L)	dense	39.1 (RS tuned)	—	✓	mismatch если L/14	✓
SED [Xie'24]	CVPR'24	ConvNeXt-L + CLIP	16 (conv)	dense	~38	—	✓	нативно	✓
OVSeg [Liang'23] 2210.04150	CVPR'23	CLIP-ViT-L/14	14	dense	~30	—	—	mismatch	✓
RSPrompter [Chen'23] 2306.16269	TGRS 2024	SAM-ViT-H (stride-16)	16	instance masks	—	—	частично	нативно	✓
SkySense / SkySense++ [Wu'25] — NMI 2025	2024-25	Swin-H + ViT-L (MS/SAR)	16	dense	SOTA на LoveDA 56.1	—	✓ (pretrain)	частично	✓
SkySense V2 [Zhang'25] 2507.13812	ICCV'25	Unified ViT + MoE + APM	16	dense	+1.8 vs SkySense	—	✓	✓	✓
GeoPixel [Shabbir'25] 2501.13925	ICML'25	CLIP-ViT + pLoRA LLM + grounding	14/16	mask via [SEG] tok.	— (grounding)	—	—	частично	✓
ProxyCLIP/CorrCLIP [2024]	ECCV'24/25	CLIP + DINO/SAM proxies	16	dense	40.7	✓	✓	✓	✓
MaskCLIP++ [Zhou'22/24] 2208.12262	ECCV'22 ext.	CLIP-ViT-B/16	16	dense	—	✓	—	нативно	✓
Prithvi-EO-2.0 [IBM/NASA'24]	arXiv 2024	ViT-L (HLS)	16	dense (task head)	—	—	✓	✓	✓
SpectralGPT [Hong'24]	TPAMI 2024	3D-MAE ViT	16	dense	—	—	✓	✓	✓

Ключевой вывод. SegEarth-OV3 и большинство альтернатив (SAM, SAM 2, SAM 3, PE-L+, SkySense, SpectralGPT, Prithvi-EO-2.0) работают на stride-16. При использовании DINOv3 ViT-L/16 это даёт нативное соответствие сеток токенов; при DINOv2 ViT-L/14 необходим resampler (см. §7). SkySense++ и SkySense V2 — единственные RS-foundation-модели с семантически обогащённым pretraining, что даёт им преимущество для со-тренировки.

---

2. Постановка задачи слияния RGB + Seg для teacher-DINOv3

Важное уточнение (verified vs original spec). В исходной постановке указан DINOv3 ViT-L/14. По официальному tech-report Siméoni et al. (2508.10104, Aug 2025) и HuggingFace-модель-карт facebook/dinov3-vitl16-pretrain-lvd1689m, все DINOv3-варианты используют patch-size 16. Patch-14 соответствует DINOv2. Далее основной разбор строится для DINOv3 ViT-L/16 (feat-dim 1024, 4 register-токена, RoPE), а DINOv2 ViT-L/14 рассматривается как запасной вариант с явным discussion patch-size mismatch.

Формализация. Обозначим вход I\in\mathbb{R}^{H\times W\times 3}. DINOv3 после patchification выдаёт последовательность X_{\text{rgb}}\in\mathbb{R}^{N\times C}, где N = 1{+}r{+}\lfloor H/16\rfloor\lfloor W/16\rfloor (r{=}4 register-токенов), C{=}1024. SegEarth-OV3 выдаёт два формата:

• Dense tensor: S_d\in\mathbb{R}^{H\times W\times K} (per-pixel class probabilities, K произвольно для open-vocabulary).
• Binary stack: S_b\in{0,1}^{H\times W\times K} — argmax либо threshold.

Цель fusion — построить \tilde X = \mathcal{F}(X_{\text{rgb}}, S), такое что retrieval-loss \mathcal{L}_{\text{CVGL}} на University-1652/SUES-200 минимизируется при сохранении DINO self-supervised представлений (CKA-drift \Delta_{\text{CKA}}\le\epsilon).

Специфика UAV/RS. (i) Тонкие линейные структуры (дороги, ЛЭП, rail-lines) занимают sub-patch ширину — naïve bilinear-upsample ViT-features фрагментирует их (SegEarth-OV Fig. 2, road-IoU < 35 % у всех training-free методов). (ii) Сезонная и фенологическая изменчивость vegetation-классов делает closed-set seg-representation хрупким — open-vocabulary с prompt-aug даёт лучший generalization. (iii) Heavy class-imbalance (roads ≪ buildings ≪ vegetation) требует seg-weighted loss либо mask-pooling вместо плотного concat.

Специфика DINOv3. DINOv3 обучен с Gram anchoring — новой loss, которая фиксирует patch-gram-матрицы относительно frozen teacher и препятствует разрушению dense-представлений при long-horizon training [Siméoni'25]. Любой fusion-механизм, интерферирующий с patch-attn и вызывающий сильный ΔCKA по dense-токенам, с высокой вероятностью частично уничтожит этот pretraining-эффект. Следствие: предпочтение side-branch и LoRA-инъекций перед full-fine-tune.

Основные проблемы fusion. (a) Modality misalignment — CLIP/SigLIP-пространство SegEarth-OV3 не выровнено с DINO-пространством; между ними можно ожидать CKA < 0.3 (гипотеза по аналогии с Kornblith'19 для CLIP vs DINO). (b) Patch-size mismatch — только при DINOv2 ViT-L/14. (c) Destructive interference — особенно при unfreeze последних блоков, когда seg-gradient перекрывает DINO-objective. (d) Upstream drift — если prompt-set SegEarth-OV3 меняется между train и inference, распределение S_d нестационарно.

---

3. Таксономия методов слияния RGB + Seg

3.1 Четыре базовые оси

Уровень слияния. (1) Input-level — канальный concat RGB⊕S до patchification; редко применимо к DINOv3 из-за разрушения patch-embed weights. (2) Early-token — после patchification, перед блоком 1. (3) Mid-block — между блоками 1–24 ViT-L. (4) Late — после norm из последнего блока. (5) Loss-level — только auxiliary alignment losses без изменения forward-pass.

Механизм. Concat, sum, sigmoid-gating, cross-attention \text{softmax}(QK^\top/\sqrt{d})V с $Q$=RGB, $K,V$=seg, FiLM \gamma(S)\odot x + \beta(S), adapter x + \sigma(W_{\text{down}}W_{\text{up}}x), LoRA W + BA с A\in\mathbb{R}^{r\times d}, B\in\mathbb{R}^{d\times r}, r\ll d, prompt-injection (visual prompts concatenated to sequence), query-token resampling (Perceiver-style), mask-pooled attention \tilde v_k = \text{softmax}(M_k),V.

Инвазивность. Frozen + external adapter / partial unfreeze (last N layers) / full fine-tune / co-training (shared-backbone).

Симметрия. Симметричные (оба потока равноправны, напр. CAT-Seg cost-volume) vs асимметричные (seg — modulator, напр. FiLM-conditioning).

3.2 Две новые оси, специфичные для SegEarth-OV3

Представление семантики на входе. (a) Dense logits S_d\in\mathbb{R}^{H\times W\times K} — самая богатая форма, но требует $K$-зависимого канала. (b) Argmax-map \in{0,\ldots,K-1}^{H\times W} — embedding-lookup стандартно. (c) Binary mask stack S_b — удобно для mask-pooled attention. (d) Query-token embeddings — SegEarth-OV3 может отдавать presence-gated per-class embeddings как M query-tokens, M\ll N_{\text{patches}}.

Замкнутость semantic space. Closed-set — фиксированный K, что ограничивает vocabulary drift. Open-vocabulary — prompt-set меняется при inference; требует prompt-independent fusion (например, seg подаётся как dense feature, не как one-hot).

3.3 Иерархическое представление

• Input-level → concat → closed-set (baseline, не-ViT-native) → пример: ACNet 2019 (foundational).
• Early-token → prompt-injection → open-vocab → пример: VPT 2022 + seg-prompts (foundational).
• Mid-block → LoRA/adapter → open-vocab → пример: SAM3-Adapter 2025, Mona 2024.
• Mid-block → FiLM → closed-set → пример: FiLM 2018 (foundational).
• Mid-block → cross-attention → open-vocab → пример: CAT-Seg 2024, SED 2024.
• Late → mask-pooled attention → open-vocab → пример: FC-CLIP 2023, MaskCLIP++ 2024.
• Co-training → shared backbone → open-vocab → пример: ODISE 2023, SkySense V2 2025.
• Loss-level → contrastive alignment → open-vocab → пример: GeoRSCLIP + CKA-regularized distillation 2024.

---

4. SOTA-методы (2024–2026)

4.1 ODISE [Xu et al., CVPR 2023 Highlight, 2303.04803, NVlabs/ODISE]

Shared frozen Stable-Diffusion UNet-backbone + Mask2Former-style mask-generator + CLIP-classifier. Реально — dual frozen provider, а не shared-training, но вводит концепцию: diffusion-features содержат localized open-vocab knowledge. Trainable: 28.1 M. Ключ: implicit captioner для CLIP-conditioning diffusion.

\tilde F_{\text{ODISE}}(I) = \text{DenoisingUNet}_{\theta^{\ast}}(I, c_{\phi}(I)), \quad c_{\phi}\text{ — learnable captioner.}

Метрики: ADE20K 23.4 PQ / 30.0 mIoU zero-shot при обучении только на COCO. CVGL-tested: N. Стоимость у teacher'а высокая (1.4 B params SD1.5). Формально это foundational reference для раздела co-training (§8).

4.2 FC-CLIP [Yu et al., NeurIPS 2023, 2308.02487]

Single frozen convolutional CLIP-ConvNeXt-L: одновременно mask-generator и classifier. Mask-pooling over frozen CLIP features:

e_k = \frac{\sum_{p\in M_k} F_p}{\sum_p M_{k,p}}, \quad p(c\mid M_k) \propto \exp(\langle e_k, t_c\rangle/\tau).

ADE20K 26.8 PQ; 6.6× быстрее ODISE. CVGL-tested: N. Критически важно для MERIDIAN: парадигма frozen-provider с mask-pooling — прямой прототип SegEarth-OV3-as-upstream. Совместимость с DINOv3: высокая, так как mask-pooling работает над любыми dense features, включая DINOv3 patch-tokens. Δparams ≈ 0 в teacher-backbone, mask-generator + projection ~30 M.

4.3 CAT-Seg [Cho et al., CVPR 2024, 2303.11797, cvlab-kaist/CAT-Seg]

Cost-volume cross-attention над image⊕text embeddings CLIP. Cost-volume:

C(p, c) = \cos!\left(F_{\text{img}}(p), F_{\text{txt}}(c)\right), \quad \tilde C = \text{Agg}_{\text{spatial}}\circ\text{Agg}_{\text{class}}(C).

Fine-tunes CLIP encoders; ViT-L/14 вариант, mIoU ADE20K-847 = 16.0. CVGL-tested: N. Стоимость: ~5 M params aggregation + full CLIP fine-tune. Применимость к паре A: CAT-Seg — симметричный template для RGB⊕Seg fusion, если рассматривать SegEarth-OV3 class-embeddings как «text side». Риск: full-FT разрушает DINO-объектив. Mitigation: LoRA-adapt CLIP текстовой ветви, frozen DINOv3.

4.4 SED [Xie et al., CVPR 2024]

Simple Encoder-Decoder для OVSS: hierarchical ConvNeXt-CLIP encoder + UNet-style decoder с feature-pyramid guidance. Формула decoder-fusion:

F_{\ell-1}^{\text{dec}} = \text{Up}(F_{\ell}^{\text{dec}}) + \text{Conv}(F_{\ell}^{\text{enc}}) \odot \sigma(\text{Conv}(F_{\ell}^{\text{txt}})).

Важность для пары A: аналогичный side-decoder можно применить к DINOv3 как к encoder, подавая SegEarth-OV3-masks как $F^{\text{txt}}$-равнозначный сигнал на соответствующих уровнях.

4.5 MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP (семейство mask-attention)

MaskCLIP++ [Zhou et al., 2208.12262 ext.] — модификация последнего attention-блока CLIP для dense prediction: replace q⋅k^T на v⋅v^T-based self-correlation. SCLIP [Wang et al., 2312.01597, 2023] — correlative self-attention. ProxyCLIP [Lan et al., ECCV 2024] — использует DINO как proxy для reshaping CLIP attention. CorrCLIP — SAM-proxy attention rewriting. Ключевой формализм:

\text{Attn}_{\text{rewrite}}(X) = \text{softmax}!\left(\frac{V V^\top}{\sqrt d}\right) V \quad\text{(MaskCLIP++, SCLIP)}.

Обычно training-free. Применимость: именно эти методы используются SegEarth-OV3 pipeline. Для teacher'а — можно воспроизвести ProxyCLIP-style attention-rewrite: DINOv3-self-attention как «structural prior», CLIP/SegEarth-OV3 как «semantic prior», результат — fused attention-map, который подаётся в последний блок teacher'a. CVGL-tested: N. Стоимость: 0 trainable params (training-free), inference +5–10 %.

4.6 SAM2/SAM3-Adapter + Mona [Chen et al., 2304.09148 / 2408.04579 / 2511.19425; Li et al., 2408.08576]

SAM-Adapter (ICCVW 2023) ввёл per-block task-prompts:

P^{(i)} = \text{MLP}_{\text{up}}(\sigma(\text{MLP}_{\text{tune}}^{(i)}(F_{\text{task}}))), \quad x^{(i+1)} = \text{Block}^{(i)}!\left(x^{(i)} + P^{(i)}\right).

SAM2-Adapter и SAM3-Adapter (2024-2025) расширяют на hierarchical backbone SAM2/SAM3. Mona-adapter (Li et al., 2408.08576) — multi-cognitive visual adapter с mixture convolutional filters для RS-specific instance-segmentation, +1.4 AP over LoRA. Conv-LoRA (Zhong et al., 2401.17868) — injection conv-prior в LoRA-branch.

Критическое применение для пары A: DINOv3 блоки остаются frozen, в каждый вставляется Mona-style adapter, получающий на вход SegEarth-OV3-masks (через маленький conv-encoder 16→64→1024 ch). Δparams ≈ 2–5 M (r=8 LoRA + conv).

x^{(i+1)} = x^{(i)} + \underbrace{\text{Block}^{(i)}_{\theta^{\ast}}(x^{(i)})}_{\text{frozen}} + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \underbrace{W^{(i)}_{\text{seg}},\phi_{\text{conv}}(S)}_{\text{Mona-injection}}.

4.7 SkySense / SkySense V2 / SkySense++ [Wu/Guo et al., CVPR 2024 / ICCV 2025 / NMI 2025]

SkySense V2 (2507.13812, Jul 2025) — unified transformer backbone для MS + SAR + HR-optical, 665 M params (vs 1.26 B у SkySense), Adaptive Patch Merging (APM), learnable modality prompts, MoE. Pretraining — query-based attention + multi-granularity contrastive. SkySense++ (NMI 2025) добавляет semantic-enhanced pretraining на RS-Semantic (13 датасетов, pixel-level). SOTA на LoveDA 56.1 mIoU, iSAID ≈ 72 mIoU. Для пары A важно: SkySense V2 показывает, что shared-backbone + modality-prompt token — работающий RS-нативный аналог ODISE, с +1.8 pp vs SkySense на 16 датасетах.

X_{\text{mod}} = \text{Attn}([P_{\text{mod}}; X_{\text{img}}]), \quad P_{\text{mod}}\in\mathbb{R}^{n_p\times C}\text{ — learnable mod-prompts.}

4.8 FeatUp / JAFAR / AnyUp + Perceiver-Resampler [Fu'24; Couairon'25; Wimmer'25]

FeatUp (ICLR 2024, 2403.10516) — model-agnostic feature upsampler (JBU stack или implicit), multi-view consistency loss. Используется SegEarth-OV (CVPR 2025 Oral) как SimFeatUp. LoftUp (ICCV 2025 oral, 2504.14032) — coordinate-based cross-attention-upsampler с SAM-mask pseudo-GT. JAFAR (NeurIPS 2025, 2506.11136) — Spatial Feature Transform modulation + attention. AnyUp (2510.12764, Oct 2025) — feature-agnostic: обучена один раз, работает на DINOv2/v3, CLIP, SigLIP без retrain. Для пары A: AnyUp — единственный метод, который бесплатно поддерживает multiple backbones одновременно.

Perceiver Resampler (Flamingo, 2204.14198): learnable queries Q\in\mathbb{R}^{M\times C} cross-attendают в N токенов, M\ll N:

\tilde X = \text{softmax}!\left(\frac{QK^\top}{\sqrt d}\right)V,\quad K,V = X_{\text{src}}W_{k,v}.

Для пары A: идеален как 14↔16 grid-bridge, если MERIDIAN вынужденно останется на DINOv2 ViT-L/14. Стоимость 1 layer cross-attn ≈ 4 M params при C{=}1024.

4.9 CVGL-specific methods 2024-2026 с семантическими сигналами

Таблица 2 — CVGL SOTA с указанием использования сегментации.

Метод	Год/Venue	Backbone	Uses-Seg	R@1 U-1652 D→S	Notes
Sample4Geo [Deuser'23] 2303.11851	ICCV'23	ConvNeXt-B	N	92.65	GPS-sampling + DSS
MCCG [Shen'24]	TCSVT'24	ConvNeXt-B	N	93.9	multi-classifier
DAC [Xia'24]	2024	ConvNeXt	N	94.7	domain alignment
Game4Loc [Ji'25] 2409.16925	AAAI'25 Oral	ViT-B/16 RoPE	N	— (new bench)	weighted InfoNCE
MEAN [2024] 2412.14819	2024	ConvNeXt-T	N	96.25 (200m SUES)	multi-level alignment
CAMP [Wu'24]	TGRS'24	ConvNeXt-B	partial (position-aware)	94.6	contrastive attribute
GLQINet [2025] Sci.Rep.	2025	ConvNeXt-S	partial (quadrant)	95.2	quadrant attention
GLEAM-C [2025] 2509.07450	2025	ConvNeXt-B / PE-L/14	N	≈ 96	multi-dataset
PFED-distill [2025] 2510.22582	2025	DINOv2-B teacher → ConvNeXt-T student	N	≈ 95	hierarchical distillation
Geo² [2025] 2603.25819	2025	VGGT + DINOv2 + Sample4Geo	partial (geometry+semantics)	—	geometry-guided
Scale-Aware [2025] 2603.07535	2025	ViT + semantic-geometric	Y (explicit seg)	—	scale-aware seg-guidance
Learnable-Query-Aggreg. [2025] 2512.23938	2025	DINOv2-L + conv-adapter	N	≈ 96	KV-routing, conv-adapter
CLIP-driven CVGL [RefineGate 2024]	2024 TGRS	CLIP	Y (text-semantic)	—	semantic branches in CL

Ключевой вывод. На апрель 2026 только ≈2-3 CVGL-метода напрямую используют semantic segmentation как modality (Scale-Aware, Geo², CLIP-driven RefineGate). Большинство top-результатов держатся на ConvNeXt-B backbone + contrastive (InfoNCE/DSS). DINOv2/v3-based CVGL-методы начинают появляться в 2025 (PFED, Learnable-Query-Aggreg.), что делает нашу работу новой нишей: teacher-DINOv3 + SegEarth-OV3-LUPI не имеет прямых конкурентов.

---

5. Критический анализ (метод-за-методом)

Оценочная шкала: − неприемлемо, 0 нейтрально, + хорошо, ++ оптимально.

5.1 ODISE (co-training reference)

Критерий	Оценка	Комментарий
Совместимость frozen DINOv3-L	−	требует shared-backbone, не frozen
Сохранность DINO-представлений	−	Gram-anchoring ломается при co-training
Инвазивность	−	full fine-tune shared backbone
Distillability-потенциал в CNN-student	0	SD1.5-features не ViT-specific, но тяжёлые
Совместимость с LUPI	+	teacher может потреблять дополнительные модальности
Устойчивость к missing modality	0	требует CLIP + SD оба
Patch-size robustness	+	SD UNet не ViT, patch-size irrelevant
Поддержка dense+binary seg	+	обе через Mask2Former head
Co-training с SegEarth-OV3	++	direct fit
Воспроизводимость	+	NVlabs/ODISE, CC-BY-NC
CVGL-tested	N	—

5.2 FC-CLIP (frozen-provider paradigm)

Критерий	Оценка	Комментарий
Совместимость frozen DINOv3-L	++	mask-pooling не требует unfreeze
Сохранность DINO-представлений	++	zero drift
Инвазивность	++	только decoder-head
Distillability	++	CNN-student может имитировать mask-pooled descriptors
LUPI	++	каноническая LUPI-схема
Missing modality	+	fallback к RGB-only работает
Patch-size robustness	++	mask-pooling агностичен к grid
Dense+binary	++	оба
Co-training	0	нужен только upstream
Воспроизводимость	++	✓
CVGL-tested	N	adaptation required

5.3 CAT-Seg

Критерий	Оценка	Комментарий
Frozen DINOv3-L	0	cost-volume над frozen features возможен, но обычно fine-tune
Сохранность DINO	0	при frozen — +, при FT — −
Инвазивность	0	aggregation module 5-10 M + optional FT
Distillability	+	cost-volume можно distill как cross-correlation
LUPI	+	cost-volume ~ LUPI-friendly
Missing modality	−	требует text side
Patch-size robust	− на L/14 / + на L/16	mismatch critical
Dense+binary	+	dense native, binary через soft-hard
Co-training	+	end-to-end LoRA возможна
Воспроизводимость	++	✓
CVGL-tested	N

5.4 SED

Критерий	Оценка	Комментарий
Frozen DINOv3-L	+	side-decoder
Сохранность DINO	+	drift только в FPN-слоях
Инвазивность	+	decoder 10-20 M
Distillability	+	FPN-descriptor передаётся
LUPI	+
Missing modality	+	fallback OK
Patch-size robust	+	hierarchical decoder
Dense+binary	+
Co-training	+
Воспроизводимость	+	✓
CVGL-tested	N

5.5 SAM3-Adapter + Mona

Критерий	Оценка	Комментарий
Frozen DINOv3-L	++	adapter-injection, backbone полностью frozen
Сохранность DINO	++	adapter residual, ΔCKA оценочно < 0.05
Инвазивность	++	2-5 M params
Distillability	+	adapter-descriptor transferable
LUPI	++	native fit
Missing modality	++	zeroing adapter — fallback
Patch-size robust	+	adapter-conv агностичен
Dense+binary	++	conv-encoder на вход принимает оба
Co-training	+	joint adapter+upstream LoRA
Воспроизводимость	++	SAM3-Adapter код released Nov 2025
CVGL-tested	N

5.6 MaskCLIP++ / ProxyCLIP / CorrCLIP

Критерий	Оценка	Комментарий
Frozen DINOv3-L	++	training-free attention rewrite
Сохранность DINO	+	заменяет last-block attn, ΔCKA на последнем слое
Инвазивность	++	0 trainable
Distillability	0	attention-pattern hard to distill to CNN
LUPI	+
Missing modality	+	fallback к vanilla attn
Patch-size robust	++
Dense+binary	+	dense native
Co-training	−	training-free противоречит co-training
Воспроизводимость	++
CVGL-tested	N

5.7 SkySense V2 / SkySense++

Критерий	Оценка	Комментарий
Frozen DINOv3-L	−	требует свой backbone, не DINOv3
Сохранность DINO	−	другой objective
Инвазивность	−	full pretraining required
Distillability	+	dense features transferable
LUPI	+	MS+SAR+HR — естественная privileged set
Missing modality	++	modality-prompt tokens
Patch-size robust	++	APM
Dense+binary	+
Co-training	++	native
Воспроизводимость	+	code released
CVGL-tested	N	только generic RS

5.8 FeatUp / AnyUp + Perceiver Resampler

Критерий	Оценка	Комментарий
Frozen DINOv3-L	++	post-hoc feature upsampling
Сохранность DINO	++	features остаются неизменными
Инвазивность	++	1-10 M params
Distillability	+	upsampler-free distillation возможна
LUPI	+
Missing modality	++
Patch-size robust	++	ключевое преимущество
Dense+binary	++
Co-training	0
Воспроизводимость	++	AnyUp released Oct 2025
CVGL-tested	N

---

6. Сравнительная таблица пары A (итоговая)

Method	Year	Venue	Domain	Mechanism	Input fmt	Δparams	FT depth	CVGL-tested	Distillability	Patch robust	Priority
ODISE	2023	CVPR	generic	shared-backbone	dense+bin	28 M + 1.4 B SD	full co-train	N	0	+	4
FC-CLIP	2023	NeurIPS	generic	mask-pooled attn	binary	30 M	decoder only	N	++	++	1
CAT-Seg	2024	CVPR	generic	cost-volume + cross-attn	dense	5-10 M + LoRA	LoRA	N	+	+/−	3
SED	2024	CVPR	generic	FPN side-decoder	dense	10-20 M	decoder+LoRA	N	+	+	3
MaskCLIP++/ProxyCLIP	2024	ECCV	generic/RS	attn-rewrite	dense	0	training-free	N	0	++	3
SAM3-Adapter + Mona	2025	arXiv/TGRS	RS/generic	LoRA+adapter-injection	dense+bin	2-5 M	LoRA only	N	+	+	2
SkySense V2/++	2025	ICCV/NMI	RS	shared-backbone	dense	665 M (own BB)	full pretrain	N	+	++	5
FeatUp/AnyUp + Perceiver	2024-2025	ICLR/NeurIPS	generic	feature resampling	dense+bin	1-10 M	FT-free	N	+	++	2

Priority 1 — основной рекомендуемый метод для MERIDIAN. Priority 2 — дополнение/fallback. Priority 3-4 — исследовательские ablations. Priority 5 — не подходит (несовместимость backbone).

---

7. Patch-size alignment strategies

Этот раздел имеет смысл только при fallback к DINOv2 ViT-L/14. При использовании DINOv3 ViT-L/16 + SegEarth-OV3 (PE-L+ @1008, stride-16) grids уже выровнены → resampling не требуется.

7.1 Bilinear/Bicubic upsample

Стандартный baseline. На тонких структурах (roads, power lines) даёт aliasing: SegEarth-OV (Fig. 2) и IARU-Net 2025 показывают distortion масок на линейных объектах с IoU-drop 3-10 pp. Для UAV с GSD ~0.5 м bilinear teacher-features на дорогах (ширина 1-2 px) ломает geometrical consistency. Не рекомендуется для дорог/ЛЭП.

7.2 Learnable token resampler (Perceiver-style / Q-Former)

Cross-attention module с M learnable queries на целевой сетке (16×16 = 256 queries для stride-16): \tilde X_{16} = \text{softmax}(Q_{16}K_{14}^\top/\sqrt d)V_{14}, \quad |Q_{16}|=256,,|K_{14}|=256. Стоимость: 1 layer ≈ 4 M params, inference +3-5 %. Преимущество: сохраняет edges, learnable. Рекомендуется если DINOv2 L/14 остаётся backbone.

7.3 FlexiViT PI-resize

Beyer et al. CVPR 2023 (2212.08013). Pseudo-inverse resize kernel patch-embed: \tilde W = W,P^{+}. Zero inference-cost, но требует либо FlexiViT-pretrained backbone, либо short fine-tune. Теряет 0.5-2 pp ImageNet при naive application. Для MERIDIAN: применимо как one-time convert DINOv2 L/14 → виртуальный L/16.

7.4 Dual-patch-size DINOv3 finetuning

Жизнеспособно, но дорого: 10-50 GPU-days для full re-pretrain. Не оправданно на фоне доступных alternatives.

7.5 Frozen-feature projection vs feature-space resampling

FeatUp / LoftUp / JAFAR / AnyUp — upsample feature-maps до пиксельного разрешения, затем fuse в pixel-space. AnyUp (Oct 2025, 2510.12764) работает feature-agnostic, без retrain per-backbone — оптимальный выбор при mixing DINOv3+SAM+CLIP. Δparams ~10 M, latency comparable to bilinear.

Рекомендация MERIDIAN. Идти на DINOv3 ViT-L/16 — устраняет mismatch вовсе; использовать AnyUp только для pixel-level fusion dense-features с SAM3-masks при необходимости.

---

8. Co-training SegEarth-OV3 + DINOv3 vs Frozen-provider

8.1 Frozen-provider (FC-CLIP-подобная парадигма)

SegEarth-OV3 полностью зафиксирован; его dense logits S_d и binary stacks S_b кешируются offline. DINOv3 остаётся frozen, обучаются только (a) адаптеры Mona в блоках 18-24, (b) projection-MLP seg→feature, (c) decoder-head для CVGL.

Плюсы. (i) Модульность: upstream можно менять (SegEarth-OV3 → SkySense++) без re-train teacher. (ii) Reproducibility: статический upstream → deterministic features. (iii) Нулевой risk negative transfer в DINOv3. (iv) Offline mask-caching радикально снижает training latency.

Минусы. (a) Domain gap: SegEarth-OV3 использует CLIP-aligned PE-L+, а DINO пространство ортогонально (CKA < 0.3 гипотетически). (b) Невозможность co-evolution: ошибки SegEarth-OV3 (prompt-set drift, false positives) транслируются без возможности correction.

8.2 Co-training (ODISE/SkySense-V2 path)

SegEarth-OV3 и DINOv3 делят части backbone или тренируются совместно с multi-task loss: \mathcal{L} = \lambda_{\text{CVGL}} \mathcal{L}_{\text{InfoNCE}} + \lambda_{\text{seg}} \mathcal{L}_{\text{CE/Dice}} + \lambda_{\text{DINO}} \mathcal{L}_{\text{Gram-anchor}}.

Плюсы. (i) Feature alignment RGB⊕seg. (ii) Возможность propagation gradient'a CVGL-loss в upstream (fine-tune PE-L+). (iii) Estate-of-art на RS-foundation (SkySense V2 +1.8 pp).

Минусы. (a) Negative transfer: seg-задача (dense pixel-CE) и CVGL-задача (image-level retrieval) имеют разные gradient-направления; без GradNorm/PCGrad одна подавит другую. (b) Loss of DINO universality: Gram-anchoring нарушается, если unfreeze > 4 последних блоков. (c) 3-10× training cost.

8.3 Практические гибриды

(1) LoRA-based co-training: обе ветви имеют backbone frozen, trainable — только LoRA-adapters r=8 в last 6 блоках. \Delta params ≈ 10 M. Совмещает модульность frozen-provider с небольшой co-evolution.

(2) Staged training: этап 1 — frozen SegEarth-OV3 + frozen DINOv3, trained only fusion-decoder 10 epochs. Этап 2 — unfreeze LoRA last 4 blocks DINOv3, train 5 epochs с малым LR. Этап 3 (optional) — joint LoRA both.

(3) Multi-task loss balancing: GradNorm (Chen'18, 1711.02257) с adaptive weights; PCGrad (Yu'20, 2001.06782) gradient surgery для проекции conflicting gradients; CAGrad (Liu'21, 2110.14048) conflict-averse. Для MERIDIAN рекомендуется PCGrad: минимизирует negative interference при низком compute overhead.

(4) CKA-regularization: добавить regularizer \mathcal{L}_{\text{CKA}} = -\text{CKA}(F_{\theta}, F_{\theta^{\ast}}) на последних блоках, где \theta^{\ast} — frozen reference DINOv3. Это эмпирический штраф за DINO-drift, измеряемый по Kornblith'19 (1905.00414).

Итоговая рекомендация. Для MERIDIAN-A: staged LoRA-hybrid — начать с frozen-provider (phase 1), затем LoRA-co-training last 4 blocks под PCGrad (phase 2). Это сохраняет distillability и минимизирует negative transfer.

---

9. Рекомендация для DINOv3-teacher по паре A

Топ-2 метода

Выбор 1 (основной): FC-CLIP-style frozen-provider + mask-pooled attention + SAM3-Adapter/Mona LoRA-injection.

Место интеграции. SegEarth-OV3 — frozen provider. Binary mask stacks S_b\in{0,1}^{H\times W\times K} (K ≈ 17-32 для RS) подаются через conv-encoder \phi:H\times W\times K\to H/16\times W/16\times 256 в Mona-adapter inside blocks 20-24 DINOv3 ViT-L/16. Для retrieval-head — mask-pooled feature descriptors: e_k = \frac{1}{\sum M_k}\sum_p M_{k,p},F_p^{\text{DINOv3}}, \quad F_{\text{final}} = \text{concat}_k!\left(e_k\right) W_{\text{proj}}.

Fine-tune режим. Frozen DINOv3 backbone; trainable — только Mona-LoRA (r=8, 4 blocks, ~3 M) + retrieval-projection (~1 M) + optional SegEarth-OV3 PE-L+ LoRA (~5 M). Total Δparams ≈ 5-10 M.

Интеграция с Multi-FiLM-Fusion (пара D, text). FiLM-параметры (\gamma_t, \beta_t) из text-branch и Mona-adapter composable по аддитивной residual-схеме: x^{(i+1)} = x^{(i)} + \text{Block}_{\theta^{\ast}}^{(i)}(x^{(i)}) + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \gamma_t^{(i)}\odot\phi_{\text{seg}}(S)^{(i)} + \beta_t^{(i)}.

Это сохраняет симметрию обращения с text⊕seg и не требует отдельной re-integration.

Выбор 2 (дополнительный, для ablations): SED-style FPN side-decoder + AnyUp upsampling в pixel-space.

Место интеграции. Dense logits S_d подаются в side-decoder, принимающий DINOv3 intermediate features из блоков {6, 12, 18, 24}. Через hierarchical UNet с skip-connections и AnyUp-upsampling до пиксельного разрешения производится pixel-level fusion.

Fine-tune режим. Frozen DINOv3; trainable — side-decoder (~15 M) + AnyUp (~10 M). Этот вариант оптимален для depth-pair B и служит baseline-comparison для выбора 1.

Фальсифицируемые гипотезы

H_fus_A_1 (главная). Frozen-provider (SegEarth-OV3) + Mona-LoRA-injection в блоки 20-24 DINOv3 ViT-L/16 + mask-pooled descriptor даёт ΔR@1 ≥ 2.5 % на University-1652 drone→satellite относительно Sample4Geo ConvNeXt-B baseline (R@1 = 92.65 %), одновременно сохраняя distillability-score ≥ 0.85 (определяемый как R@1 CNN-student, обученного через CKA+InfoNCE distillation, нормализованный к R@1 teacher), при Δparams ≤ 10 M. Проверка: CKA-sweep по слоям 12-24 (expected ΔCKA last-block ≤ 0.05 vs vanilla DINOv3) и bootstrap CI по 1000 samples. Основание для величины 2.5 %: +1-2 pp дают прямые ViT-upgrade в CVGL (Learnable-Query-Aggreg., 2025), семантическая модальность в LUPI-сценариях добавляет ещё ~1-2 pp по аналогии с FC-CLIP transfer gains.

H_fus_A_2. При использовании DINOv3 ViT-L/16 вместо DINOv2 ViT-L/14 + Perceiver-resampler, R@1 на University-1652 не упадёт более чем на 0.5 % благодаря Gram-anchoring и native stride-16 alignment с SegEarth-OV3. Проверка: ablation {DINOv2/14+Perceiver, DINOv3/16 direct} при идентичных остальных компонентах.

H_fus_A_3. Co-training (stage-2 PCGrad LoRA both DINOv3 and PE-L+) даёт ΔR@1 ≤ +0.5 % дополнительно к H_fus_A_1, но увеличит distillability-loss ≥ 0.10 за счёт drift unique-to-teacher features. Это означает, что чистый frozen-provider — Pareto-оптимальный выбор для LUPI-CVGL в MERIDIAN, а co-training оправдан только если R@1-gain приоритетнее student-performance.

H_fus_A_4 (вспомогательная). Binary mask-stack представление при K=17 (стандартный SegEarth-OV3 protocol) даёт ΔR@1 ≥ +0.7 % по сравнению с argmax-map с embedding-lookup, так как сохраняет class-uncertainty в overlap regions. Проверка: ablation input-format при фиксированной fusion-архитектуре.

---

10. Риски и ограничения пары A

Negative transfer. Co-training SegEarth-OV3 ⊕ DINOv3 без PCGrad / CKA-regularization с вероятностью > 50 % (оценка по аналогии с FC-CLIP Tab. 4 и Kornblith'19) приведёт к падению ADE20K-feature-quality DINOv3 на 3-7 pp. Mitigation: staged LoRA-hybrid + PCGrad + $\mathcal{L}_{\text{CKA}}$-regularizer.

Modality competition. RGB-ветвь эволюционно сильнее (DINOv3 pretrained на 1.689 B images); seg-сигнал рискует быть проигнорирован в early training. Mitigation: seg-dropout schedule (gradual-unlocking) и independent seg-projection head с distinct contrastive loss.

Feature drift. Full fine-tune DINOv3 разрушит Gram-anchoring и универсальность features → student сможет distill только CVGL-specific patterns. Mitigation: frozen backbone + LoRA-only + CKA-monitor.

Upstream dependency. SegEarth-OV3 качество масок имеет variance до 15 pp mIoU между классами (roads 49.6 IoU vs buildings 86.9 IoU). Mitigation: per-class reliability-weighting mask-pooled descriptors.

Distillability regression. Чем сложнее teacher-fusion, тем выше риск ViT-specific patterns, которые CNN-student (<5M) не воспроизведёт. Mitigation: constrain teacher-architecture к mask-pooled descriptors (a-la FC-CLIP) — они архитектура-агностичны.

Open-vocabulary prompt drift. Prompt-set SegEarth-OV3 меняется между train/inference → неустойчивость распределения S_d. Mitigation: freeze prompt-set на train и inference; либо dense-feature-based fusion без prompts вовсе.

Patch-size artifacts. Только при DINOv2 L/14. Mitigation: переход на DINOv3 L/16 или Perceiver-resampler.

Latency у teacher. SAM 3 + PE-L+ @1008×1008 + DINOv3 ViT-L/16 вместе ≈ 25-30 GFLOPs на изображение. Mitigation: offline mask-caching делает это non-issue для train-time; inference-time у teacher'а не критичен в LUPI.

---

Что предстоит проверить на следующем этапе (пара B, RGB+Depth)

Пара A установила, что для LUPI-CVGL оптимальна frozen-provider + LoRA-injection + mask-pooled descriptor схема с сохранением DINO-objective через Gram-anchoring. Эти findings переносимы на пару B (RGB⊕Depth), но с тремя критическими отличиями. Во-первых, depth из Metric3D v2 / Depth Anything v2 / UniDepth — это continuous-valued H×W×1 tensor, не discrete semantic, поэтому mask-pooling неприменим — потребуется либо FiLM-modulation (depth → γ,β), либо depth-as-query в cross-attention. Во-вторых, depth и RGB имеют гораздо меньший modality-gap, чем RGB и CLIP-aligned seg, поэтому риск negative transfer при co-training ниже, а вероятность дополнительного R@1-gain выше — стоит рассмотреть более агрессивную LoRA-unfreeze. В-третьих, depth геометрически информативен, что особенно ценно для UAV: следует проверить Geo² (2603.25819) и Scale-Aware CVGL (2603.07535) как прямые baselines, и гипотезу H_fus_B_1, что depth-fusion даёт большее ΔR@1 на SUES-200 (multi-height) чем на University-1652 (fixed height), именно за счёт depth-provided scale invariance.

Для пары B также критически важно проверить совместимость DINOv3 ViT-L/16 с depth-foundation-models: если UniDepth использует stride-16, grid-alignment сохраняется; если Metric3Dv2 — stride-14, понадобится AnyUp или Perceiver-resampler. Эта связка между парами A и B (общий resampler, общая Mona-adapter-архитектура, общий staged-training recipe) позволит MERIDIAN переиспользовать 80% infrastructure между двумя privileged modalities.

---

Краткий библиографический указатель

• Siméoni et al. DINOv3. arXiv:2508.10104 (2025).
• Li et al. SegEarth-OV3. arXiv:2512.08730 (2025). github.com/earth-insights/SegEarth-OV-3
• Li et al. SegEarth-OV. CVPR 2025 Oral. arXiv:2410.01768.
• Xu et al. ODISE. CVPR 2023. arXiv:2303.04803.
• Yu et al. FC-CLIP. NeurIPS 2023. arXiv:2308.02487.
• Cho et al. CAT-Seg. CVPR 2024. arXiv:2303.11797.
• Xie et al. SED. CVPR 2024.
• Chen et al. SAM-Adapter (ICCVW'23, arXiv:2304.09148), SAM2-Adapter (arXiv:2408.04579), SAM3-Adapter (arXiv:2511.19425).
• Li et al. MC-SAM + Mona. arXiv:2408.08576 (2024).
• Zhong et al. Conv-LoRA. arXiv:2401.17868 (2024).
• Zhou et al. MaskCLIP / MaskCLIP++. arXiv:2208.12262.
• Wang et al. SCLIP. arXiv:2312.01597 (2023).
• Lan et al. ProxyCLIP. ECCV 2024.
• Fu et al. FeatUp. ICLR 2024. arXiv:2403.10516.
• Huang et al. LoftUp. ICCV 2025 Oral. arXiv:2504.14032.
• Couairon et al. JAFAR. NeurIPS 2025. arXiv:2506.11136.
• Wimmer et al. AnyUp. arXiv:2510.12764 (2025).
• Alayrac et al. Flamingo / Perceiver Resampler. NeurIPS 2022. arXiv:2204.14198.
• Li et al. BLIP-2 / Q-Former. ICML 2023. arXiv:2301.12597.
• Beyer et al. FlexiViT. CVPR 2023. arXiv:2212.08013.
• Dehghani et al. NaViT. NeurIPS 2023. arXiv:2307.06304.
• Guo et al. SkySense. CVPR 2024.
• Zhang et al. SkySense V2. ICCV 2025. arXiv:2507.13812.
• Wu et al. SkySense++. Nat. Mach. Intell. 2025. doi:10.1038/s42256-025-01078-8.
• Shabbir et al. GeoPixel. ICML 2025. arXiv:2501.13925.
• Bolya et al. Perception Encoder. arXiv:2504.13181.
• Carion et al. SAM 3. arXiv:2511.16719.
• Zheng et al. University-1652. ACM MM 2020.
• Deuser et al. Sample4Geo. ICCV 2023. arXiv:2303.11851.
• Ji et al. Game4Loc / GTA-UAV. AAAI 2025 Oral. arXiv:2409.16925.
• Xu et al. UAV-VisLoc. arXiv:2405.11936 (2024).
• Learnable-Query-Aggregation CVGL. arXiv:2512.23938 (2025).
• PFED-distill CVGL. arXiv:2510.22582 (2025).
• Geo² CVGL. arXiv:2603.25819 (2025).
• Scale-Aware CVGL. arXiv:2603.07535 (2025).
• Kornblith et al. CKA. ICML 2019. arXiv:1905.00414.
• Chen et al. GradNorm. ICML 2018. arXiv:1711.02257.
• Yu et al. PCGrad. NeurIPS 2020. arXiv:2001.06782.
• Liu et al. CAGrad. NeurIPS 2021. arXiv:2110.14048.