fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
This commit is contained in:
Pikaliov
526
docs/02_references/03_segmentation/REVIEW_segmentation_pairA.md
Normal file
526
docs/02_references/03_segmentation/REVIEW_segmentation_pairA.md
Normal file
@@ -0,0 +1,526 @@
|
||||
---
|
||||
type: review
|
||||
status: active
|
||||
date: 2026-04-20
|
||||
tags:
|
||||
- fusion
|
||||
- teacher
|
||||
- pair-A
|
||||
- segmentation
|
||||
- dinov3
|
||||
- segearth-ov3
|
||||
- mona-lora
|
||||
- priority/high
|
||||
related:
|
||||
- "[[../00_overall/SPEC_fusion_ACF_MERIDIAN]]"
|
||||
- "[[../../01_teacher/SPEC_teacher_v2_dual_teacher]]"
|
||||
- "[[ANALYSIS_segformer_vs_segearth]]"
|
||||
author: claude
|
||||
---
|
||||
|
||||
# Слияние RGB + Semantic Segmentation для DINOv3-teacher в MERIDIAN
|
||||
|
||||
> Обзор пары A: 8 методов слияния RGB + Seg для teacher-стороны (на базе SegEarth-OV3) с DINOv3 ViT-L/16. Покрывает все уровни и механизмы fusion.
|
||||
|
||||
## 0. Микроплан
|
||||
|
||||
Для teacher-стороны пары A (RGB ⊕ Seg на базе SegEarth-OV3) отбираются **восемь** методов, покрывающих весь спектр уровней и механизмов слияния. Выбор оптимизирован под DINOv3 ViT-L/16 как приоритетную опцию с запасным вариантом DINOv2 ViT-L/14 (см. §2, замечание о patch-size).
|
||||
|
||||
1. **ODISE** (Xu et al., CVPR 2023, `2303.04803`) — foundational baseline для co-training shared-backbone схемы, задаёт верхнюю границу риска negative transfer.
|
||||
2. **FC-CLIP** (Yu et al., NeurIPS 2023, `2308.02487`) — foundational canonical frozen-provider + mask-pooled attention; прямой прототип SegEarth-OV3-as-frozen-upstream.
|
||||
3. **CAT-Seg** (Cho et al., CVPR 2024, `2303.11797`) — cost-volume cross-attention как механизм симметричного слияния image⊕text через аффинитет.
|
||||
4. **SED** (Xie et al., CVPR 2024) — иерархический encoder-decoder с feature-pyramid seg-guidance; близко к inserting-in-blocks варианту.
|
||||
5. **SAM2/SAM3-Adapter + Mona-adapter** (Chen et al., ICCVW 2023 / arXiv 2024-2025, `2304.09148`, `2408.04579`, `2511.19425`, `2408.08576`) — канонический LoRA/side-adapter путь для инъекции seg-сигнала во frozen ViT.
|
||||
6. **MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP** (2023-2025) — token-level mask-attention modification; прямой прототип для mask-pooled attention через SegEarth-OV3-маски.
|
||||
7. **SkySense++ / SkySense V2** (Wu et al., Nat. Mach. Intell. 2025 / Zhang et al., ICCV 2025, `2507.13812`) — RS-specific shared-backbone с семантическим pretraining; RS-нативный аналог ODISE.
|
||||
8. **FeatUp / JAFAR / AnyUp + Perceiver-Resampler** (ICLR 2024 / NeurIPS 2025 / arXiv 2510.12764) — learnable feature-space resampler; опорный блок для patch-size alignment и late-fusion в пиксельном пространстве.
|
||||
|
||||
Дополнительно как teacher-side reference используется **DINOv3 SAT-493M** backbone (Siméoni et al., `2508.10104`, Meta FAIR, Aug 2025) и GeoPixel (Shabbir et al., ICML 2025, `2501.13925`) как RS-grounded LMM.
|
||||
|
||||
---
|
||||
|
||||
## 1. Обзор upstream-провайдеров масок (open-vocabulary RS segmentation)
|
||||
|
||||
SegEarth-OV3 (Li et al., arXiv `2512.08730`, Dec 2025) — baseline MERIDIAN — построен на **SAM 3** с **Perception Encoder Large+ (PE-L+)** (Bolya et al., `2504.13181`), входное разрешение **1008×1008**, stride-16. Ключевая особенность: training-free inference на основе двух голов SAM 3 (semantic head + Transformer-decoder instance head) с dual-head mask fusion и presence-guided filtering. Выходной формат: **dense per-class probability maps** (17 классов в основном протоколе, open-vocabulary по text prompts). mIoU усреднённо по 8 RS-датасетам **53.4 %** против 40.7 % у CorrCLIP и 39.1 % у CAT-Seg. Building extraction на WHU-Aerial достигает **86.9 % IoU** (+37.7 пп к SegEarth-OV). Cityscapes — 69.7 мIoU (+18.6 пп к предыдущему SOTA). Код: `github.com/earth-insights/SegEarth-OV-3`.
|
||||
|
||||
Таблица 1 — сравнение альтернатив. Все оценки — либо из оригинальных статей, либо из SegEarth-OV3 Tab. 1.
|
||||
|
||||
|Провайдер|Год/Venue|Backbone|Patch|Выходы|mIoU RS (avg)|Обуч.-free|Co-train|Совм. с DINOv3/16|Код/веса|
|
||||
|---|---|---|---|---|---|---|---|---|---|
|
||||
|**SegEarth-OV3** [Li'25] `2512.08730`|2025 arXiv|SAM 3 + PE-L+|16|dense + binary|**53.4**|✓|косвенно (LoRA на PE-L+)|**нативно**|Apache, полные|
|
||||
|SegEarth-OV [Li'24] `2410.01768`|CVPR'25 Oral|CLIP-ViT-B/16 + SimFeatUp|16|dense|34.2|✓|✓|нативно|✓|
|
||||
|Grounded-SAM2 [Ren'24] `2401.14159`|arXiv 2024|GroundingDINO + SAM2-Hiera|16|binary stack|~37 (RS)|частично|—|нативно|✓|
|
||||
|EVF-SAM [Zhang'24] `2406.20076`|arXiv 2024|BEiT-3 + SAM|16|binary|~40 (generic)|—|✓|нативно|✓|
|
||||
|CAT-Seg [Cho'24] `2303.11797`|CVPR'24|CLIP-ViT-B/16 или L/14|**14** (L)|dense|39.1 (RS tuned)|—|✓|**mismatch если L/14**|✓|
|
||||
|SED [Xie'24]|CVPR'24|ConvNeXt-L + CLIP|16 (conv)|dense|~38|—|✓|нативно|✓|
|
||||
|OVSeg [Liang'23] `2210.04150`|CVPR'23|CLIP-ViT-L/14|14|dense|~30|—|—|mismatch|✓|
|
||||
|RSPrompter [Chen'23] `2306.16269`|TGRS 2024|SAM-ViT-H (stride-16)|16|instance masks|—|—|частично|нативно|✓|
|
||||
|SkySense / SkySense++ [Wu'25] — NMI 2025|2024-25|Swin-H + ViT-L (MS/SAR)|16|dense|SOTA на LoveDA 56.1|—|**✓ (pretrain)**|частично|✓|
|
||||
|SkySense V2 [Zhang'25] `2507.13812`|ICCV'25|Unified ViT + MoE + APM|16|dense|+1.8 vs SkySense|—|✓|✓|✓|
|
||||
|GeoPixel [Shabbir'25] `2501.13925`|ICML'25|CLIP-ViT + pLoRA LLM + grounding|14/16|mask via [SEG] tok.|— (grounding)|—|—|частично|✓|
|
||||
|ProxyCLIP/CorrCLIP [2024]|ECCV'24/25|CLIP + DINO/SAM proxies|16|dense|40.7|✓|✓|✓|✓|
|
||||
|MaskCLIP++ [Zhou'22/24] `2208.12262`|ECCV'22 ext.|CLIP-ViT-B/16|16|dense|—|✓|—|нативно|✓|
|
||||
|Prithvi-EO-2.0 [IBM/NASA'24]|arXiv 2024|ViT-L (HLS)|16|dense (task head)|—|—|✓|✓|✓|
|
||||
|SpectralGPT [Hong'24]|TPAMI 2024|3D-MAE ViT|16|dense|—|—|✓|✓|✓|
|
||||
|
||||
**Ключевой вывод.** SegEarth-OV3 и большинство альтернатив (SAM, SAM 2, SAM 3, PE-L+, SkySense, SpectralGPT, Prithvi-EO-2.0) работают на **stride-16**. При использовании DINOv3 ViT-L/16 это даёт нативное соответствие сеток токенов; при DINOv2 ViT-L/14 необходим resampler (см. §7). SkySense++ и SkySense V2 — единственные RS-foundation-модели с семантически обогащённым pretraining, что даёт им преимущество для со-тренировки.
|
||||
|
||||
---
|
||||
|
||||
## 2. Постановка задачи слияния RGB + Seg для teacher-DINOv3
|
||||
|
||||
**Важное уточнение (verified vs original spec).** В исходной постановке указан DINOv3 ViT-L/14. По официальному tech-report Siméoni et al. (`2508.10104`, Aug 2025) и HuggingFace-модель-карт `facebook/dinov3-vitl16-pretrain-lvd1689m`, **все DINOv3-варианты используют patch-size 16**. Patch-14 соответствует DINOv2. Далее основной разбор строится для **DINOv3 ViT-L/16** (feat-dim 1024, 4 register-токена, RoPE), а DINOv2 ViT-L/14 рассматривается как запасной вариант с явным discussion patch-size mismatch.
|
||||
|
||||
**Формализация.** Обозначим вход $I\in\mathbb{R}^{H\times W\times 3}$. DINOv3 после patchification выдаёт последовательность $X_{\text{rgb}}\in\mathbb{R}^{N\times C}$, где $N = 1{+}r{+}\lfloor H/16\rfloor\lfloor W/16\rfloor$ ($r{=}4$ register-токенов), $C{=}1024$. SegEarth-OV3 выдаёт два формата:
|
||||
|
||||
- Dense tensor: $S_d\in\mathbb{R}^{H\times W\times K}$ (per-pixel class probabilities, $K$ произвольно для open-vocabulary).
|
||||
- Binary stack: $S_b\in{0,1}^{H\times W\times K}$ — argmax либо threshold.
|
||||
|
||||
Цель fusion — построить $\tilde X = \mathcal{F}(X_{\text{rgb}}, S)$, такое что retrieval-loss $\mathcal{L}_{\text{CVGL}}$ на University-1652/SUES-200 минимизируется при сохранении DINO self-supervised представлений (CKA-drift $\Delta_{\text{CKA}}\le\epsilon$).
|
||||
|
||||
**Специфика UAV/RS.** (i) **Тонкие линейные структуры** (дороги, ЛЭП, rail-lines) занимают sub-patch ширину — naïve bilinear-upsample ViT-features фрагментирует их (SegEarth-OV Fig. 2, road-IoU < 35 % у всех training-free методов). (ii) **Сезонная и фенологическая изменчивость** vegetation-классов делает closed-set seg-representation хрупким — open-vocabulary с prompt-aug даёт лучший generalization. (iii) **Heavy class-imbalance** (roads ≪ buildings ≪ vegetation) требует seg-weighted loss либо mask-pooling вместо плотного concat.
|
||||
|
||||
**Специфика DINOv3.** DINOv3 обучен с **Gram anchoring** — новой loss, которая фиксирует patch-gram-матрицы относительно frozen teacher и препятствует разрушению dense-представлений при long-horizon training [Siméoni'25]. Любой fusion-механизм, интерферирующий с patch-attn и вызывающий сильный ΔCKA по dense-токенам, с высокой вероятностью частично уничтожит этот pretraining-эффект. Следствие: предпочтение side-branch и LoRA-инъекций перед full-fine-tune.
|
||||
|
||||
**Основные проблемы fusion.** (a) _Modality misalignment_ — CLIP/SigLIP-пространство SegEarth-OV3 не выровнено с DINO-пространством; между ними можно ожидать CKA < 0.3 (гипотеза по аналогии с Kornblith'19 для CLIP vs DINO). (b) _Patch-size mismatch_ — только при DINOv2 ViT-L/14. (c) _Destructive interference_ — особенно при unfreeze последних блоков, когда seg-gradient перекрывает DINO-objective. (d) _Upstream drift_ — если prompt-set SegEarth-OV3 меняется между train и inference, распределение $S_d$ нестационарно.
|
||||
|
||||
---
|
||||
|
||||
## 3. Таксономия методов слияния RGB + Seg
|
||||
|
||||
### 3.1 Четыре базовые оси
|
||||
|
||||
**Уровень слияния.** (1) _Input-level_ — канальный concat RGB⊕$S$ до patchification; редко применимо к DINOv3 из-за разрушения patch-embed weights. (2) _Early-token_ — после patchification, перед блоком 1. (3) _Mid-block_ — между блоками 1–24 ViT-L. (4) _Late_ — после `norm` из последнего блока. (5) _Loss-level_ — только auxiliary alignment losses без изменения forward-pass.
|
||||
|
||||
**Механизм.** Concat, sum, sigmoid-gating, **cross-attention** $\text{softmax}(QK^\top/\sqrt{d})V$ с $Q$=RGB, $K,V$=seg, **FiLM** $\gamma(S)\odot x + \beta(S)$, **adapter** $x + \sigma(W_{\text{down}}W_{\text{up}}x)$, **LoRA** $W + BA$ с $A\in\mathbb{R}^{r\times d}, B\in\mathbb{R}^{d\times r}, r\ll d$, prompt-injection (visual prompts concatenated to sequence), query-token resampling (Perceiver-style), **mask-pooled attention** $\tilde v_k = \text{softmax}(M_k),V$.
|
||||
|
||||
**Инвазивность.** Frozen + external adapter / partial unfreeze (last $N$ layers) / full fine-tune / co-training (shared-backbone).
|
||||
|
||||
**Симметрия.** Симметричные (оба потока равноправны, напр. CAT-Seg cost-volume) vs асимметричные (seg — modulator, напр. FiLM-conditioning).
|
||||
|
||||
### 3.2 Две новые оси, специфичные для SegEarth-OV3
|
||||
|
||||
**Представление семантики на входе.** (a) _Dense logits_ $S_d\in\mathbb{R}^{H\times W\times K}$ — самая богатая форма, но требует $K$-зависимого канала. (b) _Argmax-map_ $\in{0,\ldots,K-1}^{H\times W}$ — embedding-lookup стандартно. (c) _Binary mask stack_ $S_b$ — удобно для mask-pooled attention. (d) _Query-token embeddings_ — SegEarth-OV3 может отдавать presence-gated per-class embeddings как $M$ query-tokens, $M\ll N_{\text{patches}}$.
|
||||
|
||||
**Замкнутость semantic space.** _Closed-set_ — фиксированный $K$, что ограничивает vocabulary drift. _Open-vocabulary_ — prompt-set меняется при inference; требует prompt-independent fusion (например, seg подаётся как dense feature, не как one-hot).
|
||||
|
||||
### 3.3 Иерархическое представление
|
||||
|
||||
- Input-level → concat → closed-set (baseline, не-ViT-native) → **пример: ACNet 2019** (foundational).
|
||||
- Early-token → prompt-injection → open-vocab → **пример: VPT 2022 + seg-prompts** (foundational).
|
||||
- Mid-block → LoRA/adapter → open-vocab → **пример: SAM3-Adapter 2025, Mona 2024**.
|
||||
- Mid-block → FiLM → closed-set → **пример: FiLM 2018** (foundational).
|
||||
- Mid-block → cross-attention → open-vocab → **пример: CAT-Seg 2024, SED 2024**.
|
||||
- Late → mask-pooled attention → open-vocab → **пример: FC-CLIP 2023, MaskCLIP++ 2024**.
|
||||
- Co-training → shared backbone → open-vocab → **пример: ODISE 2023, SkySense V2 2025**.
|
||||
- Loss-level → contrastive alignment → open-vocab → **пример: GeoRSCLIP + CKA-regularized distillation 2024**.
|
||||
|
||||
---
|
||||
|
||||
## 4. SOTA-методы (2024–2026)
|
||||
|
||||
### 4.1 ODISE [Xu et al., CVPR 2023 Highlight, `2303.04803`, NVlabs/ODISE]
|
||||
|
||||
Shared frozen Stable-Diffusion UNet-backbone + Mask2Former-style mask-generator + CLIP-classifier. Реально — **dual frozen provider**, а не shared-training, но вводит концепцию: diffusion-features содержат localized open-vocab knowledge. Trainable: 28.1 M. Ключ: implicit captioner для CLIP-conditioning diffusion.
|
||||
|
||||
$$ \tilde F_{\text{ODISE}}(I) = \text{DenoisingUNet}_{\theta^{\ast}}(I, c_{\phi}(I)), \quad c_{\phi}\text{ — learnable captioner.} $$
|
||||
|
||||
Метрики: ADE20K 23.4 PQ / 30.0 mIoU zero-shot при обучении только на COCO. **CVGL-tested: N**. Стоимость у teacher'а высокая (1.4 B params SD1.5). Формально это foundational reference для раздела co-training (§8).
|
||||
|
||||
### 4.2 FC-CLIP [Yu et al., NeurIPS 2023, `2308.02487`]
|
||||
|
||||
Single frozen convolutional CLIP-ConvNeXt-L: одновременно mask-generator и classifier. Mask-pooling over frozen CLIP features:
|
||||
|
||||
$$ e_k = \frac{\sum_{p\in M_k} F_p}{\sum_p M_{k,p}}, \quad p(c\mid M_k) \propto \exp(\langle e_k, t_c\rangle/\tau). $$
|
||||
|
||||
ADE20K 26.8 PQ; 6.6× быстрее ODISE. **CVGL-tested: N**. Критически важно для MERIDIAN: **парадигма frozen-provider с mask-pooling — прямой прототип SegEarth-OV3-as-upstream**. Совместимость с DINOv3: высокая, так как mask-pooling работает над любыми dense features, включая DINOv3 patch-tokens. Δparams ≈ 0 в teacher-backbone, mask-generator + projection ~30 M.
|
||||
|
||||
### 4.3 CAT-Seg [Cho et al., CVPR 2024, `2303.11797`, cvlab-kaist/CAT-Seg]
|
||||
|
||||
Cost-volume cross-attention над image⊕text embeddings CLIP. Cost-volume:
|
||||
|
||||
$$ C(p, c) = \cos!\left(F_{\text{img}}(p), F_{\text{txt}}(c)\right), \quad \tilde C = \text{Agg}_{\text{spatial}}\circ\text{Agg}_{\text{class}}(C). $$
|
||||
|
||||
Fine-tunes CLIP encoders; ViT-L/14 вариант, mIoU ADE20K-847 = 16.0. **CVGL-tested: N**. Стоимость: ~5 M params aggregation + full CLIP fine-tune. Применимость к паре A: CAT-Seg — симметричный template для RGB⊕Seg fusion, если рассматривать SegEarth-OV3 class-embeddings как «text side». Риск: full-FT разрушает DINO-объектив. Mitigation: LoRA-adapt CLIP текстовой ветви, frozen DINOv3.
|
||||
|
||||
### 4.4 SED [Xie et al., CVPR 2024]
|
||||
|
||||
Simple Encoder-Decoder для OVSS: hierarchical ConvNeXt-CLIP encoder + UNet-style decoder с feature-pyramid guidance. Формула decoder-fusion:
|
||||
|
||||
$$ F_{\ell-1}^{\text{dec}} = \text{Up}(F_{\ell}^{\text{dec}}) + \text{Conv}(F_{\ell}^{\text{enc}}) \odot \sigma(\text{Conv}(F_{\ell}^{\text{txt}})). $$
|
||||
|
||||
Важность для пары A: аналогичный side-decoder можно применить к DINOv3 как к encoder, подавая SegEarth-OV3-masks как $F^{\text{txt}}$-равнозначный сигнал на соответствующих уровнях.
|
||||
|
||||
|
||||
### 4.5 MaskCLIP++ / SCLIP / ProxyCLIP / CorrCLIP (семейство mask-attention)
|
||||
|
||||
**MaskCLIP++** [Zhou et al., `2208.12262` ext.] — модификация последнего attention-блока CLIP для dense prediction: replace `q⋅k^T` на `v⋅v^T`-based self-correlation. **SCLIP** [Wang et al., `2312.01597`, 2023] — correlative self-attention. **ProxyCLIP** [Lan et al., ECCV 2024] — использует DINO как proxy для reshaping CLIP attention. **CorrCLIP** — SAM-proxy attention rewriting. Ключевой формализм:
|
||||
|
||||
$$ \text{Attn}_{\text{rewrite}}(X) = \text{softmax}!\left(\frac{V V^\top}{\sqrt d}\right) V \quad\text{(MaskCLIP++, SCLIP)}. $$
|
||||
|
||||
Обычно training-free. Применимость: именно эти методы используются SegEarth-OV3 pipeline. Для teacher'а — можно воспроизвести ProxyCLIP-style attention-rewrite: DINOv3-self-attention как «structural prior», CLIP/SegEarth-OV3 как «semantic prior», результат — fused attention-map, который подаётся в последний блок teacher'a. **CVGL-tested: N.** Стоимость: 0 trainable params (training-free), inference +5–10 %.
|
||||
|
||||
### 4.6 SAM2/SAM3-Adapter + Mona [Chen et al., `2304.09148` / `2408.04579` / `2511.19425`; Li et al., `2408.08576`]
|
||||
|
||||
**SAM-Adapter** (ICCVW 2023) ввёл per-block task-prompts:
|
||||
|
||||
$$ P^{(i)} = \text{MLP}_{\text{up}}(\sigma(\text{MLP}_{\text{tune}}^{(i)}(F_{\text{task}}))), \quad x^{(i+1)} = \text{Block}^{(i)}!\left(x^{(i)} + P^{(i)}\right). $$
|
||||
|
||||
SAM2-Adapter и SAM3-Adapter (2024-2025) расширяют на hierarchical backbone SAM2/SAM3. **Mona-adapter** (Li et al., `2408.08576`) — multi-cognitive visual adapter с mixture convolutional filters для RS-specific instance-segmentation, +1.4 AP over LoRA. **Conv-LoRA** (Zhong et al., `2401.17868`) — injection conv-prior в LoRA-branch.
|
||||
|
||||
Критическое применение для пары A: DINOv3 блоки остаются frozen, в каждый вставляется Mona-style adapter, получающий на вход SegEarth-OV3-masks (через маленький conv-encoder 16→64→1024 ch). Δparams ≈ 2–5 M (r=8 LoRA + conv).
|
||||
|
||||
$$ x^{(i+1)} = x^{(i)} + \underbrace{\text{Block}^{(i)}_{\theta^{\ast}}(x^{(i)})}_{\text{frozen}} + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \underbrace{W^{(i)}_{\text{seg}},\phi_{\text{conv}}(S)}_{\text{Mona-injection}}. $$
|
||||
|
||||
### 4.7 SkySense / SkySense V2 / SkySense++ [Wu/Guo et al., CVPR 2024 / ICCV 2025 / NMI 2025]
|
||||
|
||||
SkySense V2 (`2507.13812`, Jul 2025) — unified transformer backbone для MS + SAR + HR-optical, 665 M params (vs 1.26 B у SkySense), Adaptive Patch Merging (APM), learnable modality prompts, MoE. Pretraining — query-based attention + multi-granularity contrastive. **SkySense++** (NMI 2025) добавляет semantic-enhanced pretraining на RS-Semantic (13 датасетов, pixel-level). SOTA на LoveDA 56.1 mIoU, iSAID ≈ 72 mIoU. Для пары A важно: SkySense V2 показывает, что shared-backbone + modality-prompt token — работающий RS-нативный аналог ODISE, с +1.8 pp vs SkySense на 16 датасетах.
|
||||
|
||||
$$ X_{\text{mod}} = \text{Attn}([P_{\text{mod}}; X_{\text{img}}]), \quad P_{\text{mod}}\in\mathbb{R}^{n_p\times C}\text{ — learnable mod-prompts.} $$
|
||||
|
||||
### 4.8 FeatUp / JAFAR / AnyUp + Perceiver-Resampler [Fu'24; Couairon'25; Wimmer'25]
|
||||
|
||||
**FeatUp** (ICLR 2024, `2403.10516`) — model-agnostic feature upsampler (JBU stack или implicit), multi-view consistency loss. Используется SegEarth-OV (CVPR 2025 Oral) как SimFeatUp. **LoftUp** (ICCV 2025 oral, `2504.14032`) — coordinate-based cross-attention-upsampler с SAM-mask pseudo-GT. **JAFAR** (NeurIPS 2025, `2506.11136`) — Spatial Feature Transform modulation + attention. **AnyUp** (`2510.12764`, Oct 2025) — **feature-agnostic**: обучена один раз, работает на DINOv2/v3, CLIP, SigLIP без retrain. Для пары A: AnyUp — единственный метод, который бесплатно поддерживает multiple backbones одновременно.
|
||||
|
||||
**Perceiver Resampler** (Flamingo, `2204.14198`): learnable queries $Q\in\mathbb{R}^{M\times C}$ cross-attendают в $N$ токенов, $M\ll N$:
|
||||
|
||||
$$ \tilde X = \text{softmax}!\left(\frac{QK^\top}{\sqrt d}\right)V,\quad K,V = X_{\text{src}}W_{k,v}. $$
|
||||
|
||||
Для пары A: идеален как 14↔16 grid-bridge, если MERIDIAN вынужденно останется на DINOv2 ViT-L/14. Стоимость 1 layer cross-attn ≈ 4 M params при $C{=}1024$.
|
||||
|
||||
### 4.9 CVGL-specific methods 2024-2026 с семантическими сигналами
|
||||
|
||||
Таблица 2 — CVGL SOTA с указанием использования сегментации.
|
||||
|
||||
|Метод|Год/Venue|Backbone|Uses-Seg|R@1 U-1652 D→S|Notes|
|
||||
|---|---|---|---|---|---|
|
||||
|Sample4Geo [Deuser'23] `2303.11851`|ICCV'23|ConvNeXt-B|N|92.65|GPS-sampling + DSS|
|
||||
|MCCG [Shen'24]|TCSVT'24|ConvNeXt-B|N|93.9|multi-classifier|
|
||||
|DAC [Xia'24]|2024|ConvNeXt|N|94.7|domain alignment|
|
||||
|Game4Loc [Ji'25] `2409.16925`|AAAI'25 Oral|ViT-B/16 RoPE|N|— (new bench)|weighted InfoNCE|
|
||||
|MEAN [2024] `2412.14819`|2024|ConvNeXt-T|N|96.25 (200m SUES)|multi-level alignment|
|
||||
|CAMP [Wu'24]|TGRS'24|ConvNeXt-B|partial (position-aware)|94.6|contrastive attribute|
|
||||
|GLQINet [2025] Sci.Rep.|2025|ConvNeXt-S|partial (quadrant)|95.2|quadrant attention|
|
||||
|GLEAM-C [2025] `2509.07450`|2025|ConvNeXt-B / PE-L/14|N|≈ 96|multi-dataset|
|
||||
|PFED-distill [2025] `2510.22582`|2025|DINOv2-B teacher → ConvNeXt-T student|N|≈ 95|_hierarchical distillation_|
|
||||
|Geo² [2025] `2603.25819`|2025|VGGT + DINOv2 + Sample4Geo|**partial (geometry+semantics)**|—|geometry-guided|
|
||||
|Scale-Aware [2025] `2603.07535`|2025|ViT + semantic-geometric|**Y** (explicit seg)|—|scale-aware seg-guidance|
|
||||
|Learnable-Query-Aggreg. [2025] `2512.23938`|2025|DINOv2-L + conv-adapter|N|≈ 96|KV-routing, conv-adapter|
|
||||
|CLIP-driven CVGL [RefineGate 2024]|2024 TGRS|CLIP|**Y (text-semantic)**|—|semantic branches in CL|
|
||||
|
||||
**Ключевой вывод.** На апрель 2026 только ≈2-3 CVGL-метода напрямую используют semantic segmentation как modality (Scale-Aware, Geo², CLIP-driven RefineGate). Большинство top-результатов держатся на ConvNeXt-B backbone + contrastive (InfoNCE/DSS). DINOv2/v3-based CVGL-методы начинают появляться в 2025 (PFED, Learnable-Query-Aggreg.), что делает нашу работу **новой нишей**: teacher-DINOv3 + SegEarth-OV3-LUPI не имеет прямых конкурентов.
|
||||
|
||||
---
|
||||
|
||||
## 5. Критический анализ (метод-за-методом)
|
||||
|
||||
Оценочная шкала: `−` неприемлемо, `0` нейтрально, `+` хорошо, `++` оптимально.
|
||||
|
||||
### 5.1 ODISE (co-training reference)
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Совместимость frozen DINOv3-L|`−`|требует shared-backbone, не frozen|
|
||||
|Сохранность DINO-представлений|`−`|Gram-anchoring ломается при co-training|
|
||||
|Инвазивность|`−`|full fine-tune shared backbone|
|
||||
|Distillability-потенциал в CNN-student|`0`|SD1.5-features не ViT-specific, но тяжёлые|
|
||||
|Совместимость с LUPI|`+`|teacher может потреблять дополнительные модальности|
|
||||
|Устойчивость к missing modality|`0`|требует CLIP + SD оба|
|
||||
|Patch-size robustness|`+`|SD UNet не ViT, patch-size irrelevant|
|
||||
|Поддержка dense+binary seg|`+`|обе через Mask2Former head|
|
||||
|Co-training с SegEarth-OV3|`++`|direct fit|
|
||||
|Воспроизводимость|`+`|NVlabs/ODISE, CC-BY-NC|
|
||||
|CVGL-tested|`N`|—|
|
||||
|
||||
### 5.2 FC-CLIP (frozen-provider paradigm)
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Совместимость frozen DINOv3-L|`++`|mask-pooling не требует unfreeze|
|
||||
|Сохранность DINO-представлений|`++`|zero drift|
|
||||
|Инвазивность|`++`|только decoder-head|
|
||||
|Distillability|`++`|CNN-student может имитировать mask-pooled descriptors|
|
||||
|LUPI|`++`|каноническая LUPI-схема|
|
||||
|Missing modality|`+`|fallback к RGB-only работает|
|
||||
|Patch-size robustness|`++`|mask-pooling агностичен к grid|
|
||||
|Dense+binary|`++`|оба|
|
||||
|Co-training|`0`|нужен только upstream|
|
||||
|Воспроизводимость|`++`|✓|
|
||||
|CVGL-tested|`N`|adaptation required|
|
||||
|
||||
### 5.3 CAT-Seg
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`0`|cost-volume над frozen features возможен, но обычно fine-tune|
|
||||
|Сохранность DINO|`0`|при frozen — `+`, при FT — `−`|
|
||||
|Инвазивность|`0`|aggregation module 5-10 M + optional FT|
|
||||
|Distillability|`+`|cost-volume можно distill как cross-correlation|
|
||||
|LUPI|`+`|cost-volume ~ LUPI-friendly|
|
||||
|Missing modality|`−`|требует text side|
|
||||
|Patch-size robust|`−` на L/14 / `+` на L/16|mismatch critical|
|
||||
|Dense+binary|`+`|dense native, binary через soft-hard|
|
||||
|Co-training|`+`|end-to-end LoRA возможна|
|
||||
|Воспроизводимость|`++`|✓|
|
||||
|CVGL-tested|`N`||
|
||||
|
||||
### 5.4 SED
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`+`|side-decoder|
|
||||
|Сохранность DINO|`+`|drift только в FPN-слоях|
|
||||
|Инвазивность|`+`|decoder 10-20 M|
|
||||
|Distillability|`+`|FPN-descriptor передаётся|
|
||||
|LUPI|`+`||
|
||||
|Missing modality|`+`|fallback OK|
|
||||
|Patch-size robust|`+`|hierarchical decoder|
|
||||
|Dense+binary|`+`||
|
||||
|Co-training|`+`||
|
||||
|Воспроизводимость|`+`|✓|
|
||||
|CVGL-tested|`N`||
|
||||
|
||||
### 5.5 SAM3-Adapter + Mona
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`++`|adapter-injection, backbone полностью frozen|
|
||||
|Сохранность DINO|`++`|adapter residual, ΔCKA оценочно < 0.05|
|
||||
|Инвазивность|`++`|2-5 M params|
|
||||
|Distillability|`+`|adapter-descriptor transferable|
|
||||
|LUPI|`++`|native fit|
|
||||
|Missing modality|`++`|zeroing adapter — fallback|
|
||||
|Patch-size robust|`+`|adapter-conv агностичен|
|
||||
|Dense+binary|`++`|conv-encoder на вход принимает оба|
|
||||
|Co-training|`+`|joint adapter+upstream LoRA|
|
||||
|Воспроизводимость|`++`|SAM3-Adapter код released Nov 2025|
|
||||
|CVGL-tested|`N`||
|
||||
|
||||
### 5.6 MaskCLIP++ / ProxyCLIP / CorrCLIP
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`++`|training-free attention rewrite|
|
||||
|Сохранность DINO|`+`|заменяет last-block attn, ΔCKA на последнем слое|
|
||||
|Инвазивность|`++`|0 trainable|
|
||||
|Distillability|`0`|attention-pattern hard to distill to CNN|
|
||||
|LUPI|`+`||
|
||||
|Missing modality|`+`|fallback к vanilla attn|
|
||||
|Patch-size robust|`++`||
|
||||
|Dense+binary|`+`|dense native|
|
||||
|Co-training|`−`|training-free противоречит co-training|
|
||||
|Воспроизводимость|`++`||
|
||||
|CVGL-tested|`N`||
|
||||
|
||||
### 5.7 SkySense V2 / SkySense++
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`−`|требует свой backbone, не DINOv3|
|
||||
|Сохранность DINO|`−`|другой objective|
|
||||
|Инвазивность|`−`|full pretraining required|
|
||||
|Distillability|`+`|dense features transferable|
|
||||
|LUPI|`+`|MS+SAR+HR — естественная privileged set|
|
||||
|Missing modality|`++`|modality-prompt tokens|
|
||||
|Patch-size robust|`++`|APM|
|
||||
|Dense+binary|`+`||
|
||||
|Co-training|`++`|native|
|
||||
|Воспроизводимость|`+`|code released|
|
||||
|CVGL-tested|`N`|только generic RS|
|
||||
|
||||
### 5.8 FeatUp / AnyUp + Perceiver Resampler
|
||||
|
||||
|Критерий|Оценка|Комментарий|
|
||||
|---|---|---|
|
||||
|Frozen DINOv3-L|`++`|post-hoc feature upsampling|
|
||||
|Сохранность DINO|`++`|features остаются неизменными|
|
||||
|Инвазивность|`++`|1-10 M params|
|
||||
|Distillability|`+`|upsampler-free distillation возможна|
|
||||
|LUPI|`+`||
|
||||
|Missing modality|`++`||
|
||||
|Patch-size robust|`++`|**ключевое преимущество**|
|
||||
|Dense+binary|`++`||
|
||||
|Co-training|`0`||
|
||||
|Воспроизводимость|`++`|AnyUp released Oct 2025|
|
||||
|CVGL-tested|`N`||
|
||||
|
||||
---
|
||||
|
||||
## 6. Сравнительная таблица пары A (итоговая)
|
||||
|
||||
|Method|Year|Venue|Domain|Mechanism|Input fmt|Δparams|FT depth|CVGL-tested|Distillability|Patch robust|**Priority**|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|ODISE|2023|CVPR|generic|shared-backbone|dense+bin|28 M + 1.4 B SD|full co-train|N|0|+|4|
|
||||
|FC-CLIP|2023|NeurIPS|generic|mask-pooled attn|binary|30 M|decoder only|N|++|++|**1**|
|
||||
|CAT-Seg|2024|CVPR|generic|cost-volume + cross-attn|dense|5-10 M + LoRA|LoRA|N|+|+/−|3|
|
||||
|SED|2024|CVPR|generic|FPN side-decoder|dense|10-20 M|decoder+LoRA|N|+|+|3|
|
||||
|MaskCLIP++/ProxyCLIP|2024|ECCV|generic/RS|attn-rewrite|dense|0|training-free|N|0|++|3|
|
||||
|**SAM3-Adapter + Mona**|2025|arXiv/TGRS|RS/generic|LoRA+adapter-injection|dense+bin|2-5 M|LoRA only|N|+|+|**2**|
|
||||
|SkySense V2/++|2025|ICCV/NMI|RS|shared-backbone|dense|665 M (own BB)|full pretrain|N|+|++|5|
|
||||
|FeatUp/AnyUp + Perceiver|2024-2025|ICLR/NeurIPS|generic|feature resampling|dense+bin|1-10 M|FT-free|N|+|++|2|
|
||||
|
||||
**Priority 1** — основной рекомендуемый метод для MERIDIAN. **Priority 2** — дополнение/fallback. **Priority 3-4** — исследовательские ablations. **Priority 5** — не подходит (несовместимость backbone).
|
||||
|
||||
---
|
||||
|
||||
## 7. Patch-size alignment strategies
|
||||
|
||||
Этот раздел имеет смысл **только** при fallback к DINOv2 ViT-L/14. При использовании DINOv3 ViT-L/16 + SegEarth-OV3 (PE-L+ @1008, stride-16) grids **уже выровнены** → resampling не требуется.
|
||||
|
||||
### 7.1 Bilinear/Bicubic upsample
|
||||
|
||||
Стандартный baseline. На тонких структурах (roads, power lines) даёт aliasing: SegEarth-OV (Fig. 2) и IARU-Net 2025 показывают distortion масок на линейных объектах с IoU-drop 3-10 pp. Для UAV с GSD ~0.5 м bilinear teacher-features на дорогах (ширина 1-2 px) ломает geometrical consistency. **Не рекомендуется** для дорог/ЛЭП.
|
||||
|
||||
### 7.2 Learnable token resampler (Perceiver-style / Q-Former)
|
||||
|
||||
Cross-attention module с M learnable queries на целевой сетке (16×16 = 256 queries для stride-16): $$ \tilde X_{16} = \text{softmax}(Q_{16}K_{14}^\top/\sqrt d)V_{14}, \quad |Q_{16}|=256,,|K_{14}|=256. $$ Стоимость: 1 layer ≈ 4 M params, inference +3-5 %. Преимущество: сохраняет edges, learnable. **Рекомендуется** если DINOv2 L/14 остаётся backbone.
|
||||
|
||||
### 7.3 FlexiViT PI-resize
|
||||
|
||||
Beyer et al. CVPR 2023 (`2212.08013`). Pseudo-inverse resize kernel patch-embed: $\tilde W = W,P^{+}$. Zero inference-cost, но требует либо FlexiViT-pretrained backbone, либо short fine-tune. Теряет 0.5-2 pp ImageNet при naive application. Для MERIDIAN: применимо как **one-time convert** DINOv2 L/14 → виртуальный L/16.
|
||||
|
||||
### 7.4 Dual-patch-size DINOv3 finetuning
|
||||
|
||||
Жизнеспособно, но дорого: 10-50 GPU-days для full re-pretrain. Не оправданно на фоне доступных alternatives.
|
||||
|
||||
### 7.5 Frozen-feature projection vs feature-space resampling
|
||||
|
||||
**FeatUp / LoftUp / JAFAR / AnyUp** — upsample feature-maps до пиксельного разрешения, затем fuse в pixel-space. AnyUp (Oct 2025, `2510.12764`) работает feature-agnostic, без retrain per-backbone — **оптимальный выбор при mixing DINOv3+SAM+CLIP**. Δparams ~10 M, latency comparable to bilinear.
|
||||
|
||||
**Рекомендация MERIDIAN.** Идти на DINOv3 ViT-L/16 — устраняет mismatch вовсе; использовать AnyUp только для pixel-level fusion dense-features с SAM3-masks при необходимости.
|
||||
|
||||
---
|
||||
|
||||
## 8. Co-training SegEarth-OV3 + DINOv3 vs Frozen-provider
|
||||
|
||||
### 8.1 Frozen-provider (FC-CLIP-подобная парадигма)
|
||||
|
||||
SegEarth-OV3 полностью зафиксирован; его dense logits $S_d$ и binary stacks $S_b$ кешируются offline. DINOv3 остаётся frozen, обучаются только (a) адаптеры Mona в блоках 18-24, (b) projection-MLP seg→feature, (c) decoder-head для CVGL.
|
||||
|
||||
**Плюсы.** (i) Модульность: upstream можно менять (SegEarth-OV3 → SkySense++) без re-train teacher. (ii) Reproducibility: статический upstream → deterministic features. (iii) Нулевой risk negative transfer в DINOv3. (iv) Offline mask-caching радикально снижает training latency.
|
||||
|
||||
**Минусы.** (a) Domain gap: SegEarth-OV3 использует CLIP-aligned PE-L+, а DINO пространство ортогонально (CKA < 0.3 гипотетически). (b) Невозможность co-evolution: ошибки SegEarth-OV3 (prompt-set drift, false positives) транслируются без возможности correction.
|
||||
|
||||
### 8.2 Co-training (ODISE/SkySense-V2 path)
|
||||
|
||||
SegEarth-OV3 и DINOv3 делят части backbone или тренируются совместно с multi-task loss: $$ \mathcal{L} = \lambda_{\text{CVGL}} \mathcal{L}_{\text{InfoNCE}} + \lambda_{\text{seg}} \mathcal{L}_{\text{CE/Dice}} + \lambda_{\text{DINO}} \mathcal{L}_{\text{Gram-anchor}}. $$
|
||||
|
||||
**Плюсы.** (i) Feature alignment RGB⊕seg. (ii) Возможность propagation gradient'a CVGL-loss в upstream (fine-tune PE-L+). (iii) Estate-of-art на RS-foundation (SkySense V2 +1.8 pp).
|
||||
|
||||
**Минусы.** (a) _Negative transfer_: seg-задача (dense pixel-CE) и CVGL-задача (image-level retrieval) имеют разные gradient-направления; без GradNorm/PCGrad одна подавит другую. (b) _Loss of DINO universality_: Gram-anchoring нарушается, если unfreeze > 4 последних блоков. (c) 3-10× training cost.
|
||||
|
||||
### 8.3 Практические гибриды
|
||||
|
||||
(1) **LoRA-based co-training**: обе ветви имеют backbone frozen, trainable — только LoRA-adapters $r=8$ в last 6 блоках. $\Delta$ params ≈ 10 M. Совмещает модульность frozen-provider с небольшой co-evolution.
|
||||
|
||||
(2) **Staged training**: этап 1 — frozen SegEarth-OV3 + frozen DINOv3, trained only fusion-decoder 10 epochs. Этап 2 — unfreeze LoRA last 4 blocks DINOv3, train 5 epochs с малым LR. Этап 3 (optional) — joint LoRA both.
|
||||
|
||||
(3) **Multi-task loss balancing**: **GradNorm** (Chen'18, `1711.02257`) с adaptive weights; **PCGrad** (Yu'20, `2001.06782`) gradient surgery для проекции conflicting gradients; **CAGrad** (Liu'21, `2110.14048`) conflict-averse. Для MERIDIAN рекомендуется PCGrad: минимизирует negative interference при низком compute overhead.
|
||||
|
||||
(4) **CKA-regularization**: добавить regularizer $\mathcal{L}_{\text{CKA}} = -\text{CKA}(F_{\theta}, F_{\theta^{\ast}})$ на последних блоках, где $\theta^{\ast}$ — frozen reference DINOv3. Это эмпирический штраф за DINO-drift, измеряемый по Kornblith'19 (`1905.00414`).
|
||||
|
||||
**Итоговая рекомендация.** Для MERIDIAN-A: **staged LoRA-hybrid** — начать с frozen-provider (phase 1), затем LoRA-co-training last 4 blocks под PCGrad (phase 2). Это сохраняет distillability и минимизирует negative transfer.
|
||||
|
||||
---
|
||||
|
||||
## 9. Рекомендация для DINOv3-teacher по паре A
|
||||
|
||||
### Топ-2 метода
|
||||
|
||||
**Выбор 1 (основной): FC-CLIP-style frozen-provider + mask-pooled attention + SAM3-Adapter/Mona LoRA-injection.**
|
||||
|
||||
_Место интеграции._ SegEarth-OV3 — frozen provider. Binary mask stacks $S_b\in{0,1}^{H\times W\times K}$ (K ≈ 17-32 для RS) подаются через conv-encoder $\phi:H\times W\times K\to H/16\times W/16\times 256$ в Mona-adapter inside blocks **20-24** DINOv3 ViT-L/16. Для retrieval-head — mask-pooled feature descriptors: $$ e_k = \frac{1}{\sum M_k}\sum_p M_{k,p},F_p^{\text{DINOv3}}, \quad F_{\text{final}} = \text{concat}_k!\left(e_k\right) W_{\text{proj}}. $$
|
||||
|
||||
_Fine-tune режим._ Frozen DINOv3 backbone; trainable — только Mona-LoRA (r=8, 4 blocks, ~3 M) + retrieval-projection (~1 M) + optional SegEarth-OV3 PE-L+ LoRA (~5 M). Total Δparams ≈ 5-10 M.
|
||||
|
||||
_Интеграция с Multi-FiLM-Fusion (пара D, text)._ FiLM-параметры $(\gamma_t, \beta_t)$ из text-branch и Mona-adapter composable по аддитивной residual-схеме: $$ x^{(i+1)} = x^{(i)} + \text{Block}_{\theta^{\ast}}^{(i)}(x^{(i)}) + \underbrace{B^{(i)}A^{(i)}x^{(i)}}_{\text{LoRA}} + \gamma_t^{(i)}\odot\phi_{\text{seg}}(S)^{(i)} + \beta_t^{(i)}. $$
|
||||
|
||||
Это сохраняет симметрию обращения с text⊕seg и не требует отдельной re-integration.
|
||||
|
||||
**Выбор 2 (дополнительный, для ablations): SED-style FPN side-decoder + AnyUp upsampling в pixel-space.**
|
||||
|
||||
_Место интеграции._ Dense logits $S_d$ подаются в side-decoder, принимающий DINOv3 intermediate features из блоков {6, 12, 18, 24}. Через hierarchical UNet с skip-connections и AnyUp-upsampling до пиксельного разрешения производится pixel-level fusion.
|
||||
|
||||
_Fine-tune режим._ Frozen DINOv3; trainable — side-decoder (~15 M) + AnyUp (~10 M). Этот вариант оптимален для **depth-pair B** и служит baseline-comparison для **выбора 1**.
|
||||
|
||||
### Фальсифицируемые гипотезы
|
||||
|
||||
**H_fus_A_1 (главная).** Frozen-provider (SegEarth-OV3) + Mona-LoRA-injection в блоки 20-24 DINOv3 ViT-L/16 + mask-pooled descriptor даёт **ΔR@1 ≥ 2.5 %** на University-1652 drone→satellite относительно Sample4Geo ConvNeXt-B baseline (R@1 = 92.65 %), одновременно сохраняя **distillability-score ≥ 0.85** (определяемый как R@1 CNN-student, обученного через CKA+InfoNCE distillation, нормализованный к R@1 teacher), при **Δparams ≤ 10 M**. Проверка: CKA-sweep по слоям 12-24 (expected ΔCKA last-block ≤ 0.05 vs vanilla DINOv3) и bootstrap CI по 1000 samples. _Основание для величины 2.5 %: +1-2 pp дают прямые ViT-upgrade в CVGL (Learnable-Query-Aggreg., 2025), семантическая модальность в LUPI-сценариях добавляет ещё ~1-2 pp по аналогии с FC-CLIP transfer gains._
|
||||
|
||||
**H_fus_A_2.** При использовании DINOv3 ViT-L/16 вместо DINOv2 ViT-L/14 + Perceiver-resampler, R@1 на University-1652 **не упадёт более чем на 0.5 %** благодаря Gram-anchoring и native stride-16 alignment с SegEarth-OV3. Проверка: ablation {DINOv2/14+Perceiver, DINOv3/16 direct} при идентичных остальных компонентах.
|
||||
|
||||
**H_fus_A_3.** Co-training (stage-2 PCGrad LoRA both DINOv3 and PE-L+) даёт **ΔR@1 ≤ +0.5 %** дополнительно к H_fus_A_1, но **увеличит distillability-loss ≥ 0.10** за счёт drift unique-to-teacher features. Это означает, что чистый frozen-provider — Pareto-оптимальный выбор для LUPI-CVGL в MERIDIAN, а co-training оправдан только если R@1-gain приоритетнее student-performance.
|
||||
|
||||
**H_fus_A_4 (вспомогательная).** Binary mask-stack представление при $K=17$ (стандартный SegEarth-OV3 protocol) даёт **ΔR@1 ≥ +0.7 %** по сравнению с argmax-map с embedding-lookup, так как сохраняет class-uncertainty в overlap regions. Проверка: ablation input-format при фиксированной fusion-архитектуре.
|
||||
|
||||
---
|
||||
|
||||
## 10. Риски и ограничения пары A
|
||||
|
||||
**Negative transfer.** Co-training SegEarth-OV3 ⊕ DINOv3 без PCGrad / CKA-regularization с вероятностью > 50 % (оценка по аналогии с FC-CLIP Tab. 4 и Kornblith'19) приведёт к падению ADE20K-feature-quality DINOv3 на 3-7 pp. _Mitigation:_ staged LoRA-hybrid + PCGrad + $\mathcal{L}_{\text{CKA}}$-regularizer.
|
||||
|
||||
**Modality competition.** RGB-ветвь эволюционно сильнее (DINOv3 pretrained на 1.689 B images); seg-сигнал рискует быть проигнорирован в early training. _Mitigation:_ seg-dropout schedule (gradual-unlocking) и independent seg-projection head с distinct contrastive loss.
|
||||
|
||||
**Feature drift.** Full fine-tune DINOv3 разрушит Gram-anchoring и универсальность features → student сможет distill только CVGL-specific patterns. _Mitigation:_ frozen backbone + LoRA-only + CKA-monitor.
|
||||
|
||||
**Upstream dependency.** SegEarth-OV3 качество масок имеет variance до 15 pp mIoU между классами (roads 49.6 IoU vs buildings 86.9 IoU). _Mitigation:_ per-class reliability-weighting mask-pooled descriptors.
|
||||
|
||||
**Distillability regression.** Чем сложнее teacher-fusion, тем выше риск ViT-specific patterns, которые CNN-student (<5M) не воспроизведёт. _Mitigation:_ constrain teacher-architecture к mask-pooled descriptors (a-la FC-CLIP) — они архитектура-агностичны.
|
||||
|
||||
**Open-vocabulary prompt drift.** Prompt-set SegEarth-OV3 меняется между train/inference → неустойчивость распределения $S_d$. _Mitigation:_ freeze prompt-set на train и inference; либо dense-feature-based fusion без prompts вовсе.
|
||||
|
||||
**Patch-size artifacts.** Только при DINOv2 L/14. _Mitigation:_ переход на DINOv3 L/16 или Perceiver-resampler.
|
||||
|
||||
**Latency у teacher.** SAM 3 + PE-L+ @1008×1008 + DINOv3 ViT-L/16 вместе ≈ 25-30 GFLOPs на изображение. _Mitigation:_ offline mask-caching делает это non-issue для train-time; inference-time у teacher'а не критичен в LUPI.
|
||||
|
||||
---
|
||||
|
||||
## Что предстоит проверить на следующем этапе (пара B, RGB+Depth)
|
||||
|
||||
Пара A установила, что для LUPI-CVGL оптимальна **frozen-provider + LoRA-injection + mask-pooled descriptor** схема с сохранением DINO-objective через Gram-anchoring. Эти findings переносимы на пару B (RGB⊕Depth), но с тремя критическими отличиями. Во-первых, depth из Metric3D v2 / Depth Anything v2 / UniDepth — это continuous-valued H×W×1 tensor, не discrete semantic, поэтому mask-pooling неприменим — потребуется либо FiLM-modulation (depth → γ,β), либо depth-as-query в cross-attention. Во-вторых, depth и RGB имеют гораздо меньший modality-gap, чем RGB и CLIP-aligned seg, поэтому риск negative transfer при co-training ниже, а вероятность дополнительного R@1-gain выше — стоит рассмотреть более агрессивную LoRA-unfreeze. В-третьих, depth геометрически информативен, что особенно ценно для UAV: следует проверить Geo² (`2603.25819`) и Scale-Aware CVGL (`2603.07535`) как прямые baselines, и гипотезу H_fus_B_1, что depth-fusion даёт большее ΔR@1 на SUES-200 (multi-height) чем на University-1652 (fixed height), именно за счёт depth-provided scale invariance.
|
||||
|
||||
Для пары B также критически важно проверить совместимость DINOv3 ViT-L/16 с depth-foundation-models: если UniDepth использует stride-16, grid-alignment сохраняется; если Metric3Dv2 — stride-14, понадобится AnyUp или Perceiver-resampler. Эта связка между парами A и B (общий resampler, общая Mona-adapter-архитектура, общий staged-training recipe) позволит MERIDIAN переиспользовать 80% infrastructure между двумя privileged modalities.
|
||||
|
||||
---
|
||||
|
||||
### Краткий библиографический указатель
|
||||
|
||||
- Siméoni et al. DINOv3. arXiv:2508.10104 (2025).
|
||||
- Li et al. SegEarth-OV3. arXiv:2512.08730 (2025). github.com/earth-insights/SegEarth-OV-3
|
||||
- Li et al. SegEarth-OV. CVPR 2025 Oral. arXiv:2410.01768.
|
||||
- Xu et al. ODISE. CVPR 2023. arXiv:2303.04803.
|
||||
- Yu et al. FC-CLIP. NeurIPS 2023. arXiv:2308.02487.
|
||||
- Cho et al. CAT-Seg. CVPR 2024. arXiv:2303.11797.
|
||||
- Xie et al. SED. CVPR 2024.
|
||||
- Chen et al. SAM-Adapter (ICCVW'23, arXiv:2304.09148), SAM2-Adapter (arXiv:2408.04579), SAM3-Adapter (arXiv:2511.19425).
|
||||
- Li et al. MC-SAM + Mona. arXiv:2408.08576 (2024).
|
||||
- Zhong et al. Conv-LoRA. arXiv:2401.17868 (2024).
|
||||
- Zhou et al. MaskCLIP / MaskCLIP++. arXiv:2208.12262.
|
||||
- Wang et al. SCLIP. arXiv:2312.01597 (2023).
|
||||
- Lan et al. ProxyCLIP. ECCV 2024.
|
||||
- Fu et al. FeatUp. ICLR 2024. arXiv:2403.10516.
|
||||
- Huang et al. LoftUp. ICCV 2025 Oral. arXiv:2504.14032.
|
||||
- Couairon et al. JAFAR. NeurIPS 2025. arXiv:2506.11136.
|
||||
- Wimmer et al. AnyUp. arXiv:2510.12764 (2025).
|
||||
- Alayrac et al. Flamingo / Perceiver Resampler. NeurIPS 2022. arXiv:2204.14198.
|
||||
- Li et al. BLIP-2 / Q-Former. ICML 2023. arXiv:2301.12597.
|
||||
- Beyer et al. FlexiViT. CVPR 2023. arXiv:2212.08013.
|
||||
- Dehghani et al. NaViT. NeurIPS 2023. arXiv:2307.06304.
|
||||
- Guo et al. SkySense. CVPR 2024.
|
||||
- Zhang et al. SkySense V2. ICCV 2025. arXiv:2507.13812.
|
||||
- Wu et al. SkySense++. Nat. Mach. Intell. 2025. doi:10.1038/s42256-025-01078-8.
|
||||
- Shabbir et al. GeoPixel. ICML 2025. arXiv:2501.13925.
|
||||
- Bolya et al. Perception Encoder. arXiv:2504.13181.
|
||||
- Carion et al. SAM 3. arXiv:2511.16719.
|
||||
- Zheng et al. University-1652. ACM MM 2020.
|
||||
- Deuser et al. Sample4Geo. ICCV 2023. arXiv:2303.11851.
|
||||
- Ji et al. Game4Loc / GTA-UAV. AAAI 2025 Oral. arXiv:2409.16925.
|
||||
- Xu et al. UAV-VisLoc. arXiv:2405.11936 (2024).
|
||||
- Learnable-Query-Aggregation CVGL. arXiv:2512.23938 (2025).
|
||||
- PFED-distill CVGL. arXiv:2510.22582 (2025).
|
||||
- Geo² CVGL. arXiv:2603.25819 (2025).
|
||||
- Scale-Aware CVGL. arXiv:2603.07535 (2025).
|
||||
- Kornblith et al. CKA. ICML 2019. arXiv:1905.00414.
|
||||
- Chen et al. GradNorm. ICML 2018. arXiv:1711.02257.
|
||||
- Yu et al. PCGrad. NeurIPS 2020. arXiv:2001.06782.
|
||||
- Liu et al. CAGrad. NeurIPS 2021. arXiv:2110.14048.
|
||||
Reference in New Issue
Block a user