forked from Pikaliov/fuze_task
fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz)
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
This commit is contained in:
Pikaliov
296
docs/02_references/04_geometry/REVIEW_chm_pairC.md
Normal file
296
docs/02_references/04_geometry/REVIEW_chm_pairC.md
Normal file
@@ -0,0 +1,296 @@
|
||||
---
|
||||
type: review
|
||||
status: active
|
||||
date: 2026-04-20
|
||||
tags: [fusion, teacher, pair-C, chm, canopy-height, dinov3, lupi, priority/high]
|
||||
related: ["[[REVIEW_depth_normals_pairB]]", "[[../00_overall/SPEC_fusion_ACF_MERIDIAN]]", "[[../../01_teacher/SPEC_teacher_v2_dual_teacher]]"]
|
||||
author: claude
|
||||
---
|
||||
|
||||
# Слияние RGB + CHM в teacher-DINOv3: обзор пары C
|
||||
|
||||
> Обзор пары C: 9 методов от CHM-провайдеров до fusion-механизмов, с акцентом на CHMv2 (native ViT-L/16 grid match) для DINOv3-teacher.
|
||||
|
||||
## 0. Микроплан
|
||||
|
||||
Разбираем **9 методов**, покрывающих спектр от CHM-провайдеров до fusion-механизмов, с акцентом на то, что канонический CHM-модуль (CHMv2) разделяет backbone с teacher (**native ViT-L/16 grid match**):
|
||||
|
||||
1. **CHMv2** (arXiv:2603.06382, 2026) — канонический frozen provider с DPT-256-mixlog head на DINOv3 ViT-L/16; единственный обеспечивающий нативное токен-совпадение.
|
||||
2. **Tolan et al. 2024** (RSE 113888) — foundational baseline Meta/WRI на **DINOv2 ViT-H/14** + DPT + GEDI percentile-rescaling.
|
||||
3. **Lang et al. 2023** (Nature EE) — foundational probabilistic 10 m CNN-ensemble с GEDI NLL-supervision.
|
||||
4. **Depth Any Canopy** (arXiv:2408.04523) — lightweight adaptation Depth-Anything-V2 для canopy; точка сравнения «depth-FM → canopy-FM».
|
||||
5. **msGFM** (CVPR 2024, arXiv:2404.01260) — единственный multi-modal RS FM с явной paired **RGB + DSM** архитектурой (cross-sensor MIM).
|
||||
6. **TerraMind** (arXiv:2504.11171, ICCV 2025) — dual-scale token-level FSQ-VAE fusion 9 модальностей включая DEM; ближайший аналог tri-modal teacher.
|
||||
7. **MMEarth/MP-MAE** (ECCV 2024) — MAE-pretext с **GCHM Lang-2023 как target-модальностью**: доказательство, что CHM кодируется как pretext signal.
|
||||
8. **ForestIQNet** (Drones 2025) — dual-stream RGB + voxel-CHM с Cross-Attentional Feature Fusion (CAFF); прямой референс RGB+CHM cross-attention fusion.
|
||||
9. **FiLM** (Perez 2018, foundational) + **Mona-adapter** (arXiv:2408.08345) + **ViT-Adapter** (ICLR 2023, arXiv:2205.08534) + **Surgical FT** (arXiv:2210.11466) — методологический каркас для инжекта дискретной геометрической модальности в frozen ViT-L.
|
||||
|
||||
Дополнительные ссылки на `foundational` Potapov 2021, GEDI L4B v2.1, ICESat-2 ATL08 v007 даны только для validation / secondary prior.
|
||||
|
||||
---
|
||||
|
||||
## 1. CHMv2 как provider: техническая характеристика и сравнение
|
||||
|
||||
**CHMv2** (Meta/WRI, март 2026; HuggingFace `facebook/dinov3-vitl16-chmv2-dpt-head`) — frozen DINOv3 ViT-L/16 backbone (~304 M параметров) с **Dense Prediction Transformer** (Ranftl 2021) декодером, конфигурированным на **256 depth-bins с mixlog-биннингом** и диапазоном 0.001–96 м. Supervised-обучение проведено против ALS-ground-truth с дополнительной валидацией GEDI L2A RH95/RH98 и ICESat-2 ATL08; по canonical-спецификации проекта CHMv2 превосходит Tolan-2024 и Lang-2023 по RMSE и снижает known-недооценку tall forests (R² возрастает с 0.53 → 0.86 по внутренним reports).
|
||||
|
||||
**Native grid match.** Ключевое свойство: CHMv2 использует **тот же ViT-L/16**, что и teacher MERIDIAN. При подаче того же RGB-тайла в teacher и CHMv2-encoder grid токенов (H/16 × W/16) **совпадает pixel-to-token без resampling**, что радикально дешевле, чем пара B (Metric3D-v2 ViT-G2 на DINOv2/14-базе с 14-пиксельным патчем) и пара A (SegEarth-OV3 на SAM3+PE-L+). Для tile 448×448 это 28×28=784 токена, один-в-один в обоих потоках.
|
||||
|
||||
**Сравнительная таблица providers.** Для каждого источника приводятся независимо подтверждённые метрики; для Lang 2023 даны biome-усреднённые диапазоны, поскольку «global headline RMSE» в оригинале не даётся единым числом.
|
||||
|
||||
|Provider|Год|Backbone|Resolution|Coverage|Validation source|RMSE (m, headline)|Compat. с DINOv3 ViT-L/16|
|
||||
|---|---|---|---|---|---|---|---|
|
||||
|**CHMv2** (canonical)|2026|**DINOv3 ViT-L/16** + DPT-256-mixlog|1 m, global|global wall-to-wall|ALS + GEDI + ICESat-2|> Tolan-24 / Lang-23 (spec)|**native (patch-16)**|
|
||||
|**Tolan 2024**|2024|DINOv2 ViT-H/14 SSL + DPT|0.5–1 m|global (Maxar VHR)|NEON ALS + NFI Brazil|4.25 (NFI RMSE); 2.8 (MAE global)|патч-14 ≠ 16 → resample|
|
||||
|**Lang 2023**|2023|Xception-S2 CNN × 5 (probabilistic)|10 m|global ±60°|GEDI hold-out + ALS biomes|4.7–9.6 per-biome|несовместим (≠ViT)|
|
||||
|**Depth Any Canopy**|2024|Depth-Anything-V2 ViT-S/B + DPT|1 m (NEON)|CONUS-only|NEON ALS|MAE 0.10–0.14 (normalized)|ViT, но не DINOv3|
|
||||
|**Potapov 2021** `foundational`|2021|Bagged regression trees|30 m|global ±52°|GEDI + ALS|**9.07 (ALS)**, насыщ. 30 м|несовместим|
|
||||
|**GEDI L4B v2.1**|2023/24|Hybrid stat. inference|1 km AGBD|±51.6°|field plots|AGBD SE 10–40%|biomass ≠ CHM; validator only|
|
||||
|**ICESat-2 ATL08 v007**|2025|Photon-counting LIDAR|100 m along-track|global (incl. high-lat)|ALS|1.4–3.2 (temp.), 5.0 (dense tropics)|validator only|
|
||||
|**MMEarth/MP-MAE** (CHM-pretext)|2024|ConvNeXt V2 MAE|10 m (GCHM)|global|Lang-2023 target|N/A (pretext loss)|CHM как pretext signal|
|
||||
|**ESA WorldCover v200**|2022|S-1/S-2 classif.|10 m|global|21 k pts|OA 76.7%|forest-mask only|
|
||||
|
||||
Источник данных: обзор пары C верифицирует, что **CHMv2 — единственный provider 2024-2026 с native ViT-L/16 grid match**. Это центральная архитектурная находка пары C.
|
||||
|
||||
---
|
||||
|
||||
## 2. Постановка задачи: RGB + CHM fusion для teacher-DINOv3
|
||||
|
||||
Формально: teacher получает RGB-тайл $I \in \mathbb{R}^{3\times H\times W}$, который проецируется в последовательность токенов $X^{\text{RGB}} \in \mathbb{R}^{N\times C}$, $N=HW/16^2$, $C=1024$. CHM-тензор $M \in \mathbb{R}^{1\times H\times W}$ в метрах, диапазон [0.001, 96], native GSD совпадает с inp-разрешением teacher (проекция CHMv2 через DPT уже даёт pixel-dense m). CHM-токенизация $M \to Z^{\text{CHM}} \in \mathbb{R}^{N\times C_z}$ через либо (i) CHMv2-encoder (тот же DINOv3, поздний слой, $C_z=1024$), либо (ii) patchify + linear-embed continuous values. Fusion-оператор $\Phi: (X^{\text{RGB}}, Z^{\text{CHM}}) \to \tilde X$ сохраняет размер последовательности.
|
||||
|
||||
**Conditional utility analysis по бенчмаркам CVGL.** Для каждого бенчмарка приводим качественную оценку сигнальной доли CHM (количественных статистик «% tiles с CHM>5m» ни один бенчмарк публично не даёт — это gap, отмеченный в разделе 10):
|
||||
|
||||
- **University-1652** (Zheng 2020; ACM MM): 72 campus-buildings в мире, **urban-dominant**; tile-уровень преимущественно застройка → **CHM ≈ 0 на оценочно 85-95% tiles** (качественная оценка).
|
||||
- **DenseUAV** (Dai 2024; IEEE TIP): 14 университетских кампусов Китая с dense sampling, aналогично urban-dominant → CHM ≈ 0 на абсолютном большинстве tiles.
|
||||
- **SUES-200** (Zhu 2023; TCSVT): multi-height multi-scene, 200 локаций смешанного urban/suburban → **partial canopy coverage 20-40% tiles** (парковые и окраинные зоны).
|
||||
- **GTA-UAV / Game4Loc** (Ji 2024, AAAI 2025, arXiv:2409.16925): **81.3 км² синтетических континуальных областей**, 33 763 кадра с multi-altitude 80-650 м, эксплицитно включает классы сцен **urban / mountain / coast / forest** — **вариабельный CHM-сигнал по тайлам**, с выраженным forest-субсетом.
|
||||
- **UAV-VisLoc** (Xu 2024, arXiv:2405.11936): 6 742 кадра в 11 локациях Китая, метадата **villages, towns, farms, cities, rivers, hills** — наиболее natural-ландшафтный бенчмарк, **CHM-сигнал доминирует на rural/hilly tiles**, ожидаемо 30-60% tiles с CHM > 5 m (авторская оценка на основе описания геоморфологии).
|
||||
|
||||
**Специфика CHM как модальности.** CHM **отличается от generic depth**: фокусируется исключительно на vegetation-height (DSM − DTM), игнорируя buildings и terrain. Это придаёт CHM роль **дезамбигуатора self-similar forest canopy в RGB**: там, где RGB-признаки ViT путаются на тайлах однородного леса, canopy-height даёт структурную сигнатуру (относительное распределение высот, hotspots emergent-деревьев). Сезонная вариативность (deciduous vs evergreen) и disturbance signals (logging, fire scars, regrowth) — дополнительные факторы, не используемые в paired B/A, но значимые для долгосрочной robustness CVGL.
|
||||
|
||||
**Ключевое преимущество native grid match.** Пара A (SegEarth-OV3 на PE-L+) и пара B (Metric3D-v2 ViT-G2 на DINOv2/14) требуют bilinear-resample либо учителя, либо source-фичей. Пара C **не требует resample вовсе**: токены CHMv2 и teacher-DINOv3 идут 1:1. Это эксклюзивное свойство пары C, снижающее feature drift risk.
|
||||
|
||||
**Проблемы.** (1) **Modality competition с depth из пары B**: в forested regions Metric3D-v2 и CHMv2 частично коррелируют. (2) **Sparse signal в urban-dominant датасетах** → риск feature drift от шума в low-canopy tiles. (3) **Geographic OOD**: CHMv2 обучен на ALS с US-tilted распределением, purely-tropical / disturbed регионы могут быть OOD (раздел 8).
|
||||
|
||||
---
|
||||
|
||||
## 3. Избыточность vs комплементарность Metric3D-v2 (пара B) и CHMv2 (пара C)
|
||||
|
||||
|Тип tile|Metric3D-v2 (пара B)|CHMv2 (пара C)|Избыточность|
|
||||
|---|---|---|---|
|
||||
|Urban (U-1652, DenseUAV)|depth до rooftop|≈ 0 по всему тайлу|**Ортогональные сигналы**, избыточности нет|
|
||||
|Forested (UAV-VisLoc rural)|depth до canopy-top|absolute canopy height (от ground)|**Частичная избыточность**, но CHM отделяет canopy от terrain-elevation, что Metric3D-v2 не даёт|
|
||||
|Mixed (SUES-200)|depth до max-surface (building vs tree)|canopy component only|**Комплементарный joint**: CHM «выделяет» деревья, depth — здания|
|
||||
|Disturbed (scar, logging)|depth ≈ ground|ΔCHM > 0 при regrowth, ≈ 0 в scar|**Независимые temporal-сигналы**|
|
||||
|
||||
**Архитектурная импликация.** Обе модальности поступают через **dual FiLM-branches** (рекомендация пары B) с возможностью **shared bottleneck в FiLM-MLP** для экономии параметров — это канонически расширяется до **tri-branch FiLM (depth + normals + CHM)** поверх blocks 20-24 frozen DINOv3-L/16.
|
||||
|
||||
**Рекомендуемая ablation-метрика.** Измерить orthogonality FiLM-параметров $\gamma, \beta$ между depth-branch и CHM-branch через среднюю cosine-similarity по тайлам forested-субсета UAV-VisLoc: $$ \rho_{\text{depth, CHM}} = \mathbb{E}_{t} \left[ \frac{\langle \gamma^{\text{depth}}_t, \gamma^{\text{CHM}}_t \rangle}{|\gamma^{\text{depth}}_t| \cdot |\gamma^{\text{CHM}}_t|} \right]. $$ Целевой диапазон $\rho \in [0.2, 0.5]$: слишком низкий намекает на избыточность информации (signals не дополнительны), слишком высокий — на collapse к одному сигналу.
|
||||
|
||||
---
|
||||
|
||||
## 4. Таксономия методов слияния RGB + CHM
|
||||
|
||||
Четыре базовые оси (унаследованы из пар A, B):
|
||||
|
||||
- **Уровень fusion**: input-concat (RGB||CHM→4-channel) / early-token / mid-block / **late (blocks 20-24)** / loss-level.
|
||||
- **Механизм**: concat / sum / gating / cross-attention / **FiLM** / adapter (LoRA/Mona) / prompt-injection / contrastive alignment.
|
||||
- **Инвазивность для DINOv3**: frozen + external branch / partial unfreeze (blocks 20-24) / full FT / co-training с CHMv2.
|
||||
- **Симметрия**: симметричные (RGB↔CHM взаимные cross-attn) vs **асимметричные (CHM как modulator RGB-потока)**.
|
||||
|
||||
**CHM-специфичные оси.**
|
||||
|
||||
- **Представление CHM на входе**:
|
||||
1. **Raw metric** (m): минимум искажений, но heavy-tailed распределение (большинство значений < 2 m, редкие emergent > 40 m).
|
||||
2. **Log-CHM**: $\log(1+h)$, нормализует tail.
|
||||
3. **Normalized [0,1]** по max 96 m.
|
||||
4. **Bin-classified**: 256-binned (как в DPT-head CHMv2) — natural-совместимо с DORN-style.
|
||||
5. **Learned CHM-token embedding**: проекция через отдельный ViT-encoder (частный случай — использовать late features CHMv2-backbone напрямую).
|
||||
6. **Binary forest-mask**: $\mathbb{1}[h > \tau]$, обычно $\tau \in {2, 5}$ м.
|
||||
- **Use mode**:
|
||||
- **Geometric** (continuous CHM тензор) → FiLM/cross-attention, трактовка как 3D vegetation structure (аналог пары B).
|
||||
- **Semantic** (binary mask от threshold) → conditional feature routing, gate.
|
||||
- **Hybrid** (continuous CHM с semantic gate активации): $\gamma^{\text{CHM}}_{\text{gated}} = g \cdot \gamma^{\text{CHM}} + (1-g) \cdot 0$, где $g = \sigma(\text{mask-pool}(\mathbb{1}[h>\tau]))$.
|
||||
- **Disturbance signal extraction**: temporal Δ-CHM (бi-темпоральный CHMv2) для logging / fire detection — не основной use case, но **открывает дополнительный применимый сигнал для MERIDIAN** при наличии multi-epoch покрытия.
|
||||
|
||||
Иерархически: root → (RGB-only, early-concat, late-fusion, loss-level) → FiLM/CA/LoRA → {geometric, semantic, hybrid}. Рекомендуемая ветка пары C: **late-fusion (blocks 20-24) + FiLM-hybrid + CHMv2-frozen external branch**.
|
||||
|
||||
---
|
||||
|
||||
## 5. SOTA-методы (2024-2026)
|
||||
|
||||
### 5.1 CHMv2 architectural deep dive (2603.06382, март 2026) — `foundational provider`
|
||||
|
||||
Архитектура: frozen DINOv3 ViT-L/16 + DPT-head с 256 depth-bins и mixlog-binning. Ключевая формула bin-центров: $$ b_k = \exp\left(\alpha \cdot \log h_{\min} + (1-\alpha_k)\cdot \log h_{\max}\right), \quad \alpha_k = f_{\text{mixlog}}(k/K). $$ **Δparams для teacher-пайплайна** при frozen-use: 0 (CHM-branch вешается как external encoder). Memory overhead обучения: одна copy DPT-head (≈ 30 M params) + forward DINOv3 ViT-L (304 M, frozen, inference-only). Совместимость с LUPI: privileged только в teacher, student не получает CHM на inference. Code/weights: HuggingFace.
|
||||
|
||||
### 5.2 Tolan et al. 2024 — `foundational baseline`
|
||||
|
||||
Tolan J. et al. «Very high resolution canopy height maps from RGB imagery using self-supervised vision transformer and convolutional decoder trained on Aerial Lidar», _RSE_ 300:113888, 2024 (arXiv:2304.07213). **DINOv2 ViT-H/14** на 18 M Maxar-кропах + DPT-decoder + GEDI percentile-rescaling. MAE ≈ 2.8 m global, NFI-RMSE 4.25 m; насыщение ~30–35 m. GitHub `facebookresearch/HighResCanopyHeight`. Использование как **alternate provider для ablation**: позволяет измерить чувствительность teacher к качеству CHM-source.
|
||||
|
||||
### 5.3 Lang et al. 2023 — `foundational baseline`
|
||||
|
||||
Nature Ecology & Evolution 7:1778, 2023. Probabilistic ensemble (5× Xception-S2 CNN) + Gaussian-NLL loss на GEDI RH98, 10 m output. **Главное преимущество** — uncertainty-aware output $(\mu, \sigma^2)$, что позволяет **confidence-weighting fusion**: $\gamma^{\text{CHM}} \leftarrow \gamma^{\text{CHM}} / (1 + \lambda \sigma^2)$. RMSE 4.7–9.6 по биомам. Не ViT-native, но используется как secondary cross-validator.
|
||||
|
||||
### 5.4 Depth Any Canopy (arXiv:2408.04523, 2024)
|
||||
|
||||
Rege Cambrin D. et al. Fine-tuning Depth-Anything-V2 ViT-S/B на NEON ALS, MAE 0.10–0.14 (normalized). **Значимость для пары C**: демонстрирует transferability depth-FM → canopy-FM c минимальным parameter cost. Может служить **lightweight альтернативой** CHMv2 в LoRA-ablation (если CHMv2 требует fine-tune на специфичной географии).
|
||||
|
||||
### 5.5 msGFM (CVPR 2024, arXiv:2404.01260)
|
||||
|
||||
Han B. et al. «Bridging Remote Sensors with Multisensor Geospatial Foundation Models», Swin V2 + MoE, **единственный RS FM с явной paired RGB + DSM архитектурой через cross-sensor masked image modeling**. Ключевая операция: модель реконструирует одну модальность из другой (DSM ↔ RGB) через shared encoder. **Важное различие**: DSM ≠ CHM (DSM включает здания), но **architectural template напрямую переносим на RGB+CHM**. Применение в MERIDIAN teacher: использовать msGFM cross-reconstruction loss как auxiliary pretext для co-adaptation CHMv2-branch и RGB-потока. CVGL-tested: N.
|
||||
|
||||
### 5.6 TerraMind (ICCV 2025, arXiv:2504.11171)
|
||||
|
||||
Jakubik J. et al., IBM/ESA. Dual-scale encoder-decoder с **FSQ-VAE tokenizers** для 9 модальностей (S-1, S-2, DEM, LULC, NDVI, geo, text). Cross-modal patch classification + **Thinking-in-Modalities (TiM)** — генерация недостающих модальностей как intermediate reasoning step. **Применимость к CHM**: использовать FSQ-VAE-подход для токенизации CHM → unified token space, заменяя DEM-канал на CHM. Δparams высокий (~500 M при base-ViT), требует full co-training. CVGL-tested: N. Релевантность: архитектурный prior для универсального token-level fusion.
|
||||
|
||||
### 5.7 MMEarth / MP-MAE (ECCV 2024, arXiv:2405.02771)
|
||||
|
||||
Nedungadi V. et al. MAE с **GCHM Lang-2023 как pretext-target**. Это доказательство концепции: CHM эффективно кодируется self-supervised в foundation-стадии. Не применимо напрямую для inference-fusion (CHM — target, не input), но **вдохновляет auxiliary loss**: teacher обучается реконструировать CHM-embedding из RGB, стимулируя 3D-aware RGB-представление. Δparams: +decoder, ~20–30 M.
|
||||
|
||||
### 5.8 ForestIQNet (Drones 2025, MDPI 9(7):496)
|
||||
|
||||
Dual-stream: (1) multispectral UAV imagery encoder, (2) **voxelized CHM encoder**. Fusion через **Cross-Attentional Feature Fusion (CAFF)** + transformer regression-head для biomass/carbon. **Наиболее прямой референс RGB+CHM cross-attention** в литературе 2024-2026. Архитектура CAFF: $$ \tilde X^{\text{RGB}} = X^{\text{RGB}} + \text{softmax}!\left(\frac{X^{\text{RGB}} W_Q (Z^{\text{CHM}} W_K)^\top}{\sqrt{d}}\right) Z^{\text{CHM}} W_V. $$ Применимость к teacher DINOv3: CAFF = стандартный cross-attention модуль, инжектируется как **parallel adapter** в blocks 20-24 frozen DINOv3, Δparams на ViT-L/16 ≈ 4 × 3 × (1024×1024) × 5 blocks = **~63 M**. CVGL-tested: N.
|
||||
|
||||
### 5.9 FiLM + Mona + ViT-Adapter + Surgical FT — `architectural toolbox`
|
||||
|
||||
- **FiLM** (Perez 2018, arXiv:1709.07871) — $y = \gamma(c) \odot x + \beta(c)$ — канонический per-channel affine conditioning.
|
||||
- **Mona** (arXiv:2311.15010 / 2408.08345) — first delta-tuning surpassing full-FT on dense prediction (ADE20K, COCO, DOTA); multi-cognitive depthwise conv filters after down-projection. Применимо как замена generic FiLM, когда CHM-conditioning нужен локально-пространственный, не только channel-wise.
|
||||
- **ViT-Adapter** (Chen, ICLR 2023, arXiv:2205.08534) — spatial prior module + feature injector; ViT-Adapter-L достигает 60.5 mIoU ADE20K, 60.9 box AP COCO. **Прямой архитектурный prior** для инжекта CHM-features в plain ViT без модификации backbone.
|
||||
- **Surgical FT** (Lee, ICLR 2023, arXiv:2210.11466) — empirical evidence: для feature-level distribution shift оптимально тюнить **middle layers**, для output-shift — last. Для CHM (geometric aux): данные указывают на **late blocks (20-24 из 24)** ViT-L.
|
||||
|
||||
**Параметрический расчёт FiLM на DINOv3 ViT-L/16.** Dim $d=1024$, 5 injected blocks (20-24), FiLM-MLP = 2-layer (CHM-token → bottleneck → 2d для γ+β):
|
||||
|
||||
$$ \Delta_{\text{standalone}} = 5 \times (1024 \times b + b \times 2 \times 1024) \big|_{b=256} = 5 \times (262,144 + 524,288) \approx 3.9\text{ M}. $$
|
||||
|
||||
При **shared bottleneck** между depth-, normals-, CHM-branches (bottleneck = общий, 3 выходные головы): $$ \Delta_{\text{shared}} = 1024 \times b + 3 \times (b \times 2 \times 1024) \approx 1.8\text{ M} \text{ на блок} \Rightarrow \sim 9\text{ M всего для 5 блоков}. $$
|
||||
|
||||
Это намного дешевле standalone-трёх-бранч (~12 M) при равной ёмкости.
|
||||
|
||||
---
|
||||
|
||||
## 6. Критический анализ: матрица критериев
|
||||
|
||||
Шкала: −− / − / 0 / + / ++. Критерии синтезированы для применения в teacher-DINOv3.
|
||||
|
||||
|Метод|Frozen-DINO compat|ΔCKA (feat drift)|Инвазив.|Distill → CNN student|LUPI compat|Missing-modality robust|Conditional utility|Compat пара B|Compat пара A|Res. scale|Native grid match|Reprod.|RS/forest validated|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|CHMv2 (frozen)|++|++|+|++|++|+|++|++|++|++|**++**|++|++|
|
||||
|Tolan 2024|+|+|+|+|++|+|+|+|+|+|0 (patch-14)|+|++|
|
||||
|Lang 2023|0|+|0|+|++|+|+|0|0|0 (10 m)|−|++|++|
|
||||
|DepthAnyCanopy|+|+|+|+|+|+|+|+|+|+|+|+|+|
|
||||
|msGFM (CAFF-style)|0|0|−|0|+|0|+|+|+|+|−|+|+|
|
||||
|TerraMind|−|0|−−|0|+|++|+|+|0|+|−|0|+|
|
||||
|MMEarth (pretext)|+|+|0|0|++|++|0|+|+|+|0|+|+|
|
||||
|ForestIQNet (CAFF)|+|0|0|+|+|0|+|+|0|+|+|0|+|
|
||||
|FiLM+Mona+ViT-Adapter|++|++|++|++|++|++|++|++|++|++|++ (при CHMv2)|++|+|
|
||||
|
||||
**Чтение таблицы.** Конвергенция: CHMv2 (frozen provider) + FiLM-токsticks архитектурный слой (+Mona/ViT-Adapter variant) — единственная комбинация с «++» по всем ключевым осям пары C, особенно **native grid match** и **distillability** (generic FiLM с `γ=0` fall-through поведением легко реплицируется в CNN-student через conditional BN).
|
||||
|
||||
---
|
||||
|
||||
## 7. Сравнительная таблица пары C
|
||||
|
||||
|Метод|Год|Venue|Domain|Mechanism|CHM format|Use mode|Δparams|Fine-tune depth|CVGL-tested|Distillability|Cond. utility|**Prio**|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
||||
|**CHMv2 frozen + FiLM late-block + hybrid gate**|2026|Meta/WRI canon|RS/teacher|FiLM hybrid|continuous + mask|hybrid|~4 M|frozen|N|++|++|**5**|
|
||||
|CHMv2 frozen + CAFF (ForestIQNet-pattern)|2025-26|MDPI+canon|forestry/teacher|cross-attn|cont. token|geom.|~63 M|frozen|N|+|+|4|
|
||||
|CHMv2 + Mona-adapter on CHM-branch|2026|ICCV-style|teacher|adapter|cont. feat|geom.|~10 M|LoRA|N|+|+|4|
|
||||
|Tolan-24 as alt-provider + FiLM|2024|RSE|forestry|FiLM|cont.|geom.|~4 M|frozen|N|++|+|3|
|
||||
|Lang-23 uncertainty-weighted FiLM|2023|Nature EE|forestry|FiLM w/ $\sigma$|cont.+conf|geom.|~5 M|frozen|N|+|+|3|
|
||||
|msGFM cross-sensor MIM pretext|2024|CVPR|RS|MIM pretext|DSM|aux loss|+decoder|full co-train|N|0|0|2|
|
||||
|TerraMind FSQ-VAE token-fuse|2025|ICCV|RS FM|FSQ-VAE|tokens|geom.|~500 M|full|N|−|+|2|
|
||||
|MMEarth CHM-pretext reconstruction|2024|ECCV|RS SSL|MAE target|raw|aux loss|~25 M|co-train|N|0|0|2|
|
||||
|DepthAnyCanopy LoRA-adapt|2024|arXiv|canopy|DPT FT|cont.|geom.|~10 M|LoRA|N|+|+|3|
|
||||
|
||||
**Top-приоритет** — строка 1: **CHMv2 frozen + late-block FiLM (20-24) с hybrid geometric/semantic gate**, реализованная в формате shared-bottleneck с парой B.
|
||||
|
||||
---
|
||||
|
||||
## 8. Geographic OOD risk для CHMv2
|
||||
|
||||
CHMv2 обучен на ALS с **US-tilted distribution** (NEON plus opportunistic ALS). OOD-zones:
|
||||
|
||||
- **Tropical forests** (Amazon, Congo, SE-Asia): sparse ALS coverage; saturation сохраняется ~50-60 m; Lang-2023 использует GEDI и в этом лучше OOD-генерализует.
|
||||
- **Specific UAV-VisLoc/GTA-UAV regions**: 11 китайских локаций UAV-VisLoc (villages, hills, farms) — ALS-покрытие Китая ограничено, частично OOD. GTA-UAV синтетический — **inherently OOD** (game-rendered textures).
|
||||
- **Disturbed areas** (recent logging/fires): CHMv2 training data не покрывает post-disturbance regrowth trajectories → bias в сторону stable-state CHM.
|
||||
- **Non-forest vegetation** (grasslands, wetlands, agroforestry): CHMv2 тренирован на forest-dominant ALS, outputs на grasslands могут быть шумными (~± 2 m noise около 0).
|
||||
|
||||
**Митигация.**
|
||||
|
||||
1. **Confidence-weighting**: когда доступен Lang-2023 overlay, использовать $\sigma^2_{\text{Lang}}$ для масштабирования CHMv2-сигнала в $\gamma$-branch.
|
||||
2. **Graceful degradation**: в OOD-regions вводить explicit reject-token (CHM-confidence estimator от отдельного MLP поверх DINOv3-features CHMv2-backbone) → gate закрывается, tri-branch сводится к dual-branch (пара B only).
|
||||
3. **Ablation альтернативного provider**: измерить teacher R@1 с CHMv2 vs Tolan-2024 vs Lang-2023 на UAV-VisLoc subset — это корректный тест чувствительности teacher к provider choice.
|
||||
|
||||
---
|
||||
|
||||
## 9. Geometric vs Semantic use of CHM
|
||||
|
||||
**Geometric (continuous CHM).** FiLM на raw/log-CHM. Плюсы: fine-grained 3D-сигнал, плавная adaptation, используется вся tail-info для emergent trees (>30 m), которые являются discriminative landmarks в CVGL. Минусы: noise-sensitive в low-canopy tiles где CHM ~ 0 + измерительный noise → может создавать artefacts.
|
||||
|
||||
**Semantic (binary forest-mask).** Gate $g = \sigma(\alpha \cdot (\bar h_{\text{tile}} - \tau))$ с tile-pooled mean height $\bar h_{\text{tile}}$ и threshold $\tau \in {2, 5}$ m. Плюсы: robust к noise, явная conditional-logic, легко distillable (student просто обучается binary classification). Минусы: thresholding теряет gradient-инфу по отдельным деревьям.
|
||||
|
||||
**Hybrid.** Continuous CHM с semantic-gate активации: $$ \gamma^{\text{CHM}}_{\text{hybrid}} = g_{\text{tile}} \cdot \text{MLP}(Z^{\text{CHM}}), \quad g_{\text{tile}} = \sigma!\left(\alpha(\bar h - \tau)\right). $$ Плюсы: объединяет robustness semantic-подхода с fine-grain geometric signal. Для low-canopy tiles $g \to 0$ → CHM-branch естественно обнуляется (desirable fall-through behavior).
|
||||
|
||||
**Рекомендация.** Hybrid mode с $\tau = 3$ m и $\alpha = 1.0$ (soft-gate). Ablation: $\tau \in {2, 3, 5, 8}$ m на SUES-200 validation-сабсете.
|
||||
|
||||
---
|
||||
|
||||
## 10. Conditional utility по бенчмаркам
|
||||
|
||||
Точных статистик «% tiles с CHM > 5 m» публично не опубликовано ни для одного из пяти CVGL-бенчмарков; это **gap in literature**, который необходимо закрыть в preprocessing-стадии MERIDIAN.
|
||||
|
||||
|Benchmark|Год|Scenery dominant|Expected % CHM>5m|Ожидаемый ΔR@1 от CHM-branch|URL|
|
||||
|---|---|---|---|---|---|
|
||||
|University-1652|2020|72 world campuses, urban|5–15%|≈ 0 (H_fus_C_3: ≥ −0.5%)|arxiv.org/abs/2002.12186|
|
||||
|DenseUAV|2024|14 CN univ. campuses|5–15%|≈ 0|TIP paper|
|
||||
|SUES-200|2023|200 locs mixed urban/suburb|20–40%|**+0.5 – +1.5%**|TCSVT paper|
|
||||
|GTA-UAV / Game4Loc|2024|81.3 km² synth urban/mountain/**forest**|30–55% (forest subset)|**+1.5 – +3.0%** on forest subset|arxiv.org/abs/2409.16925|
|
||||
|UAV-VisLoc|2024|11 CN locs: villages, farms, hills|30–60% (rural)|**+2.0 – +4.0%** on rural subset|arxiv.org/abs/2405.11936|
|
||||
|
||||
**Рекомендация.** Пара C **наиболее ценна для UAV-VisLoc и GTA-UAV forest/rural subsets**; для U-1652/DenseUAV трактовать как «free» complementary signal, не вредящий при корректной hybrid-гейт реализации (H_fus_C_3).
|
||||
|
||||
---
|
||||
|
||||
## 11. Рекомендация для DINOv3-teacher по паре C
|
||||
|
||||
### Топ-2 метода
|
||||
|
||||
**[1] CHMv2 frozen + late-block FiLM (blocks 20-24) + hybrid semantic-geometric gate + shared bottleneck с парой B** _(Приоритет 5/5)_.
|
||||
|
||||
- **Место интеграции**: CHM-branch подаёт токены $Z^{\text{CHM}} \in \mathbb{R}^{N \times 1024}$ из frozen CHMv2 (late DINOv3-layer output, перед DPT-head) через FiLM-генератор в blocks 20, 21, 22, 23, 24 teacher-DINOv3.
|
||||
- **Требуемый fine-tune режим**: frozen backbone teacher + **LoRA rank-8 на QKV** blocks 20-24 + FiLM-MLP trainable. **Shared bottleneck 256-dim MLP** общий с depth+normals-branch пары B.
|
||||
- **Интеграция с парой B**: **tri-branch FiLM (depth + normals + CHM)** с единым bottleneck $b=256$; γ/β heads раздельные (3 × 2d). Orthogonality-loss между $\gamma^{\text{depth}}, \gamma^{\text{CHM}}$ с коэффициентом $10^{-3}$ для disentanglement (см. раздел 3).
|
||||
- **Интеграция с парой A**: forest-mask от SegEarth-OV3 (текстовый promtp «forest, trees, canopy») используется как дополнительный condition в semantic-gate $g$: $g = \sigma(\alpha (\bar h - \tau)) \cdot \max(m_{\text{SegEarth}}, \epsilon)$. Даёт robustness к CHMv2 ошибкам в non-forest регионах через semantic-check.
|
||||
- **Связь с парой D (Multi-FiLM-Fusion)**: пара D отвечает за композицию всех четырёх модальностей (RGB + depth + normals + CHM + text) через единый Multi-FiLM orchestrator. Пара C предоставляет CHM-подветку с готовым интерфейсом γ/β.
|
||||
|
||||
**[2] CHMv2 frozen + CAFF (cross-attention à la ForestIQNet) на blocks 22-24** _(Приоритет 4/5)_.
|
||||
|
||||
- Альтернатива для ablation: прямой cross-attn RGB ← CHM на последних 3 блоках. Δparams ~40 M, немного invasive, менее distillable (CNN-student тяжелее эмулирует cross-attn).
|
||||
- Ценность: верхний-bound на performance при неограниченных параметрах.
|
||||
|
||||
### Фальсифицируемые гипотезы
|
||||
|
||||
**H_fus_C_1**: Tri-branch FiLM (depth+normals+CHM) с shared-bottleneck на blocks 20-24 DINOv3-L/16 на **UAV-VisLoc rural-segments** даёт **ΔR@1 ≥ +2.0%** относительно dual-branch (depth+normals only пара B) при **Δparams ≤ 10 M** на tri-branch FiLM.
|
||||
|
||||
**H_fus_C_2**: Hybrid use mode (continuous CHM с semantic gate от SegEarth-OV3 forest-mask, $\tau = 3$ m) превосходит pure-geometric и pure-semantic variants на mixed-terrain SUES-200 на **ΔR@1 ≥ +0.7%**.
|
||||
|
||||
**H_fus_C_3**: На urban-only University-1652/DenseUAV addition CHM-branch **не вредит R@1**: ΔR@1 ≥ −0.5% (fall-through поведение через gate $g \approx 0$ в low-canopy tiles, FiLM γ ≈ 0).
|
||||
|
||||
---
|
||||
|
||||
## 12. Риски и ограничения пары C
|
||||
|
||||
- **Geographic OOD CHMv2** (раздел 8): main risk для tropical/disturbed/non-forest. Митигация — confidence-weighting + alternate-provider ablation.
|
||||
- **Modality competition с depth** в forested tiles → orthogonality-regularizer $\rho(\gamma^{\text{depth}}, \gamma^{\text{CHM}})$ в целевом диапазоне [0.2, 0.5].
|
||||
- **Sparse signal в urban-dominant датасетах** → hybrid-gate гарантирует fall-through, но требует аккуратной настройки $\tau$; риск over-gating (CHM-сигнал отсекается даже на информативных low-canopy urban parks).
|
||||
- **Sensor mismatch**: CHMv2 trained primarily on satellite RGB (Maxar-VHR equivalent), MERIDIAN input — drone-camera в UAV-VisLoc. Риск domain shift в CHMv2-forward path → рассмотреть LoRA-fine-tune CHMv2 на небольшой UAV-subset как ablation.
|
||||
- **Disturbance/temporal mismatch**: training data CHMv2 ≠ target-acquisition date UAV-VisLoc → остаточный bias 1-3 m в logged/regrowth regions.
|
||||
- **Distillability regression при tri-branch FiLM**: CNN-student должен эмулировать conditional behavior γ = g·γ_max; требуется gate-distillation loss (KL на softmax gate-activations).
|
||||
- **Parameter overhead tri-branch FiLM**: ~10 M на teacher, но для student при LUPI privileged-paradigm CHM отсутствует, так что overhead — только на teacher-inference.
|
||||
|
||||
---
|
||||
|
||||
## Что предстоит проверить на следующем этапе (пара D, RGB+Text)
|
||||
|
||||
Пара C даёт **структурно-геометрическую модальность** (canopy height). Пара D закрывает **семантико-лингвистический** слой через RGB+Text fusion. Ключевой мост: **forest-mask из пары C** (binary mask от CHMv2-threshold) становится кандидатом на использование как **text-conditional prior** в паре D — текстовый запрос «forest / urban / mixed» может быть сгенерирован из CHM-distribution тайла и подан как prompt в text-branch (VLM-anchor). Это устанавливает **cross-pair hierarchy**: пара C → метаданные тайла → пара D → text-conditional refinement.
|
||||
|
||||
Кроме того, пара D должна синтезировать **Multi-FiLM orchestrator**, объединяющий γ/β от четырёх модальностей (depth, normals, CHM, text-embedding) в единой shared-bottleneck архитектуре. Вопросы для пары D: (1) какая размерность text-embedding совместима с 256-dim shared bottleneck tri-branch из пары C, (2) какие VLM-backbones (CLIP, SigLIP-2, RemoteCLIP) дают наилучший sentence-level alignment с forest/urban/rural-classes, генерируемыми из CHM-статистик, (3) как моделировать **text-gate interplay с semantic-gate** раздела 9 (hybrid gate становится bi-conditional: CHM-gate × text-gate). Эти вопросы — отправная точка следующей итерации.
|
||||
Reference in New Issue
Block a user