fuze_task/docs/02_references/04_geometry/REVIEW_chm_pairC.md

type, status, date, tags, related, author

type	status	date	tags	related	author
review	active	2026-04-20	fusion teacher pair-C chm canopy-height dinov3 lupi priority/high	REVIEW_depth_normals_pairB ../00_overall/SPEC_fusion_ACF_MERIDIAN ../../01_teacher/SPEC_teacher_v2_dual_teacher	claude

Слияние RGB + CHM в teacher-DINOv3: обзор пары C

Обзор пары C: 9 методов от CHM-провайдеров до fusion-механизмов, с акцентом на CHMv2 (native ViT-L/16 grid match) для DINOv3-teacher.

0. Микроплан

Разбираем 9 методов, покрывающих спектр от CHM-провайдеров до fusion-механизмов, с акцентом на то, что канонический CHM-модуль (CHMv2) разделяет backbone с teacher (native ViT-L/16 grid match):

1. CHMv2 (arXiv:2603.06382, 2026) — канонический frozen provider с DPT-256-mixlog head на DINOv3 ViT-L/16; единственный обеспечивающий нативное токен-совпадение.
2. Tolan et al. 2024 (RSE 113888) — foundational baseline Meta/WRI на DINOv2 ViT-H/14 + DPT + GEDI percentile-rescaling.
3. Lang et al. 2023 (Nature EE) — foundational probabilistic 10 m CNN-ensemble с GEDI NLL-supervision.
4. Depth Any Canopy (arXiv:2408.04523) — lightweight adaptation Depth-Anything-V2 для canopy; точка сравнения «depth-FM → canopy-FM».
5. msGFM (CVPR 2024, arXiv:2404.01260) — единственный multi-modal RS FM с явной paired RGB + DSM архитектурой (cross-sensor MIM).
6. TerraMind (arXiv:2504.11171, ICCV 2025) — dual-scale token-level FSQ-VAE fusion 9 модальностей включая DEM; ближайший аналог tri-modal teacher.
7. MMEarth/MP-MAE (ECCV 2024) — MAE-pretext с GCHM Lang-2023 как target-модальностью: доказательство, что CHM кодируется как pretext signal.
8. ForestIQNet (Drones 2025) — dual-stream RGB + voxel-CHM с Cross-Attentional Feature Fusion (CAFF); прямой референс RGB+CHM cross-attention fusion.
9. FiLM (Perez 2018, foundational) + Mona-adapter (arXiv:2408.08345) + ViT-Adapter (ICLR 2023, arXiv:2205.08534) + Surgical FT (arXiv:2210.11466) — методологический каркас для инжекта дискретной геометрической модальности в frozen ViT-L.

Дополнительные ссылки на foundational Potapov 2021, GEDI L4B v2.1, ICESat-2 ATL08 v007 даны только для validation / secondary prior.

---

1. CHMv2 как provider: техническая характеристика и сравнение

CHMv2 (Meta/WRI, март 2026; HuggingFace facebook/dinov3-vitl16-chmv2-dpt-head) — frozen DINOv3 ViT-L/16 backbone (~304 M параметров) с Dense Prediction Transformer (Ranftl 2021) декодером, конфигурированным на 256 depth-bins с mixlog-биннингом и диапазоном 0.001–96 м. Supervised-обучение проведено против ALS-ground-truth с дополнительной валидацией GEDI L2A RH95/RH98 и ICESat-2 ATL08; по canonical-спецификации проекта CHMv2 превосходит Tolan-2024 и Lang-2023 по RMSE и снижает known-недооценку tall forests (R² возрастает с 0.53 → 0.86 по внутренним reports).

Native grid match. Ключевое свойство: CHMv2 использует тот же ViT-L/16, что и teacher MERIDIAN. При подаче того же RGB-тайла в teacher и CHMv2-encoder grid токенов (H/16 × W/16) совпадает pixel-to-token без resampling, что радикально дешевле, чем пара B (Metric3D-v2 ViT-G2 на DINOv2/14-базе с 14-пиксельным патчем) и пара A (SegEarth-OV3 на SAM3+PE-L+). Для tile 448×448 это 28×28=784 токена, один-в-один в обоих потоках.

Сравнительная таблица providers. Для каждого источника приводятся независимо подтверждённые метрики; для Lang 2023 даны biome-усреднённые диапазоны, поскольку «global headline RMSE» в оригинале не даётся единым числом.

Provider	Год	Backbone	Resolution	Coverage	Validation source	RMSE (m, headline)	Compat. с DINOv3 ViT-L/16
CHMv2 (canonical)	2026	DINOv3 ViT-L/16 + DPT-256-mixlog	1 m, global	global wall-to-wall	ALS + GEDI + ICESat-2	> Tolan-24 / Lang-23 (spec)	native (patch-16)
Tolan 2024	2024	DINOv2 ViT-H/14 SSL + DPT	0.5–1 m	global (Maxar VHR)	NEON ALS + NFI Brazil	4.25 (NFI RMSE); 2.8 (MAE global)	патч-14 ≠ 16 → resample
Lang 2023	2023	Xception-S2 CNN × 5 (probabilistic)	10 m	global ±60°	GEDI hold-out + ALS biomes	4.7–9.6 per-biome	несовместим (≠ViT)
Depth Any Canopy	2024	Depth-Anything-V2 ViT-S/B + DPT	1 m (NEON)	CONUS-only	NEON ALS	MAE 0.10–0.14 (normalized)	ViT, но не DINOv3
Potapov 2021 foundational	2021	Bagged regression trees	30 m	global ±52°	GEDI + ALS	9.07 (ALS), насыщ. 30 м	несовместим
GEDI L4B v2.1	2023/24	Hybrid stat. inference	1 km AGBD	±51.6°	field plots	AGBD SE 10–40%	biomass ≠ CHM; validator only
ICESat-2 ATL08 v007	2025	Photon-counting LIDAR	100 m along-track	global (incl. high-lat)	ALS	1.4–3.2 (temp.), 5.0 (dense tropics)	validator only
MMEarth/MP-MAE (CHM-pretext)	2024	ConvNeXt V2 MAE	10 m (GCHM)	global	Lang-2023 target	N/A (pretext loss)	CHM как pretext signal
ESA WorldCover v200	2022	S-1/S-2 classif.	10 m	global	21 k pts	OA 76.7%	forest-mask only

Источник данных: обзор пары C верифицирует, что CHMv2 — единственный provider 2024-2026 с native ViT-L/16 grid match. Это центральная архитектурная находка пары C.

---

2. Постановка задачи: RGB + CHM fusion для teacher-DINOv3

Формально: teacher получает RGB-тайл I \in \mathbb{R}^{3\times H\times W}, который проецируется в последовательность токенов X^{\text{RGB}} \in \mathbb{R}^{N\times C}, N=HW/16^2, C=1024. CHM-тензор M \in \mathbb{R}^{1\times H\times W} в метрах, диапазон [0.001, 96], native GSD совпадает с inp-разрешением teacher (проекция CHMv2 через DPT уже даёт pixel-dense m). CHM-токенизация M \to Z^{\text{CHM}} \in \mathbb{R}^{N\times C_z} через либо (i) CHMv2-encoder (тот же DINOv3, поздний слой, C_z=1024), либо (ii) patchify + linear-embed continuous values. Fusion-оператор \Phi: (X^{\text{RGB}}, Z^{\text{CHM}}) \to \tilde X сохраняет размер последовательности.

Conditional utility analysis по бенчмаркам CVGL. Для каждого бенчмарка приводим качественную оценку сигнальной доли CHM (количественных статистик «% tiles с CHM>5m» ни один бенчмарк публично не даёт — это gap, отмеченный в разделе 10):

• University-1652 (Zheng 2020; ACM MM): 72 campus-buildings в мире, urban-dominant; tile-уровень преимущественно застройка → CHM ≈ 0 на оценочно 85-95% tiles (качественная оценка).
• DenseUAV (Dai 2024; IEEE TIP): 14 университетских кампусов Китая с dense sampling, aналогично urban-dominant → CHM ≈ 0 на абсолютном большинстве tiles.
• SUES-200 (Zhu 2023; TCSVT): multi-height multi-scene, 200 локаций смешанного urban/suburban → partial canopy coverage 20-40% tiles (парковые и окраинные зоны).
• GTA-UAV / Game4Loc (Ji 2024, AAAI 2025, arXiv:2409.16925): 81.3 км² синтетических континуальных областей, 33 763 кадра с multi-altitude 80-650 м, эксплицитно включает классы сцен urban / mountain / coast / forest — вариабельный CHM-сигнал по тайлам, с выраженным forest-субсетом.
• UAV-VisLoc (Xu 2024, arXiv:2405.11936): 6 742 кадра в 11 локациях Китая, метадата villages, towns, farms, cities, rivers, hills — наиболее natural-ландшафтный бенчмарк, CHM-сигнал доминирует на rural/hilly tiles, ожидаемо 30-60% tiles с CHM > 5 m (авторская оценка на основе описания геоморфологии).

Специфика CHM как модальности. CHM отличается от generic depth: фокусируется исключительно на vegetation-height (DSM − DTM), игнорируя buildings и terrain. Это придаёт CHM роль дезамбигуатора self-similar forest canopy в RGB: там, где RGB-признаки ViT путаются на тайлах однородного леса, canopy-height даёт структурную сигнатуру (относительное распределение высот, hotspots emergent-деревьев). Сезонная вариативность (deciduous vs evergreen) и disturbance signals (logging, fire scars, regrowth) — дополнительные факторы, не используемые в paired B/A, но значимые для долгосрочной robustness CVGL.

Ключевое преимущество native grid match. Пара A (SegEarth-OV3 на PE-L+) и пара B (Metric3D-v2 ViT-G2 на DINOv2/14) требуют bilinear-resample либо учителя, либо source-фичей. Пара C не требует resample вовсе: токены CHMv2 и teacher-DINOv3 идут 1:1. Это эксклюзивное свойство пары C, снижающее feature drift risk.

Проблемы. (1) Modality competition с depth из пары B: в forested regions Metric3D-v2 и CHMv2 частично коррелируют. (2) Sparse signal в urban-dominant датасетах → риск feature drift от шума в low-canopy tiles. (3) Geographic OOD: CHMv2 обучен на ALS с US-tilted распределением, purely-tropical / disturbed регионы могут быть OOD (раздел 8).

---

3. Избыточность vs комплементарность Metric3D-v2 (пара B) и CHMv2 (пара C)

Тип tile	Metric3D-v2 (пара B)	CHMv2 (пара C)	Избыточность
Urban (U-1652, DenseUAV)	depth до rooftop	≈ 0 по всему тайлу	Ортогональные сигналы, избыточности нет
Forested (UAV-VisLoc rural)	depth до canopy-top	absolute canopy height (от ground)	Частичная избыточность, но CHM отделяет canopy от terrain-elevation, что Metric3D-v2 не даёт
Mixed (SUES-200)	depth до max-surface (building vs tree)	canopy component only	Комплементарный joint: CHM «выделяет» деревья, depth — здания
Disturbed (scar, logging)	depth ≈ ground	ΔCHM > 0 при regrowth, ≈ 0 в scar	Независимые temporal-сигналы

Архитектурная импликация. Обе модальности поступают через dual FiLM-branches (рекомендация пары B) с возможностью shared bottleneck в FiLM-MLP для экономии параметров — это канонически расширяется до tri-branch FiLM (depth + normals + CHM) поверх blocks 20-24 frozen DINOv3-L/16.

Рекомендуемая ablation-метрика. Измерить orthogonality FiLM-параметров \gamma, \beta между depth-branch и CHM-branch через среднюю cosine-similarity по тайлам forested-субсета UAV-VisLoc: \rho_{\text{depth, CHM}} = \mathbb{E}_{t} \left[ \frac{\langle \gamma^{\text{depth}}_t, \gamma^{\text{CHM}}_t \rangle}{|\gamma^{\text{depth}}_t| \cdot |\gamma^{\text{CHM}}_t|} \right]. Целевой диапазон \rho \in [0.2, 0.5]: слишком низкий намекает на избыточность информации (signals не дополнительны), слишком высокий — на collapse к одному сигналу.

---

4. Таксономия методов слияния RGB + CHM

Четыре базовые оси (унаследованы из пар A, B):

• Уровень fusion: input-concat (RGB||CHM→4-channel) / early-token / mid-block / late (blocks 20-24) / loss-level.
• Механизм: concat / sum / gating / cross-attention / FiLM / adapter (LoRA/Mona) / prompt-injection / contrastive alignment.
• Инвазивность для DINOv3: frozen + external branch / partial unfreeze (blocks 20-24) / full FT / co-training с CHMv2.
• Симметрия: симметричные (RGB↔CHM взаимные cross-attn) vs асимметричные (CHM как modulator RGB-потока).

CHM-специфичные оси.

• Представление CHM на входе:
  1. Raw metric (m): минимум искажений, но heavy-tailed распределение (большинство значений < 2 m, редкие emergent > 40 m).
  2. Log-CHM: \log(1+h), нормализует tail.
  3. Normalized [0,1] по max 96 m.
  4. Bin-classified: 256-binned (как в DPT-head CHMv2) — natural-совместимо с DORN-style.
  5. Learned CHM-token embedding: проекция через отдельный ViT-encoder (частный случай — использовать late features CHMv2-backbone напрямую).
  6. Binary forest-mask: \mathbb{1}[h > \tau], обычно \tau \in {2, 5} м.
• Use mode:
  • Geometric (continuous CHM тензор) → FiLM/cross-attention, трактовка как 3D vegetation structure (аналог пары B).
  • Semantic (binary mask от threshold) → conditional feature routing, gate.
  • Hybrid (continuous CHM с semantic gate активации): \gamma^{\text{CHM}}_{\text{gated}} = g \cdot \gamma^{\text{CHM}} + (1-g) \cdot 0, где g = \sigma(\text{mask-pool}(\mathbb{1}[h>\tau])).
• Disturbance signal extraction: temporal Δ-CHM (бi-темпоральный CHMv2) для logging / fire detection — не основной use case, но открывает дополнительный применимый сигнал для MERIDIAN при наличии multi-epoch покрытия.

Иерархически: root → (RGB-only, early-concat, late-fusion, loss-level) → FiLM/CA/LoRA → {geometric, semantic, hybrid}. Рекомендуемая ветка пары C: late-fusion (blocks 20-24) + FiLM-hybrid + CHMv2-frozen external branch.

---

5. SOTA-методы (2024-2026)

5.1 CHMv2 architectural deep dive (2603.06382, март 2026) — foundational provider

Архитектура: frozen DINOv3 ViT-L/16 + DPT-head с 256 depth-bins и mixlog-binning. Ключевая формула bin-центров: b_k = \exp\left(\alpha \cdot \log h_{\min} + (1-\alpha_k)\cdot \log h_{\max}\right), \quad \alpha_k = f_{\text{mixlog}}(k/K). Δparams для teacher-пайплайна при frozen-use: 0 (CHM-branch вешается как external encoder). Memory overhead обучения: одна copy DPT-head (≈ 30 M params) + forward DINOv3 ViT-L (304 M, frozen, inference-only). Совместимость с LUPI: privileged только в teacher, student не получает CHM на inference. Code/weights: HuggingFace.

5.2 Tolan et al. 2024 — foundational baseline

Tolan J. et al. «Very high resolution canopy height maps from RGB imagery using self-supervised vision transformer and convolutional decoder trained on Aerial Lidar», RSE 300:113888, 2024 (arXiv:2304.07213). DINOv2 ViT-H/14 на 18 M Maxar-кропах + DPT-decoder + GEDI percentile-rescaling. MAE ≈ 2.8 m global, NFI-RMSE 4.25 m; насыщение ~30–35 m. GitHub facebookresearch/HighResCanopyHeight. Использование как alternate provider для ablation: позволяет измерить чувствительность teacher к качеству CHM-source.

5.3 Lang et al. 2023 — foundational baseline

Nature Ecology & Evolution 7:1778, 2023. Probabilistic ensemble (5× Xception-S2 CNN) + Gaussian-NLL loss на GEDI RH98, 10 m output. Главное преимущество — uncertainty-aware output (\mu, \sigma^2), что позволяет confidence-weighting fusion: \gamma^{\text{CHM}} \leftarrow \gamma^{\text{CHM}} / (1 + \lambda \sigma^2). RMSE 4.7–9.6 по биомам. Не ViT-native, но используется как secondary cross-validator.

5.4 Depth Any Canopy (arXiv:2408.04523, 2024)

Rege Cambrin D. et al. Fine-tuning Depth-Anything-V2 ViT-S/B на NEON ALS, MAE 0.10–0.14 (normalized). Значимость для пары C: демонстрирует transferability depth-FM → canopy-FM c минимальным parameter cost. Может служить lightweight альтернативой CHMv2 в LoRA-ablation (если CHMv2 требует fine-tune на специфичной географии).

5.5 msGFM (CVPR 2024, arXiv:2404.01260)

Han B. et al. «Bridging Remote Sensors with Multisensor Geospatial Foundation Models», Swin V2 + MoE, единственный RS FM с явной paired RGB + DSM архитектурой через cross-sensor masked image modeling. Ключевая операция: модель реконструирует одну модальность из другой (DSM ↔ RGB) через shared encoder. Важное различие: DSM ≠ CHM (DSM включает здания), но architectural template напрямую переносим на RGB+CHM. Применение в MERIDIAN teacher: использовать msGFM cross-reconstruction loss как auxiliary pretext для co-adaptation CHMv2-branch и RGB-потока. CVGL-tested: N.

5.6 TerraMind (ICCV 2025, arXiv:2504.11171)

Jakubik J. et al., IBM/ESA. Dual-scale encoder-decoder с FSQ-VAE tokenizers для 9 модальностей (S-1, S-2, DEM, LULC, NDVI, geo, text). Cross-modal patch classification + Thinking-in-Modalities (TiM) — генерация недостающих модальностей как intermediate reasoning step. Применимость к CHM: использовать FSQ-VAE-подход для токенизации CHM → unified token space, заменяя DEM-канал на CHM. Δparams высокий (~500 M при base-ViT), требует full co-training. CVGL-tested: N. Релевантность: архитектурный prior для универсального token-level fusion.

5.7 MMEarth / MP-MAE (ECCV 2024, arXiv:2405.02771)

Nedungadi V. et al. MAE с GCHM Lang-2023 как pretext-target. Это доказательство концепции: CHM эффективно кодируется self-supervised в foundation-стадии. Не применимо напрямую для inference-fusion (CHM — target, не input), но вдохновляет auxiliary loss: teacher обучается реконструировать CHM-embedding из RGB, стимулируя 3D-aware RGB-представление. Δparams: +decoder, ~20–30 M.

5.8 ForestIQNet (Drones 2025, MDPI 9(7):496)

Dual-stream: (1) multispectral UAV imagery encoder, (2) voxelized CHM encoder. Fusion через Cross-Attentional Feature Fusion (CAFF) + transformer regression-head для biomass/carbon. Наиболее прямой референс RGB+CHM cross-attention в литературе 2024-2026. Архитектура CAFF: \tilde X^{\text{RGB}} = X^{\text{RGB}} + \text{softmax}!\left(\frac{X^{\text{RGB}} W_Q (Z^{\text{CHM}} W_K)^\top}{\sqrt{d}}\right) Z^{\text{CHM}} W_V. Применимость к teacher DINOv3: CAFF = стандартный cross-attention модуль, инжектируется как parallel adapter в blocks 20-24 frozen DINOv3, Δparams на ViT-L/16 ≈ 4 × 3 × (1024×1024) × 5 blocks = ~63 M. CVGL-tested: N.

5.9 FiLM + Mona + ViT-Adapter + Surgical FT — architectural toolbox

• FiLM (Perez 2018, arXiv:1709.07871) — y = \gamma(c) \odot x + \beta(c) — канонический per-channel affine conditioning.
• Mona (arXiv:2311.15010 / 2408.08345) — first delta-tuning surpassing full-FT on dense prediction (ADE20K, COCO, DOTA); multi-cognitive depthwise conv filters after down-projection. Применимо как замена generic FiLM, когда CHM-conditioning нужен локально-пространственный, не только channel-wise.
• ViT-Adapter (Chen, ICLR 2023, arXiv:2205.08534) — spatial prior module + feature injector; ViT-Adapter-L достигает 60.5 mIoU ADE20K, 60.9 box AP COCO. Прямой архитектурный prior для инжекта CHM-features в plain ViT без модификации backbone.
• Surgical FT (Lee, ICLR 2023, arXiv:2210.11466) — empirical evidence: для feature-level distribution shift оптимально тюнить middle layers, для output-shift — last. Для CHM (geometric aux): данные указывают на late blocks (20-24 из 24) ViT-L.

Параметрический расчёт FiLM на DINOv3 ViT-L/16. Dim d=1024, 5 injected blocks (20-24), FiLM-MLP = 2-layer (CHM-token → bottleneck → 2d для γ+β):

\Delta_{\text{standalone}} = 5 \times (1024 \times b + b \times 2 \times 1024) \big|_{b=256} = 5 \times (262,144 + 524,288) \approx 3.9\text{ M}.

При shared bottleneck между depth-, normals-, CHM-branches (bottleneck = общий, 3 выходные головы): \Delta_{\text{shared}} = 1024 \times b + 3 \times (b \times 2 \times 1024) \approx 1.8\text{ M} \text{ на блок} \Rightarrow \sim 9\text{ M всего для 5 блоков}.

Это намного дешевле standalone-трёх-бранч (~12 M) при равной ёмкости.

---

6. Критический анализ: матрица критериев

Шкала: −− / − / 0 / + / ++. Критерии синтезированы для применения в teacher-DINOv3.

Метод	Frozen-DINO compat	ΔCKA (feat drift)	Инвазив.	Distill → CNN student	LUPI compat	Missing-modality robust	Conditional utility	Compat пара B	Compat пара A	Res. scale	Native grid match	Reprod.	RS/forest validated
CHMv2 (frozen)	++	++	+	++	++	+	++	++	++	++	++	++	++
Tolan 2024	+	+	+	+	++	+	+	+	+	+	0 (patch-14)	+	++
Lang 2023	0	+	0	+	++	+	+	0	0	0 (10 m)	−	++	++
DepthAnyCanopy	+	+	+	+	+	+	+	+	+	+	+	+	+
msGFM (CAFF-style)	0	0	−	0	+	0	+	+	+	+	−	+	+
TerraMind	−	0	−−	0	+	++	+	+	0	+	−	0	+
MMEarth (pretext)	+	+	0	0	++	++	0	+	+	+	0	+	+
ForestIQNet (CAFF)	+	0	0	+	+	0	+	+	0	+	+	0	+
FiLM+Mona+ViT-Adapter	++	++	++	++	++	++	++	++	++	++	++ (при CHMv2)	++	+

Чтение таблицы. Конвергенция: CHMv2 (frozen provider) + FiLM-токsticks архитектурный слой (+Mona/ViT-Adapter variant) — единственная комбинация с «++» по всем ключевым осям пары C, особенно native grid match и distillability (generic FiLM с γ=0 fall-through поведением легко реплицируется в CNN-student через conditional BN).

---

7. Сравнительная таблица пары C

Метод	Год	Venue	Domain	Mechanism	CHM format	Use mode	Δparams	Fine-tune depth	CVGL-tested	Distillability	Cond. utility	Prio
CHMv2 frozen + FiLM late-block + hybrid gate	2026	Meta/WRI canon	RS/teacher	FiLM hybrid	continuous + mask	hybrid	~4 M	frozen	N	++	++	5
CHMv2 frozen + CAFF (ForestIQNet-pattern)	2025-26	MDPI+canon	forestry/teacher	cross-attn	cont. token	geom.	~63 M	frozen	N	+	+	4
CHMv2 + Mona-adapter on CHM-branch	2026	ICCV-style	teacher	adapter	cont. feat	geom.	~10 M	LoRA	N	+	+	4
Tolan-24 as alt-provider + FiLM	2024	RSE	forestry	FiLM	cont.	geom.	~4 M	frozen	N	++	+	3
Lang-23 uncertainty-weighted FiLM	2023	Nature EE	forestry	FiLM w/ \sigma	cont.+conf	geom.	~5 M	frozen	N	+	+	3
msGFM cross-sensor MIM pretext	2024	CVPR	RS	MIM pretext	DSM	aux loss	+decoder	full co-train	N	0	0	2
TerraMind FSQ-VAE token-fuse	2025	ICCV	RS FM	FSQ-VAE	tokens	geom.	~500 M	full	N	−	+	2
MMEarth CHM-pretext reconstruction	2024	ECCV	RS SSL	MAE target	raw	aux loss	~25 M	co-train	N	0	0	2
DepthAnyCanopy LoRA-adapt	2024	arXiv	canopy	DPT FT	cont.	geom.	~10 M	LoRA	N	+	+	3

Top-приоритет — строка 1: CHMv2 frozen + late-block FiLM (20-24) с hybrid geometric/semantic gate, реализованная в формате shared-bottleneck с парой B.

---

8. Geographic OOD risk для CHMv2

CHMv2 обучен на ALS с US-tilted distribution (NEON plus opportunistic ALS). OOD-zones:

• Tropical forests (Amazon, Congo, SE-Asia): sparse ALS coverage; saturation сохраняется ~50-60 m; Lang-2023 использует GEDI и в этом лучше OOD-генерализует.
• Specific UAV-VisLoc/GTA-UAV regions: 11 китайских локаций UAV-VisLoc (villages, hills, farms) — ALS-покрытие Китая ограничено, частично OOD. GTA-UAV синтетический — inherently OOD (game-rendered textures).
• Disturbed areas (recent logging/fires): CHMv2 training data не покрывает post-disturbance regrowth trajectories → bias в сторону stable-state CHM.
• Non-forest vegetation (grasslands, wetlands, agroforestry): CHMv2 тренирован на forest-dominant ALS, outputs на grasslands могут быть шумными (~± 2 m noise около 0).

Митигация.

1. Confidence-weighting: когда доступен Lang-2023 overlay, использовать \sigma^2_{\text{Lang}} для масштабирования CHMv2-сигнала в $\gamma$-branch.
2. Graceful degradation: в OOD-regions вводить explicit reject-token (CHM-confidence estimator от отдельного MLP поверх DINOv3-features CHMv2-backbone) → gate закрывается, tri-branch сводится к dual-branch (пара B only).
3. Ablation альтернативного provider: измерить teacher R@1 с CHMv2 vs Tolan-2024 vs Lang-2023 на UAV-VisLoc subset — это корректный тест чувствительности teacher к provider choice.

---

9. Geometric vs Semantic use of CHM

Geometric (continuous CHM). FiLM на raw/log-CHM. Плюсы: fine-grained 3D-сигнал, плавная adaptation, используется вся tail-info для emergent trees (>30 m), которые являются discriminative landmarks в CVGL. Минусы: noise-sensitive в low-canopy tiles где CHM ~ 0 + измерительный noise → может создавать artefacts.

Semantic (binary forest-mask). Gate g = \sigma(\alpha \cdot (\bar h_{\text{tile}} - \tau)) с tile-pooled mean height \bar h_{\text{tile}} и threshold \tau \in {2, 5} m. Плюсы: robust к noise, явная conditional-logic, легко distillable (student просто обучается binary classification). Минусы: thresholding теряет gradient-инфу по отдельным деревьям.

Hybrid. Continuous CHM с semantic-gate активации: \gamma^{\text{CHM}}_{\text{hybrid}} = g_{\text{tile}} \cdot \text{MLP}(Z^{\text{CHM}}), \quad g_{\text{tile}} = \sigma!\left(\alpha(\bar h - \tau)\right). Плюсы: объединяет robustness semantic-подхода с fine-grain geometric signal. Для low-canopy tiles g \to 0 → CHM-branch естественно обнуляется (desirable fall-through behavior).

Рекомендация. Hybrid mode с \tau = 3 m и \alpha = 1.0 (soft-gate). Ablation: \tau \in {2, 3, 5, 8} m на SUES-200 validation-сабсете.

---

10. Conditional utility по бенчмаркам

Точных статистик «% tiles с CHM > 5 m» публично не опубликовано ни для одного из пяти CVGL-бенчмарков; это gap in literature, который необходимо закрыть в preprocessing-стадии MERIDIAN.

Benchmark	Год	Scenery dominant	Expected % CHM>5m	Ожидаемый ΔR@1 от CHM-branch	URL
University-1652	2020	72 world campuses, urban	5–15%	≈ 0 (H_fus_C_3: ≥ −0.5%)	arxiv.org/abs/2002.12186
DenseUAV	2024	14 CN univ. campuses	5–15%	≈ 0	TIP paper
SUES-200	2023	200 locs mixed urban/suburb	20–40%	+0.5 – +1.5%	TCSVT paper
GTA-UAV / Game4Loc	2024	81.3 km² synth urban/mountain/forest	30–55% (forest subset)	+1.5 – +3.0% on forest subset	arxiv.org/abs/2409.16925
UAV-VisLoc	2024	11 CN locs: villages, farms, hills	30–60% (rural)	+2.0 – +4.0% on rural subset	arxiv.org/abs/2405.11936

Рекомендация. Пара C наиболее ценна для UAV-VisLoc и GTA-UAV forest/rural subsets; для U-1652/DenseUAV трактовать как «free» complementary signal, не вредящий при корректной hybrid-гейт реализации (H_fus_C_3).

---

11. Рекомендация для DINOv3-teacher по паре C

Топ-2 метода

[1] CHMv2 frozen + late-block FiLM (blocks 20-24) + hybrid semantic-geometric gate + shared bottleneck с парой B (Приоритет 5/5).

• Место интеграции: CHM-branch подаёт токены Z^{\text{CHM}} \in \mathbb{R}^{N \times 1024} из frozen CHMv2 (late DINOv3-layer output, перед DPT-head) через FiLM-генератор в blocks 20, 21, 22, 23, 24 teacher-DINOv3.
• Требуемый fine-tune режим: frozen backbone teacher + LoRA rank-8 на QKV blocks 20-24 + FiLM-MLP trainable. Shared bottleneck 256-dim MLP общий с depth+normals-branch пары B.
• Интеграция с парой B: tri-branch FiLM (depth + normals + CHM) с единым bottleneck b=256; γ/β heads раздельные (3 × 2d). Orthogonality-loss между \gamma^{\text{depth}}, \gamma^{\text{CHM}} с коэффициентом 10^{-3} для disentanglement (см. раздел 3).
• Интеграция с парой A: forest-mask от SegEarth-OV3 (текстовый promtp «forest, trees, canopy») используется как дополнительный condition в semantic-gate g: g = \sigma(\alpha (\bar h - \tau)) \cdot \max(m_{\text{SegEarth}}, \epsilon). Даёт robustness к CHMv2 ошибкам в non-forest регионах через semantic-check.
• Связь с парой D (Multi-FiLM-Fusion): пара D отвечает за композицию всех четырёх модальностей (RGB + depth + normals + CHM + text) через единый Multi-FiLM orchestrator. Пара C предоставляет CHM-подветку с готовым интерфейсом γ/β.

[2] CHMv2 frozen + CAFF (cross-attention à la ForestIQNet) на blocks 22-24 (Приоритет 4/5).

• Альтернатива для ablation: прямой cross-attn RGB ← CHM на последних 3 блоках. Δparams ~40 M, немного invasive, менее distillable (CNN-student тяжелее эмулирует cross-attn).
• Ценность: верхний-bound на performance при неограниченных параметрах.

Фальсифицируемые гипотезы

H_fus_C_1: Tri-branch FiLM (depth+normals+CHM) с shared-bottleneck на blocks 20-24 DINOv3-L/16 на UAV-VisLoc rural-segments даёт ΔR@1 ≥ +2.0% относительно dual-branch (depth+normals only пара B) при Δparams ≤ 10 M на tri-branch FiLM.

H_fus_C_2: Hybrid use mode (continuous CHM с semantic gate от SegEarth-OV3 forest-mask, \tau = 3 m) превосходит pure-geometric и pure-semantic variants на mixed-terrain SUES-200 на ΔR@1 ≥ +0.7%.

H_fus_C_3: На urban-only University-1652/DenseUAV addition CHM-branch не вредит R@1: ΔR@1 ≥ −0.5% (fall-through поведение через gate g \approx 0 в low-canopy tiles, FiLM γ ≈ 0).

---

12. Риски и ограничения пары C

• Geographic OOD CHMv2 (раздел 8): main risk для tropical/disturbed/non-forest. Митигация — confidence-weighting + alternate-provider ablation.
• Modality competition с depth в forested tiles → orthogonality-regularizer \rho(\gamma^{\text{depth}}, \gamma^{\text{CHM}}) в целевом диапазоне [0.2, 0.5].
• Sparse signal в urban-dominant датасетах → hybrid-gate гарантирует fall-through, но требует аккуратной настройки \tau; риск over-gating (CHM-сигнал отсекается даже на информативных low-canopy urban parks).
• Sensor mismatch: CHMv2 trained primarily on satellite RGB (Maxar-VHR equivalent), MERIDIAN input — drone-camera в UAV-VisLoc. Риск domain shift в CHMv2-forward path → рассмотреть LoRA-fine-tune CHMv2 на небольшой UAV-subset как ablation.
• Disturbance/temporal mismatch: training data CHMv2 ≠ target-acquisition date UAV-VisLoc → остаточный bias 1-3 m в logged/regrowth regions.
• Distillability regression при tri-branch FiLM: CNN-student должен эмулировать conditional behavior γ = g·γ_max; требуется gate-distillation loss (KL на softmax gate-activations).
• Parameter overhead tri-branch FiLM: ~10 M на teacher, но для student при LUPI privileged-paradigm CHM отсутствует, так что overhead — только на teacher-inference.

---

Что предстоит проверить на следующем этапе (пара D, RGB+Text)

Пара C даёт структурно-геометрическую модальность (canopy height). Пара D закрывает семантико-лингвистический слой через RGB+Text fusion. Ключевой мост: forest-mask из пары C (binary mask от CHMv2-threshold) становится кандидатом на использование как text-conditional prior в паре D — текстовый запрос «forest / urban / mixed» может быть сгенерирован из CHM-distribution тайла и подан как prompt в text-branch (VLM-anchor). Это устанавливает cross-pair hierarchy: пара C → метаданные тайла → пара D → text-conditional refinement.

Кроме того, пара D должна синтезировать Multi-FiLM orchestrator, объединяющий γ/β от четырёх модальностей (depth, normals, CHM, text-embedding) в единой shared-bottleneck архитектуре. Вопросы для пары D: (1) какая размерность text-embedding совместима с 256-dim shared bottleneck tri-branch из пары C, (2) какие VLM-backbones (CLIP, SigLIP-2, RemoteCLIP) дают наилучший sentence-level alignment с forest/urban/rural-classes, генерируемыми из CHM-статистик, (3) как моделировать text-gate interplay с semantic-gate раздела 9 (hybrid gate становится bi-conditional: CHM-gate × text-gate). Эти вопросы — отправная точка следующей итерации.