Pikaliov/depth_edges_annotate_worlduav
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Unify segmentation classes (17) across GTA-UAV and UAV_VisLoc

Browse Source 
Extract shared UNIFIED_PROMPTS (17 classes, ID 0-16) into
scripts/seg_classes.py for transfer learning compatibility.
Both run_gta_uav.py and run_uav_visloc.py now import from it.

Key change: swimming pool moved from ID 13 → ID 16, so sports field
(ID 13), muddy ground (14), embankment (15) have stable IDs across
both datasets. Missing classes in a dataset = 0 pixels = 0 loss.

Updated: README, CLAUDE.md, segmentation_class_analysis.md, palette.
Deleted old UAV_VisLoc segmentations (need regeneration with 17 classes).

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
pikaliov
2026-04-17 22:06:10 +03:00
parent 143a837c03
commit 3b5778e303
7 changed files with 88 additions and 107 deletions
Download Patch File Download Diff File Expand all files Collapse all files

66
README.md
View File

@@ -10,11 +10,13 @@
| **CHMv2** | DINOv3-ViTL16 (337M, FP32) | grayscale [256x256] | 31.7 img/s |
| **Consolidate** | SafeTensors (CPU) | `.safetensors` per image | ~5000 img/s |
| Датасет | Изображения | Классы сегм. | Скрипт |
| Датасет | Изображения | Сегм. классы | Скрипт |
|:---|:---|:---|:---|
| **World-UAV** | 973K (486K DB + 486K query) | 11 | `python -m src.main` |
| **UAV_VisLoc** | 81K (75K DB + 6.7K drone) | 16 | `python scripts/run_uav_visloc.py` |
| **GTA-UAV-LR** | 48K (15K sat + 34K drone) | 14 | `python scripts/run_gta_uav.py` |
| **World-UAV** | 973K (486K DB + 486K query) | 11 (базовые) | `python -m src.main` |
| **UAV_VisLoc** | 81K (75K DB + 6.7K drone) | 17 (unified) | `python scripts/run_uav_visloc.py` |
| **GTA-UAV-LR** | 48K (15K sat + 34K drone) | 17 (unified) | `python scripts/run_gta_uav.py` |
> UAV_VisLoc и GTA-UAV используют **единый набор 17 классов** (`scripts/seg_classes.py`) для совместимости при transfer learning.
## Quick Start
@@ -126,36 +128,31 @@ SegConfig.threshold = 0.15
SegConfig.default_resolution = 1008
```
### UAV_VisLoc: 16 классов (расширенные)
### Unified 17 классов (UAV_VisLoc + GTA-UAV)
UAV_VisLoc содержит больше сельских/прибрежных сцен. Анализ scene 01 (2496 images) показал 29% background при 11 классах. Добавлены 5 классов:
Для transfer learning (pretrain GTA-UAV → fine-tune UAV_VisLoc) оба датасета используют **единый набор 17 классов** из `scripts/seg_classes.py`. Не каждый датасет содержит пиксели каждого класса — это нормально (0 пикселей = 0 loss).
| ID | Промпт | Зачем |
|:--:|:---|:---|
| 11 | `bare soil and plowed field` | Распаханные поля без посевов — 15-20% бывшего background |
| 12 | `roof and rooftop` | Тёмные крыши, солнечные панели — `building` ловит стены, не крыши сверху |
| 13 | `sports field and playground` | Уникальная геометрия, сильный landmark для CVGL |
| 14 | `muddy ground and wetland` | Болотистый грунт между водоёмами (дамбы, берега) |
| 15 | `embankment and levee` | Линейные земляные сооружения вдоль каналов |
| ID | Промпт | World-UAV | UAV_VisLoc | GTA-UAV |
|:--:|:---|:---:|:---:|:---:|
| 0 | background | + | + | + |
| 1 | building | + | + | + |
| 2 | road | + | + | + |
| 3 | vegetation | + | + | + |
| 4 | water | + | + | + |
| 5 | sand and gravel ground | + | + | + |
| 6 | rocky terrain | + | + | + |
| 7 | farmland | + | + | + |
| 8 | railway | + | + | + |
| 9 | parking lot | + | + | + |
| 10 | sidewalk | + | + | + |
| 11 | bare soil and plowed field | — | + | + |
| 12 | roof and rooftop | — | + | + |
| 13 | sports field and playground | — | + | редко |
| 14 | muddy ground and wetland | — | + | — |
| 15 | embankment and levee | — | + | — |
| 16 | swimming pool | — | редко | + |
> Threshold снижен до 0.1 (vs 0.15 для World-UAV) — UAV_VisLoc содержит больше тёмных/низкоконтрастных сцен.
### GTA-UAV-LR: 14 классов
Синтетический датасет из GTA V. Особенности:
- Satellite в RGBA (alpha = граница карты) → автоматически конвертируется в RGB
- Drone 512x384 (не квадратные) → resize в 512x512
- 6 высот полёта: 100, 200, 300, 400, 500, 600 м
Классы = 11 базовых + 3 специфических для GTA:
| ID | Промпт | Зачем |
|:--:|:---|:---|
| 11 | `bare soil and plowed field` | Пустыри, стройплощадки (много в пригородах GTA) |
| 12 | `roof and rooftop` | Плоские крыши, вертолётные площадки |
| 13 | `swimming pool` | Бассейны — характерный landmark пригородов GTA |
Подробный анализ выбора классов: [`docs/segmentation_class_analysis.md`](docs/segmentation_class_analysis.md)
> UAV_VisLoc threshold=0.1, GTA-UAV threshold=0.15. Подробный анализ: [`docs/segmentation_class_analysis.md`](docs/segmentation_class_analysis.md)
### hardware.gin
@@ -217,7 +214,7 @@ World-UAV-aug/
| `depth` | float16 | [1, H, W] | Карта глубины [0, 1] |
| `edge` | float16 | [1, H, W] | Границы (Sobel) [0, 1] |
| `chm` | float16 | [1, H, W] | Canopy height [0, 1] |
| `segm` | uint8 | [1, H, W] | Class IDs [0, 10] |
| `segm` | uint8 | [1, H, W] | Class IDs [0, 10] (World-UAV) / [0, 16] (unified) |
Преимущества SafeTensors:
- **Zero-copy mmap** -- тензор читается прямо с диска без копирования в RAM (~0.1ms)
@@ -254,6 +251,7 @@ World-UAV-aug/
| 13 | sports field | (50, 200, 150) | UAV_VisLoc |
| 14 | muddy/wetland | (80, 100, 70) | UAV_VisLoc |
| 15 | embankment | (170, 130, 100) | UAV_VisLoc |
| 16 | swimming pool | (0, 200, 255) | GTA-UAV |
## Использование для обучения
@@ -276,8 +274,8 @@ segm = data["segm"] # [1, 256, 256] uint8, class IDs [0, 10]
# Для Teacher NADEZHDA: segm -> one-hot
import torch.nn.functional as F
segm_onehot = F.one_hot(segm.long().squeeze(0), num_classes=11) # [H, W, 11]
segm_onehot = segm_onehot.permute(2, 0, 1).float() # [11, H, W]
segm_onehot = F.one_hot(segm.long().squeeze(0), num_classes=17) # [H, W, 17]
segm_onehot = segm_onehot.permute(2, 0, 1).float() # [17, H, W]
```
### PNG fallback (для визуализации или legacy)