Add GTA-UAV-LR annotation script + dataset documentation

- Add scripts/run_gta_uav.py for GTA-UAV-LR (48K images, GTA V synthetic)
- 14 segmentation classes: 11 base + bare soil, rooftop, swimming pool
- Fix source filter to recognize "satellite" folder (alongside "DB")
- Document GTA-UAV characteristics in segmentation_class_analysis.md
- Update README and CLAUDE.md with GTA-UAV support

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
pikaliov
2026-04-17 21:55:56 +03:00
parent 27eb315903
commit 143a837c03
5 changed files with 210 additions and 4 deletions

View File

@@ -273,6 +273,71 @@ SegConfig(threshold=0.1, prompts=[
---
## Конфигурация для GTA-UAV-LR: 14 классов
### Характеристики датасета
GTA-UAV-LR — синтетический датасет, сгенерированный из игрового движка GTA V (Grand Theft Auto V).
| Параметр | Значение |
|---|---|
| Drone изображения | 33 763 шт., 512x384 px, RGB PNG |
| Satellite изображения | 14 640 шт., 256x256 px, **RGBA** PNG |
| Итого | 48 403 изображения |
| Высоты полёта | 100, 200, 300, 400, 500, 600 м |
| Локация | Карта GTA V (Лос-Сантос и окрестности) |
| Сцены | Город, пригород, сельская местность, побережье, горы, пустыня |
| Формат аннотаций | JSON (cross-area, same-area, train/test splits) |
**Особенности:**
- **Satellite RGBA:** alpha-канал обозначает границы карты GTA V. Прозрачные пиксели (alpha=0) = за пределами игрового мира. При обработке конвертируется в RGB (прозрачное → чёрный).
- **Drone не квадратные:** 512x384 → resize в 512x512 (потеря aspect ratio, но это синтетика — не критично).
- **Синтетические текстуры:** GTA V рендерит реалистичные но не фотореалистичные текстуры. SegEarth-OV3 справляется хорошо — текстуры достаточно близки к реальным для open-vocabulary grounding.
- **Бассейны** — характерная особенность пригородов GTA V (Vinewood Hills, Rockford Hills). Яркий бирюзовый цвет, уникальная геометрия — сильный localization cue для CVGL.
### Выбор 14 классов
11 базовых классов (совпадают с World-UAV) + 3 специфичных:
| ID | Промпт | Обоснование |
|---|---|---|
| 11 | `bare soil and plowed field` | GTA V содержит много пустырей, стройплощадок, грунтовых дорог в пригородах (Sandy Shores, Grapeseed). Без этого класса ~10-15% уходит в background. |
| 12 | `roof and rooftop` | Плоские крыши коммерческих зданий, вертолётные площадки (Maze Bank Tower). GTA V рендерит крыши с детализированными текстурами (кондиционеры, антенны), которые `building` не ловит сверху. |
| 13 | `swimming pool` | Бассейны во дворах вилл — один из самых характерных визуальных элементов пригородов GTA V. Яркий бирюзовый цвет на сером/зелёном фоне — сильнейший landmark для cross-view matching. `water` не различает бассейн от океана. |
### Почему не добавлены
| Класс | Причина |
|---|---|
| `highway` | Покрыт `road` — SegEarth не различает шоссе и обычную дорогу |
| `beach` | Покрыт `sand and gravel ground` |
| `mountain` | Покрыт `rocky terrain` + `vegetation` |
| `sports field` | Есть в GTA V, но редко виден сверху (стадионы закрыты) |
| `muddy ground` | Не актуален для GTA V (нет болот в Лос-Сантосе) |
### Конфигурация
```python
SegConfig(threshold=0.15, prompts=[
"background", # 0
"building", # 1
"road", # 2
"vegetation", # 3
"water", # 4
"sand and gravel ground", # 5
"rocky terrain", # 6
"farmland", # 7
"railway", # 8
"parking lot", # 9
"sidewalk", # 10
"bare soil and plowed field", # 11
"roof and rooftop", # 12
"swimming pool", # 13
])
```
---
## Оценка влияния на производительность
- Инференс: ~1.82.2x медленнее (11 vs 5 text prompts)