Add GTA-UAV-LR annotation script + dataset documentation
- Add scripts/run_gta_uav.py for GTA-UAV-LR (48K images, GTA V synthetic) - 14 segmentation classes: 11 base + bare soil, rooftop, swimming pool - Fix source filter to recognize "satellite" folder (alongside "DB") - Document GTA-UAV characteristics in segmentation_class_analysis.md - Update README and CLAUDE.md with GTA-UAV support Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -273,6 +273,71 @@ SegConfig(threshold=0.1, prompts=[
|
||||
|
||||
---
|
||||
|
||||
## Конфигурация для GTA-UAV-LR: 14 классов
|
||||
|
||||
### Характеристики датасета
|
||||
|
||||
GTA-UAV-LR — синтетический датасет, сгенерированный из игрового движка GTA V (Grand Theft Auto V).
|
||||
|
||||
| Параметр | Значение |
|
||||
|---|---|
|
||||
| Drone изображения | 33 763 шт., 512x384 px, RGB PNG |
|
||||
| Satellite изображения | 14 640 шт., 256x256 px, **RGBA** PNG |
|
||||
| Итого | 48 403 изображения |
|
||||
| Высоты полёта | 100, 200, 300, 400, 500, 600 м |
|
||||
| Локация | Карта GTA V (Лос-Сантос и окрестности) |
|
||||
| Сцены | Город, пригород, сельская местность, побережье, горы, пустыня |
|
||||
| Формат аннотаций | JSON (cross-area, same-area, train/test splits) |
|
||||
|
||||
**Особенности:**
|
||||
- **Satellite RGBA:** alpha-канал обозначает границы карты GTA V. Прозрачные пиксели (alpha=0) = за пределами игрового мира. При обработке конвертируется в RGB (прозрачное → чёрный).
|
||||
- **Drone не квадратные:** 512x384 → resize в 512x512 (потеря aspect ratio, но это синтетика — не критично).
|
||||
- **Синтетические текстуры:** GTA V рендерит реалистичные но не фотореалистичные текстуры. SegEarth-OV3 справляется хорошо — текстуры достаточно близки к реальным для open-vocabulary grounding.
|
||||
- **Бассейны** — характерная особенность пригородов GTA V (Vinewood Hills, Rockford Hills). Яркий бирюзовый цвет, уникальная геометрия — сильный localization cue для CVGL.
|
||||
|
||||
### Выбор 14 классов
|
||||
|
||||
11 базовых классов (совпадают с World-UAV) + 3 специфичных:
|
||||
|
||||
| ID | Промпт | Обоснование |
|
||||
|---|---|---|
|
||||
| 11 | `bare soil and plowed field` | GTA V содержит много пустырей, стройплощадок, грунтовых дорог в пригородах (Sandy Shores, Grapeseed). Без этого класса ~10-15% уходит в background. |
|
||||
| 12 | `roof and rooftop` | Плоские крыши коммерческих зданий, вертолётные площадки (Maze Bank Tower). GTA V рендерит крыши с детализированными текстурами (кондиционеры, антенны), которые `building` не ловит сверху. |
|
||||
| 13 | `swimming pool` | Бассейны во дворах вилл — один из самых характерных визуальных элементов пригородов GTA V. Яркий бирюзовый цвет на сером/зелёном фоне — сильнейший landmark для cross-view matching. `water` не различает бассейн от океана. |
|
||||
|
||||
### Почему не добавлены
|
||||
|
||||
| Класс | Причина |
|
||||
|---|---|
|
||||
| `highway` | Покрыт `road` — SegEarth не различает шоссе и обычную дорогу |
|
||||
| `beach` | Покрыт `sand and gravel ground` |
|
||||
| `mountain` | Покрыт `rocky terrain` + `vegetation` |
|
||||
| `sports field` | Есть в GTA V, но редко виден сверху (стадионы закрыты) |
|
||||
| `muddy ground` | Не актуален для GTA V (нет болот в Лос-Сантосе) |
|
||||
|
||||
### Конфигурация
|
||||
|
||||
```python
|
||||
SegConfig(threshold=0.15, prompts=[
|
||||
"background", # 0
|
||||
"building", # 1
|
||||
"road", # 2
|
||||
"vegetation", # 3
|
||||
"water", # 4
|
||||
"sand and gravel ground", # 5
|
||||
"rocky terrain", # 6
|
||||
"farmland", # 7
|
||||
"railway", # 8
|
||||
"parking lot", # 9
|
||||
"sidewalk", # 10
|
||||
"bare soil and plowed field", # 11
|
||||
"roof and rooftop", # 12
|
||||
"swimming pool", # 13
|
||||
])
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Оценка влияния на производительность
|
||||
|
||||
- Инференс: ~1.8–2.2x медленнее (11 vs 5 text prompts)
|
||||
|
||||
Reference in New Issue
Block a user