# 6_edge_deployment — лёгкие модели и inference на устройствах

## Scope
Архитектуры, квантизация, дистилляция, фреймворки для развёртывания нейросетей на мобильных устройствах.

## Подтемы
- **mobile_backbones** — mobile-friendly архитектуры
- **quantization** — INT8/INT4, PTQ/QAT
- **distillation** — knowledge distillation
- **pruning_sparsity** — pruning, structured sparsity
- **frameworks** — TFLite, ONNX RT Mobile, CoreML, MNN, NCNN

## Must-read

### Mobile backbones
- **MobileNetV3** (Howard et al., ICCV 2019) — NAS-based мобильная CNN.
- **EfficientNet** (Tan & Le, ICML 2019) + **EfficientNetV2**.
- **EfficientFormer** (Li et al., NeurIPS 2022) — attention на мобильных.
- **MobileViT** (Mehta & Rastegari, ICLR 2022) — ViT + MobileNet.
- **FastViT** (Vasu et al., ICCV 2023) — hybrid дизайн.
- **EdgeNeXt** (Maaz et al., ECCVW 2022) — hybrid CNN-transformer.
- **MobileOne** (Vasu et al., CVPR 2023) — Apple, real-time mobile backbone.
- **TinyViT** (Wu et al., ECCV 2022) — mini vision transformer.

### Quantization
- **LSQ** (Esser et al., ICLR 2020) — learned step size quantization.
- **BRECQ** (Li et al., ICLR 2021) — block-wise reconstruction post-training.
- **AWQ** (Lin et al., 2023) — activation-aware weight quantization.
- **GPTQ** (Frantar et al., ICLR 2023) — для LLM, applicable к CV тоже.
- **SmoothQuant** (Xiao et al., ICML 2023).

### Distillation
- **KD** (Hinton et al., NIPS Workshop 2015) — classical.
- **DistilPose** (Ye et al., CVPR 2023) — distillation для pose estimation.
- **TinyViT distillation** (Wu et al., ECCV 2022).
- **FitNet** (Romero et al., 2015) — hint learning.
- **Feature distillation** (Heo et al., AAAI 2019).

### Frameworks (практика)
- **TensorFlow Lite** + TFLite Model Maker
- **ONNX Runtime Mobile**
- **MNN** (Alibaba) — mobile inference
- **NCNN** (Tencent)
- **PyTorch Mobile** + **ExecuTorch**
- **CoreML** (Apple)
- **Qualcomm AI Hub** + SNPE

## Ключевые поиски
- `mobile neural network` + `pose estimation` 2024-2025
- `quantization pose estimation`
- `knowledge distillation pose`
- Mobile AI Benchmarks 2024

## Gap для SmartRep
- Pose estimation с pay-per-precision tradeoff на edge **не стандартизирован**: кто-то сравнивает на мобильной GPU, кто-то на CPU, кто-то на NPU — нет единого протокола.
- Quantization aware training для temporal models (video transformers) — открытая тема.
- **Structured pruning** для skeleton-based моделей — почти нет работ.
- Benchmark для fitness-пайплайна (pose → angles → assessment) end-to-end на mobile — нет.
