---
title: "MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer"
title_ru: "MobileViT: Лёгкий, универсальный и мобильный Vision Transformer"
authors: [Mehta, Rastegari]
year: 2022
venue: "ICLR"
venue_tier: "A*"
doi: "2110.02178"
tags: [mobile_backbone, vision_transformer, hybrid, edge, global_local, light_weight]
relevance_to_smartrep: 3
direction: "🅲"
---

# MobileViT: Гибридный мобильный Vision Transformer

## TL;DR (≤3 предложения)

MobileViT комбинирует локальные операции MobileNetV2 (depthwise conv для локальных признаков) с глобальным вниманием трансформеров (для нелокальных зависимостей) в одной архитектуре без отдельных CNN и ViT веток. MobileViT-блок "раскладывает" патчи из разных позиций в одну последовательность → self-attention → раскладывает обратно: так глобальный контекст вычисляется за одно внимание. Важен для SmartRep как принцип: local CNN-блоки для обработки суставов ближайших кадров + global attention для всей последовательности повтора.

## Проблема

ViT требуют большого числа параметров для достижения инвариантности к трансформациям (которую CNN имеет по построению через свёртку). CNN, наоборот, не захватывают нелокальные зависимости. Нужна архитектура, объединяющая обе сильные стороны без компромисса.

## Гипотеза / вклад

- **MobileViT-блок:** локальная обработка через conv → global self-attention через patch unfolding → обратная сборка. Глобальность без квадратичного внимания по всей карте.
- **Без позиционного кодирования:** по дизайну позиционная информация сохраняется через conv прелюдию.
- **Легковесность:** MobileViT-XXS — 1.3M параметров, 0.4 GFLOPs.

## Метод

MobileViT блок для входа $X \in \mathbb{R}^{H \times W \times C}$:

1. Local processing: $X_L = \text{Conv}_{n \times n}(X)$
2. Unfold patches размера $P \times P$: получаем $\frac{HW}{P^2}$ патчей по $P^2$ пикселей
3. Transformer (self-attention) вдоль "пространственной" оси $\frac{HW}{P^2}$
4. Fold обратно: $X_G \in \mathbb{R}^{H \times W \times d}$
5. Point-wise proj + concat с $X_L$ → выход

Полная архитектура: MV2-блоки (conv) + MobileViT-блоки (hybrid) в чередовании.

## Датасеты

| Модель | ImageNet Top-1 | Params (M) | GFLOPs | iPhone 12 Latency |
|---|---|---|---|---|
| MobileViT-XXS | 69.0% | 1.3 | 0.4 | 1.8ms |
| MobileViT-XS | 74.8% | 2.3 | 1.0 | 2.8ms |
| MobileViT-S | 78.4% | 5.6 | 2.0 | 5.8ms |

## Сравнение с SOTA

MobileViT-S превосходит MobileNetV3-Large (+5.7% Top-1) при схожей латентности. Уступает EfficientFormer-L1 по латентности, но превосходит по точности при аналогичных параметрах.

## Ограничения / слабости

- Unfold/fold операция медленнее теоретических FLOP'ов на CPU из-за memory access patterns.
- На Qualcomm SNPE/HTP хуже оптимизирована, чем чистые CNN.
- MobileViTv2 (2022) заменяет MHSA на linear attention — быстрее.

## Edge Feasibility для SmartRep

| Параметр | MobileViT-XXS | MobileViT-S |
|---|---|---|
| Параметры (M) | 1.3 | 5.6 |
| GFLOPs | 0.4 | 2.0 |
| iPhone latency | 1.8ms | 5.8ms |
| CoreML | Хорошая | Хорошая |
| TFLite | Удовлетворительная | Удовлетворительная |

**Вердикт:** MobileViT-XXS/XS — сильный кандидат для pose feature extractor, особенно на iPhone.

## Релевантность SmartRep

- **Hybrid принцип для skeleton 🅲:** MobileViT-блок адаптируется для 1D последовательностей суставов: local conv по временны́м окнам + global attention по всей последовательности повтора.
- **RTMPose использует похожий принцип:** RTMPose (разобран в разделе 2) использует SimCC + CSPNeXt, но hybrid MobileViT-подход — альтернатива для более лёгкого варианта.
- **Few-shot + hybrid:** глобальный attention позволяет сравнивать query-повтор с support-повторами эталонов в едином forward pass.

## Gap для нас

MobileViT не применялся для pose estimation и motion sequences. **Ниша SmartRep:** Temporal MobileViT — применить unfold/fold принцип к 1D временны́м последовательностям суставных координат: local temporal conv (обработка фаз) + global attention (сравнение с эталоном) в одном lightweight блоке.

## Код / данные

- Repo: github.com/apple/ml-cvnets
- Pretrained: доступны XXS, XS, S

## Цитата (BibTeX)

```bibtex
@inproceedings{mehta2022mobilevit,
  title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
  author={Mehta, Sachin and Rastegari, Mohammad},
  booktitle={International Conference on Learning Representations},
  year={2022}
}
```
