---
title: "FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization"
title_ru: "FastViT: Быстрый гибридный Vision Transformer через структурную перепараметризацию"
authors: [Vasu, Gabriel, Zhu, Tuzel, Ranjan]
year: 2023
venue: "ICCV"
venue_tier: "A*"
doi: "2303.14189"
tags: [mobile_backbone, vision_transformer, reparameterization, hybrid, edge, apple]
relevance_to_smartrep: 3
direction: "🅲"
---

# FastViT: Гибридный ViT через структурную перепараметризацию

## TL;DR (≤3 предложения)

FastViT вводит RepMixer — token mixer на основе структурной перепараметризации: при обучении используется multi-branch (skip + depthwise + pointwise), при inference ветки сворачиваются в одну depthwise conv, устраняя overhead attention в ранних слоях. Достигает скорости MobileOne при качестве EfficientFormer. Важен для SmartRep как демонстрация принципа: train-time и inference-time архитектуры могут различаться — ключевая техника для edge deployment.

## Проблема

EfficientFormer использует pooling mixer в ранних слоях — дёшево, но теряет representation quality. MHSA во всех слоях — точно, но медленно. Нужен mixer с богатым обучением и дешёвым инференсом.

## Гипотеза / вклад

- **RepMixer:** token mixing через branch-parallel conv при обучении → single depthwise при инференсе (reparameterization).
- **Large kernel conv:** 7×7 depthwise для захвата более широкого контекста без quadratic attention.
- **Hybrid design:** RepMixer в ранних стадиях (cheap) + self-attention в поздних (accurate).

## Метод

RepMixer (тренировка):

```
Input X → [skip connection] + [1×1 conv → depthwise k×k] + [depthwise k×k] → BN → Output
```

RepMixer (инференс после reparameterization):

```
Input X → single depthwise k×k → BN → Output  (все ветки свёрнуты в одну)
```

Полная архитектура: RepMixer × 3 стадии + MHSA × 1 финальная стадия.

## Датасеты

| Модель | ImageNet Top-1 | Params (M) | iPhone 12 Latency |
|---|---|---|---|
| FastViT-T8 | 73.9% | 4.0 | 0.8ms |
| FastViT-S12 | 79.8% | 10.9 | 1.4ms |
| FastViT-MA36 | 83.9% | 44.6 | 3.8ms |

## Сравнение с SOTA

FastViT-T8: быстрее EfficientFormerV2-S0 при +0.7% точности. FastViT-S12: 1.4ms vs EfficientFormer-L1 (1.6ms) при +0.6% точности. Лучший Pareto-front на iPhone 12.

## Ограничения / слабости

- Reparameterization только для BN+Conv — не применимо к attention слоям.
- На Android Snapdragon порядок латентности отличается от iPhone ANE.
- Нет видео/темпоральной версии.

## Edge Feasibility для SmartRep

| Параметр | FastViT-T8 | FastViT-S12 |
|---|---|---|
| Параметры (M) | 4.0 | 10.9 |
| GFLOPs | 0.7 | 1.8 |
| iPhone 12 latency | 0.8ms | 1.4ms |
| CoreML | Отличная | Отличная |

**Вердикт:** top deployment candidate для iPhone. Лучший Pareto-front среди hybrid ViT для Apple SoC.

## Релевантность SmartRep

- **iPhone backbone 🅲:** FastViT-T8 — быстрейший вариант для iPhone с хорошей точностью. Прямой кандидат для pose feature extractor в iOS-версии SmartRep.
- **Reparameterization принцип:** тот же принцип (train-time complexity → inference-time simplicity) применим к skeleton temporal models — при обучении multi-scale temporal, при инференсе — reparameterized 1D conv.
- **MobileOne родственник:** от тех же авторов (Apple) — рассматривать совместно.

## Gap для нас

FastViT не тестировался для pose estimation и motion sequences. **Ниша SmartRep:** бенчмарк FastViT vs EfficientFormer vs BlazePose backbone для pose estimation на iPhone в едином протоколе — именно тот gap, на который указывает `_index.md`.

## Код / данные

- Repo: github.com/apple/ml-fastvit
- Pretrained: T8, SA12, SA24, SA36, MA36

## Цитата (BibTeX)

```bibtex
@inproceedings{vasu2023fastvit,
  title={FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization},
  author={Vasu, Pavan Kumar Anasosalu and Gabriel, James and Zhu, Jeff and Tuzel, Oncel and Ranjan, Anurag},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2023}
}
```
