---
title: "EfficientFormer: Vision Transformers at MobileNet Speed"
title_ru: "EfficientFormer: Vision Transformer на скорости MobileNet"
authors: [Li, Yuan, Wen, Hu, Evangelidis, Tulyakov, Wang, Ren]
year: 2022
venue: "NeurIPS"
venue_tier: "A*"
doi: "2206.01191"
tags: [mobile_backbone, vision_transformer, edge, latency_driven, hybrid]
relevance_to_smartrep: 3
direction: "🅲"
---

# EfficientFormer: Vision Transformer на скорости MobileNet

## TL;DR (≤3 предложения)

EfficientFormer — первый ViT-подобный backbone, достигающий латентности MobileNetV2 (~1.6ms на iPhone) при сопоставимой точности с более крупными ViT-моделями. Ключевое: latency-driven design space — архитектурный поиск под реальную латентность на мобильном устройстве, а не теоретические FLOP'ы. Разделяет операции на 4D (CONV) и 3D (attention) ветки, делая attention только в последних слоях.

## Проблема

ViT-модели точнее CNN на больших scale, но намного медленнее на мобильных устройствах из-за reshape/transpose операций и неэффективной реализации softmax attention. Нужен ViT, работающий в реальном времени на iPhone/Android без специального железа.

## Гипотеза / вклад

- **Latency-driven design:** строится bottleneck list из операций отсортированных по реальной латентности на мобильном SoC, а не FLOP'ам.
- **4D→3D метаблок:** сначала 4D (CONV) pooling mixer для spatial features, затем 3D (attention) для глобального контекста — только в последних стадиях.
- **EfficientFormerV2:** добавляет MHSA с локальными окнами + глобальный модуль для лучшего баланса.

## Метод

Основной блок — MetaFormer:

```
Input → Token mixer (pool or attention) → Add → MLP → Add → Output
```

Pool mixer (для ранних стадий): 3×3 average pooling — дёшево, без параметров.
Attention mixer (для поздних стадий): стандартный MHSA.

Латентный поиск: каждая операция измеряется на реальном устройстве (iPhone 12), строится lookup table → EfficientFormer-L1/L3/L7.

## Датасеты

| Модель | ImageNet Top-1 | Params (M) | iPhone 12 Latency |
|---|---|---|---|
| EfficientFormer-L1 | 79.2% | 12.3 | 1.6ms |
| EfficientFormer-L3 | 82.4% | 31.4 | 3.0ms |
| EfficientFormerV2-S0 | 75.7% | 3.6 | 0.9ms |
| EfficientFormerV2-S2 | 81.6% | 12.6 | 2.0ms |

## Сравнение с SOTA

EfficientFormer-L1 быстрее MobileNetV2 (1.6ms vs 2.0ms) при +4.5% точности на ImageNet. Демонстрирует принципиальный результат: ViT может быть быстрее CNN на мобильных.

## Ограничения / слабости

- Оптимизирован под iPhone Neural Engine — на Qualcomm/Android Snapdragon порядок может отличаться.
- Pool mixer в ранних слоях не захватывает fine-grained motion.
- Отсутствует нативная темпоральная размерность.

## Edge Feasibility для SmartRep

| Параметр | EfficientFormerV2-S0 | EfficientFormer-L1 |
|---|---|---|
| Параметры (M) | 3.6 | 12.3 |
| GFLOPs | 0.4 | 1.3 |
| iPhone 12 latency | 0.9ms | 1.6ms |
| CoreML | Хорошая | Хорошая |
| TFLite | Удовлетворительная | Удовлетворительная |

**Вердикт:** excellent deployment candidate для Apple-таргета (iPhone Neural Engine). На Android — требует проверки.

## Релевантность SmartRep

- **iOS deployment 🅲:** если SmartRep таргетирует iPhone — EfficientFormer оптимальный выбор backbone. Нативно работает через CoreML с Apple Neural Engine.
- **Pose estimation backbone:** поверх EfficientFormer можно построить pose estimation head — аналог ViTPose, но в ~10× легче.
- **Encoder для AQA head:** EfficientFormer как image/frame encoder → агрегация по времени → AQA head. Сквозной pipeline за ~5ms на iPhone.

## Gap для нас

EfficientFormer не тестировался для pose estimation и motion analysis. **Ниша SmartRep:** EfficientFormer-Pose — head для pose estimation поверх EfficientFormer-L1 с бенчмаркингом на реальных мобильных устройствах (iPhone 13/14, Snapdragon 8 Gen 2). Сравнение с BlazePose и RTMPose в единой методологии — тот самый gap из `_index.md` про отсутствие единого протокола.

## Код / данные

- Repo: github.com/snap-research/EfficientFormer
- Pretrained: доступны L1, L3, L7

## Цитата (BibTeX)

```bibtex
@inproceedings{li2022efficientformer,
  title={EfficientFormer: Vision Transformers at MobileNet Speed},
  author={Li, Yanyu and Yuan, Geng and Wen, Yang and Hu, Eric and Evangelidis, Georgios and Tulyakov, Sergey and Wang, Yanzhi and Ren, Jian},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022}
}
```
