---
title: "TinyViT: Fast Pretraining Distillation for Small Vision Transformers"
title_ru: "TinyViT: Быстрое дистилляционное предобучение для маленьких Vision Transformer'ов"
authors: [Wu, Liu, Shi, Dong, Zhang, Ma]
year: 2022
venue: "ECCV"
venue_tier: "A*"
doi: "2207.10666"
tags: [mobile_backbone, vision_transformer, distillation, pretraining, edge, tiny]
relevance_to_smartrep: 4
direction: "🅲"
---

# TinyViT: Дистилляция при предобучении для маленьких ViT

## TL;DR (≤3 предложения)

TinyViT улучшает маленькие ViT через дистилляцию при самом предобучении на ImageNet-21k: большой teacher (EfficientViT/Swin-L) генерирует soft logits по 21k классам, маленький student учится им параллельно с обычным supervised loss. Ключевое: дистилляция именно при pretrain (не при fine-tune) — knowledge из teacher встроено в "ДНК" модели с самого начала. TinyViT-5M достигает 79.1% ImageNet Top-1 при 5.4M параметрах и <5ms на мобильном.

## Проблема

Маленькие ViT при обычном pretrain отстают от CNN-конкурентов того же размера — им не хватает inductive bias свёртки. Дистилляция при fine-tune улучшает, но не решает проблему полностью. Нужна дистилляция начиная с pretraining.

## Гипотеза / вклад

- **Pretraining distillation:** teacher soft logits (21k классов) как дополнительный supervision при ImageNet-21k pretraining student'а.
- **Sparse distillation:** дистилляция только по "информативным" токенам — экономит память при 21k классах.
- **Tiny architectures:** TinyViT-5M, 11M, 21M — тщательно спроектированные small ViT.
- **Strong few-shot init:** pretrained TinyViT отлично инициализирует few-shot downstream задачи.

## Метод

Pretraining loss:

$$\mathcal{L} = \mathcal{L}_{CE}(y, p_{student}) + \lambda \cdot \mathcal{L}_{KL}(p_{teacher}^{21k},\, p_{student}^{21k})$$

где $p^{21k}$ — soft probabilities по 21k классам. Teacher — крупная модель (EfficientViT-L2 или Swin-L).

Sparse distillation: применяется только к top-K активным токенам teacher — уменьшает memory при 21k классах.

Архитектура: patch embed → conv stem (ранние блоки) → MBConv + MHA (поздние блоки).

## Датасеты

| Модель | ImageNet Top-1 | Params (M) | Mobile Latency (est.) |
|---|---|---|---|
| TinyViT-5M | 79.1% | 5.4 | ~2ms |
| TinyViT-11M | 81.4% | 11.0 | ~3ms |
| TinyViT-21M | 83.1% | 21.2 | ~5ms |

## Сравнение с SOTA

TinyViT-5M: +4% vs MobileViT-XS при схожих параметрах. TinyViT-21M: конкурирует с Swin-T (83.1% vs 81.3%) при вдвое меньших параметрах.

## Ограничения / слабости

- Требует крупного teacher при pretraining — дополнительная стоимость.
- ImageNet-21k pretraining дорог: нужны большие вычисл. ресурсы даже для student'а.
- Нет нативной темпоральной обработки.

## Edge Feasibility для SmartRep

| Параметр | TinyViT-5M | TinyViT-11M |
|---|---|---|
| Параметры (M) | 5.4 | 11.0 |
| GFLOPs | 1.3 | 2.0 |
| TFLite/ONNX | Хорошая | Хорошая |
| INT8 PTQ | Хорошая | Хорошая |

**Вердикт:** deployment candidate с excellent transfer learning properties. Особенно ценен как init для few-shot downstream.

## Релевантность SmartRep

- **Few-shot init для 🅱:** TinyViT pretrained backbone — сильная инициализация для few-shot adaptation к новым упражнениям. Pretraining distillation даёт богатые признаки при малых параметрах.
- **Дистилляция при pretraining:** тот же принцип применим к SmartRep: large teacher (VideoMAE / MotionBERT) обучает маленький skeleton encoder на корпусе упражнений с самого начала.
- **Student в SmartRep pipeline:** TinyViT-5M как image encoder → скелетный post-processing → AQA head — полный pipeline <5ms.

## Gap для нас

TinyViT — image-based. **Ниша SmartRep:** Skeleton-TinyViT — применить pretraining distillation к маленькому skeleton temporal encoder: teacher = MotionBERT (large), student = TinyViT-size skeleton GNN/Mamba. Sparse distillation по суставам (только "важные" суставы для текущего упражнения). Это систематически не исследовалось для motion quality tasks.

## Код / данные

- Repo: github.com/microsoft/Cream/tree/main/TinyViT
- Pretrained: 5M, 11M, 21M (IN-1k и IN-21k версии)

## Цитата (BibTeX)

```bibtex
@inproceedings{wu2022tinyvit,
  title={TinyViT: Fast Pretraining Distillation for Small Vision Transformers},
  author={Wu, Kan and Liu, Jinnian and Shi, Han and Dong, Yuchen and Zhang, Zhiqian and Ma, Wei-Ying},
  booktitle={European Conference on Computer Vision},
  year={2022}
}
```
