---
title: "Distilling the Knowledge in a Neural Network"
title_ru: "Дистилляция знаний в нейронной сети (Knowledge Distillation)"
authors: [Hinton, Vinyals, Dean]
year: 2015
venue: "NIPS Deep Learning Workshop"
venue_tier: "workshop"
doi: "1503.02531"
tags: [knowledge_distillation, soft_labels, temperature_scaling, compression, teacher_student]
relevance_to_smartrep: 4
direction: "🅲"
---

# Knowledge Distillation: Дистилляция знаний нейронных сетей

## TL;DR (≤3 предложения)

Knowledge Distillation предлагает обучать маленькую (student) сеть на мягких предсказаниях большой (teacher) сети через temperature-scaled softmax: при высокой температуре $T$ распределение вероятностей teacher размягчается, передавая информацию о "похожести" классов — "тёмные знания". Комбинированный loss: CE с истинными метками + KL с teacher soft labels. Основополагающая работа для всего направления model compression.

## Проблема

Обученная большая модель умеет многое, чего нет в жёстких one-hot метках — распределение вероятностей по всем классам несёт информацию о структуре данных. Маленькая модель, обученная только на метках, эту структуру не видит.

## Гипотеза / вклад

- **Soft labels:** $p_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}$ — при $T>1$ распределение размягчается, все классы получают ненулевую вероятность.
- **Тёмные знания:** относительные вероятности (напр. "кот похож на собаку больше, чем на автомобиль") — ценная информация, недоступная из one-hot.
- **Distillation loss:** $\mathcal{L} = (1-\alpha)\mathcal{L}_{CE}(y, p_S) + \alpha T^2 \mathcal{L}_{KL}(p_T, p_S)$, множитель $T^2$ компенсирует уменьшение градиентов при soft softmax.

## Метод

Teacher (большая замороженная модель) → soft logits $z_T$.

Student обучается на:

$$\mathcal{L} = (1-\alpha) \text{CE}(\mathbf{y},\, \sigma(\mathbf{z}_S)) + \alpha T^2 \text{KL}\!\left(\sigma(\mathbf{z}_T/T),\, \sigma(\mathbf{z}_S/T)\right)$$

$\alpha$ и $T$ — гиперпараметры (обычно $T=4$–$10$, $\alpha=0.5$).

### Архитектура (Mermaid)

```
Training data + Teacher soft labels (frozen) → Student
                                      ↓
           (1-α)·CE(true labels) + α·T²·KL(teacher soft | student soft)
                                      ↓
                       Small, fast student model
```

## Датасеты

| Задача | Teacher | Student | Student w/ KD |
|---|---|---|---|
| MNIST | Large net | Small net | small net ≈ large |
| CIFAR-10 | ResNet-110 | ResNet-20 | +1.5% vs vanilla |

## Сравнение с SOTA

Основополагающая работа. Все последующие методы (FitNet, CRD, RKD, SSKD) расширяют этот базис. Несмотря на простоту, KD с правильной $T$ сохраняет конкурентоспособность с более сложными методами.

## Ограничения / слабости

- Только logit-level distillation — не передаёт промежуточные признаки.
- Требует одинаковой задачи teacher и student.
- Temperature нужно подбирать под конкретную пару.
- Для regression задач (AQA score) нужна адаптация.

## Релевантность SmartRep

- **Teacher-Student для edge 🅲:** ключевая парадигма SmartRep: тяжёлый teacher (MotionBERT / VideoMAE, обученный на сервере) → лёгкий student (skeleton encoder на телефоне). KD позволяет student'у превысить качество самостоятельно обученной модели того же размера.
- **AQA distillation:** для regression задач используется MSE между teacher и student scores вместо KL — прямая адаптация KD framework.
- **LUPI реализация:** teacher видит видео, student — только скелет. KD от video-teacher к skeleton-student — конкретная реализация направления 🅱.

## Gap для нас

KD для motion quality regression (не classification) и cross-modal (video → skeleton) — не стандартизирован. **Ниша SmartRep:** Cross-modal KD: teacher = VideoMAE (RGB) обучает student = skeleton encoder не через logits (нет класса), а через intermediate motion representations — novel distillation target для AQA.

## Код / данные

- Repo: нет официального (работа 2015 года), реализован во всех frameworks
- Pretrained: нет

## Цитата (BibTeX)

```bibtex
@article{hinton2015distilling,
  title={Distilling the Knowledge in a Neural Network},
  author={Hinton, Geoffrey and Vinyals, Oriol and Dean, Jeff},
  journal={arXiv preprint arXiv:1503.02531},
  year={2015}
}
```
