---
title: "A Comprehensive Overhaul of Feature Distillation"
title_ru: "Комплексный пересмотр дистилляции признаков"
authors: [Heo, Lee, Yun, Kim, Yang, Choi]
year: 2019
venue: "AAAI"
venue_tier: "A"
doi: "1904.01866"
tags: [knowledge_distillation, feature_distillation, margin_relu, partial_l2, teacher_transform]
relevance_to_smartrep: 3
direction: "🅲"
---

# Комплексный пересмотр дистилляции признаков

## TL;DR (≤3 предложения)

Авторы систематически переосмысляют feature distillation: идентифицируют 4 ключевых компонента (teacher transform, student transform, distillation feature position, loss function) и показывают, что стандартный подход (FitNet с L2 loss) неоптимален. Предлагают: margin ReLU активацию как teacher transform (отбрасывает неинформативные нулевые активации), partial L2 loss (штрафует только student за превышение teacher margin), позицию после ReLU. Улучшает FitNet на ~1–2% при той же сложности.

## Проблема

FitNets копируют признаки teacher "как есть", но не все признаки одинаково полезны. Нулевые активации (после ReLU) — незначимы, копировать их не нужно. L2 штраф одинаково наказывает за отклонение в обе стороны — неоптимально, если student "знает больше" в каком-то измерении.

## Гипотеза / вклад

- **Teacher transform (margin ReLU):** $T'_{ij} = \max(0, T_{ij})$ — только положительные активации передаются как target. Нулевые = нет signal.
- **Partial L2 loss:** штраф только если $S_{ij} < T'_{ij}$ — student не наказывается за превышение teacher, только за недобор.
- **Pre-ReLU position:** признаки перед финальной ReLU несут больше информации (bipolar).

## Метод

$$\mathcal{L}_{OFD} = \sum_{ij} \max(0,\, T'_{ij} - S_{ij})^2$$

где $T'_{ij} = \max(0, T_{ij})$ (margin ReLU на teacher features), $S_{ij}$ — student features.

Полный training loss:

$$\mathcal{L} = \mathcal{L}_{task} + \beta \cdot \mathcal{L}_{OFD}$$

Позиция: после каждого residual block, перед финальной ReLU блока.

## Датасеты

| Датасет | Teacher | Student | FitNet | OFD (this) |
|---|---|---|---|---|
| CIFAR-100 | WRN-40-2 | WRN-16-2 | 73.58% | 75.24% |
| ImageNet | ResNet-50 | MobileNet | 68.9% | 71.1% |

## Сравнение с SOTA

+1.5–2% vs FitNet при той же сложности. Один из лучших feature distillation методов до появления CRD (2020).

## Ограничения / слабости

- Разработан для image classification — не для regression или temporal задач.
- Partial L2 предполагает, что "student должен быть не хуже teacher" — не всегда подходящее prior.
- Позиция признаков нужна ручная настройка.

## Релевантность SmartRep

- **Pose estimation distillation 🅲:** DistilPose (CVPR 2023) использует схожую логику — передача pose heatmap features с маскировкой неинформативных областей. OFD = теоретическая основа.
- **AQA distillation:** partial L2 — подходящая метрика для качественной оценки: student-предсказание "лучше teacher" не штрафуется, хуже — штрафуется.
- **Skeleton encoder distillation:** teacher motion features (positive = активные суставы в ключевые фазы) → student skeleton encoder через OFD.

## Gap для нас

OFD для temporal признаков не исследован. **Ниша SmartRep:** Temporal OFD — применить margin ReLU + partial L2 к temporal attention maps: teacher видит полный видеоряд, выделяет ключевые фазы (non-zero attention); student скелетный encoder учится воспроизводить только эти фазы, не штрафуясь за "избыточную" активацию на других.

## Код / данные

- Repo: github.com/ArkSeal/overhaul-distillation
- Pretrained: нет

## Цитата (BibTeX)

```bibtex
@article{heo2019comprehensive,
  title={A Comprehensive Overhaul of Feature Distillation},
  author={Heo, Byeongho and Lee, Minsik and Yun, Sangdoo and Kim, Jin Young and Yang, Jisung and Choi, Jin Young},
  journal={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2019}
}
```
