---
title: "BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction"
title_ru: "BRECQ: Блочная реконструкция для post-training квантизации"
authors: [Li, Guo, Wu, Tian, Liang, Sun, Liu]
year: 2021
venue: "ICLR"
venue_tier: "A*"
doi: "2102.05426"
tags: [quantization, ptq, post_training, int4, block_reconstruction, no_retraining]
relevance_to_smartrep: 4
direction: "🅲"
---

# BRECQ: Post-training квантизация через блочную реконструкцию

## TL;DR (≤3 предложения)

BRECQ квантизирует модель без полного retraining: оптимизирует веса каждого блока (residual block) независимо, минимизируя ошибку выхода блока относительно FP32 на небольшом calibration set (~1024 примеров). Использует второй порядок (Hessian) для определения чувствительности весов — аналитически оптимальный round. Достигает INT4 при потере <1% Top-1 без GPU-дней обучения.

## Проблема

QAT (LSQ) требует full retraining или длительного fine-tuning. Для production deployment нужен метод "квантизируй без обучения" (PTQ) достаточно высокого качества для INT4/INT8. Существующие PTQ методы деградируют при INT4.

## Гипотеза / вклад

- **Block-level reconstruction:** оптимизировать веса блока так, чтобы выход блока минимально отличался от FP32 на calibration data.
- **Second-order approximation:** использовать Hessian для аналитического определения оптимального rounding каждого веса (ADAROUND-inspired).
- **Inter-layer dependency:** оптимизация в пределах блока учитывает взаимодействие слоёв (vs послойная оптимизация).

## Метод

Для блока с весами $\mathbf{w}$, FP32 выход $\mathbf{z}$, quantized выход $\hat{\mathbf{z}}$:

$$\arg\min_{\hat{\mathbf{w}}} \mathbb{E}_{\mathbf{x}} \|\hat{\mathbf{z}} - \mathbf{z}\|_F^2$$

Веса оптимизируются через gradient descent на calibration data (не на train). Rounding решение через STE.

Second-order: $\Delta \mathcal{L} \approx \mathbf{g}^T \Delta\mathbf{w} + \frac{1}{2}\Delta\mathbf{w}^T H \Delta\mathbf{w}$ — для приоритизации весов с малым Hessian (можно округлять произвольно) vs большим (критично).

## Датасеты

| Модель | Датасет | FP32 | W4A8 BRECQ | W4A4 BRECQ |
|---|---|---|---|---|
| ResNet-18 | ImageNet | 71.1% | 70.3% | 64.8% |
| MobileNetV2 | ImageNet | 71.9% | 70.5% | 60.9% |
| ViT-S | ImageNet | 79.8% | 79.0% | — |

## Сравнение с SOTA

W4A8: превосходит ADAROUND и ZeroQ. W4A4: первый PTQ метод с приемлемым качеством на MobileNetV2. ViT поддержка — важна для SmartRep.

## Ограничения / слабости

- Calibration set нужен (хотя ~1024 примеров, не полный датасет).
- Оптимизация блоков последовательна — медленнее чем один forward pass.
- W4A4 всё ещё даёт значительную потерю на лёгких моделях (MobileNetV2).
- Hessian-вычисления дорогие для очень глубоких моделей.

## Edge Feasibility для SmartRep

| Параметр | W8A8 PTQ | W4A8 BRECQ |
|---|---|---|
| Размер модели | 0.25× FP32 | 0.125× FP32 |
| Качество потери | <0.5% | <1.5% |
| Calibration data | ~1024 | ~1024 |
| Full retraining | Нет | Нет |

**Вердикт:** excellent для "быстрой квантизации без ресурсов на QAT". W4A8 — практичный вариант для edge без полного retraining.

## Релевантность SmartRep

- **Deployment без retraining 🅲:** в production сценарии нет возможности делать full QAT для каждой новой модели. BRECQ позволяет квантизировать skeleton AQA model за часы, а не недели.
- **ViT поддержка:** BRECQ работает с ViT (важно для ViTPose, MotionBERT) — PTQ для трансформерных backbone'ов.
- **Few-shot + quantization:** после MAML/Reptile fine-tune модели — BRECQ PTQ финального чекпоинта без дополнительного обучения.

## Gap для нас

BRECQ не тестировался на temporal models и skeleton-based задачах. **Ниша SmartRep:** BRECQ для skeleton temporal encoder — PTQ skeleton GNN/Mamba без потери anomaly detection AUROC. Calibration set = 1024 нормальных повторов упражнений из нашего корпуса.

## Код / данные

- Repo: github.com/yhhhli/BRECQ
- Pretrained: нет

## Цитата (BibTeX)

```bibtex
@inproceedings{li2021brecq,
  title={BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction},
  author={Li, Yuhang and Guo, Ruihao and Wu, Dong and Tian, Guanzhong and Liang, Tianfei and Sun, Xiaopeng and Liu, Jie},
  booktitle={International Conference on Learning Representations},
  year={2021}
}
```
