---
title: "Efficient Test-Time Model Adaptation without Forgetting"
title_ru: "Эффективная адаптация модели во время теста без катастрофического забывания (EATA)"
authors: [Niu, Wu, Zhang, Chen, Zhao, Tan]
year: 2022
venue: "ICML"
venue_tier: "A*"
doi: "2204.02610"
tags: [test_time_adaptation, tta, fisher_regularization, forgetting, efficiency]
relevance_to_smartrep: 3
direction: "🅱"
---

# EATA: Эффективная адаптация во время теста без катастрофического забывания

## TL;DR (≤3 предложения)

EATA решает две ключевые проблемы Tent: катастрофическое забывание (после многих адаптационных шагов модель деградирует) и вычислительная избыточность (не все тестовые примеры одинаково полезны для адаптации). Вводит Fisher-regularization для предотвращения забывания и sample selection — адаптируется только на "информативных" примерах с умеренной энтропией. Для SmartRep: устойчивая долгосрочная адаптация к пользователю через множество сессий тренировок.

## Проблема

Tent накапливает ошибки при continual TTA: после многих батчей происходит catastrophic forgetting — модель "забывает" исходный домен. Кроме того, часть тестовых примеров бесполезна или вредна для адаптации (очень уверенные предсказания = нет информации; очень неуверенные = шум).

## Гипотеза / вклад

- **Sample selection:** адаптируем только примеры с умеренной энтропией $E_0 \le H(p) \le E_1$ — достаточно неуверенные (есть что учить), не слишком неуверенные (не шум).
- **Fisher regularization:** $\mathcal{L}_{reg} = \sum_i F_i (\theta_i - \theta_i^0)^2$ штрафует отклонение параметров от исходных значений $\theta^0$, взвешенное по Fisher information $F_i$ — важные параметры изменяются меньше.
- **Efficient Fisher estimation:** diagonal Fisher аппроксимируется на нескольких unlabeled примерах без full dataset.

## Метод

Полный loss:

$$\mathcal{L}_{EATA} = \underbrace{-\sum_{x \in \mathcal{B}_{sel}} H(p(y|x))}_{\text{entropy min (как Tent)}} + \lambda \underbrace{\sum_i F_i(\theta_i - \theta_i^0)^2}_{\text{Fisher regularization}}$$

где $\mathcal{B}_{sel}$ — отфильтрованное подмножество батча (по энтропийному порогу).

### Архитектура (Mermaid)

```
Test batch x → compute entropy H(p(y|x))
                    ↓
             Filter: E₀ ≤ H ≤ E₁ → selected B_sel
                    ↓
             Tent entropy loss + Fisher regularization → update BN params
                    ↓
             Diagonal Fisher F_i approximated on B_sel
```

## Датасеты

| Датасет | Задача | Метрика | Результат |
|---|---|---|---|
| ImageNet-C | Corruption robustness | Error rate | 50.1% |
| DomainNet | Continual DA | Accuracy | 62.3% |

## Сравнение с SOTA

Превосходит Tent при long-run adaptation: через 1000+ батчей EATA стабилен, Tent деградирует. На single-adaptation (1–5 батчей) разница минимальная.

## Ограничения / слабости

- Fisher information требует вычисления на дополнительном датасете (или первых N тестовых примерах) — нужен warm-up период.
- Пороги $E_0, E_1$ нужно подбирать для конкретного домена.
- Сложнее реализовать, чем Tent.

## Релевантность SmartRep

- **Долгосрочная персонализация 🅱:** пользователь тренируется месяцами, модель должна адаптироваться постепенно, не забывая базовые паттерны. EATA — единственный TTA-метод с гарантией стабильности при continual adaptation.
- **Session-level adaptation:** каждая тренировочная сессия = батч для адаптации; Fisher regularization гарантирует, что модель не уходит далеко от pre-trained distribution.
- **Отбор информативных повторов:** техника sample selection напрямую применима к повторам упражнений — адаптируемся на "пограничных" повторах (умеренная неопределённость), игнорируем очевидно правильные и очевидно неверные.

## Gap для нас

Fisher estimation требует compute. **Ниша SmartRep:** lightweight Fisher proxy для скелетных данных — вместо полного Fisher по весам, оценивать Fisher по joint-angle variance across sessions (биомеханически интерпретируемая мера "важности" параметра). Это тема для методологической секции статьи SmartRep.

## Ссылки на связанные статьи

- [[Tent]] — базовый метод, который EATA улучшает
- [[CoTTA]] — альтернативный подход к continual TTA
- [[SHOT]] — offline DA как альтернатива для менее ограниченных сценариев

## Код / данные

- Repo: github.com/mr-eatingtime/eata
- Pretrained: нет

## Цитата (BibTeX)

```bibtex
@inproceedings{niu2022efficient,
  title={Efficient Test-Time Model Adaptation without Forgetting},
  author={Niu, Shuaicheng and Wu, Jiaxiang and Zhang, Yifan and Chen, Yaofo and Zhao, Peilin and Tan, Mingkui},
  booktitle={International Conference on Machine Learning},
  year={2022}
}
```
