---
title: "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks"
title_ru: "Модельно-независимое мета-обучение для быстрой адаптации глубоких сетей (MAML)"
authors: [Finn, Abbeel, Levine]
year: 2017
venue: "ICML"
venue_tier: "A*"
doi: "1703.03400"
tags: [few_shot, meta_learning, gradient_based, adaptation]
relevance_to_smartrep: 3
direction: "🅱"
---

# MAML: Модельно-независимое мета-обучение для быстрой адаптации

## TL;DR (≤3 предложения)

MAML ищет начальные веса модели, из которых за 1–5 шагов градиентного спуска можно адаптироваться к новой задаче с минимальным числом примеров. Метод модельно-независим: работает с любой архитектурой, обучаемой через градиенты, — CNN, RNN, policy network. Это самый цитируемый метод gradient-based meta-learning, заложивший фундамент для адаптации к новым упражнениям без полного retraining.

## Проблема

Нейросети обобщаются плохо при малом числе примеров нового класса — нужен явный механизм "быстрой адаптации". Важно, чтобы адаптация работала не за сотни итераций, а за единицы шагов SGD (иначе непрактично на edge-устройстве или при добавлении нового упражнения).

## Гипотеза / вклад

- **Bi-level оптимизация:** внешний цикл обновляет мета-параметры $\theta$, внутренний — адаптирует их к конкретной задаче $\tau_i$.
- **Universality:** метод не зависит от архитектуры и типа задачи (supervised, reinforcement, regression).
- **Second-order gradients:** оптимальная мета-инициализация требует градиентов через градиенты (MAML-версия с приближением первого порядка — FOMAML).

## Метод

Дано множество задач $\{\tau_i\}$, у каждой — малый support set $\mathcal{D}_i$ и query set $\mathcal{D}'_i$.

**Внутренний цикл (адаптация):**

$$\theta'_i = \theta - \alpha \nabla_\theta \mathcal{L}_{\tau_i}(f_\theta, \mathcal{D}_i)$$

**Внешний цикл (мета-обновление):**

$$\theta \leftarrow \theta - \beta \nabla_\theta \sum_{\tau_i} \mathcal{L}_{\tau_i}(f_{\theta'_i}, \mathcal{D}'_i)$$

Ключевое: внешний цикл считает градиент через адаптированные $\theta'_i$, то есть через внутренний цикл — это градиент второго порядка.

### Архитектура (Mermaid)

```
Meta-params θ
    │
    ├── Task τ₁: support D₁ → inner SGD → θ'₁ → loss on D'₁ ─┐
    ├── Task τ₂: support D₂ → inner SGD → θ'₂ → loss on D'₂ ──┤→ meta-gradient → update θ
    └── Task τ_n: ...                                          ─┘
```

## Датасеты

| Датасет | Задача | Метрика | Результат (5-way 5-shot) |
|---|---|---|---|
| miniImageNet | Классификация | Accuracy | 63.1% |
| Omniglot | Классификация | Accuracy | 98.9% |
| MuJoCo locomotion | RL | Reward | SOTA для своего времени |

## Сравнение с SOTA

На miniImageNet сопоставим с ProtoNet, но в отличие от метрических методов работает на регрессию и RL. FOMAML (приближение первого порядка) теряет лишь ~0.1% accuracy при 10× ускорении вычислений.

## Ограничения / слабости

- Второй порядок градиентов дорогостоящий: по памяти и времени ≈ в 2–4 раза дороже обычного обучения.
- Чувствителен к гиперпараметрам (число внутренних шагов $k$, $\alpha$, $\beta$).
- На практике часто нестабилен — нужны трюки (gradient clipping, careful init).
- Не масштабируется тривиально на большие архитектуры (ViT-L) без специальных модификаций.

## Релевантность SmartRep

- **Адаптация к новому упражнению 🅱:** MAML-инициализация для скелетного энкодера позволит дообучить модель под новое движение за 5–10 видео. Практический сценарий: тренер показал новое упражнение → 5 повторов → fine-tune за 1 минуту.
- **Адаптация к новому пользователю:** индивидуальная антропометрия (длина рычагов, ROM) как источник domain shift → MAML-adapt за 3–5 эталонных повторов.
- **FOMAML для edge:** первый порядок убирает вычислительный overhead второго порядка, адаптация возможна на телефоне.

## Gap для нас

MAML не учитывает структуру движения: все задачи равноправны, нет prior о биомеханике. **Ниша:** задать иерархическую структуру задач — базовые движения (squat, hinge) как "мета-классы", конкретные упражнения как "подклассы" — тогда мета-инициализация будет более специфична для силовых движений. Также MAML не оценивался на непрерывных темпоральных последовательностях с суставными ограничениями.

## Ссылки на связанные статьи

- [[Reptile]] — первый порядок, проще реализуется
- [[ProtoNet]] — альтернативная парадигма: метрика вместо оптимизации
- [[TENT]] — более лёгкая адаптация: только BN-слои, не веса

## Код / данные

- Repo: github.com/cbfinn/maml
- Pretrained: нет

## Цитата (BibTeX)

```bibtex
@inproceedings{finn2017model,
  title={Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks},
  author={Finn, Chelsea and Abbeel, Pieter and Levine, Sergey},
  booktitle={International Conference on Machine Learning},
  year={2017}
}
```
