---
title: "EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications"
title_ru: "EdgeNeXt: Эффективная гибридная CNN-Transformer архитектура для мобильных приложений"
authors: [Maaz, Shaker, Cholakkal, Khan, Khan, Anwer, Felsberg]
year: 2022
venue: "ECCVW"
venue_tier: "A"
doi: "2206.10589"
tags: [mobile_backbone, hybrid, edge, split_depthwise, transformer, efficient]
relevance_to_smartrep: 3
direction: "🅲"
---

# EdgeNeXt: Гибридная CNN-Transformer архитектура для edge

## TL;DR (≤3 предложения)

EdgeNeXt вводит Split Depthwise Transpose Attention (SDTA): делит каналы на несколько групп, каждая обрабатывается depthwise conv разного масштаба, затем применяется транспонированное attention по каналам (а не по пространственным позициям) — дёшево и эффективно. Архитектура получает глобальный контекст через channel-wise attention без квадратичной стоимости spatial attention. Для SmartRep: channel-wise attention адаптируется к скелетным данным, где "каналы" = суставные координаты.

## Проблема

Spatial self-attention в ViT квадратичен по числу токенов — медленно на мобильных при высоком разрешении. Channel-wise attention (как в SE-блоках) дёшев, но не захватывает spatial зависимости. SDTA объединяет лучшее обоих подходов.

## Гипотеза / вклад

- **SDTA (Split Depthwise Transpose Attention):** каналы делятся на $k$ групп; каждая обрабатывается depthwise conv $k$-го масштаба; transport attention по каналам (не по пространству).
- **Multi-scale local features:** разные kernel sizes в разных группах каналов — multi-scale локальное представление без multi-scale backbone.
- **Lightweight global context:** transpose attention работает на малом числе каналов — практически O(1) vs O(N²).

## Метод

SDTA блок:

```
Input X (H×W×C)
  → Split channels into k groups: X₁,...,Xₖ (each C/k channels)
  → Depthwise conv 3×3, 5×5, ..., (2k+1)×(2k+1) per group
  → Concat → Adaptive Average Pool → 1D tokens (C/k × k)
  → Transpose self-attention across channels → scale → add
  → Output
```

Полная архитектура: ConvNeXt-подобные блоки (ранние стадии) + SDTA (поздние стадии).

## Датасеты

| Модель | ImageNet Top-1 | Params (M) | GFLOPs | Mobile Latency |
|---|---|---|---|---|
| EdgeNeXt-XXS | 71.2% | 1.3 | 0.26 | — |
| EdgeNeXt-XS | 75.0% | 2.3 | 0.54 | — |
| EdgeNeXt-S | 78.8% | 5.6 | 1.26 | ~3ms (est.) |

## Сравнение с SOTA

EdgeNeXt-S сопоставим с MobileViT-S (+0.4% Top-1) при в 1.6× меньших FLOP'ах. Лучший Pareto-front среди гибридных моделей того времени (ECCVW 2022).

## Ограничения / слабости

- Реальная латентность на конкретных девайсах в статье не указана систематически.
- Transpose attention по каналам не захватывает spatial structure — trade-off.
- Меньшее community и поддержка инструментов по сравнению с EfficientFormer/MobileViT.

## Edge Feasibility для SmartRep

| Параметр | EdgeNeXt-XXS | EdgeNeXt-S |
|---|---|---|
| Параметры (M) | 1.3 | 5.6 |
| GFLOPs | 0.26 | 1.26 |
| TFLite/ONNX | Удовлетворительная | Удовлетворительная |

**Вердикт:** deployment candidate, но требует проверки реальной латентности на целевом устройстве.

## Релевантность SmartRep

- **Channel-wise attention для суставов 🅲:** "каналы" в скелетном представлении = координаты суставов. SDTA-принцип: channel-wise attention по суставным координатам без квадратичного attention по времени.
- **XXS вариант:** 1.3M параметров, 0.26 GFLOPs — подходит для embedding head в AQA pipeline.
- **Сравнительный baseline:** обязателен при сравнении архитектур edge backbone в ablation SmartRep.

## Gap для нас

SDTA не применялся к skeleton temporal data. **Ниша SmartRep:** Skeleton-SDTA — channel split по группам суставов (ноги, корпус, руки) + temporal depthwise conv по каждой группе + channel attention между группами. Явно биомеханически осмысленная декомпозиция.

## Код / данные

- Repo: github.com/mmaaz60/EdgeNeXt
- Pretrained: XXS, XS, S, B

## Цитата (BibTeX)

```bibtex
@inproceedings{maaz2022edgenext,
  title={EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications},
  author={Maaz, Muhammad and Shaker, Abdelrahman and Cholakkal, Hisham and Khan, Salman and Khan, Fahad Shahbaz and Anwer, Rao Muhammad and Felsberg, Michael},
  booktitle={European Conference on Computer Vision Workshops},
  year={2022}
}
```
