---
title: "OpenCap: Human movement biomechanics from smartphone videos"
title_ru: "OpenCap: Биомеханика движения человека из видео со смартфона"
authors: [Uhlrich, Falisse, Kidziński, Muccini, Ko, Chaudhari, Hicks, Delp]
year: 2023
venue: "PLOS Computational Biology"
venue_tier: "Q1"
doi: "10.1371/journal.pcbi.1011462"
tags: [opencap, markerless, opensim, biomechanics, smartphone, video, validation, scalable]
relevance_to_smartrep: 5
direction: "🅲"
---

# OpenCap: Биомеханика из видео смартфона → OpenSim pipeline

## TL;DR (≤3 предложения)

OpenCap — открытый pipeline, превращающий синхронные видео со смартфонов в полноценные мышечно-скелетные симуляции OpenSim: 2D pose estimation → 3D triangulation → personalized body model → joint angles + moments. Достигает RMSE ~3–5° по суставным углам относительно Vicon без маркеров и специализированного оборудования. Для SmartRep: прямой pipeline для annotation упражнений с биомеханическими GT метриками (joint moments, muscle forces).

## Проблема

Маркерный motion capture дорог, доступен только в лабораториях, не масштабируется для полевых исследований. Нужен democratized pipeline от обычного видео до клинически значимых биомеханических метрик.

## Гипотеза / вклад

- **Smartphone-to-biomechanics:** 2 синхронных видео со смартфонов → полная 3D биомеханика.
- **Personalized scaling:** автоматическое масштабирование OpenSim модели на субъекта из видео.
- **Validated accuracy:** RMSE ~3–5° для нижних конечностей при ходьбе, беге, приседании.
- **Open-source + web app:** opencap.ai — cloud-based, без локального ПО.

## Метод

### Pipeline

1. **2D Pose Estimation:** OpenPose/MMPose → 2D keypoints из каждой камеры
2. **3D Triangulation:** multi-view (≥2 cameras) → 3D joint positions
3. **Personalized body model:** автоматическое scaling OpenSim модели (рост, масса, сегментные длины из видео)
4. **Inverse Kinematics:** 3D keypoints → joint angles $q(t)$
5. **Inverse Dynamics:** $\tau = M(q)\ddot{q} + C(q,\dot{q}) + G(q)$ → joint moments

### Архитектура (Mermaid)

```
2 smartphone videos (synchronized)
         ↓
2D Pose Estimation (OpenPose per view)
         ↓
Stereo 3D Triangulation → 3D keypoints
         ↓
OpenSim Model Scaling (auto from video)
         ↓
Inverse Kinematics → q(t), dq/dt, d²q/dt²
         ↓
Inverse Dynamics → joint moments τ(t)
         ↓
Outputs: joint angles, moments, muscle forces, metabolic estimates
```

## Датасеты

| Упражнение | RMSE суставного угла | vs Vicon |
|---|---|---|
| Walking | 3.8° (knee flex) | ICC = 0.94 |
| Running | 4.2° (knee flex) | ICC = 0.91 |
| Squat | 4.6° (knee flex) | ICC = 0.89 |
| STS (sit-to-stand) | 5.1° (hip flex) | ICC = 0.87 |

## Сравнение с SOTA

OpenCap vs Theia3D (коммерческий, требует 6+ камер): OpenCap open-source, достаточно 2 смартфонов. OpenCap vs Kinect-based (8–12° RMSE): значительно точнее. Первый validated pipeline от смартфона до joint moments.

## Ограничения / слабости

- Требует ≥2 синхронных камер (не monocular) — для SmartRep надо решить синхронизацию.
- Cloud-based: требует internet (latency, privacy).
- Не real-time: обработка занимает минуты.
- Точность при high-speed движениях (пауэрлифтинг) не установлена.
- OpenPose base может давать ошибки при окклюзиях (штанга).

## Релевантность SmartRep

- **Annotation pipeline 🅲:** OpenCap — главный инструмент для annotation нашего датасета упражнений. Запись 2 смартфонами → joint moments как biomechanical GT → обучение SmartRep модели предсказывать эти метрики из одного видео.
- **Validation protocol:** OpenCap как reference (вместо дорогого Vicon) для валидации joint angles SmartRep — доступная альтернатива.
- **Joint moments GT:** пиковый момент колена при приседании, момент бедра при RDL — биомеханически интерпретируемые метрики качества техники, вычисленные через OpenCap.
- **Squat analysis:** OpenCap уже validated на приседании → прямое применение для SmartRep dataset annotation.

## Gap для нас

OpenCap требует 2 камеры и не работает real-time. **Ниша SmartRep:** Single-camera Exercise Biomechanics Estimator — дистиллировать OpenCap-аннотированные joint moments в lightweight model, работающую с одной камерой в real-time. OpenCap как teacher → SmartRep edge model как student. Первая система real-time биомеханического анализа упражнений из одной камеры.

## Код / данные

- Repo: github.com/stanfordnmbl/opencap-core
- Web app: opencap.ai
- API: REST API для cloud processing

## Цитата (BibTeX)

```bibtex
@article{uhlrich2023opencap,
  title={OpenCap: Human movement biomechanics from smartphone videos},
  author={Uhlrich, Scott D and Falisse, Antoine and Kidzi{\'n}ski, {\L}ukasz and Muccini, Julie and Ko, Michael and Chaudhari, Akshay S and Hicks, Jennifer L and Delp, Scott L},
  journal={PLOS Computational Biology},
  volume={19},
  number={10},
  pages={e1011462},
  year={2023},
  publisher={Public Library of Science}
}
```
