374 lines
45 KiB
Plaintext
374 lines
45 KiB
Plaintext
[2025-07-25T11:14] Владимир Устенко:
|
||
SmartRep: ИИ-контроль техники упражнений в спортзале на смартфоне (Предполагаемое название гранта:)
|
||
|
||
Описание идеи гранта:
|
||
|
||
Проект SmartRep направлен на разработку мобильного приложения с использованием технологий компьютерного зрения и нейросетей для анализа техники выполнения упражнений в реальном времени. Приложение будет работать автономно на смартфоне — без подключения к внешним датчикам или облачным сервисам — и предназначено для использования в спортзале.
|
||
|
||
Основная идея: пользователь устанавливает смартфон напротив тренажёра (фронтально или сбоку), камера фиксирует выполнение упражнения, а ИИ-модель, запущенная локально, анализирует ключевые точки тела и оценивает правильность техники. В случае ошибок в движении приложение мгновенно подаёт сигналы (вибрация, звук, сообщение на экране) с комментариями: например, «Спина округляется» или «Слишком низкий присед».
|
||
|
||
Проект имеет следующие особенности:
|
||
|
||
* Локальная работа на телефоне: используются оптимизированные, легковесные нейросети, способные работать без подключения к интернету;
|
||
* Контроль амплитуды и стабильности: система анализирует траекторию суставов, оценивает включение целевых мышц, стабильность осанки и плавность движения;
|
||
* Обратная связь в реальном времени: минимизирует риск травм и помогает улучшить технику;
|
||
* Обучение модели на размеченных данных: сравнение правильных и ошибочных техник, а также идентификация компенсаторных движений;
|
||
* Масштабируемость: возможность добавления новых упражнений, персонализации тренировок и использования в домашних условиях.
|
||
|
||
Ценность проекта:
|
||
|
||
* Технологическая новизна: real-time анализ CV без внешнего оборудования.
|
||
* Социальная значимость: доступность ИИ-наставника без необходимости трат на персонального тренера.
|
||
* Повышение безопасности тренировок.
|
||
* Потенциал коммерциализации и масштабирования в международном сегменте фитнеса и digital-health..
|
||
---
|
||
[2025-07-25T13:43] Владимир Устенко:
|
||
Исходник Ярослава
|
||
---
|
||
[2025-07-26T10:01] Богдан Павленко:
|
||
🎮 Парень навайбкодил файтинг, где вместо геймпада — его тело.
|
||
|
||
Вместо обычный игры на геймпаде тут нужно махать руками перед камерой, которая отслеживает движения. Так персонаж повторяет все движения игрока 😮
|
||
|
||
Практически всё сделали нейросети:
|
||
— Claude Opus спроектировал технологию;
|
||
— Claude Sonnet написал код;
|
||
— GitHub Copilot помог собрать готовую программу.
|
||
|
||
Пока работает только в Tekken, в котором за каждую конечность отвечает отдельная кнопка.
|
||
|
||
• Источник
|
||
|
||
@aiaiai
|
||
---
|
||
[2025-09-18T22:32] Владимир Устенко:
|
||
Сравнительная таблица трех видов грантов. 119 самый оптимальный
|
||
---
|
||
[2025-09-18T22:33] Владимир Устенко:
|
||
Тема: ИИ-контроль техники упражнений в спортзале
|
||
|
||
Краткое описание проекта: Проект направлен на разработку и исследование методов компьютерного зрения и нейросетевых алгоритмов для автоматизированного анализа техники выполнения силовых и функциональных упражнений. Главная цель — создание оптимизированной модели ИИ, способной в реальном времени анализировать видеопоток и выявлять ошибки техники движений. Особое внимание уделяется алгоритмической эффективности: разработанные методы должны работать корректно даже на устройствах с ограниченными вычислительными ресурсами (например, смартфонах), без использования внешних сенсоров или облачных сервисов.
|
||
|
||
Ожидаемые результаты от реализации проекта:
|
||
1) Научная новизна: новые методы анализа позы и траекторий движений в реальном времени, адаптированные под низкую вычислительную сложность.
|
||
2) Повышение безопасности тренировок: своевременное выявление ошибок техники и контроль биомеханической стабильности.
|
||
3)Социальная значимость: возможность использования интеллектуальных методов контроля без затрат на оборудование и тренеров.
|
||
4) Контроль биомеханических параметров: отслеживание амплитуды движений, траектории суставов, вовлечения целевых мышц и осанки.
|
||
5) Валидация и обучение: формирование датасетов с правильными и ошибочными техниками, включая компенсаторные движения, для обучения и тестирования модели.
|
||
---
|
||
[2025-09-18T22:35] Yaroslav Pikalyov:
|
||
120 оптимальный, тише едешь, дальше будешь
|
||
---
|
||
[2025-09-18T22:40] Владимир Устенко:
|
||
120.pdf – «Малые научные группы»
|
||
---
|
||
[2025-10-20T16:15] Владимир Устенко:
|
||
@ya_pikalyov
|
||
---
|
||
[2025-10-20T16:15] Владимир Устенко:
|
||
@holyBogdan
|
||
---
|
||
[2025-10-21T10:34] Владимир Устенко:
|
||
Даже чат бот за 3 вариант
|
||
---
|
||
[2025-10-21T11:31] Yaroslav Pikalyov:
|
||
https://navigator.sk.ru/orn/1125924
|
||
---
|
||
[2025-10-21T11:50] Владимир Устенко:
|
||
https://docs.google.com/document/d/1w2ryNwSpPc_6_H6vMxsKF9oTdwE6rcOEc36ZMesZ25E/edit?usp=sharing
|
||
---
|
||
[2025-10-21T11:59] Yaroslav Pikalyov:
|
||
https://docs.google.com/document/d/12rsE3o6EXnAmRNH_AZUOQ5qelLmFHhpD-RylEW2G6UQ/edit?usp=sharing
|
||
---
|
||
[2025-10-21T13:34] Владимир Устенко:
|
||
Трицепс
|
||
---
|
||
[2025-10-21T13:35] Владимир Устенко:
|
||
Бицепс
|
||
---
|
||
[2025-10-21T13:36] Богдан Павленко:
|
||
группа мышц спина, немного трицепс
|
||
---
|
||
[2025-10-21T13:36] Владимир Устенко:
|
||
Спина (гиперэкстензия)
|
||
---
|
||
[2025-10-21T13:38] Богдан Павленко:
|
||
или спина вот:
|
||
---
|
||
[2025-10-21T13:56] Yaroslav Pikalyov:
|
||
Для решения обозначенных научных и технических проблем в проекте SmartRep предусмотрен комплексный подход, сочетающий методы компьютерного зрения, адаптивного машинного обучения и биомеханического моделирования. Индивидуальные различия пользователей по пропорциям тела и подвижности суставов планируется компенсировать за счёт калибровки антропометрических параметров в начальной фазе работы приложения, позволяющей автоматически масштабировать эталонные углы и амплитуды движений. Неоднозначность визуальных данных и влияние ракурса устраняются с помощью обучения нейросетевых моделей на синтетических данных, сгенерированных под различными углами обзора и условиями освещения, а также применения моделей позового детектирования с механизмом пространственного сглаживания ключевых точек. Проблема нехватки размеченных примеров решается за счёт полусупервизорного обучения, дополнения данных (data augmentation) и использования смежных наборов (Human3.6M, COCO-Pose и др.). Формализация понятия «правильности техники» достигается объединением статистических признаков с нечёткой логикой, где экспертные правила тренеров переводятся в математическую форму через интервалы допустимых углов и скоростей движения. Персонализация анализа обеспечивается внедрением механизма самообучения модели на данных конкретного пользователя и учётом его возраста, пола и уровня подготовки. Для работы на мобильных устройствах предусмотрена разработка облегченной модели с квантизацией и оптимизацией inference.
|
||
---
|
||
[2025-10-21T13:56] Yaroslav Pikalyov:
|
||
Персонализация анализа обеспечивается внедрением механизма самообучения модели на данных конкретного пользователя и учётом его возраста, пола и уровня подготовки.
|
||
|
||
Это под вопросом
|
||
---
|
||
[2025-10-21T14:49] Yaroslav Pikalyov:
|
||
Научной и методологической основой проекта SmartRep является развитие идей, реализованных в работах Д.Г. Арсеньева, М.А. Шалуховой и А.Е. Мисника, посвящённых интеллектуальным системам поддержки принятия решений в спорте и реабилитации. В указанных исследованиях (ИММВ-2024; Вестн. СамГТУ, 2024; Musculus.app) разработана архитектура СППР, включающая модули компьютерного зрения, цифрового двойника спортсмена, онтологической базы знаний и нейро-нечёткой логики для персонализации тренировочного процесса и прогнозирования риска травм. Проект SmartRep развивает данный подход, адаптируя его к условиям массового фитнеса и работе на мобильных устройствах: система использует лёгкие модели компьютерного зрения для анализа техники упражнений, формализует тренерские критерии через нечёткие правила и реализует индивидуализацию рекомендаций с учётом пола, возраста и уровня подготовки пользователя.
|
||
---
|
||
[2025-10-21T14:50] Владимир Устенко:
|
||
https://docs.google.com/document/d/1w2ryNwSpPc_6_H6vMxsKF9oTdwE6rcOEc36ZMesZ25E/edit?usp=sharing
|
||
Написал ограничения в самом низу
|
||
---
|
||
[2025-10-21T15:04] Богдан Павленко:
|
||
https://openreview.net/pdf/061d45c5db0c11ad5dd49cd9a1afa6482d4a9aed.pdf?utm_source=chatgpt.com
|
||
---
|
||
[2025-10-21T15:10] Богдан Павленко:
|
||
Большой обзор по теме
|
||
---
|
||
[2025-10-21T15:45] Владимир Устенко:
|
||
https://docs.google.com/document/d/1w2ryNwSpPc_6_H6vMxsKF9oTdwE6rcOEc36ZMesZ25E/edit?tab=t.0
|
||
---
|
||
[2025-10-21T17:09] Yaroslav Pikalyov:
|
||
1. Разработка интеллектуальной системы анализа техники выполнения физических упражнений для улучшения и поддержания физической формы на основе технологий компьютерного зрения.
|
||
|
||
|
||
2. Разработка программного комплекса SmartRep для автоматизированного контроля правильности выполнения физических упражнений с использованием технологий искусственного интеллекта.
|
||
|
||
|
||
3. Разработка системы компьютерного зрения для оценки корректности выполнения упражнений с отягощениями и на тренажёрах, направленных на поддержание физической формы.
|
||
|
||
|
||
4. Разработка интеллектуальной системы визуального анализа движений человека при выполнении физических упражнений в фитнес-зале.
|
||
|
||
|
||
5. Разработка нейро-нечёткой системы анализа и контроля техники выполнения упражнений для повышения эффективности тренировок и предотвращения травм.
|
||
---
|
||
[2025-10-21T17:12] Yaroslav Pikalyov:
|
||
Ну или свой вариант предложите
|
||
---
|
||
[2025-10-21T17:19] Yaroslav Pikalyov:
|
||
https://chatgpt.com/share/68f79679-e8a4-8009-9842-191b431a4ca9
|
||
---
|
||
[2025-10-22T03:18] Yaroslav Pikalyov:
|
||
Современные подходы к контролю техники выполнения физических упражнений в фитнес-центрах и спортивных залах в значительной степени зависят от квалификации тренера и субъективной визуальной оценки. При этом качество выполнения движений напрямую влияет на эффективность тренировочного процесса и уровень травматизма. Отсутствие доступных и объективных инструментов анализа движений вне профессиональных лабораторных условий делает невозможным системный контроль техники для широкого круга пользователей, занимающихся самостоятельно или с минимальным контролем тренера.
|
||
Цель проекта заключается в разработке интеллектуальной системы анализа и контроля техники выполнения упражнений с использованием технологий компьютерного зрения и искусственного интеллекта, реализованной в виде мобильного приложения. Система обеспечивает автоматическую оценку правильности выполнения базовых упражнений на тренажёрах и со свободными весами с помощью видеозаписи, получаемой с камеры смартфона, без необходимости использования дополнительных сенсоров и специализированного оборудования.
|
||
Проект решает актуальную научно-техническую задачу — повышение точности и объективности оценки движений человека в неконтролируемых условиях съёмки (вариации углов, освещения, масштаба и позы) при минимальных вычислительных ресурсах (edge-устройства). В основе системы лежит модуль компьютерного зрения, выделяющий ключевые точки скелета человека на видео, и аналитический модуль, который на основе геометрических взаимосвязей между суставами вычисляет углы и динамические параметры движения.
|
||
Дополнительно в системе применяется нейро-нечёткий модуль принятия решений, формирующий экспертные правила интерпретации данных: система не только фиксирует отклонения в траектории, но и классифицирует типичные ошибки техники, формируя рекомендации по их исправлению. Такой подход позволяет объединить преимущества статистического обучения и знаний, формализованных в виде лингвистических правил.
|
||
Научная новизна проекта заключается в разработке метода анализа биомеханических паттернов упражнений на основе визуальных данных и нечеткой логики, обеспечивающего интерпретируемость и адаптивность модели к индивидуальным особенностям пользователя, а также работающий в режиме реального времени на мобильных устройствах. В отличие от существующих коммерческих решений, основанных на жёстких шаблонах поз, система SmartRep способна учитывать вариативность техники, зависимость угловых характеристик от антропометрических данных и плавно адаптировать критерии оценки под конкретного пользователя.
|
||
Научная занчимость заключается в:
|
||
- повышении объективности и точности оценки техники движений;
|
||
- расширении научных представлений о применении методов ИИ в спортивной биомеханике;
|
||
- формировании базы знаний и алгоритмических решений, применимые в других областях (реабилитация, эргономика, медицина труда).
|
||
---
|
||
[2025-10-22T03:18] Yaroslav Pikalyov:
|
||
#annotation_project_old
|
||
---
|
||
[2025-10-22T03:34] Yaroslav Pikalyov:
|
||
@u_Vova @holyBogdan нужны сканы РИДов
|
||
---
|
||
[2025-10-22T03:49] Yaroslav Pikalyov:
|
||
У Натальи Николаевны узнать нужно гос регистр номера и года проведения:
|
||
|
||
1) Разработка научно-теоретических основ создания роботизированных компьютерно-аппаратно-механических комплексов, способных к восприятию и переработке звуковой, сетевой, визуальной и речевой информации;
|
||
|
||
|
||
2. Разработка методов распознавания слитно произнесённых фраз на основе пофонемного анализа речи
|
||
---
|
||
[2025-10-22T03:54] Yaroslav Pikalyov:
|
||
Вроде такого, ток ещё годы нужны начала и конца «Исследование и разработка методов семантического анализа и интерпретации потоков данных интеллектктуальнымисистемами», № госрегистрации 0118D000003, УтУтверждена приказом Министерства образования и науки ДНР № 1272от 27.11.2017
|
||
---
|
||
[2025-10-22T09:11] Yaroslav Pikalyov:
|
||
@u_Vova @holyBogdan сколько статей и тезисов тоже напишите
|
||
---
|
||
[2025-10-22T09:11] Yaroslav Pikalyov:
|
||
Угарнул с Владимира, в графе соответствие кадрового состава написал "Соответствуют" 😭
|
||
---
|
||
[2025-10-22T09:16] Yaroslav Pikalyov:
|
||
@u_Vova можете, если хотите редактировать в форме там...
|
||
Я если что засейвил
|
||
---
|
||
[2025-10-22T09:16] Yaroslav Pikalyov:
|
||
Вот
|
||
---
|
||
[2025-10-22T09:20] Yaroslav Pikalyov:
|
||
Из списка необходимого оборудования вычеркните доп станцию машинного обучения, я забыл что здесь бюджет ограничен
|
||
---
|
||
[2025-10-22T10:03] Богдан Павленко:
|
||
Года проведения этих тем? Или чем являются эти 2 пункта?
|
||
---
|
||
[2025-10-22T10:08] Yaroslav Pikalyov:
|
||
Что тут непонятного
|
||
---
|
||
[2025-10-22T10:09] Yaroslav Pikalyov:
|
||
И год начала и конца каждой
|
||
---
|
||
[2025-10-22T10:37] Владимир Устенко:
|
||
5 тезисов 2 статьи
|
||
---
|
||
[2025-10-22T10:40] Богдан Павленко:
|
||
3 статьи, 3 тезисов
|
||
---
|
||
[2025-10-22T15:26] Владимир Устенко:
|
||
Методы и подходы для пункта 4.6
|
||
---
|
||
[2025-10-22T15:34] Yaroslav Pikalyov:
|
||
Научный коллектив проекта располагает подтверждённым заделом в области искусственного интеллекта, машинного обучения и компьютерного зрения, сформированным в рамках выполнения фундаментальной НИР ФГБНУ «ИПИИ» (код FREN-2024-0002, № госрегистрации 124061400003-5) «Извлечение семантической информации из изображений для автономных систем навигации беспилотных летательных аппаратов» (2024 – 2026 гг.).
|
||
|
||
В ходе исследований разработаны:
|
||
– методика формирования сбалансированных аннотированных наборов данных для задач распознавания объектов и построения семантических графов сцен;
|
||
– архитектуры нейронных сетей для обнаружения объектов в реальном времени и перекрёстной геолокализации по данным БПЛА и спутников;
|
||
– инструментарий для автоматизированного аннотирования данных и интерпретации мультимодальных потоков информации;
|
||
– методы построения триплетных моделей распознавания и генерации графов сцен, применимые в системах автономной навигации и распознавания действий человека.
|
||
|
||
Коллектив имеет опыт выполнения НИР в области анализа изображений, распознавания речи и семантической интерпретации данных. Результаты отражены в публикациях в изданиях РИНЦ, Scopus, WOS и включают работы по разработке методов классификации изображений, языковых моделей, распознавания слитной речи и автоматической генерации транскрипций.
|
||
|
||
Ключевые публикации:
|
||
– Пикалёв Я. С., Ермоленко Т. В. On the Issue of Continuous Speech Recognition // Integral Robot Technologies and Speech Behavior. – 2024. – P. 155–180. ISBN 1-5275-5436-8.
|
||
– Bondarchuk V. V., Kravchenko N. M., Pikalyov Ya. S. Indirect Criteria Algorithm for the Control of a Cognitive Neural Network // Practice Oriented Science: UAE – Russia – India. – 2024. – DOI 10.34660/INF.2024.32.41.030.
|
||
– Пикалёв Я. С., Ермоленко Т. В. Система автоматического распознавания слитной русской речи на основе глубоких нейросетей // Речевые технологии. – 2021. – № 1–2. – С. 3–18.
|
||
|
||
– Бондаренко В. И., Ермоленко Т. В. Анализ эффективности глубоких языковых моделей для задачи определения тональности русскоязычных текстов // Проблемы искусственного интеллекта. – 2024. – № 1(32). – С. 51–62.
|
||
|
||
Имеются результаты интеллектуальной деятельности:
|
||
– № 2024692488 — Программный комплекс для аннотирования данных (Устенко В. Ю.);
|
||
– № 2024693206 — Программный комплекс для автоматизированного сбора аэрофотоснимков (Павленко Б. В.).
|
||
|
||
Научный коллектив регулярно представляет результаты на международных конференциях «Искусственный интеллект: теоретические аспекты и практическое применение» (2020 – 2024) и «Донецкие чтения» (2017 – 2024), что способствует укреплению научной школы ФГБНУ «ИПИИ» в области ИИ.
|
||
|
||
|
||
Совокупность накопленных теоретических и практических результатов — в том числе методов распознавания образов, мультимодальной интеграции и разработки нейронных архитектур — обеспечивает высокий уровень готовности к реализации проекта SmartRep, направленного на применение технологий компьютерного зрения и нечёткой логики для анализа движений человека.
|
||
---
|
||
[2025-10-22T15:35] Yaroslav Pikalyov:
|
||
Научный коллектив проекта имеет большой опыт реализации научных проектов, связанных с разработкой
|
||
специализированного программного обеспечения с применением математического моделирования для
|
||
промышленного производства. Основные результаты по данной тематике отражены в публикациях [1-7].
|
||
Применение методов машинного обучения в задачах управления и принятия решений в хозяйственной деятельности и
|
||
медицине отражено в работах членов научного коллектива [8-9], [15-18]. В рамках этих исследований разработаны
|
||
предсказательные модели энергопотребления на предприятиях угольной промышленности, использующие
|
||
автокорреляционные методы, модели оценки вероятности появления ДТП, основанные на методах машинного
|
||
обучения, обоснован метод, использующий ResNet и API-Net, для классификации товаров, имеющих похожие упаковки.
|
||
Авторами проекта разработана методика обработки и структурирования данных фондового рынка для использования
|
||
прогностических моделей машинного обучения
|
||
Задел коллектива проекта в направлении тематики технического зрения и распознавания изображений в режиме
|
||
реального времени отражен, в частности, в публикациях [13-14], [17, 20,21]. Исследованы возможности использования
|
||
глубоких нейронных сетей для задачи классификации изображений на устройствах с ограниченной вычислительной
|
||
мощностью.
|
||
Также авторами проекта ведется активная работа в области применения искусственного интеллекта, глубокого
|
||
обучения в задачах обработки естественного языка [10-12] и распознавания речи [19, 22].
|
||
Научный коллектив имеет опыт организации и проведения научных мероприятий: международных научных
|
||
конференций "Донецкие чтения: образование, наука, инновации, культура и вызовы современности" (2017-2024);
|
||
международных научных круглых столов "Искусственный интеллект: теоретические аспекты, практическое
|
||
применение" (2020-2024).
|
||
Заявка № 25-21-20602 Страница 22 из 27
|
||
Список источников:
|
||
1. Бондаренко В.И. Программная система для моделирования процесса тепломассопереноса при разливке и
|
||
затвердевании стали / В.И. Бондаренко // Вестник Донецкого национального университета. Серия А. Естественные
|
||
науки. – 2009. – № 2. – С. 103-110.
|
||
2. Программный продукт «Математическое моделирование гидродинамических и теплообменных процессов в
|
||
стальных слитках» / Ф.В. Недопекин, В.В. Белоусов, В.И. Бондаренко, В.М. Кондратенко. – Украина: Свидетельство о
|
||
регистрации авторского права на произведение №47898, 2013.
|
||
3. Бондаренко В.И. Математическое обеспечение и компьютерные технологии для моделирования гидродинамических
|
||
и теплофизических процессов в металлургии: Монография / В.И. Бондаренко, В.Ф. Комаров, Ф.В. Недопекин, В.М.
|
||
Мелихов, В.В. Белоусов. – Донецк: Юго-Восток, 2013. – 210 с.
|
||
4. Bondarenko V.I. Visualization of Process of Wheel Steel High Ingots Simulation / V.I. Bondarenko, V. V Bodryaga, F. V
|
||
Nedopekin, V. V Belousov // IOP Conference Series: Materials Science and Engineering. – 2017. – Т. 287.
|
||
5. Bondarenko V.I. Using MVC pattern in the software development to simulate production of high cylindrical steel ingots / V.I.
|
||
Bondarenko, V.V. Bilousov, F.V. Nedopekin, V.V. Bodriaha, L.V. Antropova // Journal of Crystal Growth. – 2019. – Т. 526. – С.
|
||
125240.
|
||
6. Винник А.О. Программный комплекс мониторинга энергопотребления на предприятиях угольной промышленности /
|
||
А.О. Винник, А.-А.М. Мартыненко, В.И. Бондаренко // Вестник Донецкого национального университета. Серия Г.
|
||
Технические науки. – 2021. – № 2. – С. 33-38.
|
||
7. Бондаренко В.И. Разработка и реализация макета бионического протеза кисти руки / В.И. Бондаренко, А.И.
|
||
Горбатенкова // Вестник Донецкого национального университета. Серия Г. Технические науки. – 2022. – № 4. – С. 27-
|
||
32.
|
||
8. Беспалова С.В. Построение регрессионных моделей режимов работы водораспределительных сетей с помощью
|
||
методов регуляризации и анализа главных компонент / С.В. Беспалова, С.М. Романчук, Т.В. Ермоленко, В.И. Бондаренко
|
||
// Информатика и кибернетика. – 2019. – Т. 2 (16). – С. 35-49.
|
||
9. Беспалова С.В. Построение предсказательных моделей параметров давления воды в водораспределительных сетях с
|
||
---
|
||
[2025-10-22T15:35] Yaroslav Pikalyov:
|
||
помощью методов машинного обучения / С.В. Беспалова, С.М. Романчук, Т.В. Ермоленко, В.И. Бондаренко // Проблемы
|
||
искусственного интеллекта. – 2019. – Т. 2(13). – С. 24-38.
|
||
10. Бондаренко В.И. Классификация научных текстов с помощью методов глубокого машинного обучения / В.И.
|
||
Бондаренко // Вестник Донецкого национального университета. Серия Г. Технические науки. – 2021. – № 3. – С. 69-
|
||
77.
|
||
11. Ермоленко Т.В. Разработка алгоритмов и языковых моделей для мультиязычной системы автоматического
|
||
аннотирования текстов разных жанров / Т.В. Ермоленко, В.И. Бондаренко, Я.C. Пикалёв // Вестник Донецкого
|
||
национального университета. Серия Г. Технические науки. – 2023. – № 2. – С. 22-42.
|
||
12. Бондаренко В.И. Анализ эффективности глубоких языковых моделей для задачи определения тональности
|
||
русскоязычных текстов / В.И. Бондаренко, В.О. Елисеев, Т.В. Ермоленко // Проблемы искусственного интеллекта. –
|
||
2024. – № 1 (32). – С. 51-62.
|
||
13. Павленко Б.В. Использование модели YOLO в современных задачах распознавания в реальном времени на примере
|
||
военной и космической отраслей / Б.В. Павленко, В.И. Бондаренко, А.-А.М. Мартыненко // Вестник Донецкого
|
||
государственного университета. Серия Г: Технические Науки. – 2023. – № 4. – С. 55-65.
|
||
14. Бондаренко В.И. Применение методов глубокого обучения для повышения качества изображения / В.И.
|
||
Бондаренко, А.В. Федчук // Вестник Донецкого национального университета. Серия Г. Технические науки. – 2022. – №
|
||
4. – С. 39-44.
|
||
15. Ермоленко Т.В. Исследование эффективности предсказательных моделей для системы анализа и мониторинга
|
||
энергопотребления на предприятиях угольной промышленности / Т.В. Ермоленко, В.Н. Котенко, А.О. Винник А.О. //
|
||
Проблемы искусственного интеллекта. 2022. № 4 (27). С. 25-34.
|
||
16. Конончук Э.В. Модели машинного обучения для оценки вероятности появления ДТП и его серьезности / Э.В.
|
||
Конончук. Т.В. Ермоленко Т.В., Т.О. Шишунов // Проблемы искусственного интеллекта. 2022. № 1 (24). С. 4-12.
|
||
17. Ермоленко Т.В. Анализ эффективности архитектур глубоких нейросетей для классификации изображении товаров /
|
||
Т.В. Ермоленко, И.Е. Самородский // Проблемы искусственного интеллекта. 2022. № 1 (24). С. 54-64.
|
||
18. Ермоленко Т.В. Классификация аномалий сердцебиения с помощью глубокого обучения / Т.В. Ермоленко, Д.В. Ролик
|
||
// Проблемы искусственного интеллекта. 2022. № 1 (24). С. 40-53.
|
||
19. Ермоленко Т.В. Система автоматического распознавания слитной русской речи на основе глубоких нейросетей /
|
||
Т.В. Ермоленко, Я.С. Пикалёв // Речевые технологии. 2021. № 1-2. С. 3-18.
|
||
20. Пикалёв Я.С. О нейронных архитектурах извлечения признаков для задачи распознавания объектов на устройствах с
|
||
Заявка № 25-21-20602 Страница 23 из 27
|
||
ограниченной вычислительной мощностью // Я.С. Пикалёв, Т.В. Ермоленко // Проблемы искусственного интеллекта.
|
||
2023. № 3 (30). С. 44-54.
|
||
21. Pikalyov Ya.S. About neural architectures of feature extraction for the problem of object 1 recognition for the problem of
|
||
object recognition on devices with limited computing power / Ya.S. Pikalyov, T.V. Yermolenko // Вестник Томского
|
||
государственного университета. Математика и механика. 2023. № 3. С. 30.
|
||
22. Pikalyov, Ya. Chapter Five. On the Issue of Continuous Speech Recognition / Yaroslav Pikalyov, Tatyana Yermolenko //
|
||
Integral Robot Technologies and Speech Behavior. – 2024. – P. 155-180.
|
||
---
|
||
[2025-10-22T15:43] Богдан Павленко:
|
||
+ к разработанному в ходе исследований можно добавить:
|
||
Структура метаданных сегментов карт навигации дрона
|
||
---
|
||
[2025-10-23T14:01] Владимир Устенко:
|
||
https://docs.google.com/document/d/1w2ryNwSpPc_6_H6vMxsKF9oTdwE6rcOEc36ZMesZ25E/edit?usp=sharing
|
||
---
|
||
[2025-10-23T14:16] Владимир Устенко:
|
||
33. Устенко, В. Ю. Сравнение стратегий мозаичной аугментации для оценки угла крена беспилотника по изображению с камеры [Текст] / В. Ю. Устенко, Б. В. Павленко // XVIII Всероссийская мультиконференция по проблемам управления (МКПУ–2025) : материалы мультиконференции (Тула, 15 сентября – 20 сентября 2025 г.) : в 4 т. Т. 1 Робототехника и мехатроника (РиМ – 2025) / под ред. академика РАН Ф.Л. Черноусько. — Тула : Изд-во ТулГУ, 2025. — 300 с. – С. 271-0273. – ISBN 978-5-7679-5716-3, ISBN 978-5-7679-5709-5 (Т. 1)
|
||
---
|
||
[2025-10-23T14:16] Владимир Устенко:
|
||
ТУла
|
||
---
|
||
[2026-03-27T16:03] Yaroslav Pikalyov:
|
||
🌟 Kimodo: диффузионная модель для генерации 3D-движений людей.
|
||
|
||
NVIDIA выложила в открытый доступ проект Kimodo - генеративную модель на основе диффузии, которая создает реалистичные трехмерные движения для человеческих и робототехнических скелетов.
|
||
|
||
Kimodo принимает на вход текстовые промпты и ключевые позы всего тела, позиции и вращения конечностей, двухмерные пути и контрольные точки. Это позволяет точно управлять генерацией: от общего описания наподобие "персонаж идет и садится на стул" до детального контроля положения рук и ног в кадрах.
|
||
|
||
Всего доступно 5 вариантов модели для 3 типов скелетов: SOMA, SMPL-X и Unitree G1. Первые два ориентированы на анимацию аватаров, третий - на робота Unitree G1.
|
||
|
||
Модели, обученные на полном датасете Bones Rigplay 1 (700 часов), NVIDIA рекомендует как основные рабочие.
|
||
|
||
Варианты на сете BONES-SEED (288 часов) предназначены для бенчмаркинга и сравнения с собственными разработками.
|
||
|
||
Для работы с Kimodo предусмотрены 3 интерфейса:
|
||
|
||
🟢Интерактивное веб-демо с таймлайн-редактором;
|
||
🟢CLI-утилита для пакетной генерации;
|
||
🟢Python API для тонкой настройки .
|
||
|
||
Под инференс потребуется около 17 ГБ видеопамяти, модели запускали на RTX 3090, RTX 4090 и NVIDIA A100.
|
||
|
||
🟡 Интеграция с робототехническим стеком NVIDIA.
|
||
|
||
ProtoMotions позволяет брать сгенерированные движения и обучать на них физически корректные политики управления в GPU-ускоренной симуляции — как для аватаров, так и для Unitree G1.
|
||
|
||
Через General Motion Retargeting движения, созданные на скелете SMPL-X, можно перенести на произвольных роботов.
|
||
|
||
|
||
📌Лицензирование:
|
||
|
||
Код проекта под Apache 2.0, большинство моделей под NVIDIA Open Model License.
|
||
|
||
Вариант SMPL-X имеет более ограниченную NVIDIA R&D Model License, она допускает только исследовательское применение.
|
||
|
||
🟡Набор моделей
|
||
🟡Техотчет
|
||
🖥Github
|
||
|
||
|
||
@ai_machinelearning_big_data
|
||
|
||
#AI #ML #Robotics #Kimodo #NVIDIA
|
||
--- |