【OpenMMLab】人体姿态估计、关键点检测与MMPose

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

系列文章目录

第一课:【OpenMMLab】OpenMMLab概述



前言

【OpenMMLab】OpenMMLab概述 为大家介绍了通用视觉框架 OpenMMLab 中具有代表性的算法库,如MMPretrain、MMDetecton、MMDetection3D、MMRotate、MMSegmentation、MMPose、MMAction2、MMOCR、MMagic、MMYOLO等。
本篇博客将深入了解人体姿态估计(或关键点检测)算法,以及OpenMMLab 开源的用于关键点检测的算法库 MMPose 。

一、人体姿态估计或关键点检测任务

任务介绍

给定一张图片,任务要求检测图像中人脸、手部、身体等部位的关键点。
输入: 图像 I
输出:所有关键点的像素坐标 ( x 1 , y 1 ) , ( x 2 , y 2 ) … ( x J , y J ) (x_1, y_1), (x_2, y_2)\dots(x_J, y_J) (x1,y1),(x2,y2)(xJ,yJ),这里的J为关键点的总数,取决于具体的关键点检测任务和模型。
常见的关键点
关键点检测可以预测人体关键点在三维空间中的坐标 ( x , y , z ) (x, y, z) (x,y,z),进而在三维空间中还原人的姿态。
三维人体关键点

下游任务

PoseC3D: 基于人体关键点识别行为动作。这项工作已被开源在 MMAction2 中。
在这里插入图片描述
CG、动画: 基于3D人体关键点检测,根据人体姿态,表情姿态的关键点的变化驱动动画人物的动作

除此之外,还有很多有趣的应用:

  1. 人机交互:通过识别人手部的动作和姿态去控制其他物体;
  2. 动物行为分析:检测动物关键点,分析动物的行为

二、2D 姿态估计

在图像中定位人体关键点(通常为人体主要关节)的坐标,如臀部、颈部和左右手坐标等。
在这里插入图片描述

基本思路1:基于回归 (Regression Based)

关键点检测问题可以认为是一个回归问题,输入一张图片,让模型回归关键点的坐标,即 ( x 1 , y 1 , x 2 , … , x J , y J ) = f Θ ( I ) (x_1, y_1, x_2, \dots, x_J, y_J)=f_{\Theta}(I) (x1,y1,x2,,xJ,yJ)=fΘ(I)通常深度学习模型直接回归坐标有些困难,精度不是最优
2D人体姿态估计

基本思路2:基于热力图 (Heatmap Based)

基于热力图的方法,并不是直接的回归关键点的坐标,而是预测关键点位于每个位置的概率,即
H 1 … J = f Θ ( I ) H_{1\dots J}=f_{\Theta}(I) H1J=fΘ(I)
其中, H j ( x j , y j ) = 1 H_j(x_j, y_j)=1 H

OpenMMLab第二期:人体关键点检测MMPose 从给定的图像中识别人脸、手部、身体等关键点,即输入图像I,输出为所有关键点的像素坐标,这里J为关键点的总数(取决于具体的关键点模型),例如人脸68关键点,手势21关键点,人体18关键点等等。 阅读详情

相关推荐

2D/3D人体姿态估计 (2D/3D Human Pose Estimation)

1. 基本概念 2. 发展现状

MyArrow的专栏 1万+

姿态估计之3D 人体姿态估计 - 总结(1)【转】

参考 1、3D 人体姿态估计简述 - 知乎 2、3D人体姿态估计(介绍及论文归纳) 0 前言 3D Human Pose Estimation(以下简称 3D HPE )的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛,包括人机交互、运动分析、康复训练等,它也可以为其他计算机视觉任务(例如行为识别)提供 skeleton 等方面的信息。关于人体的表示一般有两种方式:第一种以骨架的形式表示人体姿态,由一系列的人体关键点关键点之间的连线构成;另一种是参数化的人体模型(如 SMPL

light169的专栏 8940

mmpose关键点(一):评价指标(PCK,OKS,mAP)

由于,近期项目需要引入关键点做一些方向逻辑的判断,在此记录一些实验经典论文方法。首先,我们先了解一下关键点估计的评价指标。

litt1e的博客 1万+

OpenMMLab-2-人体姿态估计关键点检测MMPose

给定一张图片,任务要求检测图像中人脸、手部、身体等部位的关键点。输入: 图像 I输出:所有关键点的像素坐标(x1,y1)…(xJ, yJ),这里的J为关键点的总数,取决于具体的关键点检测任务和模型。关键点检测可以预测人体关键点在三维空间中的坐标( x , y , z ),进而在三维空间中还原人的姿态。

sinat_29552897的博客 618

通用视觉框架OpenMMLab——人体姿态估计MMPose

从给定的图像中识别人脸、手部、身体等关键点输入:图像I输出:所有关键点的像素坐标(X1,Y1),……,(Xn,Yn),这里n为关键点的总数,取决于具体的关键点模型从给定的图像中识别人脸、手部、身体等关键点输入:图像I输出:所有关键点的像素坐标(X1,Y1),……,(Xn,Yn),这里n为关键点的总数,取决于具体的关键点模型。

weixin_44999445的博客 482

OpenMMLab】MMSegmentation 代码

第一课:【OpenMMLabOpenMMLab概述 第二课:【OpenMMLab人体姿态估计关键点检测MMPose 第三课:【openMMLabMMPose 代码教程 第四课:【OpenMMLab深度学习预训练 MMPreTrain 第五课: 【OpenMMLab】MMPretrain 代码教程 第六课:【OpenMMLab】目标检测MMDetection 第七课:【OpenMMLab】MMDetection 代码 第八课:【OpenMMLab】语义分割MMSegmentationMMSe

DplusC的博客 405

[七班]OpenMMLab笔记Day2

它支持多种人体姿态分析相关任务,包括2D多人姿态估计、2D手部姿态估计、2D人脸关键点检测、133关键点的全身人体姿态估计、3D人体形状恢复、服饰关键点检测、动物关键点检测等。同时,MMPose具有较高的模型精度和训练速度,支持多样的数据集,模块化设计使得用户可以便捷地构建自定义的人体姿态分析模型。MMPose由8个主要部分组成,包括apis、structures、datasets、codecs、models、engine、evaluation和visualization。

lfjia126的博客 126

MMPose完整指南:开源姿态估计工具库的终极教程

MMPoseOpenMMLab开源生态中领先的姿态估计工具箱,为研究人员和开发者提供了从2D到3D、从人体到动物的全方位姿态分析解决方案。无论你是计算机视觉新手还是专业开发者,这个强大的工具库都能帮助你快速构建精准的姿态估计应用。 ## 🚀 项目亮点独特价值 MMPose的核心优势在于其**全面性**和**易用性**。不同于单一功能的姿态估计工具,MMPose支持多种姿态估计任务: -

gitblog_00890的博客 1107

MMPose WholeBody 133关键点:一网打尽人体姿态的终极解决方案

你是否曾想过,有没有一种技术能够同时捕捉身体的每个关节、面部的微妙表情、手指的精确位置,甚至脚趾的动作?在传统姿态估计中,你往往需要分别处理身体、面部和手部,这不仅效率低下,还容易丢失全局信息。现在,MMPose的WholeBody模块带来了革命性的133关键点系统,让你一次性获得完整的人体姿态信息。 读完本文你将了解: - MMPose WholeBody 133关键点的核心优势应用场景 -

gitblog_00991的博客 863

MMPose--OpenMMLab(数据集配置+训练+测试+推理实现一体化) --姿态估计工具箱

MMPose是基于PyTorch的开源姿态估计工具箱,属于OpenMMLab项目,支持多种2D姿态估计任务。其模块化设计包含数据处理、模型构建、训练评估等组件,采用COCO数据集格式并支持自动加载元信息。本文以RTMPose模型为例,详细介绍了从数据准备、模型训练到测试推理的全流程,展示了在256x192输入尺寸下仅需2.3GB显存即可取得优异效果。实验结果表明,训练50轮后在COCO验证集上达到较高精度,并提供了完整的检测-姿态估计联合推理方案。该工具链配置灵活,适合开发者快速实现各类姿态估计应用。

2301_80426691的博客 1142

如何快速上手MMPose:从零开始掌握姿态估计工具

MMPoseOpenMMLab生态系统中的姿态估计工具箱,它提供了一套完整的解决方案,帮助开发者和研究者轻松实现人体、动物、手部等关键点检测。无论你是计算机视觉新手还是经验丰富的研究人员,这篇文章都将带你快速了解MMPose的核心功能和应用场景。💪 ## 什么是姿态估计?为什么需要MMPose? 姿态估计计算机视觉中的一个重要分支,它通过识别图像或视频中人体、动物或其他物体的关键点(如关

gitblog_00076的博客 334

MMPose 终极指南:如何快速上手开源姿态估计工具箱

MMPoseOpenMMLab开源生态中的姿态估计工具箱,专注于人体、动物、手部等关键点检测任务。它为开发者和研究者提供了一个完整的解决方案,从数据准备、模型训练到部署应用,覆盖了姿态估计的全流程。无论你是计算机视觉新手还是经验丰富的研究者,MMPose都能帮助你快速构建高效、准确的姿态估计系统。 ## 为什么选择MMPose?三大核心优势解析 在众多姿态估计工具中,MMPose凭借以下三大

gitblog_00848的博客 515

揭秘MMPose:为什么这个开源工具箱正在重新定义姿态估计的边界?

你是否曾经想过,为什么在健身App中,你的每一个动作都能被精准识别?为什么虚拟试衣间能准确判断你的身材尺寸?或者,为什么一些智能安防系统能瞬间识别人群中的异常行为?这一切的背后,都有一个共同的技术核心——人体姿态估计。 今天,我要给你介绍一个正在悄然改变这个领域游戏规则的工具箱:MMPose。这不仅仅是一个技术工具,更像是一位"姿态翻译官",它能够理解人体的每一个微妙动作,并将这些信息转化为计算

gitblog_00575的博客 443

动作识别3——mmpose和mmaction2

今天我们来看看怎么使用mmaction2的模型推理来实现视频动作识别,以及对于基于骨骼点的行为识别模型,我们需要知道怎么使用mmpose得到姿态估计关键点,然后以什么样的格式给到mmaction2进行动作识别。

shimingwang的博客 1355

pose模型训练

将yolo格式数据集转换为coco格式数据集_yolo转coco-CSDN博客实时推理+SOTA精度!RTMO引领MMPose姿态估计新高度-腾讯云开发者社区-腾讯云GitHub - open-mmlab/mmpose: OpenMMLab Pose Estimation Toolbox and Benchmark.

weixin_45295333的博客 16

openMMLabMMPose 代码教程

本次博客将带大家进行关键点检测实战,体验关键点检测的全流程

DplusC的博客 1168

上手OpenMMLab——从0开始使用RTMPose关键点检测(足够本科课设的工作量)

数据集:Labelme标注数据集、整理标注格式至MS COCO目标检测:分别训练和目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测关键点检测:训练RTMPose-S关键点检测模型、训练日志可视化、测试集上评估、分别对“图像、视频、摄像头画面”预测模型终端部署:转ONNX格式,终端推理视频教程合集:https://space.bilibili.com/1900783/channel/collectiondetail?

Yuetian_w的博客 4632

上手OpenMMLab——实战人体姿态估计MMpose(可内化为课程设计)

人体姿态估计(Human Pose Estimation)是计算机视觉领域中的一个重要研究方向,也是计算机理解人类动作、行为必不可少的一步,人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点,目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。最有趣:做cg动画,现在有很多工作是能够通过你的表情姿态,来驱动一个动画做很多有趣的东西2D Human Pose Estimation (以下简称 2D HPE) 旨在从图像或者视频中预测人体关节点(或称关键点,比如头,左手,右脚等)的二维空间

Yuetian_w的博客 1969
上一篇: 【OpenMMLab】OpenMMLab概述
下一篇: 【openMMLab】MMPose 代码教程
Donny0v0
博客等级 码龄8年 78粉丝 15原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值