姿态估计

# 任务分类

![title](https://leanote.com/api/file/getImage?fileId=61693f07ab644142b44b1d0e)

* 单人/多人 姿态估计， 2D/3D 关键点检测
* 2D多人关键点检测 top-down pipeline: 行人检测 -> 关键点检测
* bottm-up pipeline: 关键点检测 -> 关键点组装成人 （更快，但准确率更低）
* 发展路线 CPM,Hourglass -> OpenPose -> CPN -> MSPN -> HRNet

# HRNet

![title](https://leanote.com/api/file/getImage?fileId=6169433dab644142c07b85fe)

* 多尺度分辨率融合
* 关键点两个主流的方法： 回归关键点位置， 估计关键点heatmap，然后将热图最大值的位置作为关键点。
* pipeline 几个部分
（1）stem: stride-2卷积降低分辨率。
（2）body: 生成与输入特征图分辨率相同的输出特征图。
（3）regressor（head）: 估计K个heatmaps（表示关键点位置），然后映射到全分辨率上。

# PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation

![title](https://leanote.com/api/file/getImage?fileId=6169488cab644142c07b8620)

* 将数据增强和模型训练关联起来，提出了一套可微的数据增强框架来生成训练数据，SOTA模型指标直接涨了9.1%
* 如何让生成的数据多样，且对模型训练是有益的： 将数据增强模块变成可学习的，根据训练传回的loss来调整数据增强的难度和内容
* 如何让生成的数据看上去自然，且真实合理： 用判别器来评估生成的数据的合理性，把反人类的动作给剔除掉
* 进行三个方面的变换：Bone角度(BA, Bone Angel)、Bone长度(BL, Bone Length)、旋转和变形(RT, Rotation and Translation)。
* 高斯噪声向量过MLP，变 （调节Bone角度，调节Bone长度，控制坐标旋转和变形）
* KCS: 关节点的坐标矩阵转换为一个Bone矩阵，矩阵的对角元素能表示每个Bone的长度，其他元素也可以表示Bone之间的夹角
* 本文在KCS的基础上，对不同关节进行拆分，分为五个组，即左右胳膊，左右腿，躯干，对每个组进行分别建立判别器，这样有助于维护生成姿态的多样性和合理性。
* 需要提前训练一个 2D 关键点估计的网络，然后本文注重于训练一个 2D to 3D 的 Estimator。方法的输入是2d坐标，网络输出3d，**没图片的事**
* Pose Augmentation loss： 让生成姿态的loss跟增强前的原始姿态loss限制在一定范围内，![title](https://leanote.com/api/file/getImage?fileId=61694afaab644142c07b862b)，随着训练逐渐增加 $\beta$

# Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-Localization in Large Scenes From Body-Mounted Sensors

* 首个利用可穿戴传感器在预制的大型 3D 场景中对人进行定位的同时进行全 3D 人体姿势估计的方法。
* 将摄像机定位（头部摄像机提供精准但是粗糙的定位）、基于 IMU 的跟踪(细致定位但是存在累计误差)和场景约束（如脚会触地）整合在一起的联合优化方法，从而实现了平稳和准确的人体运动估计。并提供一个新的数据集：HPS数据集.
* ![title](https://leanote.com/api/file/getImage?fileId=6169534cab644142c07b8646)
* 在 AR 和 VR 领域可能挺有用，而且看起来硬件成本不高。
* [video_link](https://twitter.com/ak92501/status/1377453433691717632)

# On Self-Contact and Human Pose

![title](https://leanote.com/api/file/getImage?fileId=616a9571ab644142c07b8a1d)

* 本文改进了姿态估计时对于身体接触部位的表现效果（无穿模）,并公开了一个新数据集。

wuvin

导航

最近发表

友情链接