人体相关NeRF文章

# SMPL

* 一个常用基础概念，来自于15年的siggraph文章"SMPL: A Skinned Multi-Person Linear Model"
* ![title](https://leanote.com/api/file/getImage?fileId=64e468cdab6441793623b632)
* 一套基于参数化的人体不同体型表征和动作生成的方法。

# 3DMM: 3D Morphable models

* 三维可变形人脸模型，是一个通用的三维人脸模型，用固定的点数来表示人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。
* 当前基于3DMM的表情模型主要有两个思路，分别是加性模型和乘性模型。加性模型就是线性模型了，将表情作为形状的一个偏移量
* 例如 NeRFace 就把3DMM编码放入了NeRF当中来做人脸。
* blendshape 是一种常用 3DMM，分别身份basis和表情basis。

# AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control

* 第一步SDS染色，第二步类似NeRFEdit的方案做Ray blending。
* ![title](https://leanote.com/api/file/getImage?fileId=64e46996ab6441793d24b917)
* 问题在于生成的人物都是同一个体型的，即给定一个体型，再染色。
* 效果比其他方案好一些，但只有一些
* ![title](https://leanote.com/api/file/getImage?fileId=64e46a9dab6441793623ce35)
* 感觉马上能看到基于VSD的版本，应该会好不少。

# Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions

* video + 人脸提取 + InstructPix2Pix
* 方法很简单，先提取人脸，然后 InstructPix2Pix 做一帧的转化，再套用已有的EbSynth（Exampler-based image
video style transfer）完成对视频的转换。
* ![title](https://leanote.com/api/file/getImage?fileId=64e57189ab6441793d39ae6f)
* 结果上略有伪影

# AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation

* 质量一般，方法简单，Finetune LoRA + SDS
* ![title](https://leanote.com/api/file/getImage?fileId=64e5721fab6441793638b69f)
* Finetune 有点小trick
* ![title](https://leanote.com/api/file/getImage?fileId=64e5726dab6441793d39ae76)
* ![title](https://leanote.com/api/file/getImage?fileId=64e5728fab6441793d39ae78)
* 似乎比 AvartarCraft强，但是方法上其实差不多，感觉更多是一些小trick。
* ![title](https://leanote.com/api/file/getImage?fileId=64e572a3ab6441793d39ae79)

# StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation

* 腾讯的工作，不开源
* ![title](https://leanote.com/api/file/getImage?fileId=64e57326ab6441793d39ae7e)
* 感觉和 Rodin 差不多啊
* ![title](https://leanote.com/api/file/getImage?fileId=64e5736dab6441793638b6ab)
* 数据生成流程
* ![title](https://leanote.com/api/file/getImage?fileId=64e57402ab6441793d39ae86)
* 大概采用了 50 avatar styles，一共生成了 50K 张图左右
* ![title](https://leanote.com/api/file/getImage?fileId=64e574b7ab6441793d39ae8d)

# ELICIT: One-shot Implicit Animatable Avatars with Model-based Priors

* 单张图片身体生成，身体周边依旧有一些伪影，整体来说和清华的还是有差距。
* ![title](https://leanote.com/api/file/getImage?fileId=64e576e2ab6441793d39c09d)
* 看起来SMPL 真的很好用啊
* ![title](https://leanote.com/api/file/getImage?fileId=64e576f8ab6441793d39c1cc)
* ![title](https://leanote.com/api/file/getImage?fileId=64e57735ab6441793d39c5b1)

# TeCH: Text-guided Reconstruction of Lifelike Clothed Humans

* ![title](https://leanote.com/api/file/getImage?fileId=64e5817dab6441793d3a1f86)
* 方法上更细致，运用预训练模型的知识补全背部等结构。人体还是SMPL搞定。
* ![title](https://leanote.com/api/file/getImage?fileId=64e581caab6441793d3a1f87)
* 精细处理的token效果更好
* ![title](https://leanote.com/api/file/getImage?fileId=64e582acab6441793639279c)
* ![title](https://leanote.com/api/file/getImage?fileId=64e582c0ab6441793d3a1f93)
* ![title](https://leanote.com/api/file/getImage?fileId=64e58233ab64417936392799)
* ![title](https://leanote.com/api/file/getImage?fileId=64e582e0ab6441793d3a1f95)

# 总结

* 人体表征来讲，用SMPL处理人体和3DMM处理面部，可以帮助生成的稳定性。但动画效果会相对僵硬。而再与 local feilds 结合就可以提升运动生成的真实感。运动控制上，已有的骨骼和pose embedding啥的已经够用了。
* 3DMM 不太适用于人脸形状差别过大的情况。可以在相似面部结构上迁移。
*

wuvin

导航

最近发表

友情链接