wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
人体相关NeRF文章
2023-08-22 15:50:38
118
0
0
wuvin
# SMPL * 一个常用基础概念,来自于15年的siggraph文章"SMPL: A Skinned Multi-Person Linear Model" *  * 一套基于参数化的人体不同体型表征和动作生成的方法。 # 3DMM: 3D Morphable models * 三维可变形人脸模型,是一个通用的三维人脸模型,用固定的点数来表示人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配,并且可以由其他许多幅人脸正交基加权线性相加而来。每一个三维的人脸,可以由一个数据库中的所有人脸组成的基向量空间中进行表示,而求解任意三维人脸的模型,实际上等价于求解各个基向量的系数的问题。 * 当前基于3DMM的表情模型主要有两个思路,分别是加性模型和乘性模型。加性模型就是线性模型了,将表情作为形状的一个偏移量 * 例如 NeRFace 就把3DMM编码放入了NeRF当中来做人脸。 * blendshape 是一种常用 3DMM,分别身份basis和表情basis。 # AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control * 第一步SDS染色,第二步类似NeRFEdit的方案做Ray blending。 *  * 问题在于生成的人物都是同一个体型的,即给定一个体型,再染色。 * 效果比其他方案好一些,但只有一些 *  * 感觉马上能看到基于VSD的版本,应该会好不少。 # Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions * video + 人脸提取 + InstructPix2Pix * 方法很简单,先提取人脸,然后 InstructPix2Pix 做一帧的转化,再套用已有的EbSynth(Exampler-based image video style transfer)完成对视频的转换。 *  * 结果上略有伪影 # AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation * 质量一般,方法简单,Finetune LoRA + SDS *  * Finetune 有点小trick *  *  * 似乎比 AvartarCraft强,但是方法上其实差不多,感觉更多是一些小trick。 *  # StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation * 腾讯的工作,不开源 *  * 感觉和 Rodin 差不多啊 *  * 数据生成流程 *  * 大概采用了 50 avatar styles,一共生成了 50K 张图左右 *  # ELICIT: One-shot Implicit Animatable Avatars with Model-based Priors * 单张图片身体生成,身体周边依旧有一些伪影,整体来说和清华的还是有差距。 *  * 看起来SMPL 真的很好用啊 *  *  # TeCH: Text-guided Reconstruction of Lifelike Clothed Humans *  * 方法上更细致,运用预训练模型的知识补全背部等结构。人体还是SMPL搞定。 *  * 精细处理的token效果更好 *  *  *  *  # 总结 * 人体表征来讲,用SMPL处理人体和3DMM处理面部,可以帮助生成的稳定性。但动画效果会相对僵硬。而再与 local feilds 结合就可以提升运动生成的真实感。运动控制上,已有的骨骼和pose embedding啥的已经够用了。 * 3DMM 不太适用于人脸形状差别过大的情况。可以在相似面部结构上迁移。 *
上一篇:
HuggingFace 已有 StableDiffusion Pipelines 介绍
下一篇:
AIGC 新文章
0
赞
118 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
没有帐号? 立即注册