wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
CLIP-NeRF 后续工作
2022-11-19 11:10:38
148
0
0
wuvin
* 这里是所有 cite 了 clip-nerf 的工作 # HairCLIP: Design Your Hair by Text and Reference Image ![title](https://leanote.com/api/file/getImage?fileId=63784958ab64411709a7e198) * 可惜是一个基于StyleGAN 的二维工作。而且相比 StyleCLIP 的创新性不是很多。 * ![title](https://leanote.com/api/file/getImage?fileId=6378499eab64411710a634c6) # Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations * 应该是投稿 CVPR2023 的文章。 * 似乎9月初,仲凡提过这么一个idea。但物体删除后桌面如此光滑,不得不表示怀疑。 * ![title](https://leanote.com/api/file/getImage?fileId=63784a55ab64411710a634cb) * ![title](https://leanote.com/api/file/getImage?fileId=63784affab64411709a7e1a3) # EpiGRAF: Rethinking training of 3D GANs * 使用了一个 tri-plane backbone 的NeRF 作为生成器(这和Pi-GAN 有啥区别) * ![title](https://leanote.com/api/file/getImage?fileId=63784f30ab64411709a7e1c1) * ![title](https://leanote.com/api/file/getImage?fileId=63784fc2ab64411709a7e1c5) * emmm,可复现性存疑 # CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes * ECCV2022 的文章 * ![title](https://leanote.com/api/file/getImage?fileId=6378502dab64411709a7e1c7) * ![title](https://leanote.com/api/file/getImage?fileId=6378506dab64411710a634f9) * 可惜是 match 的mesh动作+ CLIP-NeRF based 人体外观染色。 # AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars * 南阳理工 SIGGRAPH 2022 的工作 * ![title](https://leanote.com/api/file/getImage?fileId=6378511cab64411710a63500) * ![title](https://leanote.com/api/file/getImage?fileId=637851c3ab64411710a63506) * ![title](https://leanote.com/api/file/getImage?fileId=637851efab64411709a7e1d3) * ![title](https://leanote.com/api/file/getImage?fileId=63785206ab64411710a63508) * 用 CLIP 给 SDF 染色,用 CLIP 匹配最合适的姿态,用 Motion VAE 对运动插值。 * 感觉不够优雅啊 # TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition * 还是染色的工作,只是做了下渲染分解 * ![title](https://leanote.com/api/file/getImage?fileId=6378b3e1ab64411710a637fa) * ![title](https://leanote.com/api/file/getImage?fileId=6378b403ab64411709a7e49b) * 但感觉高光学的不对 # Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects * 基于GAN结构+ Shape-Appearnce Code 类型的 * ![title](https://leanote.com/api/file/getImage?fileId=6378b42dab64411709a7e49c) * ![title](https://leanote.com/api/file/getImage?fileId=6378b469ab64411709a7e49e) * ![title](https://leanote.com/api/file/getImage?fileId=6378b49cab64411709a7e4a1) # ISS: IMAGE AS STEPPING STONE FOR TEXT-GUIDED 3D SHAPE GENERATION * 差不多是直接训练一个 Text2Shape CLIP * ![title](https://leanote.com/api/file/getImage?fileId=6378b4e1ab64411709a7e4a4) * ![title](https://leanote.com/api/file/getImage?fileId=6378b841ab64411710a63822) # UNDERSTANDING PURE CLIP GUIDANCE FOR VOXEL GRID NERF MODELS * 和 Stable DreamFusion 挺像, ablation 挺有意思 * ![title](https://leanote.com/api/file/getImage?fileId=6378b9afab64411709a7e4c4) * ![title](https://leanote.com/api/file/getImage?fileId=6378bc21ab64411710a63847) * ![title](https://leanote.com/api/file/getImage?fileId=6378bbc2ab64411710a63843) * ![title](https://leanote.com/api/file/getImage?fileId=6378bc3aab64411709a7e4e5) * ![title](https://leanote.com/api/file/getImage?fileId=6378bc8eab64411709a7e4e8) # Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures * 在 latent space 做 diffusion,把 latent diffusion 方法搬到nerf generation 上。 * ![title](https://leanote.com/api/file/getImage?fileId=6378bccaab64411709a7e4eb) * ![title](https://leanote.com/api/file/getImage?fileId=6378bf61ab64411709a7e4fb) * Fine stage 还是要渲染高分辨率的,不过他是咋把显存存下的。 * ![title](https://leanote.com/api/file/getImage?fileId=6378c11cab64411710a63872) * 给定Mesh 的情况下,就正常用UV map做映射 * ![title](https://leanote.com/api/file/getImage?fileId=6378c153ab64411709a7e505) * 现在11.14号,这文章应该是投CVPR的,DreamFusion 是9月底挂出来的,动作很快啊 * ![title](https://leanote.com/api/file/getImage?fileId=6378c1a6ab64411710a63876) * 相比 DreamFusion,这个具有多视角颜色不一致性,还做了fine-finetune。所有生成效果会好一些。 # NERF-SOS: ANY-VIEW SELF-SUPERVISED OBJECT SEGMENTATION ON COMPLEX SCENES * 对比学习+NeRF 做自监督物体分割,看来有人抢先我们一步。 * ![title](https://leanote.com/api/file/getImage?fileId=6378cc1dab64411709a7e54d) * ![title](https://leanote.com/api/file/getImage?fileId=6378cc4fab64411709a7e54f) * ![title](https://leanote.com/api/file/getImage?fileId=6378cc6bab64411709a7e551) # Text and Image Guided 3D Avatar Generation and Manipulation * 做人脸表情生成的。 * ![title](https://leanote.com/api/file/getImage?fileId=6378ccf9ab64411709a7e554) * ![title](https://leanote.com/api/file/getImage?fileId=6378cd31ab64411709a7e556) * 突然一想,以后游戏是不是甚至不需要调表情,直接文字就能生成音频+表情细节。 # Magic3D: High-Resolution Text-to-3D Content Creation * NVIDIA在 11.18 号挂出来的,显著提升 DreamFusion 的质量,但是感觉比不上 latent-nerf。 * 方法上还是 Instant-NGP + SDS,但是有个后续超分操作。 * ![title](https://leanote.com/api/file/getImage?fileId=637d8d40ab64411709a80b54) * 整体效果如下 * ![title](https://leanote.com/api/file/getImage?fileId=637d8ddeab64411709a80b5a) * 有意思的是做了 2D-3D style transfer * ![title](https://leanote.com/api/file/getImage?fileId=637d8e0fab64411709a80b5d) # Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation * 差不多的东西 * ![title](https://leanote.com/api/file/getImage?fileId=638ef32cab64411710a6e37f) #
上一篇:
ECCV2022 NeRF 相关
下一篇:
图像生成方法及可用开源代码综述
0
赞
148 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
没有帐号? 立即注册