wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
Novel view synthesis Overview
2022-09-13 18:25:39
423
0
0
wuvin
# 基于传统方法的新视角合成 ## 显式 * Depth Synthesis and Local Warps for Plausible Image-based Navigation(13 年的文章):先根据多视角图生成相机视角和点云,然后把场景投影到点云并建立super pixel,查询的时候找出最近的四个视角,然后使用加权的局部保持形状变换得到结果。 * Scalable Inside-Out Image-Based Rendering(16年):RGB-D数据建立基于面片的场景重建。 * Photo tourism: exploring photo collections in 3D(06年):应该是最早的了,每张图片映射到一个空间上的平面,然后新视角根据看得到的部分合成。 * Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach(1996):从多张图片中重建基础几何结构,然后再在第二部进一步改进第一步得到的几何结构细节。 * AtlasNet: A Papier-Mach Approach to Learning 3D Surface Generation(2018): 从point cloud/RGB-image 到表面点云, 从表面点云到mesh * Surface light fields for 3d photography(2000): 引入了表面Mesh上某个顶点在不同视角下颜色不同的概念(使用一个正多面球体刻画)。 ### 离散体积 * A theory of shape by space carving(2000):从一系列环面视角完成场景重构以及 NovelView 合成的传统算法,考虑了可见性。 * Soft 3d reconstruction for view synthesis(2017):输入图片->带Voxeld 深度图->分析前后遮挡关系->计算了遮挡关系的深度图体积分布->合成。非NN算法。 * Photorealistic scene reconstruction by voxel coloring(1999):球面相机采样+计算视线交点判断可见性 ## 隐式 * The Lumigraph(96年):光场网络 (就是那个(u,v,x,y)的起源) * Light field rendering(96年):光场渲染 # 基于 NN + 隐式表征 ## 神经渲染综述 * State of the art on neural rendering(2020):神经渲染综述。 * Advances in neural rendering(2021):上一篇的期刊版本。 ## 隐式无视角依赖 * Learning implicit fields for generative shape modeling(2019):形状生成,一个MLP,输入xyz和feature vector,输出有没有体积。然后渲染成 512^3 的体素网格。 * Local deep implicit functions for 3d shape(2020):VAE+局部高斯分布。 * Learning to infer implicit surfaces without 3d supervision(2019):RGB图像通过CNN encode成一维向量,然后拿个一个 MLP decoder 查询某个位置是否位于交界面内外。 * DIST: Rendering deep implicit signed distance function with differentiable sphere tracing(2020):SDF+深度、法相、轮廓分解,然后以differentiable renderer优化。 * Occupancy networks: Learning 3d reconstruction in function space(2019): 就是一个MLP编码某个位置是否在物体内。 * Implicit surface representations as layers in neural networks(2019): 函数值为0的地方就是表面。 * Texture fields: Learning texture representations in function space(2019):给一个三维模型和一个目标图片,然后得到有颜色的模型,通过与GT图片做差进行反向传播。三维模型过PointNet 和 二维图片过 CNN 进行特征融合。 * DeepSDF: Learning continuous signed distance functions for shape representation(2019) * PIFuHD: Multi-level pixel-aligned implicit function for high-resolution 3d human digitization(2020) * Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision(2020): 和 NeRF 一样的单像素对应多点积分,但是需要深度图训练,且没有不同视角效果。 * SRNs: continuous 3Dstructure-aware neural scene representations(2019):嗯,就是SRN,算是 NeRF 的前前个版本了吧。 ## 隐式有视角依赖 * Neural lumigraph rendering(2021): 隐式NN + 光场 ## Voxel * Convolutional occupancy networks(2020): occupancy networks + 体素网格。就是occupancy networks版本的DVGO。 * DeepVoxels: Learning persistent 3D feature embeddings(2019): 学一个三维的feature 网格表征,然后用 Occlusion Network + 2D Unet 渲染。 * Learning a predictable and generative vector representation for objects(2016):3d auto-encoder * Perspective transformer nets: Learning single-view 3d object reconstruction without 3d supervision(2016):从多视角图像中学习物体的三维体素。 ## PointClouds * Neural point-based graphics(2020): 语义点云+可微渲染+UNet。 * Neural point cloud rendering via multi-plane projection(2020):点云通过一个三维卷积渲染得到密度权重和颜色,然后与GT做差反向传播。 * A point set generation network for 3d object reconstruction from a single image(2017):point cloud VAE + point cloud generation conditioned on single image. ## Meshes * Deep surface light fields(2018): 图片生成点云->构建基础mesh->小mesh片+view direction。 * Free view synthesis(2020):可以接受任意位置的相机输入,MVS构建基础面片形成深度估计,预训练的RNN+encoder-decoder 可以直接渲染新视角。 * Stable view synthesis(2021):MVS任务,输入图片encode成高维特征,然后把高维特征分配到物体表面上去,最后渲染的时候取表面位置的高维特征 ensemble。 * Image synthesis using neural textures(2019):给定一个mesh模型,然后给出多个视角图片,用NN学出每个位置的高维特征和渲染。这篇文章同时完成了很多场景编辑的工作。 * Learning category-specific mesh reconstruction from image collections(2018):图片过CNN得到材质和相对三维均值模型的偏差。然后根据图像差异和模型关键点差异算loss。 * Neural 3d mesh renderer(2018):图片到3D mesh。先预测voxel,再voxel转mesh。 ## multi-plane images (MPI) * Stereo Magnification: Learning view synthesis using multiplane images(2018):MPI+CNN * Pushing the boundaries of view extrapolation with multiplane images(2019):a 3D CNN predicts an initial MPI + occluded content is softly removed + another 3D CNN predicts final MPI. * Deepview: High-quality view synthesis by learned gradient descent(2019):用CNN模型上的梯度下降学了一组MPI。 * Crowdsampling the plenoptic function(2020):从多游客拍摄的图像重建4D光场+MPI。oral presentation 的视频做的非常好! * Local light field fusion: Practical view synthesis with prescriptive sampling guidelines(2019):矩形格点分布的图像采样,然后用基于NN的方法学习到每张图的MPI,查询的时候就合并附近四组MPI。 # NeRF ## 综述 * NeRF: Representing scenes as neural radiance fields for view synthesis * Neural volume rendering: Nerf and beyond(2021):综述 ## 更高质量 * Neural sparse voxel fields * NeX: Real-time view synthesis with neural basis expansion * NeRF++: Analyzing and improving neural radiance fields(2020, arxiv): PSNR 提升 0.5-1。 * NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections * Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields(2022) * HDR-NeRF(2022) * NeRFReN(2022) * Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields (2022) * Light Field Neural Rendering(2022) ## few-shot * Dense Depth Priors for NeRF(2022) * Depth-supervised NeRF(2022) * InfoNeRF(2022) * RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs(2022) ## large scale * NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction(2022) * Block-NeRF * NICE-SLAM: Neural Implicit Scalable Encoding for SLAM ## 动态场景 * Dynamic neural radiance fields for monocular 4D facial avatar reconstruction(2021):分离人物和背景,然后会给每一帧做人脸分割,并转为一个76维度的表情向量。最终能实现新视角合成和表情变换。 * Neural scene flow fields for space-time view synthesis of dynamic scenes(2021):设计了5个loss,然后通过视频分离了运动物体和非运动物体,并且可以渲染运动物体的新视角。 * Nerfies: Deformable neural radiance fields(2021) * HyperNeRF: a higherdimensional representation for topologically varying neural radiance fields(2021):物体超空间认为是类似于一叠纸巾一样,这样避免原有平面之间再运动后产生交叉。 * Animatable neural radiance fields for modeling dynamic human bodies(2021): 人体作为 canonical space。 * DensePose: Dense Human Pose Estimation In TheWild(2022) * BANMo: Building Animatable 3D Neural Models from Many Casual Videos (2022) * HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video(2022) * Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans(2021):人体作为 latent space, 用一个 SparseConvNet 把输入的 latent code 映射到 latent code volume,然后再在这里面插值+MLP。 * DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering(2022) * NeuralHOFusion: Neural Volumetric Rendering under Human-object Interactions(2022) * Structured Local Radiance Fields for Human Avatar Modeling(2022) * Surface-Aligned Neural Radiance Fields for Controllable 3D Human Synthesis(2022) * Nonrigid neural radiance fields: Reconstruction and novel view synthesis of a dynamic scene from monocular video(2021):只有两个额外loss,同样也是用NN表示空间的deformation. * Space-time neural irradiance fields for free-viewpoint video(2021):添加了深度的监督信息, 和 Neural scene flow 一样用了很多loss来约束训练。 * Editable free-viewpoint video using a layered neural representation(2021):人体分割+跟踪,时间t一起输入到MLP,**做了编辑**。 * D-nerf: Neural radiance fields for dynamic scenes(2021):拿一个MLP 映射dx, dy, dz。和 Nerfiles 基本一样。 * Neural 3D Video Synthesis from Multi-view Video(2022) ## faster training * Plenoxels:Radiance Fields without Neural Networks * Point-NeRF: Point-based Neural Radiance Fields(2022) * DVGO * EfficientNeRF: Efficient Neural Radiance Fields(2022) ## faster rendering * FastNeRF: High-fidelity neural rendering at 200fps(2021):有点意思,把xyz和视角分别放入两个MLP,xyz映射到多个RGB,视角MLP决定这些RGB混合的权重。使用一个 cache 暴力缓存 512^3 种 xyz 可能性。 * Baking neural radiance fields for real-time view synthesis(2021):训练的时候xyz到特征及密度映射用NN,测试把这个转成 sparse voxels。 * KiloNeRF: Speeding up neural radiance fields with thousands of tiny MLPs(2021):场景拆成体素个小NeRF。 * Plenoctrees for real-time rendering of neural radiance fields:八叉树加速 NeRF 查询。 * Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time(2022) ## MVS * MVSNeRF: Fast generalizable radiance field reconstruction from multi-view stereo(2021): 较早的MVS任务,需要 finetune,不然效果很差。 * IBRNet: Learning multi-view image-based rendering(2021):用 Ray Transformer 来得到 ray marching 时的点权重。 * pixelNeRF: Neural radiance fields from one or few images(2021): NeRF MVS 较早的作品了。 * Neural Volumes(2019): MVS 任务,Image Encoder + Volume Decoder+ ray marching. * GeoNeRF: Generalizing NeRF with Geometry Priors(2022) ## Relightning * 这几篇可以参见之前的 `NeRF Relightning 相关`。 * NeRD: Neural reflectance decomposition from image collections(2021) * NeRV: Neural reflectance and visibility fields for relighting and view synthesis(2021) * NeRFactor: Neural factorization of shape and reflectance under an unknown illumination(2021) ## Generate * GRAF: Generative radiance fields for 3d-aware image synthesis * pi-gan: Periodic implicit generative adversarial networks for 3d-aware image synthesis. * GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation (2022) * EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks(2022) ## Edit * Deforming Radiance Fields with Cages(2022) * NeRF-Editing: Geometry Editing of Neural Radiance Fields(2022) * Editing conditional radiance fields(2021): 就是那个红色凳子的小椅子那篇。 * Learning object-compositional neural radiance field for editable scene rendering(2021): demo 有点好看。完成了复杂物体的分离,但是没有修复物体挪开后的部分。Voxel+MLP的结构,渲染时分为场景和物体,引入了 Object Activation Code Library(使用 2D instance masks训练)。 * FENeRF: Face Editing in Neural Radiance Fields(2022): 面部编辑 * HeadNeRF: A Real-time NeRF-based Parametric Head Model(2022):头部编辑 * RigNeRF: Fully Controllable Neural 3D Portraits(2022):头部编辑 * CoNeRF: Controllable Neural Radiance Fields(2022):特定姿态编辑 * StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning(2022):风格化
上一篇:
The recent rise of diffusion-based models
下一篇:
NeRF Relightning 相关
0
赞
423 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
没有帐号? 立即注册