Novel view synthesis Overview

# 基于传统方法的新视角合成

## 显式

* Depth Synthesis and Local Warps for Plausible Image-based Navigation（13 年的文章）：先根据多视角图生成相机视角和点云，然后把场景投影到点云并建立super pixel，查询的时候找出最近的四个视角，然后使用加权的局部保持形状变换得到结果。
* Scalable Inside-Out Image-Based Rendering（16年）：RGB-D数据建立基于面片的场景重建。
* Photo tourism: exploring photo collections in 3D（06年）：应该是最早的了，每张图片映射到一个空间上的平面，然后新视角根据看得到的部分合成。
* Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach(1996):从多张图片中重建基础几何结构，然后再在第二部进一步改进第一步得到的几何结构细节。
* AtlasNet: A Papier-Mach Approach to Learning 3D Surface Generation(2018): 从point cloud/RGB-image 到表面点云, 从表面点云到mesh
* Surface light fields for 3d photography(2000): 引入了表面Mesh上某个顶点在不同视角下颜色不同的概念（使用一个正多面球体刻画）。

### 离散体积

*  A theory of shape by space carving（2000）：从一系列环面视角完成场景重构以及 NovelView 合成的传统算法，考虑了可见性。
*  Soft 3d reconstruction for view synthesis（2017）：输入图片->带Voxeld 深度图->分析前后遮挡关系->计算了遮挡关系的深度图体积分布->合成。非NN算法。
*  Photorealistic scene reconstruction by voxel coloring（1999）：球面相机采样+计算视线交点判断可见性

## 隐式

* The Lumigraph（96年）：光场网络 （就是那个（u,v,x,y）的起源）
* Light field rendering（96年）：光场渲染

# 基于 NN + 隐式表征

## 神经渲染综述

*  State of the art on neural rendering（2020）：神经渲染综述。
*  Advances in neural rendering（2021）：上一篇的期刊版本。

## 隐式无视角依赖

*  Learning implicit fields for generative shape modeling（2019）：形状生成，一个MLP，输入xyz和feature vector，输出有没有体积。然后渲染成 512^3 的体素网格。
*  Local deep implicit functions for 3d shape（2020）：VAE+局部高斯分布。
*  Learning to infer implicit surfaces without 3d supervision（2019）:RGB图像通过CNN encode成一维向量，然后拿个一个 MLP decoder 查询某个位置是否位于交界面内外。
*  DIST: Rendering deep implicit signed distance function with differentiable sphere tracing(2020):SDF+深度、法相、轮廓分解，然后以differentiable renderer优化。
*  Occupancy networks: Learning 3d reconstruction in function space(2019): 就是一个MLP编码某个位置是否在物体内。
*  Implicit surface representations as layers in neural networks(2019): 函数值为0的地方就是表面。
*  Texture fields: Learning texture representations in function space(2019):给一个三维模型和一个目标图片，然后得到有颜色的模型，通过与GT图片做差进行反向传播。三维模型过PointNet 和 二维图片过 CNN 进行特征融合。
*  DeepSDF: Learning continuous signed distance functions for shape representation(2019)
*  PIFuHD: Multi-level pixel-aligned implicit function for high-resolution 3d human digitization(2020) 
* Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision(2020): 和 NeRF 一样的单像素对应多点积分，但是需要深度图训练，且没有不同视角效果。
* SRNs: continuous 3Dstructure-aware neural scene representations(2019):嗯，就是SRN，算是 NeRF 的前前个版本了吧。

## 隐式有视角依赖

* Neural lumigraph rendering(2021): 隐式NN + 光场

## Voxel

* Convolutional occupancy networks(2020): occupancy networks + 体素网格。就是occupancy networks版本的DVGO。
* DeepVoxels: Learning persistent 3D feature embeddings(2019): 学一个三维的feature 网格表征，然后用 Occlusion Network + 2D Unet 渲染。
*  Learning a predictable and generative vector representation for objects（2016）：3d auto-encoder
*  Perspective transformer nets: Learning single-view 3d object reconstruction without 3d supervision（2016）：从多视角图像中学习物体的三维体素。

## PointClouds

* Neural point-based graphics(2020): 语义点云+可微渲染+UNet。
* Neural point cloud rendering via multi-plane projection(2020):点云通过一个三维卷积渲染得到密度权重和颜色，然后与GT做差反向传播。
* A point set generation network for 3d object reconstruction from a single image（2017）：point cloud VAE + point cloud generation conditioned on single image.

## Meshes

* Deep surface light fields(2018): 图片生成点云->构建基础mesh->小mesh片+view direction。
* Free view synthesis(2020):可以接受任意位置的相机输入，MVS构建基础面片形成深度估计，预训练的RNN+encoder-decoder 可以直接渲染新视角。
* Stable view synthesis（2021）：MVS任务，输入图片encode成高维特征，然后把高维特征分配到物体表面上去，最后渲染的时候取表面位置的高维特征 ensemble。
*  Image synthesis using neural textures（2019）：给定一个mesh模型，然后给出多个视角图片，用NN学出每个位置的高维特征和渲染。这篇文章同时完成了很多场景编辑的工作。
*  Learning category-specific mesh reconstruction from image collections（2018）：图片过CNN得到材质和相对三维均值模型的偏差。然后根据图像差异和模型关键点差异算loss。
*  Neural 3d mesh renderer（2018）：图片到3D mesh。先预测voxel，再voxel转mesh。

## multi-plane images (MPI)

* Stereo Magnification: Learning view synthesis using multiplane images(2018)：MPI+CNN
* Pushing the boundaries of view extrapolation with multiplane images（2019）：a 3D CNN predicts an initial MPI +  occluded content is softly removed + another 3D CNN predicts final MPI.
* Deepview: High-quality view synthesis by learned gradient descent（2019）：用CNN模型上的梯度下降学了一组MPI。
*  Crowdsampling the plenoptic function（2020）：从多游客拍摄的图像重建4D光场+MPI。oral presentation 的视频做的非常好！
*  Local light field fusion: Practical view synthesis with prescriptive sampling guidelines（2019）：矩形格点分布的图像采样，然后用基于NN的方法学习到每张图的MPI，查询的时候就合并附近四组MPI。

# NeRF

## 综述

* NeRF: Representing scenes as neural radiance fields for view synthesis
* Neural volume rendering: Nerf and beyond（2021）：综述

## 更高质量

* Neural sparse voxel fields
* NeX: Real-time view synthesis with neural basis expansion
* NeRF++: Analyzing and improving neural radiance fields(2020, arxiv): PSNR 提升 0.5-1。
* NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
* Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields(2022)
* HDR-NeRF(2022)
* NeRFReN(2022)
* Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields (2022)
* Light Field Neural Rendering(2022)

## few-shot

* Dense Depth Priors for NeRF(2022)
* Depth-supervised NeRF(2022)
* InfoNeRF(2022)
* RegNeRF： Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs(2022)

## large scale

* NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction(2022)
* Block-NeRF
* NICE-SLAM: Neural Implicit Scalable Encoding for SLAM

## 动态场景

* Dynamic neural radiance fields for monocular 4D facial avatar reconstruction（2021）：分离人物和背景，然后会给每一帧做人脸分割，并转为一个76维度的表情向量。最终能实现新视角合成和表情变换。
* Neural scene flow fields for space-time view synthesis of dynamic scenes（2021）：设计了5个loss，然后通过视频分离了运动物体和非运动物体，并且可以渲染运动物体的新视角。
* Nerfies: Deformable neural radiance fields（2021）
* HyperNeRF: a higherdimensional representation for topologically varying neural radiance fields（2021）：物体超空间认为是类似于一叠纸巾一样，这样避免原有平面之间再运动后产生交叉。
* Animatable neural radiance fields for modeling dynamic human bodies（2021）: 人体作为 canonical space。
* DensePose: Dense Human Pose Estimation In TheWild(2022)
* BANMo: Building Animatable 3D Neural Models from Many Casual Videos (2022)
* HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video(2022)
* Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans(2021):人体作为 latent space, 用一个 SparseConvNet 把输入的 latent code 映射到 latent code volume，然后再在这里面插值+MLP。
* DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering(2022)
* NeuralHOFusion: Neural Volumetric Rendering under Human-object Interactions(2022)
* Structured Local Radiance Fields for Human Avatar Modeling(2022)
* Surface-Aligned Neural Radiance Fields for Controllable 3D Human Synthesis(2022)
* Nonrigid neural radiance fields: Reconstruction and novel view synthesis of a dynamic scene from monocular video（2021）：只有两个额外loss，同样也是用NN表示空间的deformation.
* Space-time neural irradiance fields for free-viewpoint video（2021）：添加了深度的监督信息， 和 Neural scene flow 一样用了很多loss来约束训练。
* Editable free-viewpoint video using a layered neural representation（2021）：人体分割+跟踪，时间t一起输入到MLP，**做了编辑**。
* D-nerf: Neural radiance fields for dynamic scenes（2021）：拿一个MLP 映射dx, dy, dz。和 Nerfiles 基本一样。
* Neural 3D Video Synthesis from Multi-view Video（2022）

## faster training

* Plenoxels：Radiance Fields without Neural Networks
* Point-NeRF: Point-based Neural Radiance Fields(2022)
* DVGO
* EfficientNeRF: Efficient Neural Radiance Fields(2022)

##  faster rendering

* FastNeRF: High-fidelity neural rendering at 200fps（2021）：有点意思，把xyz和视角分别放入两个MLP，xyz映射到多个RGB，视角MLP决定这些RGB混合的权重。使用一个 cache 暴力缓存 512^3 种 xyz 可能性。
*  Baking neural radiance fields for real-time view synthesis（2021）：训练的时候xyz到特征及密度映射用NN，测试把这个转成 sparse voxels。
*  KiloNeRF: Speeding up neural radiance fields with thousands of tiny MLPs（2021）：场景拆成体素个小NeRF。
* Plenoctrees for real-time rendering of neural radiance fields：八叉树加速 NeRF 查询。
* Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time(2022)

## MVS

* MVSNeRF: Fast generalizable radiance field reconstruction from multi-view stereo(2021): 较早的MVS任务，需要 finetune，不然效果很差。
* IBRNet: Learning multi-view image-based rendering(2021):用 Ray Transformer 来得到 ray marching 时的点权重。
* pixelNeRF: Neural radiance fields from one or few images(2021): NeRF MVS 较早的作品了。
* Neural Volumes(2019): MVS 任务，Image Encoder + Volume Decoder+ ray marching.
* GeoNeRF: Generalizing NeRF with Geometry Priors(2022)

## Relightning

* 这几篇可以参见之前的 `NeRF Relightning 相关`。
* NeRD: Neural reflectance decomposition from image collections(2021)
* NeRV: Neural reflectance and visibility fields for relighting and view synthesis(2021)
* NeRFactor: Neural factorization of shape and reflectance under an unknown illumination(2021)

## Generate

* GRAF: Generative radiance fields for 3d-aware image synthesis
* pi-gan: Periodic implicit generative adversarial networks for 3d-aware image synthesis.
*  GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation (2022)
*  EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks(2022)

## Edit

*  Deforming Radiance Fields with Cages(2022)
*  NeRF-Editing: Geometry Editing of Neural Radiance Fields(2022)
*  Editing conditional radiance fields(2021): 就是那个红色凳子的小椅子那篇。
*  Learning object-compositional neural radiance field for editable scene rendering(2021): demo 有点好看。完成了复杂物体的分离，但是没有修复物体挪开后的部分。Voxel+MLP的结构，渲染时分为场景和物体，引入了 Object Activation Code Library（使用 2D instance masks训练）。
*  FENeRF: Face Editing in Neural Radiance Fields(2022): 面部编辑
*  HeadNeRF: A Real-time NeRF-based Parametric Head Model（2022）：头部编辑
*  RigNeRF: Fully Controllable Neural 3D Portraits（2022）：头部编辑
*  CoNeRF: Controllable Neural Radiance Fields（2022）：特定姿态编辑
*  StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning（2022）：风格化

wuvin

导航

最近发表

友情链接