翻译自 https://markboss.me/post/nerf_at_neurips22/

• 这边开始偷懒，只会点开部分我感兴趣的文章。不感兴趣的就只是翻译一下。

Neural Transmitted Radiance Fields

• 针对性优化了折射和反射
• 
• 
• 
• 

Polynomial Neural Fields for Subband Decomposition and Manipulation

• 在隐式表征中引入了多项式，提升了可解释性，性能提升不明显
• 
• 

Implicit Neural Representations with Levels-of-Experts

• 对空间依赖的MLP的分级细化，没做三维的
• 

Generalised Implicit Neural Representations

• 本文大胆地超越了欧几里得坐标系的范畴，提出将连续的高维信号观察为离散图，并对每个节点进行光谱嵌入，以建立神经场的输入。
• 

HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

• 对形状的高低频分离，用的SDF，或许在去噪三维生成上会一定启发
• 
• 

Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction

• 
• Geo-Neus引入了明确的多视图几何约束，以生成几何上一致的表面重建。这些损失包括来自稀疏运动结构（SFM）点云的有符号距离函数（SDF）和光度测量一致性的损失。
• 
• 

HSDF: Hybrid Sign and Distance Field for Modeling Surfaces with Arbitrary Topologies

• SDF 只能建模封闭表面，本文采用混合符号函数处理复杂几何
• 

INRAS

• INRAS使用神经场在任意位置存储高保真时域脉冲响应。这允许对一个场景的空间声学进行有效的建模。
• 

NAF

• NAF遵循与INR

• 参考了 https://markboss.me/post/nerf_at_eccv22/

Streamable Neural Fields

• 
• 
• 
• 
• 有意思的工作，可以用于 NeRF 的模糊图预览。

Conditional-Flow NeRF

• 
• 
• 
• 估计每一部分重建的 Uncertanty.

R2L

• 
• 
• 把 NeRF 转成 LightFeild 加速渲染。

AdaNeRF

• 降低采样数量来加速渲染。
• 

Intrinsic Neural Fields

• NeualTexture 的竞争对手，提出了一种新的Basis。
• 
• 

Beyond Periodicity

• 测试了不同的NeRF 的激活函数
• 
• 
• 
• 

NeDDF

• 优化具有不确定边界的物体（烟雾、毛球、玻璃等）的距离场
• 

BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

• 咋这么眼熟呢，这不是 city NeRF 的图？
• 查了一下是 CityNeRF 改名重投了。
• 
• 

SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data

• 根据物体本身的对称性增加的正则化。但这篇文章一共就做了一个数据集？？？
• 
• 
• 

HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields

• 多个 LDR 图像合成 HDR 图像
• 

MINER: Multiscale Implicit Neural Representation

• 多个 Scale 的MLP
• 
• 
• 

ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization

• 尝试单RGBD图像复原三维。但需要先预定义好一些三维形状。
• 
• 

Keypoint

• 这里是所有 cite 了 clip-nerf 的工作

HairCLIP: Design Your Hair by Text and Reference Image

• 可惜是一个基于StyleGAN 的二维工作。而且相比 StyleCLIP 的创新性不是很多。
• 

Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations

• 应该是投稿 CVPR2023 的文章。
• 似乎9月初，仲凡提过这么一个idea。但物体删除后桌面如此光滑，不得不表示怀疑。
• 
• 

EpiGRAF: Rethinking training of 3D GANs

• 使用了一个 tri-plane backbone 的NeRF 作为生成器（这和Pi-GAN 有啥区别）
• 
• 
• emmm，可复现性存疑

CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes

• ECCV2022 的文章
• 
• 
• 可惜是 match 的mesh动作+ CLIP-NeRF based 人体外观染色。

AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars

• 南阳理工 SIGGRAPH 2022 的工作
• 
• 
• 
• 
• 用 CLIP 给 SDF 染色，用 CLIP 匹配最合适的姿态，用 Motion VAE 对运动插值。
• 感觉不够优雅啊

TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition

• 还是染色的工作，只是做了下渲染分解
• 
• 
• 但感觉高光学的不对

Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying

图像生成

• 本质上是给出一个数据集X，然后用一个生成模型去估计这个分布 $p(X)$。估计方法有 Autoregressive models, Normalizing flows, Energy-based models, GANs, Diffusion models.
• 2022年之前，主流也是质量最高的方法是用 GAN。GAN包含一个生成器，即一个 $N(0,I) \rightarrow p(X)$ 的模型，和一个判别器 $X \rightarrow a$。生成器从噪音中通过一遍神经网络推理得到所生成的图像。判别器输入一张真实/生成的图像，然后判别是否为真实图像。训练时，生成器和判别器是轮流迭代的对抗学习过程。期望情况下，最终生成器能够完美的从噪音生成正确的原始图像的分布，而判别器则刚好无法判别真伪。最常用的开源代码是Nvidia 公布的 StyleGANv2，github拥有超过1万个stars。
• 
• 但是GAN拥有一个天生的缺点——基于对抗迭代的训练方法并不稳定。近两年来，Diffusion models 快速崛起，Diffusion models也是从噪音中生成一张图像，但方法不同。简单而言（因为其实有其他更复杂的分支方法），就是训练一个去噪的神经网络，通过对图像反复去噪，最终达到生成图像的效果。训练时，只需要正向给图像添加噪声，然后就获得了用于训练去噪网络的图像数据对。目前最火爆的开源代码是 latent-diffusion，拥有4.8K stars。
• 
*

StyleGANv2

StyleGANv1

• 最早版本的 StyleGAN 研究如何实现可控风格化，引入了 mapping network 把一个高斯分布映射到控制信息 w的分布，然后再在生成过程中逐层加入控制信息w来实现可控生成。
• 

StyleGANv2

• 第二版的 StyleGAN 针对性的修

• 摘选翻译自 The recent rise of diffusion-based models.

Introduction

• 
• 此处跳过对 DALLE 的VAE模型的回顾。
• 此处跳过对 CLIP 的回顾。

All you need is diffusion

• 
• 去噪模型是受热力学启发而来的，如下我们开始讲述去噪过程

Forward image diffusion

• 首先对于去噪的每一步有个噪音规划 $\{\beta_{t}\}^{T}_{t=1}$, 那么前向扩散过程就是
  $$q\left(\mathbf{x}_{t} \mid \mathbf{x}_{t-1}\right)=\mathcal{N}\left(\sqrt{1-\beta_{t}} \mathbf{x}_{t-1}, \beta_{t} \mathbf{I}\right).$$
• 随着噪音添加次数的增加，最终的 $q(\mathbf{x}_{T})$ 分布接近于高斯分布，这使得无论什么图像最终大家都会变成一个 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$的分布。
• 并且可以直接推导出添加 $t$ 次噪音后的结果，而不需要逐步递推
  

基于传统方法的新视角合成

显式

• Depth Synthesis and Local Warps for Plausible Image-based Navigation（13 年的文章）：先根据多视角图生成相机视角和点云，然后把场景投影到点云并建立super pixel，查询的时候找出最近的四个视角，然后使用加权的局部保持形状变换得到结果。
• Scalable Inside-Out Image-Based Rendering（16年）：RGB-D数据建立基于面片的场景重建。
• Photo tourism: exploring photo collections in 3D（06年）：应该是最早的了，每张图片映射到一个空间上的平面，然后新视角根据看得到的部分合成。
• Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach(1996):从多张图片中重建基础几何结构，然后再在第二部进一步改进第一步得到的几何结构细节。
• AtlasNet: A Papier-Mach Approach to Learning 3D Surface Generation(2018): 从point cloud/RGB-image 到表面点云, 从表面点云到mesh
• Surface light fields for 3d photography(2000): 引入了表面Mesh上某个顶点在不同视角下颜色不同的概念（使用一个正多面球体刻画）。

离散体积

• A theory of shape by space carving（2000）：从一系列环面视角完成场景重构以及 NovelView 合成的传统算法，考虑了可见性。
• Soft 3d reconstruction for view synthesis（2017）：输入图片->带Voxeld 深度图->分析前后遮挡关系->计算了遮挡关系的深度图体积分布->合成。非NN算法。
• Photorealistic scene reconstruction by voxel coloring（1

NeRF for Outdoor Scene Relighting(ECCV2022)

• 首个尝试解决室外复杂光照条件 relightning 的文章。
• 还顺带造了个数据集，通过色卡校准 Albedo 场景。
• 
• 比别的方法高 1PSNR。

NeRV(CVPR2021)

• 

• 

• 已知光源，简单场景，添加初步光追逻辑。

NeRFactor

• 

• 未知光源，简单场景，预测光源可见性。

NeRD (ICCV2021)

• 简单场景，复杂光照条件，两阶段训练。

NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields

• NeRF + 物理，根据观察到的流体现象，推测对应的粒子系统运动，并且预测之后的运动。
• 
• 

• 文章列表来源： https://github.com/amusi/CVPR2022-Papers-with-Code
• 以及：https://dellaert.github.io/NeRF22/

DensePose: Dense Human Pose Estimation In TheWild

• 使用如下一套预定义的带有 75+10 个可变参数的模型表示人体。
• 
• 然后造一个带标注数据集： DensePose-CoCo。
• 训练一个网络预测每一块所属的身体部位和对应的UV图中位置。
• 
• 再训练一个inPaint 网络把系数的预测值变得稠密
• 

BANMo: Building Animatable 3D Neural Models from Many Casual Videos (CVPR 2022 Oral)

• TLDR: 相对于 Nerfies，引入了 DensePose 创造了固定模型，以及使用了骨架系统约束运动变换。
• 从单目视频中重建自由移动的非刚性物体（例如猫）
• 
• （1）利用铰接骨架和混合皮肤的经典可变形形状模型；
• （2）适合基于梯度优化的神经辐射场NeRF；
• （3）在像素和铰接模型之间产生对应关系的embedding。
• 
• 需要根据目标，通过人工标注大致的身体位置，从而 Finetune 一个 DensePose模型。
• 
• 
• 
• Results:
• 
• 

Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields (CVPR 2022 Oral)

• 拓展 Mip-NeRF 到 Unbounded Scenes.
• 
• 
• 添加了Online Distillation, fine model 的预测 density 直接教 coarse model.
• 
• 

Point-NeRF: Point-based Neural Radiance Fields (CVPR 2022 Oral)

• 竟然拿了 Oral，那么之前提的凭借版改进优先级又高了一些。

NeRF in the Dark: High Dynamic Range View Synthesis from

The relativistic discriminator: a key element missing from standard GAN

• 不再判断一个样本的绝对真假性，而是判断相对真假性。
• 经过一系列论证和推到，操作非常简单，也就是过sigmoid转概率前相减。
• 
• 文章后面的实验也证实了这个简单的修改效果确实好
• 但是在github issue 中有人发现这样修改后，容易出现 model collaspe.