2022-11-25 13:34:40
74
0
0
Neural Transmitted Radiance Fields
Polynomial Neural Fields for Subband Decomposition and Manipulation
- 在隐式表征中引入了多项式,提升了可解释性,性能提升不明显


Implicit Neural Representations with Levels-of-Experts
- 对空间依赖的MLP的分级细化,没做三维的

Generalised Implicit Neural Representations
- 本文大胆地超越了欧几里得坐标系的范畴,提出将连续的高维信号观察为离散图,并对每个节点进行光谱嵌入,以建立神经场的输入。

HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details
- 对形状的高低频分离,用的SDF,或许在去噪三维生成上会一定启发


HSDF: Hybrid Sign and Distance Field for Modeling Surfaces with Arbitrary Topologies
- SDF 只能建模封闭表面,本文采用混合符号函数处理复杂几何

INRAS
- INRAS使用神经场在任意位置存储高保真时域脉冲响应。这允许对一个场景的空间声学进行有效的建模。

2022-11-23 16:11:33
58
0
0
R2L


- 把 NeRF 转成 LightFeild 加速渲染。
AdaNeRF
- 降低采样数量来加速渲染。

Intrinsic Neural Fields
- NeualTexture 的竞争对手,提出了一种新的Basis。


NeDDF
- 优化具有不确定边界的物体(烟雾、毛球、玻璃等)的距离场

BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering
- 咋这么眼熟呢,这不是 city NeRF 的图?
- 查了一下是 CityNeRF 改名重投了。


HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields
- 多个 LDR 图像合成 HDR 图像

MINER: Multiscale Implicit Neural Representation
ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization
- 尝试单RGBD图像复原三维。但需要先预定义好一些三维形状。


2022-11-19 11:10:38
60
0
0
- 这里是所有 cite 了 clip-nerf 的工作
HairCLIP: Design Your Hair by Text and Reference Image

- 可惜是一个基于StyleGAN 的二维工作。而且相比 StyleCLIP 的创新性不是很多。

Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations
- 应该是投稿 CVPR2023 的文章。
- 似乎9月初,仲凡提过这么一个idea。但物体删除后桌面如此光滑,不得不表示怀疑。


EpiGRAF: Rethinking training of 3D GANs
- 使用了一个 tri-plane backbone 的NeRF 作为生成器(这和Pi-GAN 有啥区别)


- emmm,可复现性存疑
CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes
- ECCV2022 的文章


- 可惜是 match 的mesh动作+ CLIP-NeRF based 人体外观染色。
TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition
- 还是染色的工作,只是做了下渲染分解


- 但感觉高光学的不对
2022-10-31 17:07:19
62
0
0
图像生成
- 本质上是给出一个数据集X,然后用一个生成模型去估计这个分布 p(X)。估计方法有 Autoregressive models, Normalizing flows, Energy-based models, GANs, Diffusion models.
- 2022年之前,主流也是质量最高的方法是用 GAN。GAN包含一个生成器,即一个 N(0,I)→p(X) 的模型,和一个判别器 X→a。生成器从噪音中通过一遍神经网络推理得到所生成的图像。判别器输入一张真实/生成的图像,然后判别是否为真实图像。训练时,生成器和判别器是轮流迭代的对抗学习过程。期望情况下,最终生成器能够完美的从噪音生成正确的原始图像的分布,而判别器则刚好无法判别真伪。最常用的开源代码是Nvidia 公布的 StyleGANv2,github拥有超过1万个stars。

- 但是GAN拥有一个天生的缺点——基于对抗迭代的训练方法并不稳定。近两年来,Diffusion models 快速崛起,Diffusion models也是从噪音中生成一张图像,但方法不同。简单而言(因为其实有其他更复杂的分支方法),就是训练一个去噪的神经网络,通过对图像反复去噪,最终达到生成图像的效果。训练时,只需要正向给图像添加噪声,然后就获得了用于训练去噪网络的图像数据对。目前最火爆的开源代码是 latent-diffusion,拥有4.8K stars。

*
StyleGANv1
- 最早版本的 StyleGAN 研究如何实现可控风格化,引入了 mapping network 把一个高斯分布映射到控制信息 w的分布,然后再在生成过程中逐层加入控制信息w来实现可控生成。

2022-10-13 16:44:02
58
0
0
Introduction

- 此处跳过对 DALLE 的VAE模型的回顾。
- 此处跳过对 CLIP 的回顾。
All you need is diffusion

- 去噪模型是受热力学启发而来的,如下我们开始讲述去噪过程
2022-09-13 18:25:39
88
0
0
显式
- Depth Synthesis and Local Warps for Plausible Image-based Navigation(13 年的文章):先根据多视角图生成相机视角和点云,然后把场景投影到点云并建立super pixel,查询的时候找出最近的四个视角,然后使用加权的局部保持形状变换得到结果。
- Scalable Inside-Out Image-Based Rendering(16年):RGB-D数据建立基于面片的场景重建。
- Photo tourism: exploring photo collections in 3D(06年):应该是最早的了,每张图片映射到一个空间上的平面,然后新视角根据看得到的部分合成。
- Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach(1996):从多张图片中重建基础几何结构,然后再在第二部进一步改进第一步得到的几何结构细节。
- AtlasNet: A Papier-Mach Approach to Learning 3D Surface Generation(2018): 从point cloud/RGB-image 到表面点云, 从表面点云到mesh
- Surface light fields for 3d photography(2000): 引入了表面Mesh上某个顶点在不同视角下颜色不同的概念(使用一个正多面球体刻画)。
离散体积
- A theory of shape by space carving(2000):从一系列环面视角完成场景重构以及 NovelView 合成的传统算法,考虑了可见性。
- Soft 3d reconstruction for view synthesis(2017):输入图片->带Voxeld 深度图->分析前后遮挡关系->计算了遮挡关系的深度图体积分布->合成。非NN算法。
- Photorealistic scene reconstruction by voxel coloring(1
2022-08-24 11:00:39
50
0
0
NeRF for Outdoor Scene Relighting(ECCV2022)

- 首个尝试解决室外复杂光照条件 relightning 的文章。
- 还顺带造了个数据集,通过色卡校准 Albedo 场景。

- 比别的方法高 1PSNR。
NeRV(CVPR2021)


已知光源,简单场景,添加初步光追逻辑。
NeRFactor

未知光源,简单场景,预测光源可见性。
NeRD (ICCV2021)

2022-07-17 20:59:53
99
0
0
NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields
- NeRF + 物理,根据观察到的流体现象,推测对应的粒子系统运动,并且预测之后的运动。


2022-07-11 15:23:01
414
0
0
Point-NeRF: Point-based Neural Radiance Fields (CVPR 2022 Oral)
- 竟然拿了 Oral,那么之前提的凭借版改进优先级又高了一些。
NeRF in the Dark: High Dynamic Range View Synthesis from
2022-05-19 10:34:39
40
0
0
The relativistic discriminator: a key element missing from standard GAN
- 不再判断一个样本的绝对真假性,而是判断相对真假性。
- 经过一系列论证和推到,操作非常简单,也就是过sigmoid转概率前相减。

- 文章后面的实验也证实了这个简单的修改效果确实好
- 但是在github issue 中有人发现这样修改后,容易出现 model collaspe.