2022-07-17 20:59:53
150
0
0
NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields
- NeRF + 物理,根据观察到的流体现象,推测对应的粒子系统运动,并且预测之后的运动。
2022-07-11 15:23:01
605
0
0
Point-NeRF: Point-based Neural Radiance Fields (CVPR 2022 Oral)
- 竟然拿了 Oral,那么之前提的凭借版改进优先级又高了一些。
NeRF in the Dark: High Dynamic Range View Synthesis from
2022-05-19 10:34:39
50
0
0
The relativistic discriminator: a key element missing from standard GAN
- 不再判断一个样本的绝对真假性,而是判断相对真假性。
- 经过一系列论证和推到,操作非常简单,也就是过sigmoid转概率前相减。
- 文章后面的实验也证实了这个简单的修改效果确实好
- 但是在github issue 中有人发现这样修改后,容易出现 model collaspe.
2022-05-02 16:07:11
78
0
0
Which Training Methods for GANs do actually Converge?
- 一篇理论性的文章,结果没有多么惊艳。但今后写某些文章的时候可能可以用于作为理论依据。
Optimizing the Latent Space of Generat
2022-04-28 16:23:12
78
0
0
- 本次以点云和体素生成为主,目的是调研下到底多大的算力能支持多复杂的场景。
Learning Representations and Generative Models for 3D Point Clouds (2018)
- 重建部分为 AutoEncoder,生成部分结构为常见GAN或者在AE的hidden space 上做GAN or 高斯混合模型。输入输出维度为 2048*3。GAN的深度只有一两层MLP。使用的数据集大小大约为 1.4GB,57K 个样本,代码中GAN的训练使用了268K iteration。
- 重建质量
- 不同方法的结果(竖着的是不同的测评方法;B是直接GAN;CD是在AE的hidden space 做GAN,AE使用了不同的损失函数Earth Mover's Distance 和Chamfer Distance;E是WGAN;F是Gaussian Mixture Model):
Improved Adversarial Systems for 3D Object Generation and Reconstruction (2018)
- 算法结构:
- 整体算法上来说,基本照搬WGAN-GP,额外的地方有:Generator 和 Discriminator 不是1:1迭代训练,而是 Discriminator 是Generator的5倍。Discriminator去掉了BN。但并没有Ablation Study证明有效性。
- 一共训练了456K iteration.
2022-04-14 15:46:03
126
0
0
2022-03-18 18:06:46
99
0
0
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis (2018)
- 本文提出了一个先针对建筑建立3D地图,随后使用相机估计当前位姿的方案.
- 本文的创新点:
- 之前的方案无法在室内场景中提取足够的特征(如墙面)。本文采用 multi-scale dense CNN features (CNN提前预训练好,提取多层网络特征。) 用于图片描述和特征匹配。
- 本文通过将问询图像(query image)与一个通过3D模型合成的虚拟视角比较,来验证新视角是否解析正确。
- 具体流程: NetVLAD方法(一个使用 CNN 和聚类来进行图像检索的方法)查询图片和数据库图片,选取最高的100个,使用 multi-scale dense CNN features 来对这100进行重新排序,选出top 10 来通过合成视野进行验证。
Unifying deep local and global features for image search (2020)
- 提出了一个模型同时完成全局特征和局部特征的提取。
- 全局特征即把整张图用一个向量表示,局部特征则是提取纹理特征。
- 基于分类方法训练的模型得到的一般都是全局特征,而之前提取局部特征则是使用模型的某一层特征图通过处理得到。
- 全局head使用了 GemPooling(即每个数的p次方和再开p次根,p可学习,本文p固定为3) 而非 AdaptiveP
2022-03-17 15:24:19
74
0
0
CodeNeRF : Disentangled Neural Radiance Fields for Object Categories
- 与上一个类似,把shape和color分离,但是是在MLP层实现。同样 Zs和Zt是和网络在一起优化的。
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
2022-03-10 16:37:40
595
0
0
- 大尺寸城市NeRF,做到了不同尺度的nerf的统一。
- 可以考虑作为我们工作的数据集,但是还没有公开代码和数据集。
Main Idea
- 同样采用progressive 的训练方式,逐渐训练更大尺寸的NeRF。每个尺度的结果等于这个尺度加上之前的结果,算是一种相对新的大尺寸nerf思路。
- 近距离场景PSNR也差不多只有 21~22,说明我们 rural 场景重建也差不多这么多。可能与场景比较复杂,航拍精度有限有关。
- 以及这个结构估计训练和inference 都非常耗时,但是这个结构应该可以与地图加载相结合进行动态的模块加载。
2022-03-03 10:17:05
318
0
0
- 结合了点云和nerf,就像我们是约等于 Voxel+NeRF 一样,这个方案生成的是离散的特征点。而之前所有基于网格的训练方案得到的是规整的网格点。
- 但是就训练速度而言,比 NeRF 快,比基于网格的一系列方法慢。
- 作用上除了加速训练,作者还提出了 point pruning 和 growing 的迭代操作,即不停的在表面处空隙添加point,并删除认为在空的地方的point。这个后处理操作可以增加渲染得到的准确度,以及可以对于一个点云输入jing'x