2023-01-29 10:24:57
5
0
0
短期
- 短期主要方式为向Mesh兼容。主要体现形式为求解NeRF表征对应的最接近的Mesh表征,Mesh表征为基于三角网格与PBS材质的表征形式。Mesh转换分为两部分,第一部分为形状转换,第二部分为材质转换。
- 形状转换部分目前有基于 Marching Cube的直接转换和先拟合SDF再Marching Cube转换的方式。直接marching cube 转换的方式由于 NeRF 本身表面部分收敛结果较为不平整,所以通常结果可用用`灾难'形容。先拟合SDF再转Mesh的方式得到表面相对平滑可接受,目前主要代表为 NeuS 和 Instant-NSR。但使用marching cube 算法得到的Mesh 在应用中最常见的问题是表面太多了,相当于一个正常平面被强行切成很多网格小面,而且表面分布非常混乱。
- 材质转换部分目前研究工作较多,例如开源框架Pytorch3D 就非常简易的实现该功能。nvidia 的 NVDiffrast 也提供了相当便捷的Pytorch/Tensorflow 库和良好的硬件支持。
- 特别的 NVDiffrec 把这两者都完成了。值得一提的是 Tiny CUDANN 提供了非常广泛的隐式表征加速。
长期
- 长期方向应该是直接使用 NeRF 渲染。但主要问题是无法编辑、硬件支持性低、渲染开销高。
- 在快速渲染方面,mobile-nerf 已经实现了小模型手机端60fps的渲染,更多的硬件支持还比较缺乏。
- 在编辑方面只能说勉强实现了编辑,编辑便捷性和软件支持远不如Mesh,但编辑结果离真实结果还有差距。比如两个物体放在一起,很难把物体和物体之间的光效果体现出来(镜面反射、漫反射)。
2023-01-07 21:27:00
9
0
0
Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models
- 2D数据训练3D生成的方法。
- 先生成了形状,再进行染色。染色效果弱于现有工作,但是模型精细度更高。
- 有种作者不知道SDSLoss的感觉。

Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models
- 通过不停的 RGBD 补全来生成大场景。


- 补全部分是个diffusion。
3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models
- Latent Diffusion + SDF weight AE.


2022-12-30 10:56:43
16
0
0
- 多车协同

Latency-aware collaborative perception
- 联合感知

V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving
V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving
Object detection based on roadside LiDAR for cooperative driving automation: a review
Where2comm: Communication-efficient collaborative perception via spatial confidence maps
- 车路协同,强调通信效率

V2XP-ASG: Generating Adversarial Scenes for Vehicle-to-Everything Perception
- V2X

Object Detection Based on Roadside LiDAR for Cooperative Driving A
2022-12-19 23:20:41
10
0
0
/bin/sh: 1: :/usr/local/cuda/bin/nvcc: not found
ninja: build stopped: subcommand failed.
- 经过检查,安装了 nvcc,且添加了 PATH 和 LD_LIBRARY_PATH 对cuda的引用。
- 并且检查了 /usr/local/cuda/bin/nvcc 文件是64位的且不是一个链接。
- 且检查了 CUDA_HOME 变量已配置,最后下面一句话后,发现就可以编译了
export CUDA_HOME=/usr/local/cuda
- 仔细检查发现原来 CUDA_HOME 配置错误为
:/usr/local/cuda
(是的就是多了个:
),配置错误原因为 /etc/.profile
里写的是 export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
。
- CUDA_HOME 变量不支持
:
分隔符,只能是一个固定的路径地址。
2022-12-07 14:48:15
20
0
0
NOVEL VIEW SYNTHESIS WITH DIFFUSION MODELS
2022-12-06 15:48:26
69
0
0
SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene
- 和我之前做 SinRGAN 的思路类似,但setting不一样。
- 给定一组图片(100张),训练生成模型生成多种符合条件的场景。

- 结构很简单,StyleGAN + tri-plane + patch discriminator。

DiffRF: Rendering-Guided 3D Radiance Field Diffusion
- 纯 voxel 的 diffusion,且缺少量化指标。而且point-voxel diffusion 那篇已经把这个作为baseline干过了。

LADIS: Language Disentanglement for 3D Shape Editing
- 基于文字控制的三维编辑,但是效果不咋地,只在椅子上做了实验,我怀疑它中不了CVPR

Peekaboo: Text to Image Diffusion Models are Zero-Shot Segmentors
2022-12-04 22:23:03
31
0
0
SKETCHKNITTER: VECTORIZED SKETCH GENERATION WITH DIFFUSION MODELS
- 画简笔画


Diffusion-GAN: Training GANs with Diffusion
- 结合GAN和 Diffusion 的优劣。分为三块: diffusion 过程、结合了diffusion 时间的discriminator、generator。
- diffusion过程种,discriminator判断是真的图片加噪音,还是generator 去噪后的结果。


DIFFUSION PROBABILISTIC FIELDS
- 很有意义的工作,虽然图像质量不咋地。ICLR评分 8,8,6,6.
- 直接在域上进行diffusion, 相当于是把原来离散的diffusion变成连续的了,而且通用性更强。


View Synthesis with Sculpted Neural Points
- 又是一个点云+NeRF 的工作,可惜作者似乎没看过Point-NeRF,没有直接的对比。
- 方法上是先用MVS或者别的方法生成一个粗糙的深度估计,从而得到一个noisy的点云。然后经过一轮删除Outlier(例如不同视角该点距离的一致性),和一轮贪心加点(即填补当前视角的空白,同时不影响别的视角的可视化结果),得到纠正后的点云。
- 最后给基于这个固定的点云结构进行可微渲染染色。

- 最终重建质量和NeRF五五开,也就是低于 Point-NeRF。
SWITCH-NERF: LEARNING SCENE DECOMPOSITION WITH MIXTURE OF EXPERTS FOR LARGE-SCALE NEURAL RADIANCE FIELDS
- 大场景 NeRF,本文提出了一种新的NeRF组合方式(比如block-NeRF就是按照地理位置
2022-12-04 16:37:37
33
0
0
摘要
- 本文提供了一种方法允许向他人证明,对于样本的预测结果是由当前CNN推理得到,并且不会泄露关于CNN的模型参数数据。方案也可以被推广,用于证明秘密CNN模型在公共数据集上的准确性。
- zkCNN的基础是一个新的sumcheck协议,用于线性时间证明快速傅里叶变换和卷积,这甚至比直接计算结果要快。我们还介绍了关于CNN预测的交互式证明的几个改进和推广,包括验证卷积层、ReLU的激活函数和最大池化。
- zkCNN可以支持具有15M参数和16层的VGG16的大型CNN。只需要88.3秒就能生成证明,比现有方案快1264倍。证明的大小为341KB,验证者的时间仅为59.3毫秒。方案可以进一步扩展,以证明相同的CNN在20张图像上的准确性。
神经网络
- 本文仅针对含有 Conv, Act, ReLU, Pooling 的线性神经网络,针对 VGG16。
交互式证明
- 交互式证明就是有一个证明者(Prover) 和一个验证者(Validator),通过证明者和验证者多轮交流,让验证者相信,证明者以接近于1的概率是真的。
多项式承诺
- 为了使得证明者不能再交互过程中,根据交互内容而修改自己操作,所以对于需要用到的一些多项式先做一些承诺(Commitment)。
- 最直观的方案就是把多项式的多个点的取值通过默克尔树Hash起来,这样就不可以再次更改这个多项式了。但是这个极为简单的方案不隐藏多项式的任何部分,证明起来也费时费力。
- Kate多项式承诺又称KZG承诺,利用椭圆曲线可以构造非常短的证明,而且验证起来也非常快,并且可以在多项式的任意一个点验证多项式的值。
- 下图是另一种利用全0多项式的方案,参考自这里

Sumcheck 协议
- 用于让验证者相信,证明者正确的计算了
。
- 流程如下

Multilinear Extension
- Multilinear Extension 是把任意离散映射转化为多项式的方式。
- 我们可以构造一个等于函数 β(x,y)
2022-11-29 19:35:11
27
0
0
- 选了部分ICLR个人感兴趣的文章,主要包含 NeRF 方向,生成方向,及个别高质量的文章。
Natural Language Descriptions of Deep Visual Features(Oral)
- 可解释性方向的工作
- 对于每个神经元还是找到图像中相应最大的部分,但是得到相应区域后,进一步使用图像文本描述模型进行了对于神经元的文字可解释性描述。
Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization
- 利用Domain Generalization / Adaptation的反概念, 通过限制神经网络的跨域泛化性能来保护模型的知识版权
- Finetune 会使得 OOD 数据表现更差。作者提出应该先只学习最后一层FC,然后再 Finetune 以在 ID 和 OOD 上取得更好的效果。
StyleAlign: Analysis and Applications of Aligned StyleGAN Models
- 如果模型A是模型B在另一个Domain上finetune的结果,本文发现他们表征上很大程度是对齐的。比如人脸数据集finetune另一个人脸数据集,会发现表情基本是对齐的。具体实验是把finetune后的模型的一部分子网络还原回finetune前初始值(例如mapping network in styleGANv2)。一些换发色操作在对齐的模型上效果接近一致。
Frame Averaging for Invariant and Equivariant Network Desig
2022-11-26 14:46:55
117
0
0
Ecoclimates: Climate-Response Modeling of Vegetation
DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation
- 虽然与NeRF 无关,但是与三维生成相关。

- 把几何与结构分开学习生成。

A Fast Unsmoothed Aggregation Algebraic Multigrid Framework for the Large-Scale Simulation of Incompressible Flow
- 不可压缩的流体仿真

A Practical Model for Realistic Butterfly Flight Simulation
- 蝴蝶
(黄油)模拟

Dev2PQ: Planar Quadrilateral Strip Remeshing of Developable Surfaces
- 传统Mesh 用的三角形或者四边形,本文尝试使用平行四边形。
- 可微的布料模拟。这样给定一个起始状态和一个终止状态,就可以通过迭代优化实现寻路,从而实现例如穿袜子这种操作。以及对于一段视频,可以通过拟合视频,从而计算出布料本身的系数(如摩擦系数等)

DiffusionNet: Discretization Agnostic Learning on Surfaces
- 一种新的基于 Mesh的学习方法,之前的方法接近于Graph NN。本文