短期

• 短期主要方式为向Mesh兼容。主要体现形式为求解NeRF表征对应的最接近的Mesh表征，Mesh表征为基于三角网格与PBS材质的表征形式。Mesh转换分为两部分，第一部分为形状转换，第二部分为材质转换。
• 形状转换部分目前有基于 Marching Cube的直接转换和先拟合SDF再Marching Cube转换的方式。直接marching cube 转换的方式由于 NeRF 本身表面部分收敛结果较为不平整，所以通常结果可用用`灾难'形容。先拟合SDF再转Mesh的方式得到表面相对平滑可接受，目前主要代表为 NeuS 和 Instant-NSR。但使用marching cube 算法得到的Mesh 在应用中最常见的问题是表面太多了，相当于一个正常平面被强行切成很多网格小面，而且表面分布非常混乱。
• 材质转换部分目前研究工作较多，例如开源框架Pytorch3D 就非常简易的实现该功能。nvidia 的 NVDiffrast 也提供了相当便捷的Pytorch/Tensorflow 库和良好的硬件支持。
• 特别的 NVDiffrec 把这两者都完成了。值得一提的是 Tiny CUDANN 提供了非常广泛的隐式表征加速。

长期

• 长期方向应该是直接使用 NeRF 渲染。但主要问题是无法编辑、硬件支持性低、渲染开销高。
• 在快速渲染方面，mobile-nerf 已经实现了小模型手机端60fps的渲染，更多的硬件支持还比较缺乏。
• 在编辑方面只能说勉强实现了编辑，编辑便捷性和软件支持远不如Mesh，但编辑结果离真实结果还有差距。比如两个物体放在一起，很难把物体和物体之间的光效果体现出来（镜面反射、漫反射）。

相关论文

NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

• 比较早的文章，现在来看最大问题是单场景训练时间接近一天。
• 训练方式也是基于 Volume Rendering。
• 
• 
• 
• 重新定义了密度为 。
• 
• 训练loss很简单
• 
• 最终效果如下
• 

Human Performance Modeling and

Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models

• 2D数据训练3D生成的方法。
• 先生成了形状，再进行染色。染色效果弱于现有工作，但是模型精细度更高。
• 有种作者不知道SDSLoss的感觉。
• 

Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

• 人像生成，看起来质量不错。3D数据训练3D生成的方法。
• 
• 生成部分采用了 Triplane 的方案。但结尾有个 Conv refinement,可能会带来3D不一致性。
• 
• 训练用了100K 3D avatars，3D模型由程序化生成。
• 
• 虽然质量不错，但是依旧回到为啥不直接用程序化生成，用AI我们到底获得了什么。

Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models

• 通过不停的 RGBD 补全来生成大场景。
• 
• 
• 补全部分是个diffusion。

SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

• SDF 生成。
• 
• 整体来说follow的是latent space diffusion.
• 
• 

DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions

• 本质上是向量Diffusion。最终形状生成比PVD强。
• 把点云编码后在隐空间做diffusion，然后用SDF拟合点云还原表面。
• 
• 
• 
• 

3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models

• Latent Diffusion + SDF weight AE.
• 
• 

Diff

数据集介绍

• 拥有车端和路端的相机坐标和朝向
• 
• 
• 标准有如下类别
• 

相关论文

• 以下是所有引用了本数据集的论文

Federated vehicular transformers and their federations: Privacy-preserving computing and cooperation for autonomous driving

• 多车协同
• 

Latency-aware collaborative perception

• 联合感知
• 

V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving

• 数据集

V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving

• 数据集

Object detection based on roadside LiDAR for cooperative driving automation: a review

• 综述，全文无NeRF相关内容。

Where2comm: Communication-efficient collaborative perception via spatial confidence maps

• 车路协同，强调通信效率
• 

V2XP-ASG: Generating Adversarial Scenes for Vehicle-to-Everything Perception

• V2X
• 

Performance and Challenges of 3D Object Detection Methods in Complex Scenes for Autonomous Driving

• 综述，全文无NeRF相关内容。

Object Detection Based on Roadside LiDAR for Cooperative Driving A

报错如下：

/bin/sh: 1: :/usr/local/cuda/bin/nvcc: not found
ninja: build stopped: subcommand failed.

• 经过检查，安装了 nvcc，且添加了 PATH 和 LD_LIBRARY_PATH 对cuda的引用。
• 并且检查了 /usr/local/cuda/bin/nvcc 文件是64位的且不是一个链接。
• 且检查了 CUDA_HOME 变量已配置，最后下面一句话后，发现就可以编译了

export CUDA_HOME=/usr/local/cuda

• 仔细检查发现原来 CUDA_HOME 配置错误为 :/usr/local/cuda （是的就是多了个:），配置错误原因为 /etc/.profile 里写的是 export CUDA_HOME=$CUDA_HOME:/usr/local/cuda。
• CUDA_HOME 变量不支持 : 分隔符，只能是一个固定的路径地址。

NOVEL VIEW SYNTHESIS WITH DIFFUSION MODELS

• 数据集与训练+单图像三维复原
• 
• 
• 

SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene

• 和我之前做 SinRGAN 的思路类似，但setting不一样。
• 给定一组图片（100张），训练生成模型生成多种符合条件的场景。
• 
• 结构很简单，StyleGAN + tri-plane + patch discriminator。
• 

RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation

• 去噪方式为把有噪音的图像先映射到三维空间，再渲染出来去噪。
• 
• 其中第一步为把 $M\times M\times 3$ 的2D图像通过一个Unet到 $N\times N\times 3\times n_f$ 的 triplane，然后调用 triplane 的可微渲染。
• 
• 效果看起来持平 PixelNeRF，低于ED3D（基于Triplane的pi-gan）
• 数值化指标只有重建
• 
• 2D-3D直接用Unet也太粗糙了一点吧，或许可以试试把学好的表征的triplane用来diffuse

DiffRF: Rendering-Guided 3D Radiance Field Diffusion

• 纯 voxel 的 diffusion，且缺少量化指标。而且point-voxel diffusion 那篇已经把这个作为baseline干过了。
• 

LADIS: Language Disentanglement for 3D Shape Editing

• 基于文字控制的三维编辑，但是效果不咋地，只在椅子上做了实验，我怀疑它中不了CVPR
• 

Peekaboo: Text to Image Diffusion Models are Zero-Shot Segmentors

• 用

Prompt-to-Prompt Image Editing with Cross-Attention Control

• 完全文字驱动的图像编辑
• 
• 利用 attention 来对编辑区域加权
• 
• 看起来比别的编辑方法效果好一些
• 

SKETCHKNITTER: VECTORIZED SKETCH GENERATION WITH DIFFUSION MODELS

• 画简笔画
• 
• 

Diffusion-GAN: Training GANs with Diffusion

• 结合GAN和 Diffusion 的优劣。分为三块: diffusion 过程、结合了diffusion 时间的discriminator、generator。
• diffusion过程种，discriminator判断是真的图片加噪音，还是generator 去噪后的结果。
• 
• 

DIFFUSION PROBABILISTIC FIELDS

• 很有意义的工作，虽然图像质量不咋地。ICLR评分 8,8,6,6.
• 直接在域上进行diffusion, 相当于是把原来离散的diffusion变成连续的了，而且通用性更强。
• 
• 

View Synthesis with Sculpted Neural Points

• 又是一个点云+NeRF 的工作，可惜作者似乎没看过Point-NeRF，没有直接的对比。
• 方法上是先用MVS或者别的方法生成一个粗糙的深度估计，从而得到一个noisy的点云。然后经过一轮删除Outlier（例如不同视角该点距离的一致性），和一轮贪心加点（即填补当前视角的空白，同时不影响别的视角的可视化结果），得到纠正后的点云。
• 最后给基于这个固定的点云结构进行可微渲染染色。
• 
• 最终重建质量和NeRF五五开，也就是低于 Point-NeRF。

SWITCH-NERF: LEARNING SCENE DECOMPOSITION WITH MIXTURE OF EXPERTS FOR LARGE-SCALE NEURAL RADIANCE FIELDS

• 大场景 NeRF，本文提出了一种新的NeRF组合方式（比如block-NeRF就是按照地理位置

• 关于卷积神经网络的零知识证明
• 看起来很有意思

摘要

• 本文提供了一种方法允许向他人证明，对于样本的预测结果是由当前CNN推理得到，并且不会泄露关于CNN的模型参数数据。方案也可以被推广，用于证明秘密CNN模型在公共数据集上的准确性。
• zkCNN的基础是一个新的sumcheck协议，用于线性时间证明快速傅里叶变换和卷积，这甚至比直接计算结果要快。我们还介绍了关于CNN预测的交互式证明的几个改进和推广，包括验证卷积层、ReLU的激活函数和最大池化。
• zkCNN可以支持具有15M参数和16层的VGG16的大型CNN。只需要88.3秒就能生成证明，比现有方案快1264倍。证明的大小为341KB，验证者的时间仅为59.3毫秒。方案可以进一步扩展，以证明相同的CNN在20张图像上的准确性。

前置知识

神经网络

• 本文仅针对含有 Conv, Act, ReLU, Pooling 的线性神经网络，针对 VGG16。

交互式证明

• 交互式证明就是有一个证明者(Prover) 和一个验证者(Validator)，通过证明者和验证者多轮交流，让验证者相信，证明者以接近于1的概率是真的。

多项式承诺

• 为了使得证明者不能再交互过程中，根据交互内容而修改自己操作，所以对于需要用到的一些多项式先做一些承诺(Commitment)。
• 最直观的方案就是把多项式的多个点的取值通过默克尔树Hash起来，这样就不可以再次更改这个多项式了。但是这个极为简单的方案不隐藏多项式的任何部分，证明起来也费时费力。
• Kate多项式承诺又称KZG承诺，利用椭圆曲线可以构造非常短的证明，而且验证起来也非常快，并且可以在多项式的任意一个点验证多项式的值。
• 下图是另一种利用全0多项式的方案，参考自这里
• 

Sumcheck 协议

• 用于让验证者相信，证明者正确的计算了 。
• 流程如下
• 

Multilinear Extension

• Multilinear Extension 是把任意离散映射转化为多项式的方式。
• 我们可以构造一个等于函数 $\beta(x,$

• 选了部分ICLR个人感兴趣的文章，主要包含 NeRF 方向，生成方向，及个别高质量的文章。

Natural Language Descriptions of Deep Visual Features（Oral）

• 可解释性方向的工作
• 对于每个神经元还是找到图像中相应最大的部分，但是得到相应区域后，进一步使用图像文本描述模型进行了对于神经元的文字可解释性描述。

Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

• 利用Domain Generalization / Adaptation的反概念， 通过限制神经网络的跨域泛化性能来保护模型的知识版权

MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

• 可控性更强的音乐生成。

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution

• Finetune 会使得 OOD 数据表现更差。作者提出应该先只学习最后一层FC，然后再 Finetune 以在 ID 和 OOD 上取得更好的效果。

StyleAlign: Analysis and Applications of Aligned StyleGAN Models

• 如果模型A是模型B在另一个Domain上finetune的结果，本文发现他们表征上很大程度是对齐的。比如人脸数据集finetune另一个人脸数据集，会发现表情基本是对齐的。具体实验是把finetune后的模型的一部分子网络还原回finetune前初始值（例如mapping network in styleGANv2）。一些换发色操作在对齐的模型上效果接近一致。

Frame Averaging for Invariant and Equivariant Network Desig

• 其实是 Siggraph2022 所有文章，但与 NeRF 和三维生成无关的，只会说一下这篇是干啥的。
• 如果看到一大段连续文字，那大概率就是DeepL 翻译的Abstract(里面会有很多的我 )。
• 文章列表来源于 https://kesen.realtimerendering.com/sig2022.html

Ecoclimates: Climate-Response Modeling of Vegetation

• 模拟气候对植被的影响与生态循环。

DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation

• 虽然与NeRF 无关，但是与三维生成相关。
• 
• 把几何与结构分开学习生成。
• 

A Fast Unsmoothed Aggregation Algebraic Multigrid Framework for the Large-Scale Simulation of Incompressible Flow

• 不可压缩的流体仿真
• 

A Practical Model for Realistic Butterfly Flight Simulation

• 蝴蝶（黄油）模拟
• 

Dev2PQ: Planar Quadrilateral Strip Remeshing of Developable Surfaces

• 传统Mesh 用的三角形或者四边形，本文尝试使用平行四边形。

DiffCloth: Differentiable Cloth Simulation with Dry Frictional Contact

• 可微的布料模拟。这样给定一个起始状态和一个终止状态，就可以通过迭代优化实现寻路，从而实现例如穿袜子这种操作。以及对于一段视频，可以通过拟合视频，从而计算出布料本身的系数（如摩擦系数等）
• 

DiffusionNet: Discretization Agnostic Learning on Surfaces

• 一种新的基于 Mesh的学习方法，之前的方法接近于Graph NN。本文