Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models

• 2D数据训练3D生成的方法。
• 先生成了形状，再进行染色。染色效果弱于现有工作，但是模型精细度更高。
• 有种作者不知道SDSLoss的感觉。
• 

Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

• 人像生成，看起来质量不错。3D数据训练3D生成的方法。
• 
• 生成部分采用了 Triplane 的方案。但结尾有个 Conv refinement,可能会带来3D不一致性。
• 
• 训练用了100K 3D avatars，3D模型由程序化生成。
• 
• 虽然质量不错，但是依旧回到为啥不直接用程序化生成，用AI我们到底获得了什么。

Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models

• 通过不停的 RGBD 补全来生成大场景。
• 
• 
• 补全部分是个diffusion。

SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

• SDF 生成。
• 
• 整体来说follow的是latent space diffusion.
• 
• 

DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions

• 本质上是向量Diffusion。最终形状生成比PVD强。
• 把点云编码后在隐空间做diffusion，然后用SDF拟合点云还原表面。
• 
• 
• 
• 

3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models

• Latent Diffusion + SDF weight AE.
• 
• 

Diff

数据集介绍

• 拥有车端和路端的相机坐标和朝向
• 
• 
• 标准有如下类别
• 

相关论文

• 以下是所有引用了本数据集的论文

Federated vehicular transformers and their federations: Privacy-preserving computing and cooperation for autonomous driving

• 多车协同
• 

Latency-aware collaborative perception

• 联合感知
• 

V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving

• 数据集

V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving

• 数据集

Object detection based on roadside LiDAR for cooperative driving automation: a review

• 综述，全文无NeRF相关内容。

Where2comm: Communication-efficient collaborative perception via spatial confidence maps

• 车路协同，强调通信效率
• 

V2XP-ASG: Generating Adversarial Scenes for Vehicle-to-Everything Perception

• V2X
• 

Performance and Challenges of 3D Object Detection Methods in Complex Scenes for Autonomous Driving

• 综述，全文无NeRF相关内容。

Object Detection Based on Roadside LiDAR for Cooperative Driving A

报错如下：

/bin/sh: 1: :/usr/local/cuda/bin/nvcc: not found
ninja: build stopped: subcommand failed.

• 经过检查，安装了 nvcc，且添加了 PATH 和 LD_LIBRARY_PATH 对cuda的引用。
• 并且检查了 /usr/local/cuda/bin/nvcc 文件是64位的且不是一个链接。
• 且检查了 CUDA_HOME 变量已配置，最后下面一句话后，发现就可以编译了

export CUDA_HOME=/usr/local/cuda

• 仔细检查发现原来 CUDA_HOME 配置错误为 :/usr/local/cuda （是的就是多了个:），配置错误原因为 /etc/.profile 里写的是 export CUDA_HOME=$CUDA_HOME:/usr/local/cuda。
• CUDA_HOME 变量不支持 : 分隔符，只能是一个固定的路径地址。

NOVEL VIEW SYNTHESIS WITH DIFFUSION MODELS

• 数据集与训练+单图像三维复原
• 
• 
• 

SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene

• 和我之前做 SinRGAN 的思路类似，但setting不一样。
• 给定一组图片（100张），训练生成模型生成多种符合条件的场景。
• 
• 结构很简单，StyleGAN + tri-plane + patch discriminator。
• 

RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation

• 去噪方式为把有噪音的图像先映射到三维空间，再渲染出来去噪。
• 
• 其中第一步为把 $M\times M\times 3$ 的2D图像通过一个Unet到 $N\times N\times 3\times n_f$ 的 triplane，然后调用 triplane 的可微渲染。
• 
• 效果看起来持平 PixelNeRF，低于ED3D（基于Triplane的pi-gan）
• 数值化指标只有重建
• 
• 2D-3D直接用Unet也太粗糙了一点吧，或许可以试试把学好的表征的triplane用来diffuse

DiffRF: Rendering-Guided 3D Radiance Field Diffusion

• 纯 voxel 的 diffusion，且缺少量化指标。而且point-voxel diffusion 那篇已经把这个作为baseline干过了。
• 

LADIS: Language Disentanglement for 3D Shape Editing

• 基于文字控制的三维编辑，但是效果不咋地，只在椅子上做了实验，我怀疑它中不了CVPR
• 

Peekaboo: Text to Image Diffusion Models are Zero-Shot Segmentors

• 用

Prompt-to-Prompt Image Editing with Cross-Attention Control

• 完全文字驱动的图像编辑
• 
• 利用 attention 来对编辑区域加权
• 
• 看起来比别的编辑方法效果好一些
• 

SKETCHKNITTER: VECTORIZED SKETCH GENERATION WITH DIFFUSION MODELS

• 画简笔画
• 
• 

Diffusion-GAN: Training GANs with Diffusion

• 结合GAN和 Diffusion 的优劣。分为三块: diffusion 过程、结合了diffusion 时间的discriminator、generator。
• diffusion过程种，discriminator判断是真的图片加噪音，还是generator 去噪后的结果。
• 
• 

DIFFUSION PROBABILISTIC FIELDS

• 很有意义的工作，虽然图像质量不咋地。ICLR评分 8,8,6,6.
• 直接在域上进行diffusion, 相当于是把原来离散的diffusion变成连续的了，而且通用性更强。
• 
• 

View Synthesis with Sculpted Neural Points

• 又是一个点云+NeRF 的工作，可惜作者似乎没看过Point-NeRF，没有直接的对比。
• 方法上是先用MVS或者别的方法生成一个粗糙的深度估计，从而得到一个noisy的点云。然后经过一轮删除Outlier（例如不同视角该点距离的一致性），和一轮贪心加点（即填补当前视角的空白，同时不影响别的视角的可视化结果），得到纠正后的点云。
• 最后给基于这个固定的点云结构进行可微渲染染色。
• 
• 最终重建质量和NeRF五五开，也就是低于 Point-NeRF。

SWITCH-NERF: LEARNING SCENE DECOMPOSITION WITH MIXTURE OF EXPERTS FOR LARGE-SCALE NEURAL RADIANCE FIELDS

• 大场景 NeRF，本文提出了一种新的NeRF组合方式（比如block-NeRF就是按照地理位置

• 选了部分ICLR个人感兴趣的文章，主要包含 NeRF 方向，生成方向，及个别高质量的文章。

Natural Language Descriptions of Deep Visual Features（Oral）

• 可解释性方向的工作
• 对于每个神经元还是找到图像中相应最大的部分，但是得到相应区域后，进一步使用图像文本描述模型进行了对于神经元的文字可解释性描述。

Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

• 利用Domain Generalization / Adaptation的反概念， 通过限制神经网络的跨域泛化性能来保护模型的知识版权

MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

• 可控性更强的音乐生成。

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution

• Finetune 会使得 OOD 数据表现更差。作者提出应该先只学习最后一层FC，然后再 Finetune 以在 ID 和 OOD 上取得更好的效果。

StyleAlign: Analysis and Applications of Aligned StyleGAN Models

• 如果模型A是模型B在另一个Domain上finetune的结果，本文发现他们表征上很大程度是对齐的。比如人脸数据集finetune另一个人脸数据集，会发现表情基本是对齐的。具体实验是把finetune后的模型的一部分子网络还原回finetune前初始值（例如mapping network in styleGANv2）。一些换发色操作在对齐的模型上效果接近一致。

Frame Averaging for Invariant and Equivariant Network Desig

• 其实是 Siggraph2022 所有文章，但与 NeRF 和三维生成无关的，只会说一下这篇是干啥的。
• 如果看到一大段连续文字，那大概率就是DeepL 翻译的Abstract(里面会有很多的我 )。
• 文章列表来源于 https://kesen.realtimerendering.com/sig2022.html

Ecoclimates: Climate-Response Modeling of Vegetation

• 模拟气候对植被的影响与生态循环。

DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation

• 虽然与NeRF 无关，但是与三维生成相关。
• 
• 把几何与结构分开学习生成。
• 

A Fast Unsmoothed Aggregation Algebraic Multigrid Framework for the Large-Scale Simulation of Incompressible Flow

• 不可压缩的流体仿真
• 

A Practical Model for Realistic Butterfly Flight Simulation

• 蝴蝶（黄油）模拟
• 

Dev2PQ: Planar Quadrilateral Strip Remeshing of Developable Surfaces

• 传统Mesh 用的三角形或者四边形，本文尝试使用平行四边形。

DiffCloth: Differentiable Cloth Simulation with Dry Frictional Contact

• 可微的布料模拟。这样给定一个起始状态和一个终止状态，就可以通过迭代优化实现寻路，从而实现例如穿袜子这种操作。以及对于一段视频，可以通过拟合视频，从而计算出布料本身的系数（如摩擦系数等）
• 

DiffusionNet: Discretization Agnostic Learning on Surfaces

• 一种新的基于 Mesh的学习方法，之前的方法接近于Graph NN。本文

翻译自 https://markboss.me/post/nerf_at_neurips22/

• 这边开始偷懒，只会点开部分我感兴趣的文章。不感兴趣的就只是翻译一下。

Neural Transmitted Radiance Fields

• 针对性优化了折射和反射
• 
• 
• 
• 

Polynomial Neural Fields for Subband Decomposition and Manipulation

• 在隐式表征中引入了多项式，提升了可解释性，性能提升不明显
• 
• 

Implicit Neural Representations with Levels-of-Experts

• 对空间依赖的MLP的分级细化，没做三维的
• 

Generalised Implicit Neural Representations

• 本文大胆地超越了欧几里得坐标系的范畴，提出将连续的高维信号观察为离散图，并对每个节点进行光谱嵌入，以建立神经场的输入。
• 

HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

• 对形状的高低频分离，用的SDF，或许在去噪三维生成上会一定启发
• 
• 

Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction

• 
• Geo-Neus引入了明确的多视图几何约束，以生成几何上一致的表面重建。这些损失包括来自稀疏运动结构（SFM）点云的有符号距离函数（SDF）和光度测量一致性的损失。
• 
• 

HSDF: Hybrid Sign and Distance Field for Modeling Surfaces with Arbitrary Topologies

• SDF 只能建模封闭表面，本文采用混合符号函数处理复杂几何
• 

INRAS

• INRAS使用神经场在任意位置存储高保真时域脉冲响应。这允许对一个场景的空间声学进行有效的建模。
• 

NAF

• NAF遵循与INR

• 参考了 https://markboss.me/post/nerf_at_eccv22/

Streamable Neural Fields

• 
• 
• 
• 
• 有意思的工作，可以用于 NeRF 的模糊图预览。

Conditional-Flow NeRF

• 
• 
• 
• 估计每一部分重建的 Uncertanty.

R2L

• 
• 
• 把 NeRF 转成 LightFeild 加速渲染。

AdaNeRF

• 降低采样数量来加速渲染。
• 

Intrinsic Neural Fields

• NeualTexture 的竞争对手，提出了一种新的Basis。
• 
• 

Beyond Periodicity

• 测试了不同的NeRF 的激活函数
• 
• 
• 
• 

NeDDF

• 优化具有不确定边界的物体（烟雾、毛球、玻璃等）的距离场
• 

BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

• 咋这么眼熟呢，这不是 city NeRF 的图？
• 查了一下是 CityNeRF 改名重投了。
• 
• 

SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data

• 根据物体本身的对称性增加的正则化。但这篇文章一共就做了一个数据集？？？
• 
• 
• 

HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields

• 多个 LDR 图像合成 HDR 图像
• 

MINER: Multiscale Implicit Neural Representation

• 多个 Scale 的MLP
• 
• 
• 

ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization

• 尝试单RGBD图像复原三维。但需要先预定义好一些三维形状。
• 
• 

Keypoint