• 关于卷积神经网络的零知识证明
• 看起来很有意思

摘要

• 本文提供了一种方法允许向他人证明，对于样本的预测结果是由当前CNN推理得到，并且不会泄露关于CNN的模型参数数据。方案也可以被推广，用于证明秘密CNN模型在公共数据集上的准确性。
• zkCNN的基础是一个新的sumcheck协议，用于线性时间证明快速傅里叶变换和卷积，这甚至比直接计算结果要快。我们还介绍了关于CNN预测的交互式证明的几个改进和推广，包括验证卷积层、ReLU的激活函数和最大池化。
• zkCNN可以支持具有15M参数和16层的VGG16的大型CNN。只需要88.3秒就能生成证明，比现有方案快1264倍。证明的大小为341KB，验证者的时间仅为59.3毫秒。方案可以进一步扩展，以证明相同的CNN在20张图像上的准确性。

前置知识

神经网络

• 本文仅针对含有 Conv, Act, ReLU, Pooling 的线性神经网络，针对 VGG16。

交互式证明

• 交互式证明就是有一个证明者(Prover) 和一个验证者(Validator)，通过证明者和验证者多轮交流，让验证者相信，证明者以接近于1的概率是真的。

多项式承诺

• 为了使得证明者不能再交互过程中，根据交互内容而修改自己操作，所以对于需要用到的一些多项式先做一些承诺(Commitment)。
• 最直观的方案就是把多项式的多个点的取值通过默克尔树Hash起来，这样就不可以再次更改这个多项式了。但是这个极为简单的方案不隐藏多项式的任何部分，证明起来也费时费力。
• Kate多项式承诺又称KZG承诺，利用椭圆曲线可以构造非常短的证明，而且验证起来也非常快，并且可以在多项式的任意一个点验证多项式的值。
• 下图是另一种利用全0多项式的方案，参考自这里
• 

Sumcheck 协议

• 用于让验证者相信，证明者正确的计算了 。
• 流程如下
• 

Multilinear Extension

• Multilinear Extension 是把任意离散映射转化为多项式的方式。
• 我们可以构造一个等于函数 $\beta(x,$

• 选了部分ICLR个人感兴趣的文章，主要包含 NeRF 方向，生成方向，及个别高质量的文章。

Natural Language Descriptions of Deep Visual Features（Oral）

• 可解释性方向的工作
• 对于每个神经元还是找到图像中相应最大的部分，但是得到相应区域后，进一步使用图像文本描述模型进行了对于神经元的文字可解释性描述。

Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

• 利用Domain Generalization / Adaptation的反概念， 通过限制神经网络的跨域泛化性能来保护模型的知识版权

MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

• 可控性更强的音乐生成。

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution

• Finetune 会使得 OOD 数据表现更差。作者提出应该先只学习最后一层FC，然后再 Finetune 以在 ID 和 OOD 上取得更好的效果。

StyleAlign: Analysis and Applications of Aligned StyleGAN Models

• 如果模型A是模型B在另一个Domain上finetune的结果，本文发现他们表征上很大程度是对齐的。比如人脸数据集finetune另一个人脸数据集，会发现表情基本是对齐的。具体实验是把finetune后的模型的一部分子网络还原回finetune前初始值（例如mapping network in styleGANv2）。一些换发色操作在对齐的模型上效果接近一致。

Frame Averaging for Invariant and Equivariant Network Desig

• 其实是 Siggraph2022 所有文章，但与 NeRF 和三维生成无关的，只会说一下这篇是干啥的。
• 如果看到一大段连续文字，那大概率就是DeepL 翻译的Abstract(里面会有很多的我 )。
• 文章列表来源于 https://kesen.realtimerendering.com/sig2022.html

Ecoclimates: Climate-Response Modeling of Vegetation

• 模拟气候对植被的影响与生态循环。

DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation

• 虽然与NeRF 无关，但是与三维生成相关。
• 
• 把几何与结构分开学习生成。
• 

A Fast Unsmoothed Aggregation Algebraic Multigrid Framework for the Large-Scale Simulation of Incompressible Flow

• 不可压缩的流体仿真
• 

A Practical Model for Realistic Butterfly Flight Simulation

• 蝴蝶（黄油）模拟
• 

Dev2PQ: Planar Quadrilateral Strip Remeshing of Developable Surfaces

• 传统Mesh 用的三角形或者四边形，本文尝试使用平行四边形。

DiffCloth: Differentiable Cloth Simulation with Dry Frictional Contact

• 可微的布料模拟。这样给定一个起始状态和一个终止状态，就可以通过迭代优化实现寻路，从而实现例如穿袜子这种操作。以及对于一段视频，可以通过拟合视频，从而计算出布料本身的系数（如摩擦系数等）
• 

DiffusionNet: Discretization Agnostic Learning on Surfaces

• 一种新的基于 Mesh的学习方法，之前的方法接近于Graph NN。本文

翻译自 https://markboss.me/post/nerf_at_neurips22/

• 这边开始偷懒，只会点开部分我感兴趣的文章。不感兴趣的就只是翻译一下。

Neural Transmitted Radiance Fields

• 针对性优化了折射和反射
• 
• 
• 
• 

Polynomial Neural Fields for Subband Decomposition and Manipulation

• 在隐式表征中引入了多项式，提升了可解释性，性能提升不明显
• 
• 

Implicit Neural Representations with Levels-of-Experts

• 对空间依赖的MLP的分级细化，没做三维的
• 

Generalised Implicit Neural Representations

• 本文大胆地超越了欧几里得坐标系的范畴，提出将连续的高维信号观察为离散图，并对每个节点进行光谱嵌入，以建立神经场的输入。
• 

HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

• 对形状的高低频分离，用的SDF，或许在去噪三维生成上会一定启发
• 
• 

Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction

• 
• Geo-Neus引入了明确的多视图几何约束，以生成几何上一致的表面重建。这些损失包括来自稀疏运动结构（SFM）点云的有符号距离函数（SDF）和光度测量一致性的损失。
• 
• 

HSDF: Hybrid Sign and Distance Field for Modeling Surfaces with Arbitrary Topologies

• SDF 只能建模封闭表面，本文采用混合符号函数处理复杂几何
• 

INRAS

• INRAS使用神经场在任意位置存储高保真时域脉冲响应。这允许对一个场景的空间声学进行有效的建模。
• 

NAF

• NAF遵循与INR

• 参考了 https://markboss.me/post/nerf_at_eccv22/

Streamable Neural Fields

• 
• 
• 
• 
• 有意思的工作，可以用于 NeRF 的模糊图预览。

Conditional-Flow NeRF

• 
• 
• 
• 估计每一部分重建的 Uncertanty.

R2L

• 
• 
• 把 NeRF 转成 LightFeild 加速渲染。

AdaNeRF

• 降低采样数量来加速渲染。
• 

Intrinsic Neural Fields

• NeualTexture 的竞争对手，提出了一种新的Basis。
• 
• 

Beyond Periodicity

• 测试了不同的NeRF 的激活函数
• 
• 
• 
• 

NeDDF

• 优化具有不确定边界的物体（烟雾、毛球、玻璃等）的距离场
• 

BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

• 咋这么眼熟呢，这不是 city NeRF 的图？
• 查了一下是 CityNeRF 改名重投了。
• 
• 

SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data

• 根据物体本身的对称性增加的正则化。但这篇文章一共就做了一个数据集？？？
• 
• 
• 

HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields

• 多个 LDR 图像合成 HDR 图像
• 

MINER: Multiscale Implicit Neural Representation

• 多个 Scale 的MLP
• 
• 
• 

ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization

• 尝试单RGBD图像复原三维。但需要先预定义好一些三维形状。
• 
• 

Keypoint

• 这里是所有 cite 了 clip-nerf 的工作

HairCLIP: Design Your Hair by Text and Reference Image

• 可惜是一个基于StyleGAN 的二维工作。而且相比 StyleCLIP 的创新性不是很多。
• 

Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations

• 应该是投稿 CVPR2023 的文章。
• 似乎9月初，仲凡提过这么一个idea。但物体删除后桌面如此光滑，不得不表示怀疑。
• 
• 

EpiGRAF: Rethinking training of 3D GANs

• 使用了一个 tri-plane backbone 的NeRF 作为生成器（这和Pi-GAN 有啥区别）
• 
• 
• emmm，可复现性存疑

CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes

• ECCV2022 的文章
• 
• 
• 可惜是 match 的mesh动作+ CLIP-NeRF based 人体外观染色。

AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars

• 南阳理工 SIGGRAPH 2022 的工作
• 
• 
• 
• 
• 用 CLIP 给 SDF 染色，用 CLIP 匹配最合适的姿态，用 Motion VAE 对运动插值。
• 感觉不够优雅啊

TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition

• 还是染色的工作，只是做了下渲染分解
• 
• 
• 但感觉高光学的不对

Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying

图像生成

• 本质上是给出一个数据集X，然后用一个生成模型去估计这个分布 $p(X)$。估计方法有 Autoregressive models, Normalizing flows, Energy-based models, GANs, Diffusion models.
• 2022年之前，主流也是质量最高的方法是用 GAN。GAN包含一个生成器，即一个 $N(0,I) \rightarrow p(X)$ 的模型，和一个判别器 $X \rightarrow a$。生成器从噪音中通过一遍神经网络推理得到所生成的图像。判别器输入一张真实/生成的图像，然后判别是否为真实图像。训练时，生成器和判别器是轮流迭代的对抗学习过程。期望情况下，最终生成器能够完美的从噪音生成正确的原始图像的分布，而判别器则刚好无法判别真伪。最常用的开源代码是Nvidia 公布的 StyleGANv2，github拥有超过1万个stars。
• 
• 但是GAN拥有一个天生的缺点——基于对抗迭代的训练方法并不稳定。近两年来，Diffusion models 快速崛起，Diffusion models也是从噪音中生成一张图像，但方法不同。简单而言（因为其实有其他更复杂的分支方法），就是训练一个去噪的神经网络，通过对图像反复去噪，最终达到生成图像的效果。训练时，只需要正向给图像添加噪声，然后就获得了用于训练去噪网络的图像数据对。目前最火爆的开源代码是 latent-diffusion，拥有4.8K stars。
• 
*

StyleGANv2

StyleGANv1

• 最早版本的 StyleGAN 研究如何实现可控风格化，引入了 mapping network 把一个高斯分布映射到控制信息 w的分布，然后再在生成过程中逐层加入控制信息w来实现可控生成。
• 

StyleGANv2

• 第二版的 StyleGAN 针对性的修

• 摘选翻译自 The recent rise of diffusion-based models.

Introduction

• 
• 此处跳过对 DALLE 的VAE模型的回顾。
• 此处跳过对 CLIP 的回顾。

All you need is diffusion

• 
• 去噪模型是受热力学启发而来的，如下我们开始讲述去噪过程

Forward image diffusion

• 首先对于去噪的每一步有个噪音规划 $\{\beta_{t}\}^{T}_{t=1}$, 那么前向扩散过程就是
  $$q\left(\mathbf{x}_{t} \mid \mathbf{x}_{t-1}\right)=\mathcal{N}\left(\sqrt{1-\beta_{t}} \mathbf{x}_{t-1}, \beta_{t} \mathbf{I}\right).$$
• 随着噪音添加次数的增加，最终的 $q(\mathbf{x}_{T})$ 分布接近于高斯分布，这使得无论什么图像最终大家都会变成一个 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$的分布。
• 并且可以直接推导出添加 $t$ 次噪音后的结果，而不需要逐步递推
  

基于传统方法的新视角合成

显式

• Depth Synthesis and Local Warps for Plausible Image-based Navigation（13 年的文章）：先根据多视角图生成相机视角和点云，然后把场景投影到点云并建立super pixel，查询的时候找出最近的四个视角，然后使用加权的局部保持形状变换得到结果。
• Scalable Inside-Out Image-Based Rendering（16年）：RGB-D数据建立基于面片的场景重建。
• Photo tourism: exploring photo collections in 3D（06年）：应该是最早的了，每张图片映射到一个空间上的平面，然后新视角根据看得到的部分合成。
• Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach(1996):从多张图片中重建基础几何结构，然后再在第二部进一步改进第一步得到的几何结构细节。
• AtlasNet: A Papier-Mach Approach to Learning 3D Surface Generation(2018): 从point cloud/RGB-image 到表面点云, 从表面点云到mesh
• Surface light fields for 3d photography(2000): 引入了表面Mesh上某个顶点在不同视角下颜色不同的概念（使用一个正多面球体刻画）。

离散体积

• A theory of shape by space carving（2000）：从一系列环面视角完成场景重构以及 NovelView 合成的传统算法，考虑了可见性。
• Soft 3d reconstruction for view synthesis（2017）：输入图片->带Voxeld 深度图->分析前后遮挡关系->计算了遮挡关系的深度图体积分布->合成。非NN算法。
• Photorealistic scene reconstruction by voxel coloring（1

NeRF for Outdoor Scene Relighting(ECCV2022)

• 首个尝试解决室外复杂光照条件 relightning 的文章。
• 还顺带造了个数据集，通过色卡校准 Albedo 场景。
• 
• 比别的方法高 1PSNR。

NeRV(CVPR2021)

• 

• 

• 已知光源，简单场景，添加初步光追逻辑。

NeRFactor

• 

• 未知光源，简单场景，预测光源可见性。

NeRD (ICCV2021)

• 简单场景，复杂光照条件，两阶段训练。