ICLR2023 论文选读

### Prompt-to-Prompt Image Editing with Cross-Attention Control

* 完全文字驱动的图像编辑
* ![title](https://leanote.com/api/file/getImage?fileId=638d8f94ab64411709a88627)
* 利用 attention 来对编辑区域加权
* ![title](https://leanote.com/api/file/getImage?fileId=638d900dab64411710a6d870)
* 看起来比别的编辑方法效果好一些
* ![title](https://leanote.com/api/file/getImage?fileId=638d9034ab64411710a6d872)

### SKETCHKNITTER: VECTORIZED SKETCH GENERATION WITH DIFFUSION MODELS

* 画简笔画
* ![title](https://leanote.com/api/file/getImage?fileId=638d9accab64411710a6d8bf)
* ![title](https://leanote.com/api/file/getImage?fileId=638d9b11ab64411709a88686)

### Diffusion-GAN: Training GANs with Diffusion

* 结合GAN和 Diffusion 的优劣。分为三块: diffusion 过程、结合了diffusion 时间的discriminator、generator。
* diffusion过程种，discriminator判断是真的图片加噪音，还是generator 去噪后的结果。
* ![title](https://leanote.com/api/file/getImage?fileId=638e0213ab64411709a8898c)
* ![title](https://leanote.com/api/file/getImage?fileId=638e0643ab64411709a889b8)

### DIFFUSION PROBABILISTIC FIELDS

* 很有意义的工作，虽然图像质量不咋地。ICLR评分 8,8,6,6.
* 直接在域上进行diffusion, 相当于是把原来离散的diffusion变成连续的了，而且通用性更强。
* ![title](https://leanote.com/api/file/getImage?fileId=6391591dab64411710a6f573)
* ![title](https://leanote.com/api/file/getImage?fileId=639159e4ab64411710a6f57b)
* ![title](https://leanote.com/api/file/getImage?fileId=639159d1ab64411709a8a392)

### View Synthesis with Sculpted Neural Points

* 又是一个点云+NeRF 的工作，可惜作者似乎没看过Point-NeRF，没有直接的对比。
* 方法上是先用MVS或者别的方法生成一个粗糙的深度估计，从而得到一个noisy的点云。然后经过一轮删除Outlier（例如不同视角该点距离的一致性），和一轮贪心加点（即填补当前视角的空白，同时不影响别的视角的可视化结果），得到纠正后的点云。
* 最后给基于这个固定的点云结构进行可微渲染染色。
* ![title](https://leanote.com/api/file/getImage?fileId=638edee8ab64411710a6e2cf)
* 最终重建质量和NeRF五五开，也就是低于 Point-NeRF。

### SWITCH-NERF: LEARNING SCENE DECOMPOSITION WITH MIXTURE OF EXPERTS FOR LARGE-SCALE NEURAL RADIANCE FIELDS

* 大场景 NeRF，本文提出了一种新的NeRF组合方式（比如block-NeRF就是按照地理位置组合，也有按照深度组合的Mega-NeRF），本文提出一起学习一个expert来决定怎么样把大场景划分成多个NeRF。
* ![title](https://leanote.com/api/file/getImage?fileId=638ee2aeab64411710a6e2ee)
* ![title](https://leanote.com/api/file/getImage?fileId=638ee2d4ab64411709a8909d)

### HUMAN MOTION DIFFUSION MODEL

* 怎么样用diffusion生成人的动作序列
* ![title](https://leanote.com/api/file/getImage?fileId=638ee461ab64411710a6e306)
* 左侧是MDM模块，尝试直接去噪到$x_0$，然后再加噪音再放进去。condition部分和DALLE2是一样的。
* ![title](https://leanote.com/api/file/getImage?fileId=638ee5dcab64411710a6e310)
* Loss是直接和GT做差，而非预测所添加的噪音。
* ![title](https://leanote.com/api/file/getImage?fileId=638ee660ab64411709a890b8)

### Is Attention All That NeRF Needs?

* 还是 NeRF + Transformer 那一套
* ![title](https://leanote.com/api/file/getImage?fileId=638eeacaab64411710a6e33e)
* 但性能表现看起来不错，不过没有报告计算量
* ![title](https://leanote.com/api/file/getImage?fileId=638eeb52ab64411710a6e341)

### EVA3D: COMPOSITIONAL 3D HUMAN GENERATION FROM 2D IMAGE COLLECTIONS

* 还是 NeRF + 人体先验
* ![title](https://leanote.com/api/file/getImage?fileId=638eef38ab64411710a6e363)
* 为啥训练还用的GAN结构，要不考虑改改Diffusion?
* ![title](https://leanote.com/api/file/getImage?fileId=638eef89ab64411709a890f6)
* 这个Baseline 是不是选的有点弱
* ![title](https://leanote.com/api/file/getImage?fileId=638ef00bab64411710a6e369)
* ![title](https://leanote.com/api/file/getImage?fileId=638ef015ab64411709a890fd)

### Learning to Grow Pretrained Models for Efficient Transformer Training

* 怎么增量学习大模型，要么扩宽深度，要么扩宽宽度
* 类似的idea或许可以迁移到DGP、Latent-NeRF或者类似的生成任务上
* ![title](https://leanote.com/api/file/getImage?fileId=638ef25fab64411709a8910f)

### SinGRAV: Learning a Generative Radiance Volume from a Single Natural Scene

* 好家伙，真有人做 SinGAN + NeRF。Setting 和我毕设基本相似，但 Approach 不一样。
* 得分 `8,5,3,3`。仔细看了下 Reviewer的意见：`很好！；这GAN真的学到了啥吗？；没跟SinNeRF对比；这有啥用？；`
* ![title](https://leanote.com/api/file/getImage?fileId=638f12adab64411709a89206)
* 方法上走的是渲染成2D+SinGAN的路线。
* ![title](https://leanote.com/api/file/getImage?fileId=638f12b7ab64411710a6e497)
* 其中文章缺点也和我一直没准备发SinRGAN的原因一样——只有少数具有场景能Work、每个场景都要调一套超参不然会崩。
* 以及架构上的硬缺点使得无法做无限地图拓张和很多SinGAN能干的应用（我的基于三维卷积的方案倒是可以）。

### DEEP LEARNING ON IMPLICIT NEURAL REPRESENTATIONS OF SHAPES

* 怎么拿隐式表征作为数据。饼是画的很大了。
* ![title](https://leanote.com/api/file/getImage?fileId=638f16f7ab64411710a6e4b4)
* 直接对权重大力编码
* ![title](https://leanote.com/api/file/getImage?fileId=638f1748ab64411710a6e4b7)
* 编码训练方式
* ![title](https://leanote.com/api/file/getImage?fileId=638f1779ab64411710a6e4b9)
* 应用：形状插值与重建
* ![title](https://leanote.com/api/file/getImage?fileId=638f1794ab64411710a6e4bc)
* **竟然在一些down stream stask 上效果不太差**，形状检索与形状分类
* ![title](https://leanote.com/api/file/getImage?fileId=638f17c9ab64411709a8922f)
* **可以考虑下这东西怎么与一些大模型结合得到厉害的编码**

### LION: Latent Point Diffusion Models for 3D Shape Generation

* NVIDIA 的工作，点云的 latent-nerf。点云质量看起来确实不错。
* ![title](https://leanote.com/api/file/getImage?fileId=638f3357ab64411710a6e5b0)
* ![title](https://leanote.com/api/file/getImage?fileId=638f3371ab64411710a6e5b1)
* ![title](https://leanote.com/api/file/getImage?fileId=638f33aaab64411709a892fd)
* 比其他点云生成质量确实高了不少。
* ![title](https://leanote.com/api/file/getImage?fileId=638f33c8ab64411709a892ff)
* ![title](https://leanote.com/api/file/getImage?fileId=638f3404ab64411710a6e5b9)
* ![title](https://leanote.com/api/file/getImage?fileId=638f342aab64411709a89302)
* ![title](https://leanote.com/api/file/getImage?fileId=638f3432ab64411709a89303)

### PAC-NERF: PHYSICS AUGMENTED CONTINUUM NEURAL RADIANCE FIELDS FOR GEOMETRYAGNOSTIC SYSTEM IDENTIFICATION

* 物理粒子效果+NeRF
* 从一组多视角视频中确定物理系统的参数，而不需要对物体的几何形状或拓扑结构做任何假设。通过强制神经辐射场遵循连续力学的守恒定律，使其只产生物理上合理的状态。
* ![title](https://leanote.com/api/file/getImage?fileId=638f3478ab64411709a89305)
* ![title](https://leanote.com/api/file/getImage?fileId=638f348bab64411710a6e5bd)

### NERF-SOS: ANY-VIEW SELF-SUPERVISED OBJECT SEGMENTATION ON COMPLEX SCENES

* 看过了，对比学习+NeRF = 无监督物体分割
* ![title](https://leanote.com/api/file/getImage?fileId=638f40bdab64411710a6e625)
* ![title](https://leanote.com/api/file/getImage?fileId=638f40c6ab64411709a89368)

### S-NERF: NEURAL RADIANCE FIELDS FOR STREET VIEWS

* 怎么感觉就是之前蔚来那个项目需要的setting。。。
* ![title](https://leanote.com/api/file/getImage?fileId=638f4445ab64411710a6e641)
* ![title](https://leanote.com/api/file/getImage?fileId=638f4452ab64411709a89380)
* ![title](https://leanote.com/api/file/getImage?fileId=638f445aab64411710a6e643)
* 没啥新意，就是 DS-NeRF + Mip360 + PseudoLidar++
* 处理了一下运动车辆
* ![title](https://leanote.com/api/file/getImage?fileId=638f44a0ab64411709a89384)
* ![title](https://leanote.com/api/file/getImage?fileId=638f44c3ab64411710a6e645)

### UNDERSTANDING PURE CLIP GUIDANCE FOR VOXEL GRID NERF MODELS

* ![title](https://leanote.com/api/file/getImage?fileId=638f4590ab64411709a89389)
* ![title](https://leanote.com/api/file/getImage?fileId=638f4615ab64411709a89390)
* 除了常规的生成以外，主要研究了如何加数据增强来避免各种生成失败。
* ![title](https://leanote.com/api/file/getImage?fileId=638f46deab64411709a89397)
* DiffAug 是在图像进CLIP前做可微的color jitter、平移和裁剪。BackAug是添加随机背景、棋盘背景、纯噪音背景。 PerspAug是随机透视变换。KL是物体和一个位居中心的高斯分布做KL。
* ![title](https://leanote.com/api/file/getImage?fileId=638f46edab64411709a89398)
* ![title](https://leanote.com/api/file/getImage?fileId=638f46f5ab64411709a89399)

### SEGNERF: 3D PART SEGMENTATION WITH NEURAL RADIANCE FIELDS

* ![title](https://leanote.com/api/file/getImage?fileId=638f4884ab64411710a6e664)
* 已经开始卷准确度了嘛
* ![title](https://leanote.com/api/file/getImage?fileId=638f48b3ab64411709a893ab)

### Neural Radiance Field Codebooks

* 感觉做NeRF无监督分割的工作突然多了好几个。
* ![title](https://leanote.com/api/file/getImage?fileId=638f5a98ab64411710a6e6ef)
* 学的时候尝试把物体无监督分割。
* ![title](https://leanote.com/api/file/getImage?fileId=638f5af4ab64411709a8943f)
* 可以做无监督分割
* ![title](https://leanote.com/api/file/getImage?fileId=638f5b1eab64411709a89441)
* 下游任务看起来还可以
* ![title](https://leanote.com/api/file/getImage?fileId=638f5b48ab64411710a6e6f3)
* ![title](https://leanote.com/api/file/getImage?fileId=638f5b50ab64411709a89444)

wuvin

导航

最近发表

友情链接