20220505 PaperReading

* 找了一些与如何训练GAN相关的文章

## Spectral Normalization for Generative Adversarial Networks

* 这是对网络参数的归一化操作。同样用于限制 Discriminator的 Lipschitz 系数来提升训练稳定性。
* 卷积操作可以视为乘以一个矩阵，所以只要让每层网络的网络参数除以该层参数矩阵的谱范数($W^TW$的最大特征值的平方根)即可满足Lipschitz<=1的约束。
* 就像限制参数模长一样，每次训练迭代的时候除一下就行。
* ![title](https://leanote.com/api/file/getImage?fileId=626f94f4ab64412e3e06462f)
* ![title](https://leanote.com/api/file/getImage?fileId=626f9493ab64412e450530ca)
* ![title](https://leanote.com/api/file/getImage?fileId=626f94a3ab64412e3e06462e)
* 实验证明了在 CIFAR10 上不同训练 configuration 下效果都不错。
* ![title](https://leanote.com/api/file/getImage?fileId=626f9518ab64412e450530cb)

## Projected GANs Converge Faster

* NIPS2021 得分 7775，竟然只拿到了一个 poster。
* Novelty 一般般，效果看起来不错。
* ![title](https://leanote.com/api/file/getImage?fileId=626f9196ab64412e3e06462d)
* 本文探究如何使用 ImageNet 预训练模型加速 GAN的训练。通常而言直接使用 ImageNet 预训练模型初始化 Discriminator 会导致 Generator 无法训练。
* 本文使用了 Feature pyramids  和映射到更高维的 Random Projection 来解决如上问题。
* 提取特征然后通过一个随机且固定的1x1 projection layer (CCM)。加一点卷积和上采样来增强全局information(CSM)。
* ![title](https://leanote.com/api/file/getImage?fileId=626f96e7ab64412e3e064636)![title](https://leanote.com/api/file/getImage?fileId=626f9733ab64412e450530cf)
* 实验结果
* ![title](https://leanote.com/api/file/getImage?fileId=626f980fab64412e450530d1)
* 第i列的baseline是使用第 i 个scale的feature单独传给 discriminator。从结果来看，其实直接取预训练网络的前半部分的特征效果就不错（第二行），因为 Lipschitz 系数不大且有预训练。
* ![title](https://leanote.com/api/file/getImage?fileId=626f9b14ab64412e450530d6)

## Which Training Methods for GANs do actually Converge?

* 一篇理论性的文章，结果没有多么惊艳。但今后写某些文章的时候可能可以用于作为理论依据。
* ![title](https://leanote.com/api/file/getImage?fileId=626f95c8ab64412e3e064634)

## Optimizing the Latent Space of Generative Networks

* 一篇2017的老文章，提出 Generative Latent Optimization。
* 只使用 generator，而不需要 discriminator 的非对抗式生成训练。
* 简而言之就是给每张图片随机初始化一个latent space z，然后联合优化 generator 和 z。训练损失式 l2 loss + Lap1 loss ![title](https://leanote.com/api/file/getImage?fileId=62710e71ab64412e4505348b)
* ![title](https://leanote.com/api/file/getImage?fileId=62710ebeab64412e3e064982)
* ![title](https://leanote.com/api/file/getImage?fileId=62710dbcab64412e3e06497f)
* 除了图像，本作还做了音频生成等方面的实验。
* NeRF 也引用了这一篇，因为 NeRF 本质上也是 Generative Latent Optimization。

## On Data Augmentation for GAN Training

* 2020 年如何做GAN的数据增强的文章。
* 从理论和实验上证明了使用 invertible Transformation 结合多个 discriminator， 能够保证学习到的数据分布不偏移。
* ![title](https://leanote.com/api/file/getImage?fileId=6274934cab64412e45053dd3)
* ![title](https://leanote.com/api/file/getImage?fileId=62749362ab64412e45053ddb)
* ![title](https://leanote.com/api/file/getImage?fileId=627493c5ab64412e45053ddd)

## GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds

* 补一篇以前看过一眼的文章。以前觉得这是一个 pixel-pixel，再看一眼发现是真的 3D-伪3D。
* [GIF](https://github.com/NVlabs/imaginaire/blob/c6f74845c699c58975fd12b778c375b72eb00e8d/projects/gancraft/README.md)
* 通过中间一步可微渲染实现了大体结构上的3D旋转保真，细节由2Dconv GAN来补充，并且不需要 paired data。
* ![title](https://leanote.com/api/file/getImage?fileId=62729b79ab64412e45053806)
* 这个采用2D GAN初步生成结果指导3D特征计算的注意确实不错。
* ![title](https://leanote.com/api/file/getImage?fileId=62729c29ab64412e3e064d43)

## 启发

* 有空可以试一下 Spectral Normalization 替代 BN。

wuvin

导航

最近发表

友情链接