StyleGAN

StyleGAN 使用了非常多的新结构和技巧，主要功夫是花在如何控制特征上

* [ProgessGAN](https://vdn1.vzuu.com/SD/d6caa89e-2375-11eb-bcbe-8e97af58ca4d.mp4?disable_local_cache=1&auth_key=1617076756-0-0-4f25bdfb890436611a7356af7fb7b684&f=mp4&bu=pico&expiration=1617076756&v=hw) 逐级由低分辨率生成到高分辨率
* ![title](https://leanote.com/api/file/getImage?fileId=6062946eab64414c9c00053d)
* StyleGAN 则是通过分别修改每一层级的输入，在不影响其他层级的情况下，来控制该层级所表示的视觉特征。

## 相比之前的GAN

* 移除了传统的随机输入，变为一个恒等输入
* 使用一个Mapping Network，把高斯分布的随机量映射到解耦的特征空间
* AdaIN
* 在每一层上逐渐加入一点噪声来实现多样性
* ![title](https://leanote.com/api/file/getImage?fileId=60629ca2ab64414c9c000566)
* ![title](https://leanote.com/api/file/getImage?fileId=60629cb4ab64414ea10005b8)
* 网络结构是上采样+Conv，相当于在做超分。

# StyleGAN 2

## 网络结构改变一

* 发现 StyleGAN 生成的图片有一些 Artifacts，文章发现来源是 AdaIN 的归一化操作导致信息丢失。
* 然后改进AdaIN结构，(b) 把 AdaIN 拆分成 Normalize 部分和重新 modulation 部分，这里依旧与 (a) 等价。(c) 去除B中对bias的调整。(d)那么 (c) 数学上等价于 直接调整卷积权重（这里和Conv+BN合成一个Conv的操作类似）。
* ![title](https://leanote.com/api/file/getImage?fileId=6062de49ab64414ea100068b)
* 那么权重根据(d)就会被调整为
* ![title](https://leanote.com/api/file/getImage?fileId=6062dec8ab64414c9c000631)
* 当然上述只是 Mod 的一步，还需要 DeMod 来保证输出不会梯度爆炸。
* ![title](https://leanote.com/api/file/getImage?fileId=6062df1fab64414ea100068d)

## 网络结构改变二

* 下一个点是发现网络生成的眼睛和牙齿之类的位置非常固定，并且比如门牙一直都会朝前。
* ![title](https://leanote.com/api/file/getImage?fileId=6062df60ab64414c9c000637)
* 然后提出了新的网络结构
* ![title](https://leanote.com/api/file/getImage?fileId=6062e0a5ab64414c9c000657)
* 通过实验发现，生成器用大尺度跨层连接，判别器用Skip Connection 效果最好。
* ![title](https://leanote.com/api/file/getImage?fileId=6062e0bfab64414ea1000695)
* 这里生成器的大尺度跨层链接非常合理，因为在多数超分任务当中，去拟合Target-Source的差效果远比直接拟合Target更好。

## 使得特征变化更平滑的loss

* 增加了一个loss，其中左侧为生成图片对于对应特征的导数，而右侧$\alpha$则是左侧的moving average。
* ![title](https://leanote.com/api/file/getImage?fileId=6062e20bab64414ea10006ab)

## 最终效果

* 新的D,G结构作用很大，以及巨大的网络肯定也能提升 FID。
* ![title](https://leanote.com/api/file/getImage?fileId=6062e26eab64414ea10006ad)
* 顺带一提，StyleGAN2 相比 StyleGAN 巨大无比（整个项目用的GPU单位都是GPU years）
* ![title](https://leanote.com/api/file/getImage?fileId=6062e487ab64414c9c000674)

wuvin

导航

最近发表

友情链接