GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

---

## Info

* Conference: CVPR 2021
* Cites: 16
* Github Stars: 80
* Github Solved/Issue: 5/5
* Author: ![title](https://leanote.com/api/file/getImage?fileId=60c8441aab64414a090ec5c6)

---

## Main Idea

* 和之前新Idea非常接近的一篇paper，CVPR2021 best paper 提名（这时候才关注到），已经有16个cite了，github 7 个 fork。
* ![title](https://leanote.com/api/file/getImage?fileId=60c844fcab64414c050edabe)
* ![title](https://leanote.com/api/file/getImage?fileId=60c84580ab64414a090ee839)

* 从 Related works 里面发现，这类方法叫做 `GAN-based Image Synthesis`。整个大任务其实是和 NeRF 有高关联度的，目的都是获得 Novel View Synthesis。
* `GAN-based Image Synthesis`: 通过 GAN 可控地生成可解析（如特征控制等）的场景。
* `Implicit Functions`: NeRF 这种就算利用 Implicit Functions，并且目前这类方法是学习 3D 场景的主流。
* NeRF: 用神经网络学习了一个物体的渲染场，通过多视角图片可以学习到物体任意视角的渲染结果。
* NeRF: x 是点坐标，d是视角方向。 ![title](https://leanote.com/api/file/getImage?fileId=60cdfc01ab6441472910e5c5)
* GRAF: 用 unposed image collections，学出一类物体的 Generative Feild，并且做到生成特征可控。
* GRAF: 增加了shape and appearance 的控制变量 ![title](https://leanote.com/api/file/getImage?fileId=60cdfc55ab6441472910ea96)

* GRAF 样例
* ![title](https://leanote.com/api/file/getImage?fileId=60c85038ab64414a090fef90)

* 本文用多个 GRAF + scale and transpose 得到了如下的网络结构（这不就是和那个Idea一模一样的吗？！）
* ![title](https://leanote.com/api/file/getImage?fileId=60c85db1ab64414c05112b94)
* 这里每个物体仿射变换就是乘一个矩阵，由于是 `Implicit Functions` 所以这个变换比传统GAN更容易。
* 在场景合成上包括 N-1 个物体和一个背景，每个前置GAN生成一个M维的向量（3维就是RGB），然后组何部分直接采用3D渲染的方式，算算透明度然后加起来，得到一个16x16的图。![title](https://leanote.com/api/file/getImage?fileId=60cdfe87ab644147291106a1)
* 最后再用一个2D 的后处理网络超分到 64x64 或者 256x256。 在前后顺序上，是默认 $GAN_1$ 遮挡 $GAN_2$ 遮挡 $GAN_3$。

## Results

* ![title](https://leanote.com/api/file/getImage?fileId=60c85e1cab64414a09113402)
* ![title](https://leanote.com/api/file/getImage?fileId=60ce0012ab64414729111aee)

---

## Comments

* 看来这个idea 它晚了一年，不过确实这个idea inspired from `Self-Supervised Scene De-occlusion`(CVPR 2020 Oral)，这再次说明了，多看看最新论文的重要性。
* 在组何图像这一部分，这文章还显得相对粗糙，对于非固体文中遮挡关系显然是不行的，选的数据集也特意比较简单，要么是一辆车+背景，要么是多个简单立方体。
* 根据 Results 来看，网络学阴影是有一定问题的，由于没有光源的概念，这个阴影学的奇奇怪怪的。

wuvin

导航

最近发表

友情链接