GRAF 后续

* GRAF 为 Nerf 的生成形式变种，这里我们调研一下这种生成形式的隐式随机场的后续发展。
* 文章筛选条件： cite 了 GRAF （86篇），做的生成方向，训练数据为无监督数据集。

## GRAF

![title](https://leanote.com/api/file/getImage?fileId=61a24886ab644142c083dd7d)

## π-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis (CVPR 2021 Oral)

* 把类似于 StyleGAN 的结构搬了进来
* 整体训练框架类似于 ProgressiveGAN，Discriminator 为 2D，分辨率逐渐增高，generator 只是采样密度逐渐增高。

![title](https://leanote.com/api/file/getImage?fileId=61a249d2ab644142c083dd81)

![title](https://leanote.com/api/file/getImage?fileId=61a248dcab644142b4537b0c)

[video on github](https://github.com/marcoamonteiro/pi-GAN)

[video on zhihu](https://zhuanlan.zhihu.com/p/336155077)

## Generative Occupancy Fields for 3D Surface-Aware Image Synthesis (NeurIPS 2021)

* 看到了 open review, 四个7 才 poster???

![title](https://leanote.com/api/file/getImage?fileId=61a443e1ab644142b4538014)

![title](https://leanote.com/api/file/getImage?fileId=61a44433ab644142c083e282)

预测一个累计密度而非体素密度，及累计密度>t则认为在物体内，否则在物体外,=t则为表面，以此改善 Pi-GAN 从而获得更精细的表面。

## Unconstrained Scene Generation with Locally Conditioned Radiance Fields (ICCV 2021)

* 苹果公司做的，数据集需要 RGB-D 数据，
* ![title](https://leanote.com/api/file/getImage?fileId=61a4474fab644142b453801e)
* ![title](https://leanote.com/api/file/getImage?fileId=61a44a88ab644142c083e295)
* ![title](https://leanote.com/api/file/getImage?fileId=61a447e8ab644142c083e28e)
* ![title](https://leanote.com/api/file/getImage?fileId=61a44805ab644142c083e291)

* 整个区域划分成了很多个方的小nerf由$w_{ij}$控制生成，nerf的使用方式也有一些区别。

* ![title](https://leanote.com/api/file/getImage?fileId=61a448c6ab644142b4538023)

# 顺带看到其他有趣的

## GNeRF: GAN-based Neural Radiance Field without Posed Camera

* ![title](https://leanote.com/api/file/getImage?fileId=61a44e51ab644142b4538032) 
* 通过反复迭代估计出数据集里数据的pose.

## CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis

* ![title](https://leanote.com/api/file/getImage?fileId=61a455e6ab644142c083e2b0)
* ![title](https://leanote.com/api/file/getImage?fileId=61a455fdab644142b453804b)
* ![title](https://leanote.com/api/file/getImage?fileId=61a4565aab644142c083e2b2)
* 把 Nerf 和传统 GAN 结合，做可以变换视角的 GAN 任务。

# 小结

* 其实基于Nerf的3D生成方向挺空的，还没啥人做。
* 可以探究的问题有：目前Discriminator 都是基于传统GAN的，能否有也是基于nerf的3D discriminator?
* 如何把 nerf 融入到各式各样的传统生成/风格迁移任务中？如：多角度低清图到高清3D模型，Giraffe+马到斑马，3D场景生成
* 如何把 nerf 融入到各式各样的传统生成架构中？如：cycle结构，UNet结构等
* 其他想法：nerf->单人裸眼3D

wuvin

导航

最近发表

友情链接