20220317 Paper Reading

# ShaRF: Shape-conditioned Radiance Fields from a Single View

* ![title](https://leanote.com/api/file/getImage?fileId=6232e232ab644142b47ef78e)
* ![title](https://leanote.com/api/file/getImage?fileId=6232e2a3ab644142b47ef792)
* 同时训练shape Network 和 Appearance network。训练时候需要全部的数据（ Chairs数据集包含 6591 个椅子， cars 包含 3514 个小汽车）以及全部数据的体素分布网格（ground Truth）。对于 shape code 则是和网络联合优化，测试时使用到了测试数据之前算出来的 shape code。 Appearance code 同理。
![title](https://leanote.com/api/file/getImage?fileId=6232e4daab644142b47ef7b4)
* 由于是 supervised generation， 而且需要 rendering ，看起来并不适合大场景生成。

# CodeNeRF : Disentangled Neural Radiance Fields for Object Categories

* 与上一个类似，把shape和color分离，但是是在MLP层实现。同样 Zs和Zt是和网络在一起优化的。

![title](https://leanote.com/api/file/getImage?fileId=6232e822ab644142b47ef7d3)

![title](https://leanote.com/api/file/getImage?fileId=6232e7a4ab644142b47ef7d0)

# StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis

* rendering 部分只渲染低清特征图，然后再逐步超分得到高清RGB。为了解决超分步骤中的3D不一致性，修改了 upsampler 并增加了新的正则化loss。
* 正则化loss： 在超分结果中采样一些像素，并于真正的nerf结果相对比。
* 上采样修改：
![title](https://leanote.com/api/file/getImage?fileId=6232eafcab644142b47ef7e3)
![title](https://leanote.com/api/file/getImage?fileId=6232eb0eab644142b47ef7e4)
* Results:
![title](https://leanote.com/api/file/getImage?fileId=6232e92cab644142b47ef7dd)

* Novelty 并不多，但关注了重要的问题，并且看起来效果不错。

# NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images

* 直接使用 RAW数据，并且发现在数据量足够的适合（25-200）张图， NeRF对于噪音非常鲁棒。可以在低亮度条件下得到较好的图像。并且根据NeRF特性，还能调整焦距HDR等参数。算是一个不错的应用。
* ![title](https://leanote.com/api/file/getImage?fileId=6232ed0cab644142b47ef7ff)
* ![title](https://leanote.com/api/file/getImage?fileId=6232ed5fab644142b47ef802)
* ![title](https://leanote.com/api/file/getImage?fileId=6232ed67ab644142b47ef803)

wuvin

导航

最近发表

友情链接