NeRF 模态商用分析

# 短期

* 短期主要方式为向Mesh兼容。主要体现形式为求解NeRF表征对应的最接近的Mesh表征，Mesh表征为基于三角网格与PBS材质的表征形式。Mesh转换分为两部分，第一部分为形状转换，第二部分为材质转换。
* 形状转换部分目前有基于 Marching Cube的直接转换和先拟合SDF再Marching Cube转换的方式。直接marching cube 转换的方式由于 NeRF 本身表面部分收敛结果较为不平整，所以通常结果可用用`灾难'形容。先拟合SDF再转Mesh的方式得到表面相对平滑可接受，目前主要代表为 NeuS 和 Instant-NSR。但使用marching cube 算法得到的Mesh 在应用中最常见的问题是表面太多了，相当于一个正常平面被强行切成很多网格小面，而且表面分布非常混乱。
* 材质转换部分目前研究工作较多，例如开源框架Pytorch3D 就非常简易的实现该功能。nvidia 的 NVDiffrast 也提供了相当便捷的Pytorch/Tensorflow 库和良好的硬件支持。
* 特别的 NVDiffrec 把这两者都完成了。值得一提的是 Tiny CUDANN 提供了非常广泛的隐式表征加速。

# 长期

* 长期方向应该是直接使用 NeRF 渲染。但主要问题是无法编辑、硬件支持性低、渲染开销高。
* 在快速渲染方面，mobile-nerf 已经实现了小模型手机端60fps的渲染，更多的硬件支持还比较缺乏。
* 在编辑方面只能说勉强实现了编辑，编辑便捷性和软件支持远不如Mesh，但编辑结果离真实结果还有差距。比如两个物体放在一起，很难把物体和物体之间的光效果体现出来（镜面反射、漫反射）。

# 相关论文

## NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

* 比较早的文章，现在来看最大问题是单场景训练时间接近一天。
* 训练方式也是基于 Volume Rendering。
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e1e7ab6441170998ea0b)
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e1efab6441170998ea0c)
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e1fcab644117109737b5)
* 重新定义了密度为 ![title](https://leanote.com/api/file/getImage?fileId=63d5e21fab644117109737b7)。
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e277ab6441170998ea10)
* 训练loss很简单
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e2e3ab6441170998ea13)
* 最终效果如下
* ![title](https://leanote.com/api/file/getImage?fileId=63d5e2c7ab644117109737bd)

## Human Performance Modeling and Rendering via Neural Animated Mesh

* 上海交大的一篇工作，比较偏应用，主要是实现了 Instant-NSR，特别是顺带实现了 Instant-NGP 加成的 NeuS。
* ![title](https://leanote.com/api/file/getImage?fileId=63d6238bab6441170998ec0b)
* ![title](https://leanote.com/api/file/getImage?fileId=63d62493ab644117109739c8)
* 除了非刚体追踪外，finetune的时候额外学了一个SDF-level的形变。
* ![title](https://leanote.com/api/file/getImage?fileId=63d624e9ab644117109739ce)
* 渲染的时候，先把学到的NeRF转成Mesh，再从Mesh渲染后过Unet的后处理
* ![title](https://leanote.com/api/file/getImage?fileId=63d6259dab644117109739d4)
* ![title](https://leanote.com/api/file/getImage?fileId=63d62553ab6441170998ec14)

## Extracting Triangular 3D Models, Materials, and Lighting From Images

* ![title](https://leanote.com/api/file/getImage?fileId=63d62e71ab64411710973a18)
* ![title](https://leanote.com/api/file/getImage?fileId=63d63424ab6441170998ec8b)
* 最重要的是这个材质是PBS格式的，可用直接用。
* ![title](https://leanote.com/api/file/getImage?fileId=63d6349bab6441170998ec8d)
* 通常物体的训练时间是1小时A100。

wuvin

导航

最近发表

友情链接