wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
CVPR2022 NeRF 相关
2022-07-11 15:23:01
690
0
0
wuvin
* 文章列表来源： https://github.com/amusi/CVPR2022-Papers-with-Code * 以及：https://dellaert.github.io/NeRF22/ # DensePose: Dense Human Pose Estimation In TheWild * 使用如下一套预定义的带有 75+10 个可变参数的模型表示人体。 *  * 然后造一个带标注数据集： DensePose-CoCo。 * 训练一个网络预测每一块所属的身体部位和对应的UV图中位置。 *  * 再训练一个inPaint 网络把系数的预测值变得稠密 *  # BANMo: Building Animatable 3D Neural Models from Many Casual Videos (CVPR 2022 Oral) * TLDR: 相对于 Nerfies，引入了 DensePose 创造了固定模型，以及使用了骨架系统约束运动变换。 * 从单目视频中重建自由移动的非刚性物体（例如猫） *  * （1）利用铰接骨架和混合皮肤的经典可变形形状模型； * （2）适合基于梯度优化的神经辐射场NeRF； * （3）在像素和铰接模型之间产生对应关系的embedding。 *  * 需要根据目标，通过人工标注大致的身体位置，从而 Finetune 一个 DensePose模型。 *  *  *  * Results: *  *  # Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields (CVPR 2022 Oral) * 拓展 Mip-NeRF 到 Unbounded Scenes. *  *  * 添加了Online Distillation, fine model 的预测 density 直接教 coarse model. *  *  # Point-NeRF: Point-based Neural Radiance Fields (CVPR 2022 Oral) * 竟然拿了 Oral，那么之前提的凭借版改进优先级又高了一些。 # NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images (CVPR 2022 Oral) * 这篇其实早就看过，竟然也是 Oral。 # Urban Radiance Fields * 谷歌的工作。 * 针对街景NeRF 重建。 * 输入为 RGB的街景图+雷达数据， 输出为NeRF。方法上没啥创新。 # Pix2NeRF: Unsupervised Conditional π-GAN for Single Image to Neural Radiance Fields Translation *  *  * Pi-GAN 套了个 AutoEncoder，确实没啥大的创新。 # HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video (CVPR 2022 Oral) *  *  *  --- # AR-NeRF * 从普通图片数据集中，无监督学习深度估计。 * 本质上没啥创新，pi-GAN早就可以从普通人脸数据集中学习到人脸的立体模型。而且本文自己都说自己是基于pi-GAN的代码实现的。 *  * 简单而言就是，复现pi-GAN代码，拼接了个NeRF++（但没有实验体现出这个操作的必要性），然后找了个新任务，文章中都没有画模型框架（画出来估计就是pi-GAN）。 # Aug-NeRF * NeRF 做数据增强 *(https://leanote.com/api/file/getImage?fileId=62cfe7d9ab64410837dade0f) *  * NeRF 训练流程加噪音。。。完全没新意， 这也能发? *  # Deblur-NeRF * 不错的应用，简单的修改，不错的效果。因为运动模糊的图片本质上是多个图片的叠加，所以修改一下NeRF渲染过程就可以解决这个问题。 *  *  *  # HDR-NeRF * 简单的工作 *  # NeRFReN * 把光分为transmitted 和 reflected，处理镜面反射。没啥新意，依旧同上属于把计算图形学的东西搞点进来。 *  # Neural Rays for Occlusion-aware Image-based Rendering * MVS 任务，追求高泛化能力，能快速finetune的模型。本文进一步考虑了多视角可见性问题。 *  *  --- # Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields （Best Student Paper Honorable Mention） **值得一看的文章，显著改善反射质量** * 修改了 NeRF 对于颜色反射部分的建模，使用了更加准确的图形学知识，极为显著地提高了重建质量。 *  *  *  # Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations * 开源，开数据集（350GB），大力出奇迹（不愧是谷歌的工作） *  * 这玩意要多少显卡训得出来？？？ *  * Real-time?!???!? 不过按照下图预先计算出场景表征后，每次只用算Decoder（要这么说，很多MVS也算real-time）。 * Unposed? 实际上文中这是指只输入第一张图的pose，而非完全 unposed(不然问题就是ill-defined)。 *  * 优点是确实只要Inference，缺点是质量不高、比较糊，跟MVS比的话缺少实际使用上的优势(MVS也很快，只Inference质量也不低)。而且除开 Unposed的情况，任务其实和 MVS是一样的，但是文章并没有和MVS的方法比较。 # Dense Depth Priors for NeRF * 加个 sfM 添加深度信息，提升few-shot的效果。 *  # Depth-supervised NeRF * 老早就放出来的文章了，效果不错，加了深度图后few-shot质量显著提高。 # InfoNeRF * 使用 ray entropy regularization 增加 few shot 的质量。 * 也是 Few-shot 质量显著不如前两个。 # RegNeRF： Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs （Oral） * 简单的正则化起到了很好的效果。 *  # Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation * 通过数据增强方式 random ray casting 和统计每个物体表面点被观察的平均方位 ray atlas，提高了NeRF模型处理Out of Distribution 数据的能力。 * OOD+NeRF，解决方案比较有新意。 *  *  *  *  # GeoNeRF: Generalizing NeRF with Geometry Priors * MVS 任务。 *  # Light Field Neural Rendering (Oral) * 很好地处理了反射以及半透明液体。 *  *  * 使用四维光场作为输入。 * 光场模型： 假设任意一条光线在传播的过程中光强不发生衰减且波长不变。假设了两个不共面的平面（u,v）和（s,t），如果一条光线与这两个平面各有一个交点，则该光线可以用这两个交点唯一表示。 *  * 然后文章在此基础上添加了 Epipolar Geometry（对极几何）约束,然后使用Epipolar feature aggregation 和 View feature aggregation。 *  # NAN: Noise-Aware NeRFs for Burst-Denoising * 低光去噪，但效果看起来显著不如 nerf in the dark. # NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction （Oral） * 类似于 SLAM，高效的基于体素特征的增量场景NeRF重建。效果还可以。 *  *  # Plenoxels：Radiance Fields without Neural Networks （Oral） * 利用体速加速训练，但是需要极大量的网格数量。 * NeRF without NN 早看过了。 * 同样 Point-NeRF 也是 CVPR22 的 Oral。 # DVGO * 网格数量比上面少一到两个数量级。 * 投在了SIGGRAPH 2022 # EfficientNeRF: Efficient Neural Radiance Fields * 用一个与 Coarse MLP 孪生的密度体素网格加速训练。 * 训练速度上只跟 PlenOctree 比了，应该被 DVGO 吊着打。 # Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time（Oral） * 加速视频NeRF的推理速度。 * Demo 质量一般，依旧有提升空间。 # Block-NeRF * 之前也看过了，做城市超大尺寸的。 # HumanNeRF: Efficiently Generated Human Radiance Field from Sparse Inputs * 和前面的另一个 HumanNeRF 撞名字了。 *  * 方法大同小异，都是人体骨架+NeRFields。效果不如另一篇。 # DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering * 专注人体重建。 *  * 同时优化了 PIFu的signed distance 和 NeRF。从而得到一个稳定的表面。 # NeuralHOFusion: Neural Volumetric Rendering under Human-object Interactions *  * 输入是多个视角的RGBD的数据，然后实时重建+物体分离。 *  * 但是要求物体有提前的模型。 # Structured Local Radiance Fields for Human Avatar Modeling * **我觉得这个很有意思！** * 相当于把很多小 NeRF 缝在一起，然后解决布料渲染的问题，虽然效果不咋地，但是这个方向商业应用前景不错。 * 作者是清华自动化系的。 *  *  * 可以考虑用这个方法解决头发等难以建模演算的物体！ # Surface-Aligned Neural Radiance Fields for Controllable 3D Human Synthesis * 同样是一个结合 Mesh 和 NeRF的。 *  *  # GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation （Oral） * **生成质量非常高** *  *  * 简而言之，就是把 NeX 的思想借鉴到了 PiGAN。 # EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks * 质量不如上一个，但是强调三维结构以及效率。 *  # StyleSDF: High-Resolution 3D-Consistent Image and Geometry Generation * 基于SDF做的，质量不太行 *  # FENeRF: Face Editing in Neural Radiance Fields * 面部编辑 *  *  # HeadNeRF: A Real-time NeRF-based Parametric Head Model *  *  * 相对有意思的工作，主要贡献应该是造了数据集。 # RigNeRF: Fully Controllable Neural 3D Portraits *  * 有点意思的工作，方法中规中矩 *  # CoNeRF: Controllable Neural Radiance Fields * **造了个数据集，做了点有意思的应用** *  *  # LOLNeRF: Learn from One Look * Pi-GAN 的输入削弱版，即每个人物有且仅有一个视角的图片。 * **不知道这文章怎么发出来的** *  *  # StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning * 做了年初我们的某一个想法的简化版，没有做到三维模型的风格化。 *  # NICE-SLAM: Neural Implicit Scalable Encoding for SLAM * 也是一个 SLAM + NeRF, 采用了多层网格结构。 *  # Clean Implicit 3D Structure from Noisy 2D STEM Images * Implict representation + 冷冻电镜 # Neural 3D Video Synthesis from Multi-view Video（Oral） * NeRF + 多视角视频，能拿 Oral 大概是因为效果好，重建质量高。 *  *  * 
上一篇:
ICML2022 NeRF 相关
下一篇:
20220520 paper reading
0
赞
690 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
wuvin
没有帐号? 立即注册