20220428Paper Reading

* 本次以点云和体素生成为主，目的是调研下到底多大的算力能支持多复杂的场景。

# Learning Representations and Generative Models for 3D Point Clouds (2018)

* 重建部分为 AutoEncoder，生成部分结构为常见GAN或者在AE的hidden space 上做GAN or 高斯混合模型。输入输出维度为 2048*3。GAN的深度只有一两层MLP。使用的数据集大小大约为 1.4GB，57K 个样本，代码中GAN的训练使用了268K iteration。
* 重建质量
* ![title](https://leanote.com/api/file/getImage?fileId=626a4f61ab64412e3e063ad2)
* 不同方法的结果（竖着的是不同的测评方法；B是直接GAN；CD是在AE的hidden space 做GAN，AE使用了不同的损失函数Earth Mover's Distance 和Chamfer Distance；E是WGAN；F是Gaussian Mixture Model）：
* ![title](https://leanote.com/api/file/getImage?fileId=626a524aab64412e45052474)

# Improved Adversarial Systems for 3D Object Generation and Reconstruction (2018)

* 算法结构：
* ![title](https://leanote.com/api/file/getImage?fileId=626a58afab64412e3e063af9)
* 整体算法上来说，基本照搬WGAN-GP，额外的地方有：Generator 和 Discriminator 不是1：1迭代训练，而是 Discriminator 是Generator的5倍。Discriminator去掉了BN。但并没有Ablation Study证明有效性。
* ![title](https://leanote.com/api/file/getImage?fileId=626a5a44ab64412e45052492)
* 一共训练了456K iteration.

# 3DMGNet: 3D Model Generation Network Based on Multi-Modal Data Constraints and Multi-Level Feature Fusion (2020)

* ![title](https://leanote.com/api/file/getImage?fileId=626a6211ab64412e3e063b15)
* ![title](https://leanote.com/api/file/getImage?fileId=626a6327ab64412e450524ae)
* 结果比较
* ![title](https://leanote.com/api/file/getImage?fileId=626a6426ab64412e450524b2)
* 训练用了400Epoch，3D部分尺寸 $32^3$. 没有开源，所以不知道会训练多久，而且这是AE模型，不是GAN.

# 启发

* 生成做不好的话，如果AE重建做好了，可以做重建之间的插值。
* 目前我们训练一个场景一共用了15K iteration(singan标准code为60K)，看起来是少了亿点（但这已经需要8-10个小时的训练了）。

wuvin

导航

最近发表

友情链接