wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
Siggraph2022 NeRF 相关
2022-11-26 14:46:55
644
0
0
wuvin
* 其实是 Siggraph2022 所有文章，但与 NeRF 和三维生成无关的，只会说一下这篇是干啥的。 * 如果看到一大段连续文字，那大概率就是DeepL 翻译的Abstract(里面会有很多的`我` )。 * 文章列表来源于 https://kesen.realtimerendering.com/sig2022.html ### Ecoclimates: Climate-Response Modeling of Vegetation * 模拟气候对植被的影响与生态循环。 ### DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation * 虽然与NeRF 无关，但是与三维生成相关。 *  * 把几何与结构分开学习生成。 *  ### A Fast Unsmoothed Aggregation Algebraic Multigrid Framework for the Large-Scale Simulation of Incompressible Flow * 不可压缩的流体仿真 *  ### A Practical Model for Realistic Butterfly Flight Simulation * 蝴蝶~~（黄油）~~模拟 *  ### Dev2PQ: Planar Quadrilateral Strip Remeshing of Developable Surfaces * 传统Mesh 用的三角形或者四边形，本文尝试使用平行四边形。 ### DiffCloth: Differentiable Cloth Simulation with Dry Frictional Contact * 可微的布料模拟。这样给定一个起始状态和一个终止状态，就可以通过迭代优化实现寻路，从而实现例如穿袜子这种操作。以及对于一段视频，可以通过拟合视频，从而计算出布料本身的系数（如摩擦系数等） *  ### DiffusionNet: Discretization Agnostic Learning on Surfaces * 一种新的基于 Mesh的学习方法，之前的方法接近于Graph NN。本文把像图卷积一样的东西，扩展到了普适的扩散操作。说实话，我也没具体搞懂这有啥用，但反正和主题无关，略过。 ### HRBF-Fusion: Accurate 3D reconstruction from RGB-D data using on-the-fly implicits * 基于 RGB-D 摄像头和隐式表征的实时场景重建。类似于 SLAM。 *  *  *  ### LookOut! Interactive Camera Gimbal Controller for Filming Long Takes * 这是一个相机追踪系统。帮助摄影师更好的自动追踪拍摄目标。包括目标任务识别、追踪、防抖等。 *  ### Motion Puzzle: Arbitrary Motion Style Transfer by Body Part * 运动动作迁移。 *  ### Towards Practical Physical-Optics Rendering * 比光追更高级的基于光波的物理模拟渲染。 *  ### TCB-Spline-Based Image Vectorization * 本文提出了基于三角形配置B-spline（简称TCB-spline）的矢量图，用于光栅图像的矢量化。基于这种新的表示方法，提出了一种自动光栅图像矢量化的范式。 ### Tailored Reality: Perception-Aware Scene Restructuring for Adaptive VR Navigation * 在虚拟现实（VR）中，虚拟场景是由创造者预先设计好的。然而，我们的物理环境由不同的尺寸、布局和组件组成。为了弥补这一差距并进一步实现自然导航，最近提出了一些解决方案来重新引导用户或重新创建虚拟内容。然而，他们要么遭受中断的体验，要么遭受扭曲的外观。我们提出了一种新的面向VR的算法，该算法为用户的物理环境自动重组一个给定的虚拟场景。与之前的方法不同，我们既没有引入中断的行走体验，也没有引入弯曲的外观。相反，一个感知功能优化了我们的重定向技术，以保持出现在VR头戴式显示器中的虚拟场景的保真度。除了几何和拓扑属性，它还强调了VR中独特的第一人称视角的感知因素，如动态可见度和物体的关系。我们同时进行了分析性实验和主观研究。结果证明了我们系统的多功能性和在VR中自然导航的实用性：它将虚拟空间缩小了40/%，而没有统计学上的感知同一性的损失。 ### Regression-based Monte Carlo Integration * 一个更好的对于蒙特卡洛积分的estimator，在光线积分中展示了这个估计的效果。 (这种不该发ICML嘛) *  ### Perceptual Error Optimization for Monte Carlo Rendering * 什么大水逼，和上面一篇同一个实验室的。还是蒙特卡洛积分在光线估计上的应用。 *  ### Procedural Urban Forestry * 自动规划怎么给城市种行道树。 *  ### Filament Based Plasma * 模拟恒星大气层，如我们自己的太阳，是科学可视化、电影和游戏中CGI的一项常见任务。纤维状的体积纹理是日冕的一个视觉上的主要特征--从太阳表面延伸到太空的等离子体。这些日冕纤维可以被建模为磁丝，其形状由磁流体静力学方程控制。磁丝提供了一个拉格朗日曲线表示，它们的初始配置可以由艺术家规定，也可以由太阳表面的标量质地的磁通量产生。随后，磁力线的形状是根据一个变异公式确定的。输出是整个太阳的视觉渲染。我们通过比较所得到的渲染结果和我们太阳日冕的实际图像来证明我们的方法的真实性。 *  * 挺好看的 ### Estimation of Yarn-Level Simulation Models for Production Fabrics * 本文根据现实世界中织物的机械反应，介绍了一种对布的纱线级力学进行逆向建模的方法。我们从纺织工业中使用的几种不同的针织面料的物理测试中汇编了一个数据库。这些数据涵盖了不同类型的复杂针织图案、纱线成分和织物整理，其结果显示了不同的物理特性，如刚度、非线性和各向异性。 然后，我们开发了一个系统，用纱线级的布料模拟来接近这些机械反应。为此，我们介绍了在织物级数据和纱线级模拟之间进行转换的有效管道，包括用于加快计算速度的新型色块级近似，以及对计算机图形中使用的纱线级模型的一些小但必要的扩展。 *  ### NeAT: Neural Adaptive Tomography * NeAT框架是专门为断层摄影设置而设计的多视角逆向渲染的自适应、分层神经渲染方法。它只包括半透明的体积场景而不是不透明的物体。在这种情况下，NeAT优于现有的基于优化的断层解算器的质量，同时速度大大加快。 *  *  *  *  * 这都什么年代了，baseline 竟然还只是 NeRF。只能说题目选项的好，方法再差都行。 ### Artemis: Articulated Neural Pets with Appearance and Motion Synthesis * NeRF + Virtual Pets。新奇的应用，效果一般般，对毛发和动物运动做了特别的优化，演示视频有点假。整体偏工程的一个工作。 *  *  *  *  ### A Clebsch Method for Free-Surface Vortical Flow Simulation * 模拟涡流~~(蜗牛)~~的方法。 *  ### A General Two-Stage Initialization for Sag-free Deformable Simulations * 初始化可变形物体的模拟包括在物体的静止形状处设置所有内力的静止状态。然而，很多时候，静止形状并没有被明确地提供。在没有提供的情况下，通常是通过把给定的初始形状当作静止形状来初始化。这就导致了下垂，即模拟一开始就在重力作用下产生的不理想的变形。先前对下垂的解决方案仅限于特定的模拟系统和材料模型，其中大多数不能处理摩擦接触，而且需要解决昂贵的全局非线性优化问题。 * 我们为下垂问题引入了一种新的解决方案，可以应用于各种仿真系统和材料。我们的方法的主要特点是，我们通过在两个阶段进行初始化来避免解决一个全局非线性优化问题。首先，我们使用一个全局线性优化来实现静态平衡。材料定义的任何非线性都是在局部阶段处理的，这样可以有效地、并行地解决许多小的局部问题。值得注意的是，我们的方法可以适当地处理摩擦接触，比以前的工作要快几个数量级。我们通过介绍质量弹簧系统、布匹模拟、有限元方法、材料点方法和基于位置的动力学的例子，表明我们的方法可以应用于各种模拟系统。 *  ### Generalized Resampled Importance Sampling: Foundations of ReSTIR * 更好的光线追踪采样方式。本文引入了广义重采样重要性抽样（GRIS）来扩展该理论，允许对具有未知PDF和来自不同领域的相关样本进行RIS。 *  ### Umbrella Meshes: Elastic Mechanisms for Freeform Shape Deployment * 设计了一种子结构，这种子结构可以被容易的真实制造。然后对于任意的形状，自动生成该形状该如何由这种子结构组成。 *  ### MatBuilder: Mastering Sampling Uniformity Over Projections * 本文提出了一种新的方法，表明均匀性约束可以被表达为一个整数线性程序，从而使采样器具有期望的特性。事实证明，复杂的约束很容易通过数字网的分层和序列特性来描述。我们新的MatBuilder软件使用生成器矩阵行列式进行了形式化，通过以贪心的方式迭代线性整数程序求解器来解决这组约束，计算出一组特定问题的生成器矩阵，可以作为流行的数字网采样器的替代品。 * 没看懂，但好像没啥关系 ### Active Exploration for Neural Global Illumination of Variable Scenes * 神经渲染算法 + 主动学习 *  *  ### Contact-Centric Deformation Learning * 学习高度详细的、非线性的接触变形 *  ### DeepFaceVideoEditing: Sketch-based Deep Editing of Face Videos * 人脸视频编辑 *  ### Position-free Multiple-bounce Computations for Smith Microfacet BSDFs * 改进 microfacet 双向散射分布函数（BSDFs）。原始模型忽略了微观几何上的多次反弹，导致能量损失，特别是对于粗糙的材料。在本文中，我们提出了一种新的方法来计算微几何内部的多重反弹，消除这种能量损失。 *  ### Constant-Cost Spatio-Angular Prefiltering of Glinty Appearance Using Tensor Decomposition * 改进BRDF，实现更加真实的表面渲染。 *  ### Neural Layered BRDFs * 与上面同一个实验室。 * 双向反射分布函数（BRDFs）在计算机图形中被广泛使用，以产生真实的基于物理的外观。现实世界中许多常见的材料都有一个以上的层，如木材、皮肤、汽车油漆和许多装饰性材料。然而，对分层材料光学的精确模拟是不难的。最准确的方法是依靠蒙特卡洛随机漫步来模拟层内的光传输，这导致了高的变异和成本。其他的方法也很有效，但精确度较低。在本文中，我们提出在神经空间中进行分层，通过提议的表示神经网络将BRDF压缩成潜伏代码，并通过分层网络对这些潜伏矢量进行学习分层操作。与最先进的方法相比，我们的BRDF评估是无噪音的，而且计算效率高；它也是向潜空间中BRDF的 "神经代数 "操作迈出的第一步。 *  ### Face Deblurring using Dual Camera Fusion on Mobile Phones * 基于手机双摄像头融合技术的新型人脸去模糊系统 *  ### Physics-Based Combustion Simulation * 基于物理的燃烧模拟 *  ### Noise-based Enhancement for Foveated Rendering * 基于噪声增强的凹凸不平的渲染技术 *  * 人类对空间细节的视觉敏感度向周边地区递减。新的图像合成技术，即所谓的凹陷渲染，利用了这一观察结果，降低了合成图像对周边的空间分辨率，避免了合成高空间频率的细节，这些细节产生的成本很高，但观众却无法感知。然而，当代技术并没有明确区分必须再现的空间频率范围和可以省略的空间频率。对于一个给定的偏心率，有一系列的频率是可以检测到的，但不能解决的。虽然不需要准确地再现这些频率，但如果完全省略，观察者可以检测到它们的缺席。我们利用这一观察结果来改善现有凹陷渲染技术的性能。我们证明，这个特定的频率范围可以有效地被程序性噪声所取代，其参数是根据图像内容和人类感知精心调整的。因此，这些频率不必在渲染过程中被合成，从而允许更积极的凹陷，并且它们可以被成本较低的后处理步骤中产生的噪声所取代，导致渲染系统的性能提高。我们的主要贡献是一种受感知启发的技术，用于得出增强和校准所需的噪声参数。该方法在渲染输出上运行，并在4K分辨率下以超过200FPS的速率运行，使其适合与VR和AR设备的实时凹陷渲染系统整合。我们验证了我们的结果，并在用户实验中与现有的对比度增强技术进行比较。 ### Efficient Estimation of Boundary Integrals for Path-Space Differentiable Rendering * 什么嘟嘟可 * 在基于物理学的可微分渲染中，边界积分对于处理控制物体几何形状的场景参数至关重要，如网格顶点位置。在本文中，我们介绍了一种新的蒙特卡洛方法来有效地估计微分路径积分表述下的边界积分。这个例子由环境照明下的三个物体组成，我们的技术可以通过单一的反渲染优化有效地重建它们的形状。 *  ### Practical Level-of-detail Aggregation of Fur Appearance * 毛皮外观渲染对计算机生成的图像的真实性至关重要，但也是多年来计算机图形学的一个挑战。人们已经做了很多努力来精确模拟毛皮纤维之间的多散射光传输，但计算成本仍然很高，因为毛皮纤维的数量通常非常大。在本文中，我们的目标是减少毛皮纤维的数量，同时保留真实的毛皮外观。我们提出了一个聚集的毛皮外观模型，使用一个厚的圆柱体来准确地描述一堆毛皮纤维的聚集光学行为，包括它们之间的多重散射光。然后，为了获得我们聚集模型的参数，我们使用一个轻量级的神经网络将单个毛皮纤维的光学特性映射到我们聚集模型中的参数。最后，我们提出了一个实用的启发式方法，在不同的光线反弹时动态地指导毛皮的简化过程，从而形成一个实用的细节渲染方案。我们的方法几乎达到了与地面真实相同的结果，但执行速度快了3.8倍-13.5倍。 *  ### Designing Perceptual Puzzles by Differentiating Probabilistic Programs * 自动创造有视觉错觉的场景 * 我们通过为人类感知的原则性模型寻找 "对抗性例子 "来设计新的视觉错觉--特别是为概率模型，它将视觉视为贝叶斯推理。为了有效地进行这种搜索，我们设计了一种可微分的概率编程语言，其API将MCMC推理作为一流的可微分函数公开。我们通过为人类视觉的三个特征自动创造错觉来证明我们的方法：颜色恒定、尺寸恒定和面部感知。 *  *  ### Searching for Fast Demosaicking Algorithms * 快速的去马赛克方法 *  ### Image Features Influence Reaction Time: A Learned Probabilistic Perceptual Model for Saccade Latency * 研究人类对图像的反应速度 * 我们旨在提出并回答一个基本问题："我们在观察到一个显示的视觉目标后有多快的反应？" 为此，我们提出了一些心理物理学的研究，这些研究的特点是人类的saccadic行为和空间视觉敏锐度之间的显著脱节。在我们研究结果的基础上，我们开发了一个感知模型来预测时间性凝视行为，特别是作为显示图像的统计学功能的囊形潜伏期。具体来说，我们实现了一个受神经学启发的概率模型，模仿导致知觉决策的信心积累。我们用一系列的客观测量和用户研究来验证我们的模型，使用眼球追踪的VR显示器。结果表明，我们的模型预测与现实世界的人类行为在统计上是一致的。此外，我们建立了许多通常在图形管道中引入的亚阈值图像修改可能会显著改变人类的反应时间，即使这些差异在视觉上是无法察觉的。最后，我们表明，我们的模型可以作为一个指标来预测和改变交互式计算机图形应用中用户的反应延迟，从而可以改善视线对应的渲染、虚拟体验的设计和电子竞技中的玩家表现。我们用两个例子来说明这一点：在一个有两种不同球队颜色的视频游戏中估计竞争的公平性，以及调整显示器的观看距离以最小化玩家的反应时间。 *  ### Hogel-free Holography * 无霍格尔全息术 *  ### Joint Neural Phase Retrieval and Compression for Energy- and Computation-Efficient Holography on the Edge *  * 为了传输云存储的全息图像（a）并在本地设备上显示，可以采用两种自然的解决方案，一种是数据传输重，一种是本地计算重，分别如（b）和（c）所示。对于(b)，由于全息图和自然图像之间的统计差异，需要高比特率的编解码器（如JPEG）来确保重建质量，这可能会在带宽有限的互联网下引入高延迟。另一方面，对于(c)，将100%的全息相位检索计算转移到本地，可以减少延迟，但不可避免地提高了受电池限制的边缘设备的能源成本。为了实现最佳的延迟/能源联合性能，我们提出了一个神经相位检索和压缩的联合框架，将全息计算部分转移到本地设备，同时实现低比特率的传输编码。(e)显示了模拟和捕获的显示结果。 *  ### Seeing Through Obstructions with Diffractive Cloaking * 我们提出了一种计算型单眼相机，它可以对不需要的障碍物进行光学隐身，例如镜头盖玻璃上的雨滴或污渍，或者相机附近的栅栏。我们学习了一个定制的衍射光学元件，而不是在拍摄后对被遮挡的信息进行涂抹，当它被放置在相机镜头前时，就会充当一个与深度有关的散射器。所学的光学元件位于现有相机设置的光圈平面上，对近距离物体产生具有大空间支持的点扩散函数，将光线从本来的焦点处散射出去。同时，在不增加相机体积的情况下，保留了长距离的空间分辨率。与光学元件一起，我们共同优化了一个基于特征的深度学习重建网络，以恢复无遮挡的图像。 *  ### Instant Neural Graphics Primitives with a Multiresolution Hash Encoding * Instant-NGP ### Variable Bitrate Neural Fields * NVIDIA 的工作 * 不同大小不同精细度的同一个场景的 NeRF *  *  * 原本的方法是每个voxel 位置是一个向量。现在替换为一个codebook，而voxel的位置则存下标。训练时就用 soft-index，inference 用hard-index。 ### Unbiased and consistent rendering using biased estimators * 我们介绍了一个一般的框架，用于将有偏的估计器转化为同一数量的无偏和一致的估计器。我们展示了现有的几种无偏和一致的估计策略是这个框架的特例，也是更广泛的去偏原则的一部分。我们提供了一个使用我们的广义框架构建估计器的配方，并通过开发新的无偏估计形式的透射率估计、光子映射和有限差分来证明其适用性。 ### StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators * CLIP + DA * 有点意思 *  ### As-Locally-Uniform-as-Possible Reshaping of Vector Clip Art * 剪纸图编辑 *  ### Unbiased Inverse Volume Rendering with Differential Trackers * 新的逆向体积渲染方法。 *  ### ShaderTransformer: Predicting Shader Quality via One-shot Embedding for Fast Simplification * 该网络可以预测在不同的场景配置下着色器表达对最终渲染结果的影响。 *  ### A Compact Representation of Measured BRDFs Using Neural Processes * 在这篇文章中，我们通过利用神经过程（NPs）为测量的BRDFs引入了一个紧凑的表示。与之前将这些BRDFs表达为离散的高维矩阵或张量的方法不同，我们的技术将测量的BRDFs视为连续函数，并在相应的函数空间中工作。具体来说，提供一组BRDFs的评价，如MERL和EPFL数据集中的BRDFs，我们的方法学习一个低维的潜空间以及一些神经网络来编码和解码这些测量的BRDFs或新的BRDFs，并以非线性的方式从这个空间进入。利用这个潜伏空间和NPs配方提供的灵活性，我们编码的BRDFs是高度紧凑的，并提供了比以前的方法更好的精确度。我们通过BRDF压缩和编辑这两个重要的应用来证明我们方法的实用性。此外，我们还设计了两种可供选择的后训练解码器，分别为单个BRDFs实现更好的压缩率，并实现BRDFs的重要性采样。 *  ### Efficiency-aware multiple importance sampling for bidirectional rendering algorithms * 多重重要性采样（MIS）是光传输模拟中不可缺少的工具。它通过结合几种技术的采样来实现稳健的蒙特卡洛集成。然而，众所周知，这种组合并不总是比使用单一的采样技术更有效。因此，对复杂的组合估计器，如双向路径追踪的一个主要批评是，它们在普通场景下的效率可能明显低于较简单的算法，如正向路径追踪。我们提出了一种提高MIS效率的一般方法。通过廉价地估计各种技术和样本数组合的效率，我们可以挑选出最好的一种。关键因素是一个数字上稳健而有效的方案，它使用一个MIS组合的样本来计算其他多个组合的效率。例如，我们可以运行前向路径跟踪，并使用其样本来决定启用VCM的哪个子集，以及以何种采样率。每种技术的样本数可以按像素或全局进行控制。应用于VCM，我们的方法能够稳健地渲染带有光晕的复杂场景，而不影响对较简单场景的效率。 ### EARS: Efficiency-Aware Russian Roulette and Splitting * 俄罗斯轮盘赌和分割是广泛使用的技术，以提高蒙特卡罗估计器的效率。但是，尽管它们很受欢迎，关于如何最好地应用它们的工作却很少。大多数现有的方法依赖于简单的启发式方法，例如，基于表面反照率和粗糙度。他们的效率往往取决于用户控制的参数。相反，我们使用一个简单和轻量级的数据结构，在渲染过程中反复学习最佳的俄罗斯轮盘赌和分割因子。鉴于对方差和成本的完美估计，我们的定点迭代可以证明收敛到最佳的俄罗斯轮盘赌和分割因子，从而使渲染效率最大化。在我们对单向路径追踪的应用中，我们取得了比现有技术水平更高的一致和显著的速度提升。 ### Eikonal Fields for Refractive Novel-View Synthesis * 我们解决了从显示折射和反射物体的二维图像集合中生成新视角图像的问题。目前的解决方案假设不透明或透明的光沿着发射-吸收模型的直线路径传输。相反，我们对三维变化的物镜领域进行了优化，并根据光的传输规律，追踪通过它向所述物镜的空间梯度弯曲的光线。 *  *  ### ReLU Fields: The Little Non-linearity That Could * 就是DVGO 的 activation 换成 ReLU。 ### Free2CAD: Parsing Freehand Drawings Into CAD Commands *  * 将自由手绘解析为CAD程序。在这个例子中，用户只需画出锤子和砧子的最终形状（a，笔画按绘图顺序从红到黄着色）。从这个输入中，Free2CAD产生了一套相应的CAD命令（c），从而使用户不必在头脑中解析如何用有效的CAD操作来构建这个形状。我们系统的核心是一个深度的序列到序列的神经网络，它将输入的图纸自动分割成笔画组（b），每组代表形状的一个部分，可以由一个独特的CAD命令产生。我们的系统按顺序处理每一组，以识别和适应相应的CAD命令，产生一个CAD程序，在执行时，产生一个忠实于输入图纸的三维形状（d）。 ### MatFormer: A Generative Model for Procedural Materials * 我们提出了MatFormer，这是一个程序性材料的生成模型，以节点图的形式表示。MatFormer生成了任意数量的可编辑的、与分辨率无关的材料（左图），可用于现实场景（右图）。场景中的所有材料都是由我们的方法生成的；其中一些材料在左边以橙色显示。材料以节点图的形式生成（顶部），其中节点对应于图像运算符（每个节点显示运算符的输出），而边控制节点之间的信息流。用户可以直接使用参数化的材料图来调整参数。 *  ### Moving Level-of-Detail Surfaces * 我们提出了一个简单、快速和平滑的方案，使用非紧凑核对代数点集表面进行近似，这特别适用于过滤和重建呈现大量缺失部分的点集。我们的关键思想是考虑输入点集的移动细节水平，它对评估位置是自适应的，就像传统的移动最小二乘法方案中的样本权重对输出敏感一样。我们还引入了一个自适应的渐进式八叉树细化方案，由所得到的隐含表面驱动，以适当地捕捉建模的几何形状，甚至远离输入样本的地方。与典型的紧凑支持的近似方法类似，我们的算子在对数时间内运行，同时定义了高质量的曲面，甚至在具有挑战性的输入上，只有全局优化才能取得合理的结果。我们在各种具有几何噪声和大孔的点集上演示了我们的技术。 *  ### CLIP2StyleGAN: Unsupervised Extraction of StyleGAN Edit Directions * StyleGAN的成功使得在合成图像和真实图像上实现了前所未有的语义编辑能力。然而，这种编辑操作要么是用语义监督来训练，要么是用人的指导来描述。在另一项发展中，CLIP架构已经用互联网规模的图像和文本配对进行了训练，并被证明在几个零点学习环境中是有用的。在这项工作中，我们研究如何有效地连接StyleGAN和CLIP的预训练的潜在空间，这反过来又使我们能够从StyleGAN中自动提取语义标记的编辑方向，找到并命名有意义的编辑操作而无需任何额外的人类指导。在技术上，我们提出了两个新的构建模块；一个用于寻找有趣的CLIP方向，一个用于标记CLIP潜空间中的任意方向。该设置不假设任何预先确定的标签，因此我们不需要任何额外的监督文本/属性来构建编辑框架。我们评估了所提出的方法的有效性，并证明了提取无标签的StyleGAN编辑方向确实是可能的，并揭示了有趣和非琐碎的编辑方向。 *  *  * 这和上面一篇好像啊 ### Real-time Controllable Motion Transition for Characters *  * 实时中间运动生成是游戏中普遍需要的，也是现有动画管道中非常理想的。它的核心挑战在于需要同时满足三个关键条件：质量、可控性和速度，这使得任何需要离线计算（或后处理）或不能纳入（通常不可预测的）用户控制的方法都不可取。为此，我们提出了一种新的实时过渡方法来解决上述挑战。我们的方法包括两个关键部分：运动流形和条件过渡。前者学习重要的底层运动特征及其动态；而后者则根据目标帧和所需的过渡时间来合成过渡条件。我们首先学习一个运动流形，该流形通过一个多模态映射机制明确地模拟了人类运动中固有的过渡随机性。然后，在生成过程中，我们设计了一个过渡模型，它本质上是一种抽样策略，根据目标帧和目标过渡持续时间，从所学的流形中抽样。我们在不允许后期处理或离线计算的任务中，在不同的数据集上验证了我们的方法。通过详尽的评估和比较，我们表明我们的方法能够产生在多种指标下测量的高质量运动。我们的方法在各种目标框架下也是稳健的（有极端情况）。 **我竟然把博客一个月的上传流量给用满了。。。后面就只有文字了** ### A Unified Newton Barrier Method for Multibody Dynamics * 突然发现这个作者一年发了6篇 siggraph * 这里是一张多个锁链套着金属环的图。 * 我们的原始牛顿障碍法为这个复杂的多体系统提供了一个统一的模拟框架，该系统由刚性（僵硬）环、新胡克可变形环和圆杆组成的吊床，以及一个由11个部分组成的铰接布娃娃和一块布组成。摩擦接触和铰接约束的精确分辨率得到了有力、稳定和有效的保证。 ### Energetically Consistent Inelasticity for Optimization Time Integration * 在本文中，我们提出了能量一致的非弹性（ECI），这是一个新的方法，用于建模和离散化有限应变弹塑性/维斯科弹性，与基于优化的时间积分器兼容。我们提供了一个深入的分析，允许塑性通过增强的应变能量密度函数进行隐式整合。我们在关联的Von-Mises J2塑性、非关联的Drucker-Prager塑性和有限应变粘弹性上开发了ECI。我们在有限元方法（FEM）和材料点方法（MPM）上演示了所产生的方案。结合定制的牛顿式优化集成方案，我们的方法可以模拟金属、沙子、雪和泡沫的刚性和大变形非弹性动力学，与现有的方法相比，具有更大的时间步长、更好的稳定性、更高的效率和更好的精度。 ### Affine Body Dynamics: Fast, Stable & Intersection-free Simulation of Stiff Materials * 这里是一个很多个齿轮的图 * 我们提出了一个仿生体动力学框架（ABD）来有效和稳健地模拟接近刚性的接触物体。与刚体建模相比，ABD大大降低了碰撞和接触的处理成本，同时利用基于障碍物的摩擦接触模型获得无交点轨迹。 ### Penetration-free Projective Dynamics on the GPU * 一张图，一棵树上有万圣节南瓜和鬼 * 我们提出了一种基于GPU的可变形模拟算法，它将类似于内部点的约束公式插入投影动力学框架。我们修改了碰撞投影的计算，以适应连续碰撞检测和基于障碍物的约束。这个模拟骨干由一个名为A-Jacobi的新型GPU算法来支持，以实现更快的线性求解。通过更有效的寻根（因此，更快的CCD），我们的算法提供了非交叉保证，同时仍然保持良好的效率。在这里，我们展示了由各种形状的可变形物体组成的有趣模拟的几个快照。几个幽灵般的生物挂在一棵诡异的树上，在风中摇摆。几个怪物南瓜跌落并弹起。在这个实验中，DOF的总数达到265K。我们的GPU算法运行在7.7到26.8FPS之间，时间步长为ℎ=1/100秒。 ### The Power Particle-In-Cell Method * 我们介绍了Power Particle-In-Cell方法，作为一种新的加权方案，改善了具有均匀间隔的粒子和体积保存的混合流体模拟。最上面一行显示了由Power FLIP（我们对流体隐含粒子（FLIP）方法的扩展）生成的两个液体喷流碰撞的帧。在这个例子中，我们还使用直接从我们的流体占位图构建的等高线来渲染液体表面。底部一行显示了与中上层框架相关的模拟的粒子视图，使用伪色来表示粒子的速度大小，然后是我们基于粒子的新型密度核的可视化，它定义了Power粒子的规则化表示。 ### An Efficient B-Spline Lagrangian/Eulerian Method for Compressible Flow, Shock Waves, and Fracturing Solids * 这是一篇 Oral. * 本研究提出了一种新的方法来模拟可压缩流、冲击波和可变形结构之间的相互作用，强调了破坏性动力学。我们扩展了时间分割可压缩流和材料点方法（MPM）的进展，开发了一个混合欧拉和拉格朗日/欧拉方案，用于单体流-结构相互作用。我们采用二阶WENO方案来推进连续性方程。为了稳定地解决具有亚细胞颗粒的变形边界，我们在多孔介质理论的启发下，提出了反射性和可通过性边界条件的混合处理。强耦合的速度-压力系统用一种新的混合等级有限元公式离散化，采用B-spline形状函数。冲击波的传播、温度/密度引起的浮力效应和固体的拓扑结构变化都被联合捕获。 ### Character Articulation through Profile Curves * 计算机动画在很大程度上依赖于索具设置，通过广泛的姿势来衔接角色表面。尽管多年来已经提出了许多变形策略，但构建角色装备仍然是一个繁琐的过程，包括重复编写点权重和矫正雕塑，以及有限和间接的塑形控制。本文提出了一种新的角色衔接方法，它能产生完全由三维曲线控制的细节保留的变形，而三维曲线是变形表面的轮廓。我们的方法从一个基于花键的操纵系统开始，艺术家可以在其中绘制和衔接描述表面轮廓的稀疏曲线。通过分析操纵的曲线的布局，我们对每条曲线边的变形进行量化，不受网格连接的影响，从而将衔接控制器与底层的表面表示分离。为了在人物表面上传播曲线衔接，我们制定了一个变形优化，在符合操纵的曲线的同时重建表面细节。在这个过程中，我们引入了一种切割单元算法，通过将网格元素切割成可能带有裂缝的更小的多边形，将曲率与表面网格结合起来，然后推导出一种切割感知的数值离散化，提供具有曲线不连续的谐波插值。我们用一系列的动画片断来证明我们的方法的表现力和灵活性。 ### Automatic Quantization for Physics-based Simulation * 量化在高分辨率和大规模的模拟中被证明是有效的，这得益于比特级的内存节省。然而，确定一个既能满足精度要求又能满足内存效率要求的量化方案需要试验和错误。在本文中，我们提出了一个新的框架，允许用户通过简单地指定误差边界或内存压缩率来获得一个量化方案。基于误差传播理论，我们的方法利用自动差分的优势来估计每个量化操作对总误差的贡献。我们把这个任务表述为一个受限的优化问题，可以用线性化目标函数的分析公式有效地解决这个问题。我们的工作流程扩展了Taichi编译器，并引入了抖动以提高量化模拟的精度。我们通过几个具有挑战性的基于物理的模拟例子来证明我们方法的通用性和效率，它实现了高达2.5倍的内存压缩，而结果的视觉质量没有明显的下降。 ### Approximate Convex Decomposition for 3D Meshes with Collision-Aware Concavity and Tree Search * 近似凸分解的目的是将一个三维形状分解成一组近似凸的组件，然后用其凸壳来表示输入的形状。因此，它能够实现专门为凸形设计的高效几何处理算法，并已被广泛用于游戏引擎、物理模拟和动画。虽然先前的工作可以捕捉到输入形状的全局结构，但它们可能无法保留细粒度的细节（例如，填充烤面包机的槽），而这些细节对于保留互动环境中物体的功能至关重要。在本文中，我们提出了一种新的方法，从三个方面解决现有方法的局限性：（a）我们引入了一种新的碰撞感知的凹陷度量，从边界和内部检查形状和其凸壳之间的距离。所提出的凹陷度保留了碰撞条件，对检测各种近似错误更加稳健。(b) 我们通过直接用三维平面切割网格来分解形状。它确保了生成的凸壳是无交点的，并避免了体素化错误。(c) 我们建议采用多步骤的树状搜索来确定切割平面，而不是使用单步的贪婪策略，这导致了全局更好的解决方案，并避免了不必要的切割。通过对大规模铰接物体数据集的广泛评估，我们表明，我们的方法产生的分解更接近于原始形状，而且成分更少。因此，它支持下游应用中精细而高效的物体交互。我们将发布我们的实现，以促进未来的研究。 ### Differentiable Signed Distance Function Rendering * 基于物理的可微分渲染最近作为一种有吸引力的新技术出现，用于解决从图像中恢复完整的三维场景表示的反演问题。形状参数的反演特别有意义，但也带来了严峻的挑战：形状与可见性交织在一起，除非采取昂贵的预防措施，否则其不连续的性质会在计算的导数中引入严重的偏差。像三角形网格这样的形状表示法还存在其他困难，因为网格参数的连续优化不能引入拓扑变化。解决这些困难的一个常见方法是使用带符号的距离函数（SDFs）来表示形状，并在优化过程中逐渐适应其零级集。 * 以前的SDFs的可微分渲染没有充分考虑可见度梯度，需要使用掩码或剪影监督，或离散成三角形网格。在这篇文章中，我们展示了如何扩展常用的球体追踪算法，使其额外输出一个重新参数化，以提供计算精确形状参数导数的方法。在高层次上，这类似于可微分网格渲染的技术，尽管我们表明SDF表示法允许一个特别有效的重参数化，超过了先前的工作。我们的实验证明了在没有复杂的正则化或先验的情况下重建（合成）物体，只使用每像素RGB损失。 ### Sparse Ellipsometry: Portable Acquisition of Polarimetric SVBRDF and Shape with Unstructured Flash Photography * 我们提出了第一个稀疏椭圆测量法，它能同时捕捉到偏光SVBRDF（包括三维穆勒矩阵和折射率）和真实世界物体的三维形状。与传统的椭圆仪不同，我们的便携式采集设备是由现成的、固定的光学元件组成的。我们的稀疏观测可以在几分钟内捕获，而不是几天，从而可以在不同的光照下准确呈现新的视图。 ### Egocentric Scene Reconstruction From an Omnidirectional Video * 我们介绍了一种实用的重建方法，用于从简短的手持全向视频中重建3D场景几何。(a)由360°摄像机拍摄的视频帧示例（插图）。(b) 由我们的球面差异估计法估计的反深度帧。(c) 为了从简短的全向视频中有效地重建以自我为中心的场景几何，我们设计了一种使用新型球形双树数据结构的场景重建方法。(d) 重建的三维场景几何。(e) 使用我们的纹理映射对重建的场景进行三维渲染. ### Neural Jacobian Fields: Learning Intrinsic Mappings of Arbitrary Meshes * 本文介绍了一个旨在通过神经网络准确预测任意网格的片状线性映射的框架，能够对不共享三角形的异质网格集合进行训练和评估，并产生高度保留细节的地图，其精度超过了目前的技术水平。该框架的基础是将神经方面减少到对单一给定点的矩阵的预测，以全局形状描述符为条件。然后，矩阵场被投射到给定网格的切线束上，并被用作预测地图的候选雅各布人。该地图由标准的泊松解计算，作为一个可微分的层来实现，并为高效的训练提供了缓存的预因素化。这种结构与输入的三角形无关，因此可以应用于具有不同三角形的数据集。同时，通过在每个单独网格的内在梯度域中操作，它允许框架预测高度精确的映射。我们通过在广泛的场景中进行实验来验证这些特性，从语义上的，如变形、注册和变形转移，到基于优化的，如模拟弹性变形和接触校正，以及据我们所知，这是第一个解决学习计算任意网格的UV参数化的工作。研究结果显示了该方法的高精确度以及它的多功能性，因为它可以很容易地应用于上述场景，而不需要对框架做任何改变。 ### Dual Octree Graph Networks for Learning Adaptive Volumetric Shape Representations * 直接在八叉树上做图卷积。 * 我们提出了一种自适应的三维形状体积场的深度表征，以及一种学习这种深度表征的有效方法，用于高质量的三维形状重建和自动编码。我们的方法用一个由八叉树组织的自适应特征体对三维形状的体积场进行编码，并应用一个紧凑的多层感知器网络将特征映射到每个三维位置的场值。一个编码器-解码器网络被设计用来学习基于八叉树节点的双图卷积的自适应特征量。我们网络的核心是一个新的图形卷积算子，它定义在由不同层次的不规则相邻八叉树节点融合而成的规则网格上，这不仅降低了在不规则相邻八叉树节点上进行卷积的计算和存储成本，而且还提高了特征学习的性能。我们的方法有效地编码了形状细节，实现了快速的三维形状重建，并对训练类别之外的三维形状建模表现出良好的通用性。我们在一组三维形状和场景的重建任务中评估了我们的方法，并验证了它比其他现有方法的优越性。 ### Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects * 一边重建SLAM，一边识别物体 * 作为人类，我们可以从给定的单一图像的任意角度理解和描绘一个熟悉的场景，而这对计算机来说仍然是一个巨大的挑战。在此，我们提出了一个新的解决方案来模仿这种人类的感知能力，它基于一种新的模式，即对封闭场景进行神经渲染的模数化3D场景理解。具体来说，我们首先通过离线阶段学习封闭场景中物体的先验知识，这有助于在线阶段理解有未见过的家具布置的房间。在在线阶段，给定不同布局的场景全景图像，我们利用基于神经渲染的整体优化框架来有效地估计正确的三维场景布局并提供真实的自由视角渲染。为了处理离线和在线阶段之间的领域差距，我们的方法在离线训练中利用组成式神经渲染技术进行数据增强。在合成和真实数据集上的实验表明，我们的两阶段设计实现了稳健的三维场景理解，并在很大程度上超过了竞争对手的方法，我们还表明，我们现实的自由视点渲染能够实现各种应用，包括场景游览和编辑。 ### GANimator: Neural Motion Synthesis from a Single Sequence * 从一个视频学习一个物体的运动生成。 * 我们提出了GANimator，这是一个生成模型，可以学习从单一的、短的运动序列中合成新的运动。GANimator生成的动作类似于原始动作的核心元素，同时又能合成新的和不同的动作。它还实现了包括人群模拟、关键帧编辑、风格转换和各种骨骼结构的交互式控制等应用，例如双足动物、四足动物、六足动物等等，所有这些都来自一个单一的输入序列。 ### ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters * **有点牛** * 建议点开[看看](https://xbpeng.github.io/projects/ASE/index.html)。 * 大数据集上预训练+无监督强化学习 -> 具有良好通用性的运动动作决策AI。 * 人类所表现出的令人难以置信的运动能力，部分是通过多年的练习和经验获得的大量通用运动技能而实现的。这些技能不仅使人类能够完成复杂的任务，而且在学习新任务时为指导他们的行为提供了强大的先验。这与基于物理的角色动画的通常做法形成鲜明对比，在这种情况下，控制策略通常是为每个任务从头开始训练的。在这项工作中，我们提出了一个大规模的数据驱动的框架，用于学习物理模拟角色的多功能和可重复使用的技能嵌入。我们的方法结合了对抗性模仿学习和无监督强化学习的技术来开发技能嵌入，以产生栩栩如生的行为，同时也为新的下游任务提供一个易于控制的代表。我们的模型可以使用非结构化运动片段的大型数据集进行训练，不需要任何特定任务的注释或运动数据的分割。通过利用大规模并行的基于GPU的模拟器，我们能够使用超过十年的模拟经验来训练技能嵌入，使我们的模型能够学习到丰富而多样的技能。我们表明，一个预先训练好的模型可以有效地应用于执行各种新的任务。我们的系统还允许用户通过简单的奖励函数指定任务，然后技能嵌入使角色能够自动合成复杂和自然的策略，以实现任务目标。 ### Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks * 学习骨骼运动带来的服装形变 * 做法是给衣服来一个 virtual bone，然后就是学习 bone 运动到 bone 运动的映射。 * 我们提出了一种学习算法，使用骨骼驱动的运动网络来预测宽松的服装网格在互动速率下的变形。给定一件服装，我们生成一个模拟数据库，并使用皮肤分解从模拟的网格序列中提取虚拟骨骼。在运行时，我们以连续的方式分别计算低频和高频变形。低频变形是通过将身体运动转移到虚拟骨骼的运动中来预测的，而高频变形是利用虚拟骨骼运动的全局信息和从低频网格中提取的局部信息来估计的。此外，我们的方法还可以利用RBF核对不同模拟参数集的训练网络来估计由模拟参数变化（如织物的弯曲刚度）引起的服装变形。通过广泛的比较，我们表明我们的方法在预测网眼变形的准确性方面优于最先进的方法，RMSE约为20%，Hausdorff距离和STED为10%。 ### Learning to Get Up * 强化学习学起身 * 从任意跌倒的状态中站起来是人类的一项基本技能。现有的学习这种技能的方法往往产生高度动态和不稳定的起身动作，这与人类的起身策略并不相似，或者基于跟踪记录的人类起身动作。在本文中，我们提出了一种使用强化学习的分阶段方法，而不求助于运动捕捉数据。该方法首先利用了一个强大的角色模型，这有利于发现解决模式。第二阶段是学习适应控制策略，以便与逐渐变弱的角色一起工作。最后，第三阶段学习控制策略，以便在更慢的速度下再现较弱的起身动作。我们表明，通过多次运行，该方法可以发现各种不同的起身策略，并以各种速度执行。结果通常会产生使用最终站立策略的政策，该策略与从所有初始状态看到的恢复运动是共同的。然而，我们也发现，在俯卧和仰卧的初始跌倒状态下会出现不同的策略。学习到的起身控制策略具有明显的静态稳定性，即它们可以在起身运动中的不同点上暂停。我们进一步测试了我们的方法在新的受限场景中的应用，例如有一条腿和一只胳膊打着石膏。 ### Learning High-DOF Reaching-and-Grasping via Dynamic Representation of Gripper-Object Interaction * 学习抓东西 * 我们通过学习抓取和运动的联合规划与深度强化学习来解决高自由度的伸手抓取问题。为了解决学习高维和复杂的灵巧抓取控制的样本效率问题，我们提出了一种有效的抓取状态表示方法，描述了抓手和目标物体之间的空间互动。为了表示抓手与物体之间的相互作用，我们采用了交互二等分面（IBS），它是两个接近的三维几何物体之间的Voronoi图，已经成功地应用于描述三维物体之间的空间关系。我们发现，IBS作为一种状态表征令人惊讶地有效，因为它能很好地告知每个手指与目标物体的空间关系的精细控制。这种新的抓取表征，加上一些技术上的贡献，包括快速的IBS近似，新的基于矢量的奖励和有效的训练策略，促进了学习一个强大的高自由度抓取控制模型，具有良好的采样效率，动态适应性和跨类别通用性。实验表明，它能对复杂的形状产生高质量的灵巧抓取，且抓取动作流畅。 ### NIMBLE: A Non-rigid Hand Model with Bones and Muscles * 一个新的参数化的手部模型 * 新兴的Metaverse应用需要可靠、准确和逼真的人手再现，以执行复杂的操作，就像在物理世界中一样。虽然真实的人的手代表了骨骼、肌肉、肌腱和皮肤之间最复杂的协调，但最先进的技术一致只关注手的骨架建模。在本文中，我们提出了NIMBLE，一个新的参数化的手部模型，包括缺失的关键部件，将3D手部模型带到一个新的真实水平。我们首先在最近的磁共振成像手（MRI-Hand）数据集上注释了肌肉、骨骼和皮肤，然后将一个体积化的模板手注册到数据集中的各个姿势和主体上。NIMBLE包括20个三角形网格的骨骼，7个四面体网格的肌肉群，以及一个皮肤网格。通过迭代形状注册和参数学习，它进一步产生了形状混合形状、姿势混合形状和一个联合调节器。我们展示了将NIMBLE应用于建模、渲染和视觉推理任务。通过强制内部骨骼和肌肉与解剖学和运动学规则相匹配，NIMBLE可以以前所未有的真实性将3D手变成新的姿势。为了对皮肤的外观进行建模，我们进一步构建了一个光度测量的HandStage，以获得高质量的纹理和法线图来对皱纹和手掌印进行建模。最后，NIMBLE还通过综合丰富的数据或直接充当推理网络中的可区分层，使基于学习的手部姿势和形状估计受益。 ### Neural Dual Contouring * NDC是一种统一的数据驱动的方法，它可以从各种输入中学习重建三角网格：有符号或无符号距离场、二进制体素、无法相点云和有噪声的原始点云扫描。在CAD模型上进行的训练，NDC可以推广到广泛的形状类型。具有尖锐边缘的CAD模型、有机形状、布的开放表面、室内场景的扫描，甚至是不可定向的Mobiüs条。 ### Dr.Jit: A Just-In-Time Compiler for Differentiable Rendering * 我还以为是计图框架呢，但这是芬兰的一个组做的 * Dr.Jit是一个新的及时编译器，用于基于物理的渲染及其衍生产品。Dr.Jit通过两种方式加速这些课题的研究：首先，它追踪高级仿真代码（例如用Python编写），并积极简化和专门化所产生的程序表示，产生在CPU和GPU上具有最先进性能的数据并行内核。 第二，它简化了可微分渲染算法的开发。这个领域的高效方法将模拟的导数变成了模拟的导数。Dr.Jit对自动微分的过程提供了细粒度的控制，以帮助实现这种转化。 专业化在微分的背景下特别有帮助，因为模拟的大部分内容最终不影响计算的梯度。Dr.Jit在全局范围内跟踪数据的依赖性，以找到并消除多余的计算。 ### StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets * 通过正确的训练策略，StyleGAN在ImageNet上取得了SOTA的成绩。 * 确实高于SOTA ### A Theoretical Analysis of Compactness of the Light Transport Operator * 渲染虚拟场景的逼真视觉效果需要有可操作的模型来模拟光线。渲染方程使用积分方程来描述这样一个模型，其核心是一个连续的积分算子。大多数渲染算法的目的是通过离散化（使用射线、粒子、斑块等）来接近这个光传输算子的效果。跨越四十年的研究已经发现了围绕这个算子的有趣的特性和直觉。在本文中，我们分析了紧凑性，这是一个独立于其离散化的关键属性，它表征了通过有限等级算子序列均匀地近似该算子的能力。我们最终证明了一直以来的怀疑，即这个算子并不紧凑，因此任何依赖于有限等级或非自适应有限基的离散化都容易在任意的光分布上出现无界误差。我们的结果证明了使用各种场景和光照条件来评估渲染算法的期望。我们还发现，除特殊情况外，它的低维对应物（在纯粹的漫反射场景上）并不紧凑，并发现它与不可逆转和作为低通滤波器的联系。我们解释了我们的结果在以前工作中的相关性。我们相信，我们的理论结果将为未来的渲染算法提供有关实际选择的信息。 ### Closed-Loop Control of Direct Ink Writing via Reinforcement Learning * 更智能的3D打印 * 使增材制造能够采用广泛的新型功能材料，可以极大地推动这项技术的发展。然而，要使这些材料可打印，需要专家操作者进行艰苦的试验和错误操作，因为它们通常会表现出特殊的流变学或滞后特性。即使在成功找到工艺参数的情况下，由于批次之间的材料差异，也不能保证打印与打印的一致性。这些挑战使得闭环反馈成为一种有吸引力的选择，在这种情况下，工艺参数被即时调整。设计一个有效的控制器有几个挑战：沉积参数是复杂的和高度耦合的，在很长的时间范围内会出现假象，模拟沉积的计算成本很高，而且在硬件上学习是难以实现的。在这项工作中，我们证明了使用强化学习为增材制造学习闭环控制策略的可行性。我们表明，只要能够学习到转化为现实世界经验的沉积行为模式，近似但高效的数字模拟就足够了。结合强化学习，我们的模型可以用来发现优于基线控制器的控制策略。此外，恢复的政策具有最小的模拟与现实的差距。我们通过将我们的控制策略在体内应用于使用低粘度和高粘度材料的单层打印机来展示这一点。 ### Modeling and Rendering Non-Euclidean Spaces approximated with Concatenated Polytopes * [演示视频](https://dl.acm.org/doi/10.1145/3528223.3530186)非常有意思。 * 非欧几里得空间的特点是具有违反欧几里得定理的特定结构的流形。本文提出用多角形来近似流形。根据场景设计者的规范，多面体被自动串联并嵌入到高维欧几里得空间。然后，通过为串联的多边形定制的新方法对场景进行导航和渲染。概念验证的实施和实验表明，所提出的方法给虚拟世界的用户带来了不寻常的迷人体验，这在欧氏空间的应用中是无法提供的。 ### A Moving Eulerian-Lagrangian Particle Method for Thin Film and Foam Simulation * 我们提出了移动欧拉-拉格朗日粒子（MELP），这是一种新型的无网格方法，用于模拟薄膜和泡沫上不可压缩的流体。MELP采用双层粒子结构，以高稳定性和高效率共同模拟详细、剧烈的流动和大的表面变形。此外，我们设计了多MELP：一种促进多个MELP系统之间基于物理的互动的机制，以模拟具有非人形拓扑演化的气泡团和泡沫。我们用广泛的具有挑战性的薄膜现象展示了我们方法的功效，包括跨越双气泡的Rayleigh-Taylor不稳定性、泡沫破碎与边缘表面张力、高原边界的恢复、牛顿黑膜，以及气泡团上的旋风。 ### ADOP: Approximate Differentiable One-Pixel Point Rendering * 我们提出了一个新的基于点的、可区分的神经渲染管道，用于场景细化和新的视图合成。输入是对点云和相机参数的初始估计。输出是来自任意相机姿势的合成图像。点云的渲染是由一个使用多分辨率单像素点栅格化的可微分渲染器进行的。离散栅格化的空间梯度是由新颖的鬼魂几何概念来接近的。渲染后，神经图像金字塔通过一个深度神经网络进行阴影计算和孔洞填充。然后，一个可区分的、基于物理的色调映射器将中间输出转换为目标图像。由于管道的所有阶段都是可分的，我们优化了场景的所有参数，即相机模型、相机姿势、点位置、点颜色、环境图、渲染网络权重、渐晕、相机响应函数、每幅图像的曝光和每幅图像的白平衡。我们表明，我们的系统能够比现有的方法合成更清晰、更一致的新视图，因为初始重建在训练中得到了完善。高效的一像素点栅格化使我们能够使用任意的相机模型，并实时显示具有超过1亿个点的场景。 ### Analytically Integratable Zero-restlength Springs for Capturing Dynamic Modes unrepresented by Quasistatic Neural Networks * 我们的方法增强了标准的皮肤系统，采用了一个仅有配置的准静态神经网络（QNN），该网络近似于准静态的超弹性，以及经过分析整合的零长度弹簧，近似于惯性效应。QNN修复了众所周知的皮肤伪影（例如在肩部区域），零长度弹簧增加了弹道运动（例如在腹部区域）。我们向读者推荐我们的补充视频，它远比静态图片更有说服力。 ### Animating Portrait Line Drawings from a Single Face Photo and a Speech Signal * 语音人脸匹配+风格化 * 该程序以一张脸部照片和一个语音信号为输入，并输出人像线图或人像卡通的艺术对话视频。 ### ASSET: Autoregressive Semantic Scene Editing with Transformers at High Resolutions * 编辑质量非常高！建议[看图](https://people.cs.umass.edu/~dliu/projects/ASSET/) * 我们提出了ASSET，一个根据用户对其语义分割图的编辑而自动修改输入的高分辨率图像的神经结构。我们的架构是基于一个具有新颖注意力机制的变换器。我们的关键想法是在高分辨率下使变换器的注意力矩阵稀疏化，由在较低图像分辨率下提取的密集注意力引导。以前的注意力机制在处理高分辨率图像时计算成本太高，或者在特定的图像区域内受到过度限制，妨碍了长距离的互动，而我们的新型注意力机制在计算上既高效又有效。我们的稀疏注意机制能够捕捉到长距离的互动和背景，从而在场景中合成有趣的现象，例如景观在水面上的反射或与景观其他部分一致的植物，而这些现象在以前的convnets和transformer方法中不可能可靠地产生。我们提出了定性和定量的结果，以及用户研究，证明了我们方法的有效性。 ### AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars * CLIP生成染色的人体，之前说过了 ### DeltaConv: Anisotropic Operators for Geometric Deep Learning on Point Clouds * 在图像深度学习的成功和三维数据可用性增加的推动下，从三维点云数据中学习已经迅速获得了发展势头。在本文中，我们的目标是构建各向异性的卷积层，直接在点云得出的表面上工作。这具有挑战性，因为表面上缺乏一个用于切向的全局坐标系统。我们介绍了DeltaConv，一个结合了矢量微积分的几何算子的卷积层，可以在点云上构建各向异性的过滤器。由于这些算子是在标量场和矢量场上定义的，我们把网络分成标量流和矢量流，它们由算子连接。矢量流使网络能够明确地表示、评估和处理方向性信息。我们的卷积是稳健的，易于实现的，并且在一些基准上与最先进的方法相匹配或有所改进，同时也加快了训练和推理的速度。 ### Detecting Viewer-Perceived Intended Vector Sketch Connectivity * 许多草图处理应用程序的目标是精确的矢量图，并准确地指定笔画的交叉点，然而自由形式的艺术家绘制的草图通常是不准确的：打算相交的笔画往往没有做到。虽然人类观察者很容易察觉到艺术家意图的笔画连通性，但手动，甚至半手动，纠正图纸以产生正确的连接输出是繁琐和高度耗时的。我们提出了一种新的、稳健的算法，通过利用对影响人类感知笔画间连通性的局部和整体因素的观察，从不精确的自由形式矢量图中提取观众感知的笔画连通性。我们利用确定的局部线索来训练分类器，以评估成对的笔画被认为是基于局部环境形成端到端或T型结的可能性。然后，我们在一个增量框架内使用这些分类器，该框架将分类器提供的可能性与更全面的、基于背景和闭合的分析相结合。我们在超过95个不同来源的输入上展示了我们的方法，并通过一系列的感知研究对其进行了验证；与最接近的替代方案相比，参与者更喜欢我们的输出，比例为9比1。 ### Computational Design of High-level Interlocking Puzzles * 自动设计三维益智玩具锁 * 在本文中，我们提出了一种计算方法来设计高级联锁拼图。其核心思想是用一个有根的无向图来表示联锁谜题的所有可能配置，以及这些配置之间的转换，这个图被称为拆解图，并利用这个图来寻找一个拆解方案，这个方案需要最少的移动来取出谜题中的第一个子组件。在设计阶段，我们的算法迭代地构建每块拼图的几何形状，以逐步扩大拆解图，旨在达到用户指定的难度。我们表明，我们的方法可以有效地生成各种形状复杂的高级联锁谜题，包括最先进的方法所不能达到的新解决方案。 ### CLIPasso: Semantically-Aware Object Sketching * 用CLIP来做语义结合的物体草图简化，最简化版就是象形文字（dogy * 我们的工作将一个物体的图像转换为草图，允许不同程度的抽象，同时保留其关键的视觉特征。即使是一个非常小的表现形式（最右边的火烈鸟和马只画了几笔），人们也能识别出所描绘对象的语义和结构。 ### Clustered Vector Textures * 例子是矢量的树叶 * 重复的矢量图案在各种应用中都很常见，但创建起来却很有挑战性，也很乏味。现有的自动合成方法针对的是相对简单、非结构化的图案，如离散元素和连续贝塞尔曲线。本文提出了一种算法，通过基于样本的表示，生成具有不同形状和结构化局部交互的矢量图案。我们的主要想法是增加明确的聚类作为邻域相似性的一部分，并对样本进行迭代优化，以实现更强大的样本合成和模式重建。结果表明，我们的方法在合成各种结构化的矢量纹理方面可以明显优于现有方法。 ### ComplexGen: CAD Reconstruction by B-Rep Chain Complex Generation * ComplexGen用于点云的CAD重建。给定一个输入点云，ComplexGen同时恢复角、曲线和斑块以及它们之间的拓扑约束，这使得边界表示（B-Rep）中的CAD重建更加完整、规范化和结构化。对于每个例子，输入点、重建的角（黄色）和曲线（蓝色）以及完整的B-Rep模型（表面补丁随机着色）都显示出来。(c)的输入点被噪声破坏，(d)的输入点只有部分。 ### Computational Pattern Making from 3D Garment Models * **有意思，3D服装生成制造方案。** * 对于一件衣服，生成多个Patch，以及这些 Patch 要怎么缝起来。但衣服复杂程度有限，也就紧身衣一样的。 * 我们提出了一种计算给定3D服装模型的缝制图案的方法。我们的算法将输入的三维服装形状分割成补丁，并计算它们的二维参数化，从而得到可以从织物中切割出来并缝合起来制造服装的图案片。与一般最先进的表面切割和压平方法不同，我们的方法明确针对服装制造。它考虑到了裁缝的独特属性和限制，如接缝对称性、达特的使用、织物纹理的排列，以及为编织织物变形建模的平整变形措施，尊重其各向异性的行为。我们启动了最近为四边形重塑开发的补丁布局方法，并使其适应计算图案制作的目的，确保每个图案片的变形保持在布的应力的规定范围内。虽然我们的算法可以自动产生缝制图案，但它的速度足够快，可以接受用户的输入来创造性地迭代图案设计。我们的方法可以考虑到3D服装的几个目标姿势，并将它们整合到缝纫图案设计中。我们展示了紧身和宽松服装的结果，展示了我们方法的多种应用可能性。 ### Computing Sparse Integer-Constrained Cones for Conformal Parameterizations * 我们提出了一种新的方法来生成稀疏的整数约束锥体奇点，并对保形参数化进行低失真约束。受[Fang et al. 2021; Soliman et al. 2018]的启发，锥体计算被表述为一个约束优化问题，其中目标是由顶点高斯曲率的ℓ0-norm测量的锥体数量，约束是限制锥体角度为π/2的倍数，并控制畸变，同时确保Yamabe方程成立。此外，为了实现旋转无缝的共形参数化，非收缩同构环的整体角也被要求是π/2的倍数。Douglas-Rachford（DR）分割算法被用来解决这个具有挑战性的优化问题，我们的成功依赖于两个关键部分。首先，用盒组和球体的交点取代每个整数约束，使我们能够在连续域中管理DR分割更新步骤中的子问题。其次，我们开发了一个新的求解器来优化ℓ0-norm，不需要任何近似值。我们在一个包含3885个模型的数据集上证明了我们算法的有效性和可行性。与最先进的方法相比，我们的方法在锥体数量和参数化失真之间实现了更好的权衡。 ### Covector Fluids * 气体模拟与解算 * 微妙的气体和液体的涡流结构的动画化在计算机图形学中一直具有很大的兴趣。然而，普通的基于速度的流体求解器可以抑制涡流，而基于涡度的流体求解器则存在性能缺陷。我们提出了一种新的基于速度的流体求解器，该求解器来自于使用凹槽的重述欧拉方程。我们的方法通过尊重Kelvin环流定理的平流过程产生了丰富的涡流动力学。数值算法只需要对现有的平流投影方法做一个小的局部调整，就可以轻松地利用其中的最新进展。由此产生的求解器模拟了一个涡流方法，而不需要在涡流变量和速度之间进行昂贵的转换。我们证明，我们的方法在涡流丝动力学和湍流中对涡度的保留明显优于以前的方法，同时也改善了能量的保留。 ### Dark Stereo: Improving Depth Perception Under Low Luminance * 不错的主意 * 在低亮度下显示虚拟现实（VR）或立体内容通常是可取的或不可避免的。例如，一个较暗的显示器可以减少低持久性VR头盔所带来的闪烁伪影。它还可以节省电力，延长电池寿命，并降低显示器或投影系统的成本。此外，立体电影通常以相对较低的亮度显示，这是由于偏振滤光片或其他分离两个视图所需的光学元件。然而，双眼深度线索在低亮度下变得不太可靠。 在本文中，我们提出了一个立体恒定的模型，预测了在给定的对比度和亮度下双眼深度线索的精确性。我们利用该模型设计了一种新的对比度增强算法，该算法可以补偿深度感知的下降，即使在亮度很低的情况下也能提供高质量的立体图像。 ### DCT-Net: Domain-calibrated Translation for Portrait Stylization * Few-shot 的风格化 * 本文介绍了DCT-Net，一种用于少数照片肖像风格化的新型图像转换架构。考虑到有限的风格样本（100个），新架构可以产生高质量的风格转换结果，具有合成高保真内容的先进能力和处理复杂场景（如遮挡物和配件）的强大通用性。此外，它还能通过一个由部分观察（即风格化的头部）训练的优雅的评估网络实现全身图像的转换。基于几张照片学习的风格转换是具有挑战性的，因为学到的模型很容易在目标领域变得过度拟合，这是因为只有少数训练实例形成的偏向分布。本文旨在通过采用 "先校准，后翻译 "的关键思想来处理这一挑战，并通过以局部为重点的翻译来探索增强的全局结构。具体来说，拟议的DCT-Net由三个模块组成：一个内容适配器借用源照片的强大先验来校准目标样本的内容分布；一个几何扩展模块使用仿生变换来释放空间语义约束；一个纹理翻译模块利用校准分布产生的样本来学习精细的转换。实验结果表明，所提出的方法在头部风格化方面优于目前的技术水平，而且在具有自适应变形的全图像翻译方面也很有效。 ### Deep Deformable 3D Caricatures with Learned Shape Control * 三维漫画是对人脸的一种夸张的三维描述。本文的目标是在一个紧凑的参数空间中对三维漫画的变化进行建模，这样我们就可以提供一个有用的数据驱动的工具包来处理三维漫画的变形。为了实现这一目标，我们提出了一个基于MLP的框架，用于建立一个可变形的表面模型，该模型接受一个潜伏代码并产生一个三维表面。在该框架中，一个SIREN MLP建立了一个函数，该函数在一个固定的模板表面上获取一个三维位置，并为输入位置返回一个三维位移矢量。我们通过学习一个超网络来创建三维表面的变化，该网络接收潜伏代码并产生MLP的参数。一旦学会，我们的可变形模型为三维漫画提供了一个很好的编辑空间，支持基于标签的语义编辑和基于点手柄的变形，两者都能产生高度夸张和自然的三维漫画形状。我们还展示了我们的可变形模型的其他应用，如自动3D漫画创作。 ### Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images * 普通图像，单图像多视角合成 * 本文讨论了为自然照片合成新观点的挑战性任务。现有的方法显示了利用单眼深度估计和分层深度表征的颜色内画的可喜结果。然而，这些方法在处理具有复杂三维几何形状的场景方面仍然能力有限。我们提出了一种基于多平面图像（MPI）表示的新方法。为了适应自然不同的场景布局，并解决产生高维MPI内容的困难，我们设计了一个网络结构，由两个新的模块组成，一个用于平面深度调整，另一个用于深度感知的颜色预测。前者使用RGBD上下文特征和一个注意力机制来调整初始平面位置。考虑到调整后的深度值，后者分别预测每个平面的颜色和密度，并通过特征遮蔽策略实现适当的平面间互动。为了训练我们的方法，我们通过一个简单而有效的回溯策略，仅使用无约束的单视图图像集来构建大规模的立体训练数据。 ### DEF: Deep Estimation of Sharp Geometric Features in 3D Shapes * 我们提出了特征的深度估计器（DEFs），这是一个基于学习的框架，用于预测采样的三维形状中尖锐的几何特征。与现有的数据驱动方法不同的是，我们提出了一个标量场，代表了从点样本到本地斑块上最近的特征线的距离。我们的方法是第一个通过融合单个斑块上获得的距离-特征估计值来扩展到大规模点云的方法。我们在新提出的合成和真实世界的三维CAD模型基准上对我们的方法与相关的最先进的方法进行了广泛的评估。我们的方法不仅优于这些基准（提高了召回率和误报率），而且在合成数据上训练我们的模型并在小型扫描数据集上对其进行微调后，可以推广到真实世界的扫描。我们展示了一个下游应用，我们从范围扫描数据中重建了直线和弯曲的尖锐特征线的明确表示。 ### Disentangling Random and Cyclic Effects in Time-Lapse Sequences * 需要看看[样例](https://github.com/harskish/tlgan)以理解什么叫延时图像 * 延时图像序列提供了视觉上令人信服的对动态过程的洞察力，而这些过程太慢，无法实时观察。然而，将长的延时序列作为视频回放，往往会由于随机效应（如天气）和周期效应（如昼夜循环）而导致干扰性的闪烁。我们介绍了分解延时序列的问题，允许对图像中的整体趋势、周期性效应和随机效应进行单独的事后控制，并描述了一种基于数据驱动的生成模型的技术来实现这一目标。这使我们能够以单独输入图像不可能实现的方式 "重新渲染 "序列。例如，我们可以稳定一个长的序列，在可选择的、一致的天气下，关注多个月的植物生长。 我们的方法是基于生成对抗网络（GAN），它以延时摄影序列的时间坐标为条件。我们的结构和训练程序是这样设计的：网络学会使用GAN的潜在空间对随机变化（如天气）进行建模，并通过使用具有特定频率的傅里叶特征向模型提供条件时间标签来区分总体趋势和周期性变化。 我们表明，我们的模型对训练数据中的缺陷具有鲁棒性，使我们能够修正捕捉长延时序列中的一些实际困难，如临时遮挡、不均匀的帧间隔和缺失的帧。 ### Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning * 在这项工作中，我们使用一种新的风格特征表示学习方法来解决任意图像风格转移的挑战性问题。作为图像风格化任务的一个关键组成部分，合适的风格表示对于取得令人满意的结果至关重要。现有的基于深度神经网络的方法在二阶统计的指导下取得了合理的结果，如内容特征的格拉姆矩阵。然而，他们没有利用足够的风格信息，这导致了诸如局部失真和风格不一致的伪影。为了解决这些问题，我们建议通过分析多种风格之间的相似性和差异性并考虑风格分布，直接从图像特征中学习风格表示，而不是其二阶统计。具体来说，我们提出了对比性任意风格转移（CAST），这是一种新的风格表示学习和通过对比性学习的风格转移方法。我们的框架 ### Efficient Kinetic Simulation of Two-Phase Flows * 水里吹气泡 * 现实生活中的多相流表现出许多复杂的、具有视觉吸引力的行为，包括起泡、湿润、飞溅和咕噜声。然而，大多数最先进的图形模拟技术只能展示有限范围的多相流现象，这是因为它们无法处理真实的水气密度比，以及在流动模拟中引入大量的数值粘度及其与界面的耦合。最近，基于动力学的方法在有效地模拟大密度比和高雷诺数方面取得了成功；但其内存开销、有限的稳定性以及对与浸入式固体耦合的数值密集型处理仍然是其在电影制作中采用的持久障碍。在本文中，我们提出了一种新的动力学求解器，将不可压缩的Navier-Stokes方程与保守的相位场方程结合起来，弥补了这些主要的实际障碍。由此产生的两相不相溶流体求解器由于其大规模并行的性质和GPU的实现而被证明是高效的，并且由于其对大密度比、高雷诺数和复杂固体边界的稳定性增强而具有非常广泛的用途和可靠性。我们通过各种具有挑战性的模拟结果强调了我们的求解器的优势，这些结果反映了复杂的湍流空气与水的相互作用，包括与以前的工作和实际镜头的比较。 ### Go Green: General Regularized Green's Functions for Elasticity * 无限和各向同性介质的线性弹性基本解（格林函数）在交互式图形应用中无处不在，这些应用无法负担体积网格和有限元模拟的计算成本。例如，de Goes和James[2017]最近的工作利用这些格林函数来制定雕刻工具，实时捕捉广泛和物理上可信的变形，比传统的编辑刷更直观和真实。在本文中，我们通过利用一般线性弹性材料的各向异性行为来扩展这个格林函数系列，其中材料中的应力和应变的关系取决于其方向。虽然这个更普遍的框架阻止了其基本解的分析表达式的存在，但我们表明，球面谐波的有限和可以用来分解格林函数，它可以进一步被分解为方向性、径向和材料相关的项。从这样的解耦中，我们展示了如何以数值方式推导出雕刻刷，以产生各向异性的变形，并实时精细地控制其落差轮廓。 ### TopoCut: Fast and Robust Planar Cutting of Arbitrary Domains * 给定一个复杂的三维领域，由一个封闭的、非生成的、没有任何自交点的输入三角形网格划分，一个常见的几何处理任务包括通过一组平面切割将领域切割成单元，创建一个 "切割单元网格"，即领域的体积分解，以利于可视化（如爆炸视图）、动画（如虚拟手术）或模拟（有限体积计算）。大量的方法提出了高效或稳健的解决方案，有时为了简化而限制切割形成规则的或适应性的网格；然而，没有一种方法能保证这两种特性，严重限制了它们在实践中的用途。困难的核心是确定大量顶点、边、面和单元之间的拓扑关系，以组装一个合适的切割单元网格：虽然精确的几何计算为这个问题提供了一个稳健的解决方案，但其高昂的计算成本促使一些基于局部浮点角度排序的快速解决方案大大加快了这个过程--但这样做会失去稳健性。在本文中，我们介绍了一种新的三维领域的平面切割方法，它通过一种新的网格数据结构将拓扑推理替换为数值排序，并且只在少数严格需要的情况下恢复到精确的数值评估。我们表明，我们新颖的拓扑切割概念利用了切割单元网格生成的固有结构来节省计算时间，同时仍然保证了对任意切割和表面几何的精确性和稳健性。我们在近10000个具有广泛几何和拓扑复杂性的网格上证明了我们的方法优于最先进的方法。 ### EyeNeRF: A Hybrid Representation for Photorealistic Synthesis Animation and Relighting of Human Eyes * 一个[特制的NeRF](https://arxiv.org/pdf/2206.08428.pdf) 做人眼渲染，分解了颜色、BRDF、环境反光等信息。 * 在创建高质量的可动画化和可重打光的三维人像方面，一个独特的挑战是对人的眼睛进行建模。合成眼睛的挑战是多方面的，因为它需要：1）为眼睛和眼周区域的各种成分提供适当的表示，以便进行连贯的视点合成，能够表示漫反射、折射和高反射表面；2）将皮肤和眼睛的外观与环境光照分开，以便在新的照明条件下进行渲染；3）捕捉眼球运动和周围皮肤的变形，以便能够重新观看。这些挑战在传统上需要使用昂贵而繁琐的捕捉装置来获得高质量的结果，即使如此，对眼睛区域的整体建模仍然难以实现。我们提出了一种新的几何和外观表示方法，它可以实现高保真的捕捉和逼真的动画，视图合成以及只用稀疏的灯光和摄像机对眼睛区域进行重新照明。我们的混合表征将眼球的显式参数化表面模型与眼周区域和眼睛内部的隐式可变形体积表征相结合。这种新颖的混合模型被设计用来解决那个具有挑战性的面部区域的各个部分--显式眼球表面允许对角膜的折射和高频镜面反射进行建模，而隐式表示则很适合通过球面谐波对低频皮肤反射进行建模，并且可以表示非表面结构，如头发或漫反射体积体，这两者对显式表面模型都是一种挑战。我们表明，对于高分辨率的眼睛特写，我们的模型可以在未见的光照条件下从新的视图中合成高保真的动画注视。 ### Fast Evaluation of Smooth Distance Constraints on Co-Dimensional Geometry * 我们提出了一种新的方法，用于计算基于LogSumExp函数的点云、边缘网格、三角形网格和所有三者的组合的平滑最小距离函数。我们推导出混合权重和改进的Barnes-Hut加速方法，确保我们的方法接近真实的距离，并且是保守的（零等值面之外的点被保证在表面之外），对上述所有数据类型进行有效评估。这与它平滑稀疏采样和噪声数据（如点云）的能力相结合，缩短了数据采集和模拟之间的差距，从而实现了新的应用，如使用未经处理的激光雷达数据进行直接、共维刚体模拟。 ### Generative GaitNet * 了解解剖学和步态之间的关系是成功预测步态模拟的关键。在本文中，我们提出了Generative GaitNet，这是一个基于深度强化学习的新型网络结构，用于控制一个具有304个希尔型肌肉-肌腱的综合全身肌肉骨骼模型。生成性步态是一个预先训练好的、集成的人工神经网络系统，它在一个618维的连续解剖条件（如质量分布、身体比例、骨骼畸形和肌肉缺陷）和步态条件（如步幅和节奏）的领域内学习。预先训练的步态网络将解剖学和步态条件作为输入，并通过基于物理的模拟产生一系列适合这些条件的步态周期。我们将展示Gen-erative GaitNet的功效和表现力，在基于物理的实时模拟中生成各种健康和病态的人类步态。 ### Grid-Free Monte Carlo for PDEs with Spatially Varying Coefficients * 具有空间变化系数的偏微分方程（PDEs）出现在整个科学和工程领域，为丰富的异质材料行为建模。然而，传统的PDE求解器难以应对自然界中的巨大复杂性，因为它们必须首先对问题进行离散化处理，从而导致空间混叠和全局网格化/取样，这是很昂贵和容易出错的。我们描述了一种既不接近领域几何、问题数据，也不接近解空间的方法，即使对于具有极其详细的几何和复杂系数的问题，也能提供精确的解（在期望中）。我们的主要贡献是通过借鉴体积渲染的技术，将球面行走（WoS）算法从常数问题扩展到变系数问题。特别是，受空散射的启发，对一大类二阶椭圆PDEs产生了无偏的蒙特卡洛估计，它与蒙特卡洛渲染有许多吸引人的特点：没有网格，琐碎的并行性，以及在任何点评估解决方案的能力，而不需要解决一个全局方程组。 ### Guided Bubbles and Wet Foam for Realistic Whitewater Simulation * 我们提出了一种增强流体模拟的方法，使之具有真实的气泡和泡沫细节。我们将气泡视为离散的空气粒子，与稀疏的体积欧拉流进行双向耦合，这在[Stomakhin等人，2020]中首次提出。我们进一步阐述了他们的方案，并引入了一个气泡惯性修正项以提高收敛性。我们还展示了如何使用我们新颖的引导技术将气泡添加到已经存在的流体模拟中，该技术对流体进行局部再模拟，通过耦合实现更有趣的气泡动力学。当气泡到达表面时，它们被转化为泡沫并被单独模拟。我们的泡沫是用平滑粒子流体力学（SPH）离散的，我们用流体表面流形的平流约束来代替对流体表面的法向力，以达到更稳健和稳定的结果。SPH力是通过对不可压缩的粘性液体进行适当的构成性建模得出的，我们解释了为什么这种选择适合于 "湿 "类型的泡沫。这使我们能够产生可信的动力学，从近距离的场景到大海洋，只需几个参数就能在各种尺度上直观地发挥作用。此外，我们还介绍了在这项工作中使用的空气夹带指标和气泡分布的相关研究。 ### Loki: A Unified Multiphysics Simulation Framework for Production * 我们介绍了Loki，这是一个新的框架，用于对流体、刚性和可变形物体进行稳健的模拟，在任何单一元素上都不影响保真度，并具有跨多个元素的耦合和表示转换的能力。Loki将多个一流的求解器调整为一个统一的框架，由一个声明性的状态机驱动，用户声明 "模拟什么"，但不声明 "什么时候"，因此一个自动调度系统负责混合任何对象的组合。这导致了对耦合模拟的直观设置，如风中的头发或从一种表现形式过渡到另一种表现形式的对象，例如散装水FLIP粒子到SPH喷雾粒子到体积雾。我们还为多个领域使用的组件提供了一致的处理方法，如统一的碰撞和附着约束，跨越1D、2D、3D变形和刚性物体。在MPI上的分布，定制的线性方程求解器，以及对稀疏技术的积极应用，使性能保持在生产要求之内。我们展示了框架内的各种求解器及其相互作用，包括FLIPstyle液体、空间自适应体积流体、SPH、MPM和基于网格的固体，包括但不限于离散弹性杆、弹性体和具有最先进构成模型的FEM。我们的框架被证明是强大而直观的，足以让艺术家自愿采用，并在过去的四年里为多个主要电影制作提供了生物和特效模拟。 ### GWA: A Large Geometric-Wave Acoustic Dataset for Audio Deep Learning * **这个数据集很有意义，提供了许多可能** * 我们提出了几何波声学（GWA）数据集，这是一个由200多万个合成房间脉冲响应（IRs）及其相应的详细几何和模拟配置组成的大规模音频数据集。我们的数据集从超过6.8K个高质量的多样化和专业设计的房屋中提取声学环境样本，表示为语义标记的三维网格。我们还提出了一个新颖的基于语义匹配的真实世界声学材料分配方案，该方案使用了一个句子变换器模型。我们通过用有限差分时域波解器自动校准几何声学射线追踪，计算出与准确的低频和高频波效应相对应的高质量脉冲响应。我们通过与复杂的真实环境中记录的IRs进行比较，证明了我们的IRs具有更高的准确性。此外，我们强调了GWA在音频深度学习任务中的优势，如自动语音识别、语音增强和语音分离。这个数据集是第一个在复杂场景中具有精确波声模拟的数据。 ### High Dynamic Range and Super-Resolution From Raw Image Bursts * 由智能手机和中档相机拍摄的照片的空间分辨率和动态范围都很有限，在曝光不足的区域有噪音反应，在饱和的区域有色彩伪影。本文介绍了第一种方法（据我们所知），从手持相机拍摄的原始照片中重建高分辨率、高动态范围的彩色图像，并进行曝光包围。该方法使用物理上准确的图像形成模型，将用于解决相应逆向问题的迭代优化算法与用于稳健对齐的学习图像表示和学习自然图像先验相结合。所提出的算法是快速的，与最先进的基于学习的图像修复方法相比，它的内存需求很低，其特征是由合成但现实的数据自始至终地学习。广泛的实验证明了其卓越的性能，在野外用手持相机拍摄的真实照片上，超分辨率系数高达×4，并且对低光照条件、噪声、相机抖动和适度的物体运动具有高度的鲁棒性。 ### ImLoveNet Misaligned Image-supported Registration Network for Low-overlap Point Cloud Pairs * 成对的点云之间的低重合区域使得捕获的特征可信度很低，导致前沿模型的点云注册质量很差。除了传统的智慧，我们提出了一个有趣的问题。是否有可能利用两个低重叠的点云之间的中间但错位的图像来提高前沿注册模型的性能？为了回答这个问题，我们提出了一个支持低重叠点云对的错位图像注册网络，称为ImLoveNet。ImLoveNet首先学习不同模式的三重深度特征，然后将这些特征输出到一个两阶段的分类器，用于逐步获得两个点云之间的高置信度重叠区域。因此，在预测的重叠区域上很好地建立了软对应关系，从而为登记提供了准确的刚性转换。ImLoveNet实现起来简单而有效，因为1）错位的图像为两个低重叠的点云提供了更清晰的重叠信息，以更好地定位重叠部分；2）它包含某些几何知识以提取更好的深层特征；3）它不需要成像设备相对于三维点云参考框架的外在参数。对不同类型的基准进行广泛的定性和定量评估，证明了我们的ImLoveNet比最先进的方法更有效和更优越。 ### Implicit Neural Representation for Physics-driven Actuated Soft Bodies * NeRF+Physics * 有源软体可以通过诱发变形的内部致动机制来影响其形状。与最近的工作类似，本文利用一个可微分的、准静态的和基于物理学的模拟层来优化由神经网络参数化的驱动信号。我们的关键贡献是通过定义一个函数，使材料空间中的空间点与致动值之间形成连续的映射，来控制主动软体的一般和隐含的表述。这一特性使我们能够捕捉到信号的主导频率，使该方法不受离散化的影响，并广泛适用。我们将我们的隐含模型扩展到下颌骨运动学，用于面部动画的特殊情况，并表明我们可以可靠地重现用高质量捕捉系统捕捉的面部表情。我们将该方法应用于体积软体、人体姿势和面部表情，展示了艺术家友好的特性，如对潜伏空间的简单控制和测试时的分辨率不变性。 ### Learning Smooth Neural Functions via Lipschitz Regularization * 这个性质好像我之前就发现过了。。。没想到可以发paper * 没想到在形状插值上也有一些用 * 最近，神经隐含场作为一种有用的三维形状表示方法出现了。这些场通常表示为神经网络，它将潜在描述符和三维坐标映射为隐含函数值。神经场的潜在描述符作为它所代表的三维形状的变形手柄。因此，与该描述符有关的平滑性对于执行形状编辑操作是最重要的。在这项工作中，我们引入了一种新的正则化，旨在通过惩罚场的Lipschitz常数的上限来鼓励神经场中的平滑潜空间。与先前的Lipschitz正则化网络相比，我们的网络计算速度快，可以在四行代码中实现，并且在几何应用中需要最小的超参数调整。我们证明了我们的方法在形状插值和外推以及三维点云的部分形状重建上的有效性，显示了比现有的最先进和非正则化基线的定性和定量改进。 ### Learning to Brachiate via Simplified Model Imitation * 臂力运动是长臂猿和萨满的主要运动形式，在这种运动中，这些灵长类动物只用他们的手臂在树枝之间摆动。由于控制权有限，需要提前计划，以及所需抓握的精确度，因此控制起来很有挑战性。我们提出了一种使用强化学习来解决这个问题的新方法，并在一个没有手指的14个链接的平面模型上进行了演示，该模型学会了在具有挑战性的手掌序列中进行撑握。我们的方法的关键是使用一个简化的模型，一个带有虚拟手臂的点状质量，我们首先学习一个政策，使其能够在规定的顺序下在手掌的序列中支撑起来。这有利于学习完整模型的策略，它通过提供一个整体的质心轨迹进行模仿，并为握持的时间提供指导。最后，简化的模型也可以很容易地用于在给定的环境中规划合适的握手顺序。我们的结果表明，在飞行和保持阶段有各种持续时间的肱骨运动，以及在证明有用时出现的额外的来回摆动。该系统通过各种消融进行了评估。该方法使未来的工作能够实现更普遍的三维肱骨运动，以及在其他环境中使用简化的模型模仿。 ### Learning to Use Chopsticks in Diverse Gripping Styles * 学习灵巧的操作技能是计算机图形学和机器人学的一个长期挑战，特别是当任务涉及手、工具和物体之间复杂而微妙的互动时。在本文中，我们专注于基于筷子的物体重新定位任务，这很常见，但要求很高。成功的筷子技能的关键是稳定地握住筷子，同时支持精细的操作。我们通过贝叶斯优化（BO）和深度强化学习（DRL）自动发现物理上有效的筷子握持姿势，该方法适用于多种握持方式和手部形态，不需要实例数据。鉴于已发现的抓握姿势和需要移动的物体作为输入，我们建立了基于物理学的手部控制器，分两个阶段完成重新定位任务。首先，在运动规划阶段，为筷子和手合成运动轨迹。我们的运动规划器的关键部分包括一个抓取模型，以选择合适的筷子配置来抓取物体，以及一个轨迹优化模块来生成无碰撞的筷子轨迹。然后，我们通过DRL再次训练基于物理学的手部控制器，以跟踪运动规划器产生的所需运动轨迹。我们通过重新定位各种形状和大小的物体，以不同的抓取方式和多种手部形态的握持位置来证明我们框架的能力。与试图在没有抓握姿势优化模块和/或没有运动学运动规划器的情况下学习基于筷子的技能的普通系统相比，我们的系统实现了更快的学习速度和更好的控制稳定性。 ### Low-poly Mesh Generation for Building Models * 建筑Mesh简化，腾讯光子实验室的 * 作为一种常见的做法，游戏建模者为给定的三维建筑模型手工制作低聚网格，以实现小元素数量和视觉相似性之间的理想平衡。这可能需要几个小时，并涉及到乏味的试验和错误。我们提出了一种新颖而简单的算法，通过将高聚物三维建筑模型转换为简单和视觉保护的低聚物网格来自动完成这一过程。我们的算法有三个阶段。首先，通过布尔相交输入轮廓的三维挤压产生一个不漏水的、无自我碰撞的视觉外壳；然后，我们通过布尔减去来自输入部分的三维基元，从视觉外壳中刻出明显但多余的结构；最后，我们从刻出的网格中产生一个逐步简化的低聚网格序列，并提取帕累托前沿，供用户选择所需输出。我们方法的每个阶段都由视觉指标指导，目的是保持与输入的视觉相似性。我们在一个包含100个不同风格的建筑模型的数据集上测试了我们的方法，这些模型大多用于流行的数字游戏中。通过与最先进的竞争性技术的比较，我们强调了其卓越的稳健性和质量。 ### Mixed Integer Neural Inverse Design * 设计相关， **neural inverse design** 看起来有点意思，可以调研一下。 * 在计算设计和制造中，神经网络正在成为笨重的正向模拟的重要替代物。一个长期存在的、相互交织的问题是反设计问题：如何计算出一个满足预期目标性能的设计？在这里，我们展示了在日常神经网络中非常常见的片状线性特性，它允许基于混合整数线性编程的逆向设计表述。我们的混合整数逆向设计以一种原则性的方式发现了全局最优或接近最优的解决方案。此外，我们的方法极大地促进了新兴的、但具有挑战性的组合逆向设计任务，如材料选择。对于那些难以找到最优解的问题，我们开发了一种高效但接近最优的混合方法。最终，我们的方法能够在具有类似性能的多个设计中找到对可能的制造扰动具有证明力的解决方案。 ### Mobius Convolutions for Spherical CNNs * 具有空间不变性的卷积操作，之前有球面卷积，这里用到了莫比乌斯变换。适用于二维全景图。 * 莫比乌斯变换在几何学和球形图像处理中都发挥着重要作用--它们是二维表面的共形自变形群，也是球形同构体的等同物。在这里，我们提出了一个新的、莫比乌斯等价的球形卷积算子，我们称之为莫比乌斯卷积；利用它，我们为莫比乌斯等价的球形CNN奠定了基础。我们的方法是基于以下观察：为了实现等价，我们只需要考虑低维子组，该子组将点的位置在其邻居的框架内进行转换。为了有效地计算尺度上的莫比乌斯卷积，我们推导出变换在球面滤波器上的作用的近似值，允许我们用快速的球面谐波变换在谱域上计算我们的卷积。由此产生的框架是灵活和描述性的，我们通过在形状分类和图像分割任务中取得有希望的结果来证明它的效用。 ### NeROIC: Neural Rendering of Objects from Online Image Collections * NeRD 差不多的东西，比 NeRD 在某些情况下高1PSNR。 * 我们提出了一种从在线图像集合中获取物体表征的新方法，从具有不同相机、光照和背景的照片中捕捉任意物体的高质量几何和材料属性。这使得各种以物体为中心的渲染应用成为可能，如新视角合成、重新照明、以及从具有挑战性的野外输入中获得协调的背景构成。我们使用多阶段的方法来扩展神经辐射场，首先推断出表面的几何形状并完善粗略估计的初始相机参数，同时利用粗略的前景物体掩码来提高训练效率和几何质量。我们还引入了一种稳健的法线估计技术，在保留关键细节的同时消除了几何噪音的影响。最后，我们提取表面材料属性和环境光照，用球面谐波表示，并进行扩展以处理瞬时元素，如尖锐的阴影。这些组件的结合产生了一个高度模块化和高效的物体采集框架。广泛的评估和比较表明，我们的方法在捕捉高质量的几何和外观属性方面具有优势，对渲染应用非常有用。 ### NeuralPassthrough: Learned Real-Time View Synthesis for VR * 虚拟现实（VR）头盔提供了一种身临其境的立体视觉体验，但其代价是阻碍了用户直接观察他们的物理环境。穿透技术旨在通过利用朝外的相机来重建用户在没有头盔的情况下所看到的图像，从而解决这一限制。这本身就是一个实时视图合成的挑战，因为穿透式摄像机不能与用户的眼睛在物理上同处一地。现有的透视技术存在着分散注意力的重建伪影，这主要是由于缺乏准确的深度信息（尤其是对于近场和被遮挡的物体），而且还表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一个学习型穿透方法，并使用一个包含一对立体RGB相机的定制VR头盔来评估其性能。通过模拟和实验，我们证明了与最先进的方法相比，我们的学习穿透方法提供了卓越的图像质量，同时满足了VR对桌面连接头盔的宽视场上的实时、透视校正立体视图合成的严格要求。 ### SNeRF: Stylized Neural Implicit Representations for 3D Scenes * NeRF 风格化。 * 本文提出了一种风格化的新型视图合成方法。由于缺乏跨视图的一致性，将最先进的风格化方法逐帧应用于新的视图往往会造成抖动的伪影。因此，本文研究了3D场景风格化，它为一致的新颖视图合成提供了一个强大的归纳偏向。具体来说，我们采用新兴的神经辐射场（NeRF）作为我们选择的3D场景表示，因为它们有能力为各种场景渲染高质量的新视图。然而，由于从NeRF渲染一个新的视图需要大量的样本，训练一个风格化的NeRF需要大量的GPU内存，超出了现成的GPU容量。我们引入一种新的训练方法，通过交替进行NeRF和风格化的优化步骤来解决这个问题。这样的方法使我们能够充分利用我们的硬件内存容量，既能以更高的分辨率生成图像，又能采用更具表现力的图像风格转移方法。我们的实验表明，我们的方法可以为广泛的内容（包括室内、室外和动态场景）生成风格化的NeRF，并且可以合成高质量的具有跨视角一致性的新视图。 * 概述。我们提出了一种交替训练的方法来使隐性场景表征风格化。对于一个迭代：（1）给定一个预训练的场景函数，我们从不同的角度渲染图像。(2) 然后我们使用图像风格化模块对这些图像进行风格化。(3) 我们训练场景函数来匹配多视图风格化的图像，类似于训练NeRF函数。在下一次迭代中，(1)我们再次从现在更加风格化的场景函数中渲染不同视角的图像，(2)对这组新的图像进行图像风格化处理，(3)用新的图像集训练NeRF。 ### NeuralSound: Learning-based Modal Sound Synthesis with Acoustic Transfer * 如果没理解错，是学习不同材料不同形状物体的声音 * 我们提出了一种新型的基于学习的模态声音合成方法，包括用于模态分析的混合振动求解器和用于声学传递的辐射网络。我们的混合振动求解器由一个三维稀疏卷积网络和一个用于迭代优化的局部最优块状预处理共轭梯度（LOBPCG）模块组成。此外，我们强调了标准数值振动求解器和我们的网络结构之间的相关性。我们的辐射网络从物体的表面振动预测出远场声学传输图（FFAT图）。在RTX 3080 Ti GPU上，我们基于学习的方法对大多数新物体的整体运行时间不到一秒，同时保持了接近标准数值方法解决的地面真相的高声音质量。我们还评估了我们的方法在各种形状和材料的不同物体上的数值和感知准确性。 ### Novel View Synthesis of Human Interactions From Sparse Multi-view Videos * NeuralBody 类似的东西, 比 NeuralBody 高 2~3 个PSNR. * 鉴于人类表演者的稀疏多视角视频，我们的方法能够生成高保真的新视角和准确的实例掩码，即使是在拥挤的场景中。这个场景是由8个GoPro相机拍摄的. ### QuickPose: Real-time Multi-view Multi-person Pose Estimation in Crowded Scenes * 这项工作提出了一种实时算法，用于在拥挤的场景中从多个校准的视图中重建三维人体姿势。这个问题的关键挑战是如何在多个视图中有效地匹配二维观察。以前的方法要么在全身层面上进行多视图匹配，这对二维姿势估计误差很敏感；要么在部位层面上进行匹配，这忽略了同一视图中不同类型身体部位之间的二维约束。相反，我们的方法是在多视图匹配过程中对所有合理的骨架建议进行推理，其中每个骨架可能由任意数量的部件组成，而不是整个身体或单一部件。为此，我们将多视图匹配问题表述为在骨架方案空间中的模式寻求，并开发了一种名为QuickPose的高效算法来解决这个问题，从而实现了在拥挤场景中的实时运动捕捉。实验表明，所提出的算法在公共数据集的速度和准确性方面都达到了最先进的性能。 ### Palette: Image-to-Image Diffusion Models * 比较 General 的文章，做了非常多的应用。 * 我们已经开发了一个简单而通用的图像到图像的翻译框架，叫做Palette。我们在四个具有挑战性的计算机视觉任务上对Palette进行了评估，即着色、绘画、解剪和JPEG修复。Palette能够超越强大的特定任务的GANs，而无需任何特定任务的定制或超参数调整。 ### Photo-to-Shape Material Transfer for Diverse Structures * 我们介绍了一种以自动方式为三维形状分配逼真的可重打光材料的方法。我们的方法将真实物体的照片典范和具有分割功能的三维物体作为输入，并使用典范来指导对形状各部分的材料分配，从而使产生的形状的外观尽可能地与典范相似。为了实现这一目标，我们的方法结合了一个图像翻译神经网络和一个材料分配神经网络。图像翻译网络将颜色从示范体翻译成三维形状的投影，并将零件分割从投影翻译成示范体。然后，材料预测网络根据翻译后的图像和材料的知觉相似性，从现实材料的集合中分配材料给投影的零件。我们方法的一个关键想法是使用翻译网络来建立典范和形状投影之间的对应关系，这使我们能够在具有不同结构的物体之间转移材料。我们方法的另一个关键想法是利用图像翻译提供的两对（颜色、分割）图像来指导材料分配，这使我们能够确保分配的一致性。我们证明，我们的方法允许我们将材料分配给形状，使它们的外观更像输入的样板，比最先进的方法提高了结果的质量，并允许我们自动创建具有高质量逼真材料的数千个形状。 ### Physics Informed Neural Fields for Smoke Reconstruction with Sparse Data * 物理+NeRF=流体重建 * 由于基础物理学的复杂性以及捕获物中复杂的遮挡和光照，从稀疏的多视角RGB视频中高保真地重建流体仍然是一个艰巨的挑战。现有的解决方案要么是假定对障碍物和光照的了解，要么只关注没有障碍物或复杂光照的简单流体场景，因此不适合具有未知光照或任意障碍物的真实世界场景。我们提出了第一种方法，在不考虑照明条件、几何信息或边界条件的情况下，通过对稀疏视频进行端到端的优化，利用支配物理学（即纳维-斯托克斯方程）重建动态流体。我们使用神经网络作为流体的密度和速度解函数以及静态物体的辐射场的解析器，提供了一个连续的时空场景表示。通过分离静态和动态内容的混合结构，首次重建了流体与静态障碍物的相互作用，而不需要额外的几何输入或人类标记。通过用物理学上的深度学习来增强时间变化的神经辐射场，我们的方法从图像和物理先验的监督中获益。为了从稀疏的视图中实现稳健的优化，我们引入了逐层增长的策略来逐步增加网络容量。使用带有新的正则化项的渐进式增长模型，我们设法在不过度拟合的情况下消除辐射场的密度-颜色模糊性。预训练的密度-速度流体模型被用作数据先验，以避免低估涡度的次优速度，但实际上满足了物理方程。我们的方法在一组有代表性的合成和实际流动捕获物上表现出高质量的结果，具有宽松的约束和强大的灵活性。 ### Procedural Texturing of Solid Wood with Knots * 我们提出了一个程序性框架，用于对带有树节的实木的年轮图案进行建模。尽管木材纹理是一个被充分研究的课题，但以前很少有人尝试对木材纹理内的结点进行建模。我们的方法以树木原木的骨架结构为输入，并产生一个代表新增生长时间的三维标量场，它定义了体积的年轮模式。首先，围绕着骨架的每条线，即茎和每个节，计算单独的场。然后使用平滑最小值将这些股合并成一个场。我们进一步提出了控制平滑最小值的技术，以调整平滑度的平衡，再现在死结周围观察到的失真效果。我们的方法被实现为一个在GPU上运行的着色器程序，每幅图像的计算时间约为0.5秒，输入数据大小为600KB。我们展示了松树和云杉的实木以及胶合板和交叉层压木材（CLT）的渲染图像。木材专家对我们的结果进行了评估，他们确认了渲染的年轮模式的合理性。 ### R2E2: Low-Latency Path Tracing of Terabyte-Scale Scenes using Thousands of Cloud CPUs * 超大光追 * R2E2是一个基于场景分解的并行渲染器，它可以快速获得数千个云计算CPU核心，从预先建立的场景BVH中加载场景几何图形到这些节点的聚合内存中，并执行全路径追踪的全局照明。使用数以千计的微小计算节点，可以在几十秒内对多达一兆字节的几何和纹理数据的场景进行路径追踪。 ### Random Walks for Adversarial Meshes * Mesh 模态的对抗攻击 * 多边形网格是计算机图形中最常用的表面表示方法。因此，最近提出了许多网格分类网络也就不足为奇了。然而，当对抗性攻击在二维中被疯狂研究的时候，对抗性网格的领域却没有得到充分的探索。本文提出了一种新颖的、统一的、通用的对抗性攻击，它导致了几个最先进的网格分类神经网络的错误分类。我们的攻击方法是黑箱式的，也就是说，它只能访问网络的预测，而不能访问网络的全部结构或梯度。关键的想法是训练一个网络来模仿一个给定的分类网络。这是通过利用沿网状表面的随机行走来实现的，它收集了几何信息。这些行走提供了对网格区域的洞察力，这些区域对给定分类网络的正确预测很重要。然后，这些网状区域被修改得比其他区域更多，以便以肉眼几乎看不到的方式攻击网络。 ### Reconstructing translucent objects using differentiable rendering * NeRF渲染半透明玉石材质的兔子 * 逆向渲染是一种从照片上对物体进行建模的强大方法，我们扩展了以前的技术来处理表现出次表面散射的半透明材料。使用异质双向散射-表面反射分布函数（BSSRDF）来表示半透明性，我们扩展了路径空间可微分渲染的框架，以适应表面和次表面反射。这就引入了新的路径类型，需要新的方法来对材料空间中由可见性和移动几何体产生的移动不连续点进行采样。我们在一个端到端的方法中使用这种可微分的渲染方法，在一个从粗到细的框架中，结合几何学的拉普拉斯预处理，从稀疏的测量二维图像中联合恢复异质半透明材料（由BSSRDF表示）和物体的详细几何学（由网格表示）。为了在BSSRDF积分引入的蒙特卡洛噪声下有效地优化我们的模型，我们引入了一种双缓冲区方法来评估L2图像损失。这有效地避免了由于图像像素及其导数估计的相关性而导致的梯度估计的潜在偏差，并使优化器在渲染器中使用低样本数时也能正确收敛。我们通过与有限差分的比较来验证我们的导数，并通过与以前的方法进行反渲染性能的比较来证明我们技术的有效性。与之前只建立表面反射模型的方法相比，我们在一组合成和真实世界的半透明物体上显示了卓越的重建质量。 ### Rendering Neural Materials on Curved Surfaces * 似乎轮廓会好一些 * 神经材料反射率表示法解决了传统的带有参数纹理的分析性BRDF的一些局限性；它们在理论上可以表示任何材料数据，无论是带有位移、阴影和相互反射的复杂合成微几何，还是真实测量的反射率。然而，它们仍然近似于无限平面上的材料，这使得它们无法正确处理接近侧影的观察方向的剪影和视差效应。本文的目标是设计一个能够正确处理这种剪影效应的神经材料表示法。我们扩展了神经网络查询，将表面曲率信息作为输入，同时扩展了查询输出，除反射率外还返回透明度值。我们在包含跨越各种表面曲率的查询的合成数据上训练新的神经表示。我们展示了准确表达复杂轮廓行为的能力，这些行为在传统上需要更昂贵和更不灵活的技术，如即时几何位移或射线行进。 ### Rendering Iridescent Rock Dove Neck Feathers * 鸟类的羽毛表现出迷人的反射率，这是由纤维状结构决定的。与毛发和皮毛不同，羽毛的几何结构遵循复杂的层次模式，其规模跨越了许多数量级。在最小的尺度上，纤维元素具有强烈的非圆柱形截面，并且经常被规则的纳米结构所补充，造成丰富的结构色彩。因此，过去试图用基于纤维或纹理的外观模型来渲染羽毛，却忽略了视觉外观的特点。我们引入了一个新的羽毛建模和渲染框架，将微观的几何形状和反射率抽象为类似于微面的BSDF。R、TRT和T叶，也是从头发和皮毛中得知的，在这里分别说明了皮质的镜面反射、髓部的漫反射和由于小节间距造成的透射。我们的BSDF不需要预先计算或存储，可以有效地进行重要性采样，并很容易地集成到渲染管道中，以表示羽毛的几何形状，直至倒钩水平。我们使用小型生物结构的BSDF捕捉装置，以及岩鸽颈部羽毛的校准照片来验证我们的方法。 ### Robust Computation of Implicit Surface Networks for Piecewise Linear Functions * 隐式表面网络，如隐式表面和材料界面的排列，被用于模拟片状光滑或分区的形状。然而，在网格上离散这两种结构的准确和数值稳健的算法仍然是缺乏的。我们提出了一个统一的方法来计算四面体网格上定义的片状线性函数的两类表面网络。这两种算法都能保证对任何数量的函数产生正确的组合结构。我们的主要贡献是采用准确有效的方法来划分四面体，使用由arycentric插值定义的线性函数的水平集。为了进一步提高性能，我们设计了查找表以加快涉及少数函数的四面体的处理，并引入了识别嵌套三维区域的有效算法。 ### Scalable Neural Indoor Scene Rendering * 应该看过这篇，就是初步构建体积分布，然后切成很多空气以外的小方块来学。 * 我们提出了一种可扩展的神经场景重建和渲染方法，以支持大型室内场景的分布式训练和交互式渲染。我们的表示方法是基于瓦片和与视线无关的外观（漫反射颜色和阴影）和与视线有关的外观（镜面高光，反射）的分离，每一个都是由容量较小的MLPs预测的。在为每块瓷砖分配MPL后，我们的方案允许瓷砖MLP并行训练，并通过两遍训练策略仍能代表复杂的反射。这是通过背景采样策略实现的，该策略可以增强来自代理全局网格几何的瓦片信息，并容忍来自重建的代理几何的典型错误。此外，我们在每个瓦片上设计了一个基于双MLP的表示法，以利用这样的现象，即与视线有关的表面效应可以归因于与源的总射线距离的反射虚拟光。这使我们能够处理输入场景的稀疏采样，在这种情况下，反射亮点并不总是在输入图像中一致出现。我们展示了五个场景的交互式自由视点渲染结果。其中一个场景覆盖的面积超过了100㎡。实验结果表明，我们的方法比单一的大容量MLP和其他最近的基线方法产生更高质量的渲染。 ### Self-Conditioned Generative Adversarial Networks for Image Editing * GANs 的 data bias * 生成对抗网络（GANs）很容易受到偏见的影响，这些偏见是从不平衡的数据中学习到的，或者是通过模式坍缩学习到的。这些网络专注于数据分布的核心部分，而将分布的尾部--或边缘--抛在后面。我们认为，这种偏见不仅要对公平性问题负责，而且在偏离分布的核心时，它在潜在的遍历编辑方法的崩溃中起着关键作用。在这一观察的基础上，我们概述了一种通过自我调节过程来减轻生成器偏差的方法，其中预训练生成器的潜空间中的距离被用来为数据提供初始标签。通过在从这些自我标记的数据中提取的重新采样分布上对生成器进行微调，我们迫使生成器更好地应对罕见的语义属性，并使这些属性的生成更加现实化。我们将我们的模型与各种潜在的编辑方法进行了比较，结果表明，通过减轻偏见，它们实现了更精细的语义控制，并通过更广泛的转换实现了更好的身份保护。 ### Self-Distilled StyleGAN: Towards Generation from Internet Photos * 自动洗数据的 StyleGAN * 众所周知，StyleGAN能够产生高保真的图像，同时还能提供前所未有的语义编辑。然而，这些迷人的能力只在有限的数据集上得到了证明，这些数据集通常在结构上是一致的，并且经过精心策划。在本文中，我们展示了StyleGAN如何适应从互联网上收集的未经整理的原始图像。这样的图像集给StyleGAN带来了两个主要挑战：它们包含许多离群的图像，并且具有多模态分布的特征。在这种原始图像集上训练StyleGAN会导致图像合成质量下降。为了应对这些挑战，我们提出了一种基于StyleGAN的自我蒸馏方法，它包括两个主要部分。(i) 对数据集进行基于生成的自我过滤，以消除离群的图像，从而产生一个足够的训练集，以及(ii) 对生成的图像进行感知聚类，以检测固有的数据模式，然后在图像合成过程中采用这些模式来改进StyleGAN的 "截断技巧"。所提出的技术能够生成高质量的图像，同时将数据的多样性损失降到最低。通过定性和定量评估，我们证明了我们的方法在从互联网上收集的新的具有挑战性和多样性的领域的力量。 ### Self-Supervised Post-Correction for Monte Carlo Denoising * 使用由大型数据集训练的网络来进行去噪的蒙特卡洛渲染正变得流行。这种基于监督学习的去噪方法目前被认为是在质量方面最好的方法。然而，当需要渲染的图像（即测试数据）与训练数据集中的图像有很大不同的特征时，这种方法可能会失败。一个预先训练好的网络可能无法对这样的图像进行去噪，因为从监督学习的角度来看，它是未见过的数据。为了解决这个基本问题，我们引入了一个后处理网络，以提高监督学习去噪器的性能。我们的方法背后的关键想法是用自我监督学习来训练这个后处理网络。与监督学习相比，我们的自我监督模型在训练过程中不需要参考图像。因此，我们可以使用嘈杂的测试图像，并在飞行中对模型进行自我纠正，以提高去噪性能。我们的主要贡献是一个自我监督的损失，它可以指导后校正网络优化其参数，而不依赖参考。我们的工作是第一个将这种自我监督的学习概念应用于去噪的蒙特卡洛渲染估计。我们证明了我们的后校正框架可以通过我们的自我监督优化来促进监督去噪。 ### Semantically Supervised Appearance Decomposition for Virtual Staging from a Single Panorama * 单全景图利用语义分割分析光线效果，如太阳光打在地上、或者玻璃反射等，然后移除这些光线效果以更真实的编辑图片。 * 我们描述了一种新的方法，将空旷的室内环境的单一全景图分解成四个外观部分：镜面、阳光直射、漫反射和没有阳光直射的漫反射环境。我们的系统由自动生成的语义图（包括地板、墙壁、天花板、灯、窗户和门的标签）进行弱监督，这些语义图在透视图上显示了成功，并且使用转移学习对全景图进行了训练，没有任何进一步注释。一个基于GAN的方法在从语义图中获得的粗略信息的监督下，提取地板和墙壁上的镜面反射和阳光直射区域。这些照明效果通过一个类似的基于GAN的方法和一个语义感知的绘画步骤被移除。外观分解实现了多种应用，包括太阳方向估计、虚拟家具插入、地板材料替换和太阳方向改变，为虚拟家庭分期提供了一个有效工具。我们在最近发布的大型空屋全景图数据集上证明了我们的方法的有效性。 ### Simulation and Optimization of Magnetoelastic Thin Shells * 磁弹性薄壳在通过材料硬度、残余磁化强度和外部磁刺激的广泛组合实现多功能方面表现出巨大潜力。在本文中，我们提出了一种新的计算方法，用于磁弹性薄壳的正向模拟和反向设计。我们的系统由前向模拟和后向优化两个关键部分组成。在模拟方面，我们在Kirchhoff-Love薄壳模型的基础上建立了一个新的连续体力学模型，以描述巨网弹性薄壳在外部磁刺激下的行为。在此模型的基础上，我们提出了一个隐含的数值模拟器，通过磁能Hessian来处理统一框架内的弹性和磁应力，它可以与其他薄壳模型结合使用。在优化方面，我们设计了一个新的可微分模拟框架，配备了一个有效的邻接公式，以适应各种PDE约束，在静态和动态环境下的磁弹性薄壳结构反设计问题。它还包括磁弹性软体机器人、功能性折纸、艺术作品和元材料设计等方面的应用。我们通过设计和模拟大量的磁弹性薄壳物体来证明我们框架的功效，这些物体体现了磁场、材料和控制策略之间复杂的相互作用。 ### Sketch2Pose: Estimating a 3D Character Pose from a Bitmap Sketch * 绘画辅助，**或许与 stable diffusion 结合能够改善绘画质量**。 * 艺术家们经常通过光栅草图来捕捉角色的姿势，然后用这些图画作为参考，在专门的三维软件中摆出一个三维角色--这是一个耗时的过程，需要专门的三维训练和精神努力。我们通过提出第一个从单一的位图草图中自动推断出3D角色姿势的系统来解决这一挑战，产生与观众期望一致的姿势。在算法上解释位图草图是具有挑战性的，因为它们包含明显扭曲的比例和前缘畸形。我们通过预测图画的三个关键元素来解决这个问题，这些元素是区分图画姿势所必需的：二维骨骼切线、自我接触和骨骼前凸。然后，这些元素被用于优化，推断出符合艺术家意图的三维人物姿势。我们的优化平衡了来自艺术文献和感知研究的线索，以补偿扭曲的人物比例。我们在众多风格的草图上展示了一系列的结果。我们通过数字评估、用户研究以及与手工摆放的人物和以前的工作进行比较来验证我们的方法。 ### SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation * **NeRF 编辑**，仅针对简单形状，物体由多个自动学习的局部结构组成，通过局部结构的重组和插值实现新物体生成。 * 神经隐含场正在迅速崛起，成为基于学习的技术的一个有吸引力的代表。然而，将它们用于三维形状建模和编辑是具有挑战性的。我们介绍了一种通过部件感知生成编辑隐性形状的方法，简称SPAGHETTI。我们的架构允许通过转换、插值和组合形状段来操作隐含的形状，而不需要显式的部分监督。SPAGHETTI将形状部分的表述分解为外在的和内在的几何信息。这一特点使得生成框架具有零件级的控制能力。SPAGHETTI的建模能力是通过一个交互式的图形界面展示的，用户可以直接编辑神经隐含形状。 ### Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis * **One of the Best Papers** * 这项工作为神经隐含曲面开发了几何查询，如射线投射、最接近点、交叉点测试、建立空间层次等。关键工具是范围分析，它自动计算神经网络输出的局部界限。由此产生的查询有保证的准确性，即使是在随机初始化的网络上。 * 一个 General 的ray sampling加速框架，只需要原表征支持SDF，那么就能加速。加速方式为每次sample 一个patch的光线，然后查询这个patch的光线对应的某个锥形的一部分是否全是空气，这里的查询利用到了对于 SDF的最值分析以及KD-Tree。不过为啥能拿 best paper 呢？ * 具体可以看[这个视频](https://youtu.be/j5sAdzyZ7J0) ### Stability-Aware Simplification of Curve Networks * 金属线+玻璃的大建筑怎么设计简化，考虑了应力等。 * 设计用于制造的曲线网络需要同时考虑结构稳定性、成本效益和视觉吸引力--这些复杂的、相互关联的目标使手工设计成为一项困难和乏味的任务。 我们提出了一种新的方法，用于简化曲线网络的制造意识，通过算法选择给定的三维曲线的一个稳定子集。虽然传统的稳定性是以一组预先定义的负载所引起的变形大小来衡量的，但预测普通日用物体的应用力可能是一个挑战。相反，我们直接对最坏情况下的最小变形进行优化。 ### stelaCSF - A Unified Model of Contrast Sensitivity as the Function of Spatio-Temporal Frequency, Eccentricity, Luminance and Area * 对比度敏感函数，或CSF，是许多视觉模型的基石。它解释了人眼是否能看到一个对比度模式。现有的CSF通常只考虑描述刺激的相关维度的一个子集，限制了这种函数在静态或眼窝内容上的使用，而不是同时使用。在本文中，我们提出了一个统一的CSF，StelaCSF，它考虑了刺激的所有主要维度：空间和时间频率、偏心率、亮度和面积。为了对对比敏感度的5维空间进行建模，我们结合了11篇论文的数据，其中每篇论文都研究了这个空间的一个子集。以前提出的CSF是对单一数据集的拟合，而stelaCSF可以用同一组参数预测所有这些研究的数据。预测结果在整个领域都是准确的，包括低频。此外，stelaCSF依靠心理物理模型和实验证据来解释CSF的5个维度之间的主要相互作用。我们证明了我们的新CSF在闪烁检测指标和凹陷渲染中的效用。 ### Symmetry-driven 3D Reconstruction From Concept Sketches * 2D 草图到3D草图 * 在工业设计中普遍使用的概念草图，本质上是不精确的，但在向人类观察者传达三维形状方面非常有效。我们提出了一种新的对称性驱动的算法，用于从概念草图中恢复设计者意图的三维几何形状。我们观察到，大多数人类制造的形状的概念草图都是围绕着局部对称的构件进行的，这些构件由正交对称平面的三联体定义。我们利用二维对称性和绘图顺序的组合来识别潜在的建筑块。我们通过利用知觉线索和对设计者绘画选择的观察，重建每个这样的构件。我们把这种重建作为一个整数编程问题，我们试图在由近似笔触形成的一大套候选对称性对应关系中，找出导致最对称和连接最紧密的形状的子集。我们通过重建82张草图证明了我们方法的稳健性，这些草图表现出明显的过度草图、不准确的视角、部分对称性和其他不完善之处。在一项比较研究中，参与者认为我们的结果比最先进的方法要好，比例为2：1。 ### Time-multiplexed Neural Holography: A flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators * 全息近眼显示器为虚拟和增强现实系统提供了前所未有的能力，包括感知上重要的焦点线索。尽管人工智能驱动的计算机生成全息（CGH）算法最近在提高全息图的图像质量和合成效率方面取得了很大进展，但这些算法并不直接适用于新兴的仅有相位的空间光调制器（SLM），这些调制器速度极快，但提供的相位控制精度却非常有限。这些SLM的速度提供了时间复用功能，基本上可以实现部分相干的全息显示模式。在这里，我们报告了这些类型的近眼全息显示的相机校准波传播模型的进展，我们开发了一个CGH框架，可以稳健地优化快速SLM的严重量化的相位模式。我们的框架可以灵活地支持不同类型内容的运行监督，包括2D和2.5D RGBD图像、3D焦点堆栈和4D光场。使用我们的框架，我们在模拟和实验中为所有这些场景展示了最先进的结果。 ### Unsupervised Kinematic Motion Detection for Part-segmented 3D Shape Collections * 无监督的方法来发现部分分割的三维形状集合中的铰接运动 * 制造的物体的三维模型对于填充虚拟世界以及为视觉和机器人学生成合成数据非常重要。为了发挥最大的作用，这些物体应该是铰接的：它们的部件在互动时应该移动。虽然存在有关节的物体数据集，但创建这些数据集是劳动密集型的。基于学习的部件运动预测可以提供帮助，但所有现有的方法都需要注释的训练数据。在本文中，我们提出了一种无监督的方法来发现部分分割的三维形状集合中的铰接运动。我们的方法基于一个我们称之为类别封闭的概念：一个物体各部分的任何有效衔接都应该使该物体保持在同一语义类别中（例如，一把椅子保持为一把椅子）。我们用一种算法来操作这个概念，该算法优化了一个形状的部分运动参数，使其能够转变为集合中的其他形状。我们通过使用该方法从PartNet-Mobility数据集中重新发现零件运动来评估我们的方法。对于几乎所有的形状类别，我们的方法预测的运动参数相对于地面真实注释具有较低的误差，超过了两种有监督的运动预测方法。 ### Variational Quadratic Shape Functions for Polygons and Polyhedra * 解决几何域上的偏微分方程（PDEs）是计算机图形、几何处理和许多其他领域的重要组成部分。通常情况下，给定的离散网格是几何表征，不应为模拟目的而改变。因此，准确求解一般网格上的PDEs是一个核心目标，在过去的几年里，各种微分算子都被考虑到了。虽然众所周知，在简单网格上使用高阶基函数可以大幅提高精度和收敛性，但将这些优点有效地扩展到一般的表面或体块上仍然是一个开放的问题。我们的工作为多边形和多面体提出了变化优化的片状二次元形状函数，它概括了二维P2元素，在简单网格上精确地再现了它们，并继承了它们有益的数值特性。为了减轻计算时间增加的相关成本，特别是对于体积网格，我们引入了一个定制的两级多网格求解器，大大改善了计算性能。 ### Volume Parametrization Quantization for Hexahedral Meshing * 在过去的十年中，基于参数化的表面四边形网格生成领域的发展是有影响的。在此背景下，一个重要的进展是在整数网格图的生成过程中，用稳健的量化方法取代了容易出错的四舍五入。同时，基于参数化的六面体网格生成也得到了发展。然而，在这种体积方面，最先进的方法仍然依赖于脆弱的四舍五入，很少产生有缺陷的网格，特别是在以粗略的网格分辨率为目标时。我们提出了一种稳健地量化体积参数的方法，即确定三维整数网格图的有效整数选择。受二维情况的启发，我们的构造基于体积的非一致性单元分解，即T型网格的三维类似物。特别是，我们为此利用了摩托车复合体，一个最近的摩托车图的概括。整数值在这个复合体的边上以微分的方式表达，使我们能够有效地制定所需的条件，严格防止迫使地图退化。在六面体网格划分的背景下应用我们的方法，我们证明了六面体网格可以以明显改善的灵活性生成。 ### VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting * 我们提出了VoLux-GAN，这是一个生成框架，用于合成具有令人信服的再照明的3D感知的脸。我们的主要贡献是一种体积化的HDRI再照明方法，它可以有效地积累反照率、漫反射和镜面照明的贡献，沿着每条3D射线，为任何所需的HDR环境图。此外，我们展示了使用多个判别器监督图像分解过程的重要性。特别是，我们提出了一种数据增强技术，利用最近在单幅图像肖像重照方面的进展，强制执行一致的几何、反照率、漫反射和镜面成分。多个实验和与其他生成框架的比较表明，我们的模型是如何向逼真的可重光生成模型迈进的。 ### Accommodative Holography: Improving Accommodation Response for Perceptually Realistic Holographic Displays * 随着最近在通过计算机生成全息图（CGHs）实现高对比度图像方面取得的成就，全息显示作为下一代虚拟和增强现实应用获得了前所未有的关注。然而，这些全息图在有限的角度光谱中显示出高能量集中，而具有均匀分布的角度光谱的全息图在重建的图像中存在严重的斑点噪声。在这项研究中，我们声称，归因于现有CGH的这两个物理现象极大地限制了对适应性提示的支持，而适应性提示被称为全息显示的最大优势之一。为了支持这一说法，我们分析和评估了各种具有对比度梯度的CGH算法--对比度随眼睛焦点屈光度的变化而变化--根据显示系统的光学配置和人类视觉感知模型进行模拟。我们首先介绍了两种方法来改善全息观看体验中的单眼适应反应；用光学和计算方法提供具有足够对比度梯度的全息图像。我们设计了全息近眼显示器的原型并进行了用户实验，验证了现有CGH算法中对适应性线索支持的不足，并证明了所提出的解决方案的可行性，对适应性增益有明显的改善。 ### SPCBPT: Subspace-based Probabilistic Connections for Bidirectional Path Tracing * 双向路径追踪（BDPT）可以通过选择适当的光子路径进行连接来加速。然而，现有的算法需要进行频繁的分布重建，并且有昂贵的开销。我们提出了一种新的方法，即SPCBPT，用于概率性连接，在子路径空间中构建光选择分布。我们的方法将子路径分成多个子空间，并将子路径保持在同一个低差异的子空间中，其中光子路径可以通过基于子空间的两阶段抽样方法进行选择，即首先对光子空间进行抽样，然后在这个子空间中对光子路径进行重新抽样。基于子空间的分布是不需要重建的，并以非常低的成本提供有效的光选择。我们还提出了一种在光线选择中考虑多重重要性采样（MIS）项的方法，从而得到一个MIS意识到的分布，可以使组合估计器的方差上限最小。之前的方法通常省略了这个MIS权重项。我们使用各种基准对我们的算法进行了评估，实验结果表明，与最先进的方法相比，我们的方法具有优越的性能，可以显著降低噪声。 ### Dynamic Optimal Space Partitioning for Redirected Walking in Multi-user Environment * 利用一些视觉误差可以让VR用户以为自己在走直线，但实际上是有一定弯曲的曲线。那么这样解决如何在同一个空间中容纳多个VR玩家且是他们不相撞遍成了一个规划问题。 * 在多用户重定向行走（RDW）中，空间细分方法将一个共享的物理空间划分为子空间，并为每个用户分配一个子空间。虽然这种方法具有排除用户间碰撞的优点，但由于每个用户可用空间的减少，传统的空间划分方法受到了频繁的边界重置的影响。为了应对这一挑战，在本研究中，我们提出了一种被称为最优空间划分（OSP）的空间划分方法，实时动态地划分共享物理空间。通过利用物理和虚拟环境的空间信息，OSP预测用户的运动，并将共享的物理空间划分为用百叶窗分隔的最佳子空间。我们的OSP框架使用深度强化学习进行训练，为每个用户分配最佳子空间并提供最佳转向。我们的实验表明，OSP通过最小化重置次数的总数，为用户提供了更高的沉浸感，同时保留了现有空间细分策略的优势：通过事先完全消除用户之间任何碰撞的可能性，确保用户的安全。 ### WallPlan: Synthesizing Floorplans by Learning to Generate Wall Graphs * 房屋平面设计（户型设计） * 平面图的生成已经引起了社会的广泛关注。最近基于学习的生成真实平面图的方法已经取得了重大进展，而要获得理想的结果，仍然需要复杂的启发式后处理。在本文中，我们提出了一种新的面向墙的方法，称为WallPlan，用于从各种设计约束中自动有效地生成可信的平面图。我们率先将平面图表示为带有房间标签的墙图，并将平面图的生成视为一种图的生成。给定边界作为输入，我们首先用WinNet预测的窗户来初始化边界。然后，图形生成网络GraphNet和语义预测网络LabelNet被耦合起来，通过模仿图形遍历来逐步生成墙图。WallPlan可以应用于实际的建筑设计，特别是基于墙的约束。我们进行了消融实验、定性评价、定量比较和知觉研究，以评估我们方法的可行性、有效性和通用性。密集的实验表明我们的方法不需要后期处理，比最先进的技术产生更高质量的平面图。 ### EMBER: Exact Mesh Booleans via Efficient and Robust Local Arrangements * 布尔运算是广泛的几何处理和CAD/CAM任务中的一个重要工具。我们提出了一种新的方法，EMBER，用于计算多边形网格上的布尔运算，它是精确的、可靠的，同时也是高性能的。通过对输入网格使用基于平面的表示，以及最近引入的同质整数坐标，精确性得到了保证。可靠性和稳健性来自于通过广义的缠绕数和网格排列的算法表述。通过避免（预先）构建一个全局加速结构，实现了高性能。相反，我们的算法对场景的包围盒进行了自适应的递归细分，同时在飞行中生成和跟踪所有需要的数据。通过利用一些早期退出的终止标准，我们可以避免生成和检查那些对输出没有贡献的区域。通过仔细的实现和一个偷工减料的多线程架构，我们能够以交互式的速度计算具有数百万个三角形的网格之间的布尔运算。我们对Thingi10K数据集进行了广泛的评估，以证明我们的方法优于最先进的算法，即使是像QuickCSG这样不精确的算法，也有几个数量级的优势。 ### A GPU-Based Multilevel Additive Schwarz Preconditioner for Cloth and Deformable Body Simulation * 竟然还有[B站视频链接](https://www.bilibili.com/video/BV19u41167Ma/?share_source=copy_web&vd_source=f980a77cb4d8f6397b38f9cc8fa61877) * 在本文中，我们希望在开发基于GPU的多级加法施瓦茨（MAS）预处理程序的基础上，将50K到500K顶点的实时布体和可变形体仿真的极限推向更高水平。与MAS框架下的其他预处理程序类似，我们的预处理程序自然地采用了多级和域分解概念。但与以前的工作相反，我们主张使用小的、不重叠的域，这样可以很好地发掘GPU上的并行计算能力。基于这一想法，我们研究并发明了一系列的预处理算法，包括使用Morton代码的多级域构造，通过单向Gauss-Jordan消除的低成本矩阵预计算，以及运行时预处理中的无冲突对称矩阵-向量乘法。实验表明，我们的预处理程序是有效的、快速的、廉价的预计算，并且在刚度和问题大小方面是可扩展的。它与许多线性和非线性求解器兼容，这些求解器用于带有动态接触的布和可变形体模拟，如PCG、加速梯度下降和L-BFGS。在GPU上，我们的预处理程序将PCG求解器的速度提高了约4倍，其CPU版本的性能优于许多竞争对手，包括ILU0和ILUT。 ### CCP: Configurable Crowd Profiles * 人群模拟 * 代理人行为的多样性和一般虚拟人群的异质性是人群模拟的一个重要方面，因为它对所产生的模拟的可感知的真实性和合理性至关重要。异质人群构成了创造众多现实生活场景的支柱，如博物馆展览，这就要求代理人行为的多样性，从基本的避免碰撞到代理人之间以及与环境特征之间更复杂的互动。大多数现有的系统对特定的行为进行了优化，如寻找目标，而忽略了其他行为以及这些行为如何相互作用以形成不同的代理概况。在本文中，我们提出了一个基于RL的框架，用于同时学习多种代理行为。我们在训练时通过改变所选行为（目标寻求、避免碰撞、与环境互动和分组）的重要性来优化代理；本质上，我们有一个在训练期间动态变化的奖励函数。每个单独的子行为的重要性被作为输入添加到策略中，从而开发出一个能够捕捉以及实现动态运行时操纵代理配置文件的单一模型；从而允许可配置的配置文件。通过一系列的实验，我们验证了我们的系统为用户提供了设计虚拟场景的能力；控制和混合代理行为，从而创建个性档案，并将不同的档案分配给代理组。此外，我们还证明，有趣的是，所提出的模型可以推广到训练数据中没有的情况，如：a）密度较大的人群；b）训练区间以外的行为权重；c）环境布局更复杂的场景。 ### Interactive Augmented Reality Storytelling Guided by Scene Semantics * 交互式AR讲故事 * 我们提出了一种由室内场景语义指导的新型交互式增强现实（AR）讲故事方法。我们的方法在真实世界的环境中自动填充虚拟内容，以提供AR故事，这与故事的情节和场景语义相匹配。在讲故事的过程中，玩家可以作为故事中的一个角色参与其中。同时，虚拟人物的行为和虚拟物品的摆放会适应玩家的行为。输入的原始故事被表示为事件序列，其中包含对人物状态的高级描述，并被转换为带有自动补充的低级空间细节的图形表示。我们的分层故事采样方法通过优化对符合故事背景的现实角色行为进行采样；动画师估计并优先考虑玩家的行动，为虚拟角色制作动画以讲述AR故事。通过实验和用户研究，我们验证了我们的方法在不同环境下讲AR故事的有效性。 ### Iterative Poisson Surface Reconstruction (iPSR) for Unoriented Points * 改进 PSR，从点云转到实际物体。 * 泊松表面重建（PSR）由于其高效、简单和稳健，仍然是一种流行的技术，用于从三维点样本重建不漏水的表面。然而，现有的PSR方法和后续的变体只对定向点起作用。本文打算验证一种改进的PSR，即iPSR，可以完全消除对点法线的要求，并以迭代的方式进行。在每一次迭代中，iPSR将直接从上一次迭代得到的曲面中计算出法线的点样本作为输入，然后生成一个质量更好的新曲面。广泛的定量评估证实了新的iPSR算法在5-30次迭代中收敛，即使是随机初始化的法线。如果用一个简单的基于可见度的启发式方法进行初始化，iPSR可以进一步减少迭代次数。我们与PSR和其他强大的基于隐式函数的方法进行了综合比较。最后，我们在AIM@SHAPE数据集和具有挑战性的（室内和室外）场景中确认了iPSR的有效性和可扩展性。 ### Optimal Dual Schemes for Adaptive Grid Based Hexmeshing * 竟然还有[online demo](http://90.147.146.248/) * 我们提出了一套新颖的对偶方案，将自适应细化的网格变成符合要求的六面体网格。与先前的方法相比，我们的方案允许处理更多的输入网格，并产生具有更简单奇异结构的更粗的六面体网格。 ### Co-Optimization of Design and Fabrication Plans for Carpentry * 原材料都是同样长款的模板条，然后要制作特定的形状，自然会浪费一些边角料。 * 我们的系统联合探索了离散的设计变体和制造计划的空间，以生成制造成本最小的（设计，制造计划）对的帕累托前沿。在这个图中，(a)是一把椅子的输入设计和只探索这个设计的制造计划空间的帕累托前线，(b)显示了通过联合探索椅子的设计变体和制造计划产生的帕累托前线，其中每个点是一个（设计，制造计划）对。设计变体表示以不同的方式从零件的集合中组成相同的三维模型，并在帕累托前沿用相同的颜色表示。一个实体椅子是按照结果的制造计划制造出来的。这个例子表明，通过探索设计变化，制造成本可以得到明显改善。 ### Computational Design of Knit Templates * 自由形状毛衣设计，连编制要怎么走线都设计出来了。 * 我们提出了一个交互式的针织设计系统，允许用户创建可以使用工业针织机制作的模板图案。我们的交互式设计工具是新颖的，因为它允许直接控制我们在形成性研究中确定的关键针织设计轴，并且在输入参数化模板的几何形状的变化中保持一致。这是通过两个关键的技术进步实现的。首先，我们提出了一个交互式网格划分工具，让用户建立一个符合其针织设计准则的粗略的四边形网格。这个解决方案确保了整个参数空间的一致性，以便进一步定制形状变化，并避免了螺旋，促进了针织的可塑性。其次，我们将低层次的机器编织约束提升到这个粗四边形网格的水平，并将其正式化。这使我们不仅能够保证手工和机器的可编织性，而且还能通过自动完成和建议提供自动设计帮助。我们通过一组制造的例子来展示我们的能力，这些例子说明了我们的方法在创建各种对象和交互式探索设计变化空间方面的有效性。 ### Stroke Transfer: Example-based Synthesis of Animatable Stroke Styles * 三渲二，变成手绘风格，会确定每个表面点上对应的笔触绘画方向。但目前仅支持了单色物体。 * 我们提出了笔画转移，这是一种基于实例的笔画合成方法，适用于视角、照明条件和物体形状变化下的动画场景。我们引入了用于指导笔画生成的笔画场，由空间上变化的笔画属性组成，即它们的方向、长度、宽度和颜色。笔画被合成为笔画场的积分曲线。从本质上讲，我们将构成艺术笔画的元素分为特定风格的可转移元素和实例内在的元素。为了生成笔触场，我们首先计算一组反映实例内在元素的矢量场，然后用从典范中学习到的特定风格的权重函数将它们结合起来，权重在各种物体之间共享的代理特征空间中计算。使用我们的方法渲染的动画可以捕捉到随时间变化的视角、照明条件和物体形状，以及以典范形式给出的艺术风格。 ### Adaptive Rigidification of Elastic Solids * 我们提出了一种降低弹性实体模拟计算成本的方法，将非变形元素的连接集视为刚体。非变形元素被识别为那些应变率平方的Frobenius准则在几个框架中低于阈值的元素。刚体化使用广度优先搜索来识别连接的元件，同时避免会在刚性元件之间形成铰链的连接。当刚性元件的近似应变速度上升到阈值以上时，刚性元件就会重新变得有弹性，使用基于固定拉普拉斯基的不完全Cholesky预处理器的共轭梯度的单次迭代就能快速计算。通过刚性化，每个时间步长需要求解的系统大小可以大大减少，如果所有的弹性元素都变成刚性的，就可以减少到求解刚性体系统。我们在各种二维和三维例子上展示了我们的结果，并表明我们的方法同样在接触丰富的例子中特别有利。 ### Developability-Driven Piecewise Approximations for Triangular Meshes * 用 Piecewise developable surface 去拟合Mesh. * 我们提出了一种新的方法来计算具有少数可展开斑块的片状网格，并对输入的三角形网格进行小的近似误差。我们的主要观察结果是，在强制执行离散可展开性后，变形的网格很容易被分割成几乎可展开的斑块。为了得到近似可展开的网格，我们提出了一个新的面向边缘的离散可展开性概念，以定义一个可展开性鼓励的变形能量，并通过块状非线性Gauss-Seidel方法进一步优化。成功应用这个优化器的关键是三种类型的辅助变量。然后，我们开发了一种从粗到细的分割技术，将变形的网格分割成一小部分几乎不连续的可发展的斑块。最后，我们对分割后的网格进行细化，以减少离散的高斯曲率，同时保持斑块的平滑和近似误差的小。在实践中，我们的算法在可开发斑块的数量和近似误差之间实现了有利的权衡。我们通过各种例子证明了我们的方法的可行性和实用性，包括17个带纸的物理制造模型。 ### Computational Mirror Cup and Saucer Art * 这个任务上面有个文章也在做，也就是一个实际物体从正面和镜子反射里看到的是不一样的图案。 * 在艺术家Yul Cho和Sang-Ha Cho创作的镜杯和碟子艺术中，碟子的一部分对观众来说是直接可见的，而碟子的另一部分则被遮挡住，只能通过镜杯看到反射。因此，观众直接在碟子上看到一个图像，在镜杯上看到另一个图像；然而，现有的艺术设计只限于波浪形的碟子。在这项工作中，我们提出了一个用于镜杯和碟子艺术设计的通用计算框架。作为输入，我们从用户那里获得一张直视的图像，一张反射的图像，以及碟子的基本形状。然后，我们的算法通过对输入形状的变形生成一个合适的碟子形状。我们将这个问题表述为碟子表面的约束性优化。我们的框架解决了底座形状及其纹理的精细几何细节，这样，当一个镜杯被放在碟子上时，用户指定的图像被观察为直接和反射的视图。通过广泛的实验，我们证明了我们框架的有效性和它为用户提供的巨大设计灵活性。我们通过使用三维打印技术制作彩色茶碟，进一步验证了所制作的艺术作品。 ### Physics-based Character Controllers Using Conditional VAEs * 高质量的运动捕捉数据集现在是公开可用的，研究人员已经使用它们来创建基于运动学的控制器，这些控制器可以产生可信的和多样化的人类运动，而不需要以特定的目标为条件（即，一个任务无关的生成模型）。在本文中，我们提出了一种算法，为具有许多自由度的物理模拟人物建立这种控制器。我们基于物理学的控制器是通过使用条件VAE来学习的，它可以执行各种与训练数据集中的动作相似的行为。这些控制器足够强大，可以产生超过几分钟的运动，而不需要对具体目标进行调节，并允许许多复杂的下游任务得到有效解决。为了显示我们方法的有效性，我们展示了从几个不同的运动捕捉数据库中学习的控制器，并使用它们来解决一些下游任务，这些任务对于学习从头生成自然运动的控制器是具有挑战性的。我们还进行了消融研究，以证明该算法元素的重要性。 ### A Motion Matching-based Framework for Controllable Gesture Synthesis from Speech * 语音除了匹配面部表情，还要匹配手部动作。 * 最近基于深度学习的方法在从语音输入中合成可信的3D人类手势方面显示出了很好的效果。然而，这些方法通常在纳入用户控制方面提供有限的自由。此外，以监督的方式训练这些模型往往不能捕捉到数据的多模态性质，特别是因为相同的音频输入可以产生不同的手势输出。为了解决这些问题，我们提出了一种生成可控三维手势的方法，它结合了数据库匹配和深度生成建模的优势。我们的方法通过使用k-Nearest Neighbors（k-NN）算法从数据库中依次搜索最合理的音频-手势片段来预测三维身体运动，该算法考虑了与输入音频和之前身体姿势信息的相似性。为了进一步提高合成质量，我们提出了一个条件生成对抗网络（cGAN）模型，通过比较k-NN结果与地面真实音频-姿态对的合理性，提供数据驱动的细化。我们的新方法能够实现直接和更多的控制操作，这在以前基于学习的对应方法中是不可能的。我们的实验表明，我们提出的方法在使用高级信号（如运动统计）的基于控制的合成任务上优于最近的模型，同时对较低级别的信号实现了灵活和有效的用户控制。 ### Authentic Volumetric Avatars From a Phone Scan * 手机摄像头扫一遍，生成立体人脸模型。使用了表情Code和身份Code。隐空间是1024*1024*4的，同时使用了ray marching。实验部分缺少定量化的对比。 * 目前，创建现有人物的逼真化身需要大量的特定人物数据采集，这通常只有视觉特效行业才能做到，而不是普通大众。我们的工作旨在解决这个缺点，只需依靠简短的手机拍摄就能获得一个可驱动的3D头部头像，与一个人的长相忠实地匹配。与现有的方法相比，我们的架构避免了直接为整个人类外表建模的复杂任务，而是旨在生成一个只需使用少量数据就可以专门用于新身份的头像模型。该模型摒弃了通常用于幻化新身份的低维潜在空间，而是使用了一个条件表示法，可以从高分辨率注册的中性手机扫描中提取多尺度的个人特定信息。我们通过使用一种新型的通用化身先验，实现了高质量的结果，该先验已经在高分辨率多视角视频捕捉的数百名人类受试者的面部表演中进行了训练。通过使用逆向渲染对模型进行微调，我们实现了增加真实性和个性化的运动范围。我们的方法的输出不仅是一个与人的面部形状和外观相匹配的高保真三维头像，而且还可以使用一个共同发现的共享全局表情空间来驱动，并对目光方向进行分解控制。通过一系列的实验，我们证明了我们的头像是对被试者肖像的忠实代表。与其他最先进的轻量级头像创建方法相比，我们的方法表现出卓越的视觉质量和可动性。 ### Deep Compliant Control * 在许多物理互动中，如开门和运动，人类顺从地以各种方式移动，以避免大的冲击或操纵物体。本文旨在建立一个模拟和控制人形物体的框架，创造与周围环境的物理顺应性互动。我们可以产生广泛的运动，从对外部物理扰动的被动反应，到具有明确意图的主动操纵。技术上的挑战包括定义顺应性，再现物理上可靠的运动，以及稳健地控制运动不足的动态系统。关键的技术贡献是一个基于深度强化学习的两级控制架构，它模仿人类的运动，同时根据外部扰动调整他们的身体。该控制器最小化了相互作用力和模仿的控制力矩，我们用各种运动技能证明了该控制器的有效性，包括开门、平衡球和手拉手跑步。 ### EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model * 尽管在音频驱动的说话脸谱生成方面已经取得了重大进展，但现有的方法要么忽略了面部情绪，要么不能应用于任意的主体。在本文中，我们提出了情感感知运动模型（EAMM），通过涉及情感源视频来生成一次性的情感谈话脸。具体来说，我们首先提出了一个Audio2Facial-Dynamics模块，该模块从音频驱动的无监督的零阶和一阶关键点运动中渲染出说话的脸。然后，通过探索运动模型的属性，我们进一步提出了一个隐性情感位移学习器，将与情感相关的面部动态表示为对先前获得的运动表示的线性加法位移。综合实验表明，通过结合这两个模块的结果，我们的方法可以在具有现实情绪模式的任意被试者身上产生令人满意的谈话脸部结果。 ### Neural 3D Reconstruction in the Wild * NeRF-W 相同 setting，可视化效果下比colmap好，但数值指标上五五开 * 我们正在见证计算机视觉和图形学中的神经隐含表征的爆炸性增长。它们的适用性最近已经超越了形状生成和基于图像的渲染等任务，扩展到基于图像的三维重建这一基本问题。然而，现有的方法通常假设有限制的三维环境，其恒定的光照由一小组大致均匀分布的相机捕获。我们引入了一种新的方法，能够在光照变化的情况下从互联网照片集中进行有效和准确的表面重建。为了实现这一目标，我们提出了一种混合体素和表面引导的采样技术，允许在表面周围进行更有效的射线采样，并导致重建质量的显著改善。此外，我们提出了一个新的基准和协议，用于评估在这种野外场景中的重建性能。我们进行了广泛的实验，证明我们的方法在各种指标上都超过了经典的和神经的重建方法。 ### Text2Human: Text-Driven Controllable Human Image Generation * 文字控制生成多个高质量人全身图，类似于模特图片。 * 生成高质量和多样化的人类图像是视觉和图形学领域的一项重要而具有挑战性的任务。然而，现有的生成模型在服装形状和纹理的高度多样性下往往显得不足。此外，人们甚至希望生成过程对非专业用户来说是可以直观地控制的。在这项工作中，我们提出了一个文本驱动的可控框架，即Text2Human，以实现高质量和多样化的人类生成。我们从一个给定的人体姿势开始，通过两个专门的步骤来合成全身的人体图像。1) 通过一些描述衣服形状的文本，给定的人体姿势首先被翻译成人体解析图。2）然后通过向系统提供更多关于衣服纹理的属性来生成最终的人类图像。具体来说，为了对衣服纹理的多样性进行建模，我们建立了一个分层的纹理感知编码库，为每种纹理类型存储多尺度的神经表征。粗略层次的编码簿包括纹理的结构表征，而精细层次的编码簿则侧重于纹理的细节。为了利用所学到的分层编码库来合成所需的图像，首先采用了基于扩散的专家混合物的变换器采样器，从编码库的最粗层采样指数，然后用来预测更细层的编码库的指数。不同级别的预测指数由与分层编码簿一起学习的解码器翻译成人类图像。专家混合物的使用使生成的图像以细粒度的文本输入为条件。对更细层次指数的预测完善了服装纹理的质量。广泛的定量和定性评估表明，与最先进的方法相比，我们提出的Text2Human框架可以生成更加多样化和真实的人类图像。 ### Node Graph Optimization Using Differentiable Proxies * 基于可微方案的材质生成，并且考虑到了实际应用中每个物体有材质节点之类的东西。 * 生产行业。程序模型允许创建具有参数控制的逼真材料，以便灵活地编辑外观。然而，就建立模型和微调参数而言，设计一种特定的材料是一个耗时的过程。以前的工作[Hu等人，2022；Shi等人，2020]引入了材料图优化框架来匹配目标材料样本。然而，这些以前的方法只限于优化图中的可微调函数。在本文中，我们提出了一个完全可微的框架，它能够对材料图进行端到端的梯度优化，即使图中的一些函数是不可微的。我们利用可微分代理，这是一个不可微分的黑箱函数的可微分近似器。我们利用我们的框架，通过多阶段的可微分优化，使输出材料的结构和外观与目标材料相匹配。与以前的工作相比，可微分代理为材料外观匹配提供了一个更普遍的优化解决方案。 ### Alpha Functions - Piecewise-linear Approximation from Noisy and Hermite Data * 我们引入了𝛼-函数，为给定数据提供片状线性近似，作为两个凸函数的差。参数𝛼控制探测数据的抛物面形状，可用于过滤数据中的噪声。凸函数的使用可以实现对数据的有效近似，增加对异常值的稳健性，并处理梯度信息。它还允许在更高的维度上使用这种方法。我们表明，𝛼函数可以被有效地计算，并在从噪声表面样本中重建表面的例子中证明了它们的多功能性。 ### Neural Shadow Mapping * 快速阴影生成，应用于二维图像。 * 我们提出了一个基本阴影映射的神经扩展，以实现快速、高质量的硬阴影和软阴影。我们与快速预过滤的阴影映射相比更胜一筹，同时产生了与光线追踪的硬阴影和软阴影相同的视觉效果。我们表明，结合内存带宽意识的架构专业化和仔细的时间窗口训练，可以产生一个快速、紧凑和易于训练的神经阴影方法。我们的技术是有内存带宽意识的，消除了对后处理时间抗锯齿或去噪的需要，并支持具有动态视图、发射器和几何的场景，同时对未见物体保持稳健。 ### VEMPIC: Particle-in-Polyhedron Fluid Simulation for Intricate Solid Boundaries * 对流体运动进行全面的可视化建模历来是一项具有挑战性的任务，这在很大程度上是由于非流形、开放或薄的几何形状所固有的困难。现代几何切割单元网格生成器已被证明可以在这些有问题的几何体中快速而有力地生成可行的体积元素，由此产生的体积表示似乎提供了一个理想的基础设施，用于进行流体模拟。然而，切割单元网格元素是一般的多面体，经常包含孔，而且是非凸的；因此很难构建采用标准函数离散法所需的显式函数空间，如有限元法。最近出现的虚拟元素法（VEM）是一种函数离散法，通过对其函数空间的弱化表述，成功地对复杂的多面体元素进行操作。我们提出了一个新的切割单元流体模拟框架，在模拟过程中准确地表示边界几何。我们的方法首次实现了对 "野生 "障碍物的详细流体模拟，包括那些包含非流形部分、自交点和极薄的特征。我们的关键技术贡献是利用VEM将粒子在细胞内的流体模拟方法推广到任意多面体。再加上强大的切割单元生成方案，这产生了一种流体模拟算法，可以在以前不可行的几何形状上运行，而不需要任何额外的网格修改或修复。 ### True Seams: Modeling Seams in Digital Garments * **很有实用性**，建议看[样例](https://seddi.com/research/trueseams/) * 接缝在服装的外观、合身、感觉和行为方式方面发挥着基本作用。接缝可以有非常不同的形状和机械性能，这取决于织物的重叠、折叠和缝合方式，服装设计师通常根据他们想要的服装外观和行为选择特定的接缝和缝合类型组合。然而，几乎所有用于时尚和视觉效果的三维CAD工具都忽略了接缝的大部分视觉和机械复杂性，而只是把它们当作接缝的边缘，即其最简单的形式，大大限制了数字服装的逼真度。在本文中，我们提出了一种方法，按照其真实的、现实生活中的结构来模拟接缝。每条缝将待缝制的织物片聚集和重叠，根据缝的类型折叠织物，并按照缝的类型缝制所产生的组件。为了避免处理三维空间中复杂的折叠问题，我们将问题投射到一连串较简单的二维问题中，在那里我们可以很容易地塑造接缝并产生一个没有自我交叉的结果，然后再将折叠的几何图形抬回三维空间。我们运行一系列的约束性优化，在这些二维环境中强制执行空间属性，使我们能够处理不对称接缝、聚集和重叠的施工顺序。使用各种常见的接缝和缝合，我们展示了我们的方法是如何大幅改善完整服装的视觉外观，以获得更好和更有预见性的数字复制品。 ### Rapid design of articulated objects * **！！！[demo](https://sketch.kaist.ac.kr/publications/2022_siggraph_rapid_design)非常牛** * 我们在 "3D素描 "方面的最新工作弥合了2D素描和3D建模之间的差距，让艺术家和设计师通过与在纸上素描或徒手抓取和处理玩具非常相似的互动，快速产生3D动画概念。我们相信，在开发的早期阶段，它将特别有用，因为在这个阶段，很多想法都是非常快速和频繁地抛出的，一点粗略的3D形式和3D动作可以在传达意图方面发挥很大的作用。 ### Aδ: Autodiff for Discontinuous Programs Applied to Shaders * 在过去的十年中，自动分化（AD）对图形和视觉应用产生了深远的影响--无论是通过深度学习还是专门用于反向渲染。传统的自动分化方法忽略了不连续处的梯度，而是将函数视为连续。渲染算法本质上依赖于不连续点，在物体轮廓和一般的任何分支操作中都很关键。研究人员已经提出了通过限制仿射函数来处理不连续的全自动微分方法，或者限制在可逆函数或专门应用（如矢量图）的半自动过程。本文描述了一种基于编译器的方法来扩展反向模式AD，以便接受涉及不连续的任意程序。我们新颖的梯度规则概括了微分的工作原理，假设在局部邻域有一个单一的不连续，通过对沿一维采样轴方向的盒状内核的预过滤梯度进行近似。我们描述了这种近似规则何时是一阶正确的，并表明这种正确性标准适用于相对广泛的函数类别。此外，我们表明该方法在实践中对任意程序是有效的，包括我们无法证明正确性的功能。我们在程序性着色器程序上评估了这种方法，其中的任务是优化未知参数以匹配目标图像，我们的方法在收敛性和效率方面都优于基线。我们的编译器在TensorFlow（用于快速原型）和Halide（用于效率）中输出梯度程序，并带有可选的自动调度器。编译器还输出渲染目标图像的GLSL，允许用户修改和动画化着色器，否则在其他表现形式（如三角形网格或矢量艺术）中会很麻烦。 ### Alpha Wrapping with an Offset * 把一个有缺陷的几何结构（如自交、漏水、）改为没有缺陷的几何结构 * 给定一个输入的三维几何体，如三角形汤或点集，我们要解决的问题是生成一个不漏水的、可定向的、严格包围输入的表面三角形网格。输出的网格是通过在输入的偏移表面上贪婪地细化和雕刻一个三维Delaunay三角，同时用半径为α的空球进行雕刻而得到的。建议的算法是通过两个用户定义的参数来控制的：α和偏移。α控制雕刻过程中不能穿越的空洞或孔的大小，而偏移控制输出网格的顶点和输入之间的距离。我们的算法保证终止，并产生一个有效的、严格包围的网格，即使是充满缺陷的输入。通用性是通过一个探测输入的抽象接口实现的，只要能回答一些基本的几何查询，就可以使用任何几何体。我们在大型公共数据集（如Thingi10k）上对该算法进行了基准测试，并在鲁棒性、近似性、输出复杂性、速度和峰值内存消耗方面与最先进的方法进行了比较。我们的实现可以通过CGAL库获得。 ### Compatible Intrinsic Triangulations * 牛马映射 * 给定两个三角形网格A和B，我们在它们之间找到一个连续的、双射的和低失真的映射（它们的边缘图像显示在（a））。在内部，我们建立一个兼容的本征三角图（CIT），这是一对在两个模型上共享相同连通性的本征三角图；A的每个顶点都被插入到B的本征网格，反之亦然（b）。我们的算法以叠加多边形的形式生成一个片状线性地图；这里，B的纹理被转移到A，所有的接缝都被保留下来（c）。 ### DeepPhase: Periodic Autoencoders for Learning Motion Phase Manifolds * 这个项目探索了深度学习在角色动画和控制方面的机会。在过去的几年里，这个项目已经成为一个数据驱动的角色动画的综合框架，包括数据处理、网络训练和运行时控制，由Unity3D / Tensorflow / PyTorch开发。这个资源库展示了使用神经网络为双足运动、四足运动以及角色与物体和环境的互动制作动画，还有体育和格斗游戏。这项研究的进一步进展将继续被添加到这个项目中。 * 学习身体运动的空间-时间结构是人物运动合成的一个基本问题。在这项工作中，我们提出了一种新的神经网络结构，称为周期性自动编码器，可以以无监督的方式从大型非结构化运动数据集中学习周期性特征。角色的运动被分解成多个潜伏通道，这些潜伏通道在时间上向前推进的同时捕捉不同身体段的非线性周期性。我们的方法从全身运动数据中提取一个多维相位空间，有效地对动画进行聚类，并产生一个流形，其中计算的特征距离提供了一个比原始运动空间更好的相似度测量，以实现更好的时间和空间对齐。我们证明，学习到的周期性嵌入可以明显帮助改善一些任务中的神经运动合成，包括不同的运动技能、基于风格的运动、从音乐中的舞蹈运动合成、足球中运球运动的合成，以及大型动画数据库中匹配姿势的运动查询。 ### Learning Soccer Juggling Skills with Layer-wise Mixture-of-Experts * 学习基于物理学的角色控制器，能够使用单一的策略成功地整合各种运动技能，仍然是一个具有挑战性的问题。我们提出了一个基于深度强化学习的系统，用于学习多种足球杂耍技能的控制策略。我们为这些技能引入了一个任务描述框架，它有助于规范单个足球杂耍任务和它们之间的转换。期望的动作可以通过插值粗略的参考姿势或基于运动捕捉数据来编写。我们表明，一个分层的专家混合架构提供了显著的好处。在训练过程中，在自适应随机漫步的帮助下选择过渡，以支持高效学习。我们展示了脚、头、膝盖和胸部的杂耍、脚的停顿、具有挑战性的环绕世界的技巧，以及稳健的转换。我们的工作为实现基于物理学的角色提供了重要的一步，使其能够具备人类运动员的精确运动技能。 ### Perceptual Requirements for Eye-Tracked Distortion Correction in VR * 我们提出了一个虚拟现实显示系统模拟器，它准确地再现了由任何观看光学器件产生的凝视扭曲。该模拟器的硬件支持快速原型设计，通过在高速电视上呈现立体的扭曲，搭配快门眼镜，消除了制作物理光学器件的需要。我们进一步介绍了光场门户，作为VR光学的有效和通用的表示方法，使用我们的模拟器可以进行实时模拟。这个平台被用来对眼球追踪的光学失真校正的感知要求进行首次用户研究。由于我们的硬件平台有利于一致的头部和眼睛运动，它可以直接比较不同观察者、光学设计和场景内容的这些要求。最后，我们介绍了一个简单的双眼畸变指标，该指标使用光场门户建立，与用户研究中确定的关键趋势一致，为设计基于感知的畸变指标和校正方案奠定了基础。 ### Piecewise-Smooth Surface Fitting onto Unstructured 3D Sketches * 把3D 草图转成模型，再加个CLIP就可以染色啦 * 在虚拟现实（VR）中创建的三维草图或基于草图的建模系统往往描绘出片状光滑的表面（a），但缺乏适当的笔画间的连接来检测单个表面斑块，如插图所示，笔画没有精确相交，细节笔画位于假想的表面上而没有与其他笔画连接。最先进的表面处理算法只能从这种稀疏和非结构化的三维数据中产生光滑的表面（b）。我们的算法将这样的初始光滑表面分割成与笔触对齐的区域，以产生一个片状的光滑表面，更好地捕捉到预期的形状。 * 我们提出了一种方法，将非结构化的三维草图转化为保留草图几何特征的片状光滑表面。沉浸式3D绘图和基于草图的3D建模应用越来越多地产生不完美和非结构化的3D笔触集合作为设计输出。这些三维草图很容易被观看者感知为片状光滑的表面，但现有的三维表面技术对连接良好的曲线网络或稀疏点集的处理却很差。我们的算法与人类的倾向相一致，即把笔画想象成沿笔画边界连接的一小套简单的光滑表面。从最初的代理表面开始，我们迭代地将表面分割成沿某些笔画急剧连接的光滑斑块，并优化这些斑块以适应周围的笔画。我们的评估包括四个方面：我们展示了各种算法参数的影响，我们在具有已知基础真实表面的合成草图上评估了我们的方法，我们与现有技术进行了比较，我们在来自不同三维草图来源的50多个设计上展示了令人信服的结果。 ### Which Cross Fields Can Be Quadrangulated? * 我们描述了一种生成无缝曲面参数的方法，保证了局部注入性和对整体性的完全控制。以前的方法只能保证这两者中的一个。局部注入性是必须的，以使这些参数能够用于表面四边形和花键构造等应用中。整体性控制是至关重要的，它可以根据方向性信息，特别是来自交叉场或特征曲线的信息，指导或规定参数化的等值线，并且更普遍地从拓扑上约束参数化。为此，我们研究了交叉场拓扑学和无缝参数化拓扑学之间的关系。利用以前关于局部注入式参数化的结果，并结合对这种关系在整体性方面的见解，我们提出了一种满足这些要求的算法。一个关键的组成部分依赖于这样的见解，即全局参数化所要求的任意表面切割图可以被同构地修改，以假设相对于一个给定的目标交叉场的几乎任何转折数集。 ### Unified Many Worlds Browsing of Arbitrary Physics-Based Animations * 手动调整基于物理学的动画参数以探索模拟结果空间或实现所需的运动结果可能是臭名昭著的。不幸的是，这个问题促使许多复杂的和专门的基于优化的方法来进行细粒度（关键帧）控制，每一种方法通常都局限于特定的动画现象，通常很复杂，而且不幸的是，没有被广泛使用。在本文中，我们提出了统一多世界浏览（UMWB），这是一种实用的方法，用于对任意的基于物理的动画进行样本级控制和探索。我们的方法通过使用基于与几何占用和其他低保真动画状态相关的时空压缩体素数据的统一体积WorldPack表示，支持任意动画现象的大型模拟集合的浏览。除了减少内存外，WorldPack表示法还能为交互式浏览提供统一的查询支持：它能快速评估近似的时空查询，比如找到材料在或不在用户指定的时空区域的集合样本（"世界"）的占用率测试。WorldPack表示法还支持实时硬件加速的体素渲染，利用空间分层和时间性的RLE光栅数据结构来加速GPU对压缩动画的光线追踪。我们的UMWB实现支持交互式浏览（和离线细化）包含数以千计的模拟样本的集合，以及快速的时空查询和排名。我们使用各种不同的基于物理的动画现象展示了UMWB的结果--不仅仅是果冻。 ### Drivable Volumetric Avatars using Texel-Aligned Features * 逼真的远程呈现需要高保真的身体建模和忠实的驱动，以实现动态合成的外观，与现实无异。在这项工作中，我们提出了一个端到端的框架，解决了建模和驱动真人全身化身的两个核心挑战。一个挑战是在驱动化身的同时，要忠实于全局低维参数化（如身体姿势）所不能捕捉的细节和动态。我们的方法支持驱动带有皱纹和运动的衣着化身，这些皱纹和运动是真实驱动者在训练语料库之外表现出来的。与现有的全局状态表征或非参数化屏幕空间方法不同，我们引入了纹理对齐的特征--一种本地化的表征，可以同时利用基于骨架的参数化模型的结构先验和观察到的稀疏图像信号。另一个挑战是建立一个时间上连贯的服装化身的模型，这通常需要精确的表面跟踪。为了规避这个问题，我们提出了一种新的体积化头像表示方法，将体积化基元的混合物扩展到有关节的物体。通过明确地纳入铰接，我们的方法自然而然地被推广到未见过的姿势。我们还引入了一个本地化的视点调节，这导致了对视点依赖性外观的概括性的巨大改进。所提出的体积表示法不需要高质量的网格跟踪作为先决条件，与基于网格的对应方法相比，它带来了显著的质量改进。在我们的实验中，我们仔细检查了我们的设计选择，并证明了我们的方法的有效性，在具有挑战性的驱动场景中，我们的方法优于最先进的方法。 ### Facial Hair Tracking for High Fidelity Performance Capture * 面部毛发是面部表演捕捉中一个基本被忽视的话题。娱乐业的大多数生产管道都没有办法自动捕捉面部毛发或追踪毛发下的皮肤。因此，演员们被要求在面部捕捉前剃干净，这往往是不可取的。在本文中，我们提出了第一个多视图重建管道，它既能跟踪密集的三维面部毛发，又能跟踪整个表演的底层三维皮肤。我们在各种不同的面部毛发风格和长度上演示了所提出的捕捉管道，范围从稀疏的短发到密集的全脸胡须。 ### Local Anatomically - Constrained Facial Performance Retargeting * 高质量的面部表情迁移。 * 我们提出了一种既不昂贵也不容易产生伪影的高保真离线面部表现重定位的新方法。我们的两步法首先将局部表情细节转移到目标上，然后进行全局脸部表面预测，使用解剖学约束，以保持在目标角色的可行形状空间内。我们的方法还为艺术家提供了熟悉的基于混合形状的控制，以对重新定位的动画进行微调。因此，我们的方法非常适用于人与人之间的三维面部表演重定向这一复杂的任务，在这一过程中对质量的要求非常高，以避免出现不可思议的谷底。 ### MoRF: Morphable Radiance Fields for Multiview Neural Head Modeling * 更真实的人头合成 * 最近的研究工作开发了强大的生成模型（例如，StyleGAN2），能够以令人印象深刻的逼真度合成完整的人类头部图像，使诸如逼真地编辑真实照片的应用成为可能。虽然这些模型可以在大量无姿势的图像上进行训练，但它们缺乏明确的三维知识，因此很难实现对三维视点的基本控制，而不会无意中改变身份。另一方面，最近的神经辐射场（NeRF）方法已经实现了多视角一致的逼真渲染，但迄今为止，它们只限于单一的面部身份。在本文中，我们提出了一种新的可变形辐射场（MoRF）方法，该方法将NeRF扩展为生成性神经模型，可以真实地合成完整的人类头部的多视角一致的图像，具有可变和可控的身份。MoRF允许在特定的身份之间进行变形，并合成任意的新身份，同时在新的视角下提供逼真和一致的渲染。我们利用高质量的多视角人像数据库，以简单的监督方式训练MoRF，这些人像是在演播室拍摄的，具有基于偏振的漫反射和镜面反射的分离。在这里，我们展示了MoRF是如何向三维可变形神经头部建模迈出了有力的一步。 ### Blending Camera and 77 GHz Radar Sensing for Equitable, Robust Plethysmography * **什么政治正确的测心率** * 随着COVID-19大流行导致的非接触式生命体征传感的重新出现，远程心率监测已经获得了显著的地位。许多现有的方法使用摄像头；然而，以前的工作表明，深色肤色的人在性能上有损失。在本文中，我们通过光传输分析表明，相机模式从根本上对深肤色有偏见。我们建议通过与一个互补的、更公平的模式--雷达的多模式融合来减少这种偏见。通过一个新的面向去噪的融合框架，我们实现了比所有测试基线更高的性能，并实现了比RGB模态更公平的肤色改善。也就是说，与RGB模态相比，性能和公平性之间的相关帕累托边界得到了改善。此外，与基于雷达的方法相比，性能得到了改善，但公平性方面的权衡很小。我们还开源了最大的多模式远程心率估计数据集，该数据集由成对的相机和雷达测量组成，重点是肤色表示。 ### Rewriting Geometric Rules of a GAN * 识别生成物体的面部关键点，然后用户编辑后学习关键点的变化并应用在别的生成内容上。 * 通过我们的方法，用户可以编辑一个GAN模型来合成许多具有所需形状的未见过的物体。用户只需通过定义几个控制点对生成的少量图像进行扭曲，就可以获得定制的模型。虽然编辑后的模型改变了物体的形状，但其他视觉线索，如姿势、颜色、纹理和背景，在修改后都忠实地保留下来。 ### Adjoint Nonlinear Ray Tracing * NeRF 重建有折射效果的物体。 * 重建和设计具有连续变化的折射率场的介质仍然是计算机图形学中的一个挑战性问题。试图解决这个逆向问题的一个核心困难是，光线在这种介质内是沿着曲线而不是直线传播的。这个问题的现有技术对介质内光线的形状做了很强的假设，因此将自己限制在光线偏转相对较小的介质中。最近，可微分渲染技术放松了这一限制，使其有可能微分地模拟弯曲的光路。然而，这些技术背后的自动微分算法使用了大量的内存，使现有的可微分渲染技术限制在相对较小的介质和低空间分辨率上。 * 我们提出了一种优化折射率场的方法，它既考虑了弯曲的光路，又有小的、恒定的内存占用。我们使用邻接状态方法推导出一组方程，用于计算受非线性光线追踪约束的优化目标的折射率场的导数。我们还引入了离散化方案来对这些方程进行数值评估，而不需要在内存中存储非线性光线轨迹，大大降低了我们算法的内存需求。我们用我们的技术为各种应用优化高分辨率的折射率场，包括创建不同类型的显示器（多视角、光场、苛责），设计梯度指数光学，以及重建气体流动。 ### Computational Design of Passive Grippers * 看[视频](https://homes.cs.washington.edu/~milink/passive-gripper/)了解什么叫被动抓取 * 这项工作提出了一种新的被动抓取器的生成设计工具--机器人末端效应器没有额外的驱动，而是利用机器人手臂的现有自由度来执行抓取任务。被动抓取器的使用是因为它们在成本和能力之间提供了有趣的权衡。然而，现有的设计在可抓取的形状类型方面是有限的。这项工作建议使用快速制造和设计优化来扩大可被动抓取的形状空间。我们新颖的生成设计算法考虑了一个物体及其相对于机械臂的位置，并生成了一个可打印的3D被动抓手，可以稳定地抓起该物体。为了实现这一目标，我们解决了联合优化形状和插入轨迹的关键挑战，以确保被动的稳定抓取。我们在22个物体的测试套件（23个实验）上评估了我们的方法，所有这些都是通过物理实验来评估的，以弥补虚拟到现实的差距。 ### Face Extrusion Quad Meshes * 怎么把一个物体捏橡皮泥捏出来 * 我们提出了一种建立在面环建模操作上的三维物体构造方法。我们的面挤压四边形（FEQ）网格，有一个精心设计的面环结构，类似于艺术家制作的三维模型。此外，我们定义了一个构造图，它编码了一系列原始的挤压/折叠和桥接/分离操作，对可接受的面环进行操作。我们表明，FEQs被赋予了有意义的面环诱导的形状骨架、部件分割、合理的构造历史，并拥有基于挤压的三维建模的许多优势。 ### Perception of Letter Glyph Parameters for Infotypography * 字体设定于排版 * 这对于在可视化中的文本标签（例如，字体重量可以表示地理可视化中的城市大小）或文本本身（例如，一个句子的预期阅读速度可以用字体宽度来编码）表示额外的信息是有潜在价值的。然而，我们不知道不同的参数，也就是形状的复杂变化，是如何被人类视觉系统感知的。没有这些信息，就很难选择适当的参数和映射函数，以最大限度地感知参数范围内的差异。我们对拉丁文字体的七个排版参数在绝对感知和明显差异（JNDs）方面进行了经验性的描述，以帮助可视化设计师为包含文本的可视化作品选择排版参数，并支持排版师和字体设计师在选择这些参数的哪个级别来实现正常文本、强调文本和不同标题之间的差异性。 ### Shape dithering for 3D printing * 更好的3D打印，可能需要看论文图片以了解它具体优化的是啥。 * 我们提出了一种高效、纯几何、算法和无参数的方法，通过抵消量化神器来改善体素控制的3D打印的表面质量和准确性。这种伪影是由于用于控制3D打印机的连续形状的离散体素采样而产生的，其特点是在任何方向的表面上都有低频的几何图案。它们在视觉上是令人不安的，特别是在小的打印件或光滑的表面上，并且对打印件的疲劳行为有不利影响。我们使用隐性形状抖动，用一个高频信号置换零件的符号距离场，其振幅与（各向异性的）印刷分辨率相适应。我们通过剪切变换来扩展反向广义傅里叶切片定理，我们利用它来优化一个三维蓝噪声掩码，以产生各向异性的抖动信号。作为一个点处理，它是有效的，并且不会对三维半色调产生不利影响。我们对我们的方法进行了效率和几何精度的评估，并显示了它比现有技术的优势。 ### 总结 * 终于看完了，覆盖范围还挺广的，从纯理论到机器学习到具体应用。只要能看得见摸得着，基本都能算进来，连RL都在往这里投。
上一篇:
ICLR2022 论文选读
下一篇:
NeurIPS 2022 NeRF 相关
0
赞
644 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
wuvin
没有帐号? 立即注册