1、导读
我们提出了一种从单个输入图像 生成具有一致、高分辨率外观的人的 360 度视图的方法。
NeRF 及其变体通常需要来自不同视角的视频或图像。大多数采用单眼输入的现有方法要么依赖真实3D扫描进行监督，要么缺乏3D一致性。虽然最近的3D生成模型显示了3D一致的人体数字化的前景，但这些方法不能很好地推广到不同的服装外观，并且结果缺乏真实感。
与现有工作不同，我们利用针对一般图像合成任务预先训练的高容量二维扩散模型作为穿着人类的外观先验。为了在保留输入身份的同时实现更好的3D一致性，我们通过以轮廓和表面法线为条件的形状引导扩散修复缺失区域，逐步合成输入图像中人体的多个视图。然后，我们通过逆向渲染融合这些合成的多视图图像，以获得给定人物的完全纹理化的高分辨率 3D 网格。实验表明，我们的方法优于之前的方法，并且可以从单个图像中实现对各种具有复杂纹理的穿着人类的真实感360度合成。
2、贡献3、方法
为了从单个图像 生成一个人的360度视图，我们首先合成该人的多视图图像。我们使用现成的方法来推断3D几何形状并合成人的初始后视图作为指导。我们将输入视图和合成的初始后视图添加到我们的支持集中。为了生成新视图图像数字化，我们通过混合RGB颜色来聚合支持集中的所有可见像素，并根据可见性、视角和到缺失区域的距离进行加权。为了产生看不见的外观并合成视图，我们使用由形状线索（法线图和轮廓图）引导的预训练修复扩散模型。我们将生成的视图包含在我们的支持集中，并对所有剩余的视图重复此过程。
然后，我们融合这些合成的多视图图像以获得带纹理的3D人体网格。我们使用计算出的UV参数化来优化几何形状固定的UV纹理贴图。在每次迭代中图像数字化，我们在视图集中的每个合成视图中以不同的方式渲染UV纹理贴图。我们使用LPIPS损失和L1损失来最小化渲染视图和合成视图之间的重建损失。融合产生可以从任何视图渲染的纹理网格。
4、如何确保在单张图像上实现高分辨率且真实感强烈的3D人体数字化？
通过利用预训练的高容量2D扩散模型作为人类外观的先验，从而避免了依赖3D扫描进行监督训练。通过使用形状引导的扩散条件，该方法可以生成具有一致外观和高质量纹理的3D人体网格。此外，实验结果表明，该方法生成的3D人体网格具有比以往方法更详细和逼真的外观。为确保在单张图像上实现高分辨率且真实感强烈的3D人体数字化，该方法采用了以下策略：
这些策略共同确保了在单张图像上实现高分辨率且真实感强烈的3D人体数字化。
5、在处理遮挡和部分可见区域时，如何确保 3D 人体数字化方法的稳定性和准确性？6、针对不同姿态和光照条件下的图像，如何实现 3D 人体数字化方法的通用性和适应性？7、实验结果
该方法生成的3D人体网格具有比以往方法更详细和逼真的外观。使用了两组数据集进行评估：.0和。此外，还使用了Adobe 中的野外图像来展示具有不同主体、服装和姿态的图像成果。
实验结果中，作者对比了他们的方法与其他基线方法，如PIFu。结果显示，他们的方法在生成360度视图方面具有更高的准确性和视觉效果。作者还进行了一项消融研究，验证了形状引导的扩散条件对生成高质量3D人体网格的重要性。通过实验结果，作者证明了他们的方法在生成360度视图的人体数字化方面具有优越性。这为单张图像上实现高分辨率且真实感强烈的3D人体数字化提供了有力支持。
8、总结
我们介绍了一种简单而高效的方法，可从单张图像生成完全纹理化的三维人体网格。我们的实验表明，通过基于高容量潜在扩散模型的形状引导涂色和稳健的多视图融合方法，现在可以为遮挡视图合成高分辨率和逼真的纹理。三维人体数字化依赖于以人为中心的三维或二维数据集，而我们的方法则首次利用通用的大规模扩散模型实现了卓越的合成效果。我们相信，我们的工作将为统一三维人体数字化和其他一般二维人体数字化的数据收集工作提供启示。
3D视觉交流群
大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：
视觉SLAM、激光SLAM、ORB-SLAM、Vins-、LOAM/LeGo-LOAM、、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、、NeRF-SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机、GPS/RTK/UWB/IMU/码盘/TOF（iToF、dToF）、激光雷达、气压计、毫米波雷达、RGB-D相机、超声波等、机器人导航、相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、NeRF、多视图几何、、、、纹理贴图、深度估计、、毫米波/激光雷达/视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、目标检测、3D目标检测、路径规划、轨迹预测、3D点云、3D点云分割、模型部署、车道线检测、、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品等综合交流群。
添加微信: ，备注：研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 小助理会拉你入群。
长按扫码添加助理3D视觉学习圈子
我们的3D视觉学习圈子「3D视觉从入门到精通」知识星球、6000+成员交流学习。星球依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」，包括：独家秘制课程；项目对接；3D视觉学习路线总结；最新顶会论文&代码；3D视觉行业最新模组；3D视觉源码汇总；书籍推荐；编程基础&学习工具；实战项目&作业；求职招聘&面经&面试题等等。想了解3D视觉或者入行3D视觉方向欢迎您扫码加入我们的学习圈子知识星球。
长按扫码加入星球3D视觉学习平台
我们的3D视觉学习平台包含：面结构光高阶项目实战、机器人规划控制、三维重建、四旋翼无人机、论文方法论、Linux、dTOF、面结构光三维重建、线结构光三维重建、三维视觉C++、车载标定、机器人3D激光SLAM、LOAM-SLAM、IMU-GPS-SLAM、VINS-SLAM、室内室外激光SLAM、、、相机标定、ROS2、点云、、3D缺陷检测、机械臂抓取、单目深度估计、3D目标检测、三维重建等等。
长按扫码即可学习
限时特惠:本站持续每日更新海量各大内部创业课程，一年会员仅需要98元，全站资源免费下载
点击查看详情
站长微信:Jiucxh
