3D-FUTURE: 3D FUrniture shape with TextURE

Huan Fu1   Rongfei Jia1   Lin Gao2   Mingming Gong3   Binqiang Zhao1   Steve Maybank4   Dacheng Tao5

1Alibaba-inc    2ICT.CAS    3University of Melbourne    4Birkbeck College, University of London    5The University of Sydney

最新消息

简介

在过去的十年中，研究社区在3D几何与视觉方向付出了巨大的努力，并取得了很多令人印象深刻的突破性成果。然而，3D研究与大规模工业落地仍然存在较大的鸿沟。可能的主要原因有：第一，现有的大型3D数据集的CAD模型主要来自于网络，所以存在工业级质量模型稀少且无纹理或纹理信息简单的不足。第二，目前数据集的图片与CAD模型匹配都是伪人工匹配，且数量稀少。基于这些潜在缺陷，当前大型3D数据集可能不足以支持工业级的3D模型重建与纹理恢复等领域的深入细致研究。因此我们开源针对家居场景的3D-FUTURE数据集(3D FUrniture shape with TextURE)。该数据集包含来自20,240幅工业渲染器渲染的非常逼真的场景图，这些场景都是根据专业设计师的房屋搭配布局而来；其中涉及9,992个饱含细节的高质量3D家具模型，并提供高清且饱含信息的纹理以及各种属性标签。更多关于该数据集的信息请参阅3D-FUTURE报告。

特点

阿里巴巴将持续为3D-FUTURE提供更多的标注信息以及加入新的特性(例如:专业的设计布局信息)来扩充该benchmark，以服务于前沿3D学术研究。

高质量的模型，内容丰富的纹理以及属性

当前公开的3D数据集提供的3D模型可能存在两点缺陷。一，因为大多数的3D CAD模型(家具类)都是从网上收集的，因此普遍存在细节缺失以及无纹理或纹理信息度低等问题。二，现有数据集中的家具模型没有多样且专业的属性标签。与之相比，3D-FUTURE提供多种不同风格且带有丰富细节信息的高质量3D家具模型，且含有复杂雕刻式样的欧式家具。同时，3D-FUTURE中的每一个3D模型都配备了高质量且内容丰富的纹理以及多样化的属性标签。我们相信，这些特性可以促进高质量3D模型理解和生成方面的研究。

逼真的渲染效果, 真实的2D-3D配对

目前业界暂无规模大且组织较好的室内仿真图像的基准数据集。3D-FUTURE通过最先进的工业3D渲染引擎，在专业设计师所设计的5,000个场景中渲染产生了20,240幅图像，填补了业界这一空白。此外，现有数据集仅提供2D-3D的伪配标注。具体来说，根据2D图像中所包含的物体内容，人工从开源3D模型池中挑选与之近似的一个3D模型作为匹配结果。该标注过程普遍忽视掉一些局部的形状细节特征，导致提供的2D-3D匹配结果并非完全一致。这一情况难以支持数据驱动的3D相关研究，比如高质量三维重建以及高精度形状检索等。与之相对，3D-FUTURE中提供的9,992个3D模型都是与2D渲染图中的物体真实配对的。

下载

3D-FUTURE数据集由阿里巴巴淘系技术部组织建立。数据积累沉淀于阿里巴巴官方家装家居设计平台-躺平设计家。如果您想下载3D-FUTURE数据，请遵循3D-FUTURE使用条款的协议并前往天池3D-FUTURE数据集下载页面，注册申请下载数据集。 如果您在下载或使用数据集过程中遇到问题，请发送邮件至tianchi_bigdata@member.alibaba.com邮箱，联系我们。

样本示例

  • 所有数据
  • 模型
  • 场景

沙发纹理图

纹理

沙发网格图

网格

床纹理图

纹理

床网格图

网格

客厅

渲染图像

客厅标注

标注图像

卧室

渲染图像

卧室标注

标注图像

Citation

如果您使用我们的数据集或工具代码，请引用我们的报告： 

    @article{fu20203dfuture,
      title={3D-FUTURE: 3D Furniture shape with TextURE},
      author={Fu, Huan and Jia, Rongfei and Gao, Lin and Gong, Mingming and Zhao, Binqiang and Maybank, Steve and Tao, Dacheng},
      journal={arXiv preprint arXiv:2009.09633},
      year={2020}
    }