阿里巴巴开源大型3D家具数据集，搭建学术研究与工业落地的桥梁

时间：2020-03-30 16:37:24 来源：作者：网络

原标题：阿里巴巴开源大型3D家具数据集，搭建学术研究与工业落地的桥梁

阿里巴巴淘系技术部与英国伦敦大学伯贝克学院Steve Maybank教授（Fellow of the IEEE and a Member of the Academia Europaea, the Koenderink Prize in 2008）、悉尼大学陶大程教授（Fellow of the IEEE, ACM and Australian Academy of Science）等国际知名学者合作，与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集（3D-FUTURE），共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。

什么是3D-FUTURE？

在过去十多年里，科学家们在3D视觉及几何的研究投入了巨大的努力，但是3D人工智能的工业落地任然困难重重，尤其是在家居家装行业。阿里巴巴淘系技术部协同躺平设计家也在持续不断地探索数字化家居建设。以真实家居场景为背景，定义了许多新问题，进行了大量的知识重建，并结合3D人工智能技术初步打造了场景化数字营销，推出了智能设计搭配服务。同时，在相关团队的技术研发过程中发现，海量的高质量3D模型与纹理，以及专业的房屋设计布局是推动未来数字化家居建设的基础。为了启发高质量3D模型理解与重建，并且建立学术研究与工业应用的桥梁。阿里巴巴针对家居场景开源大型3D数据集3D-FUTURE（3D Furniture shape with TextURE）。

其初版包含20,000+高清室内场景专业设计渲染图，与10,000+精细的高质量3D家具模型及对应的高清且饱含信息的纹理，数据积累沉淀于阿里巴巴官方家装家居设计平台-躺平设计家。目前提供家具实例分割标注，完全真实的2D到3D的对准标注，以及专业的细粒度家具属性标注。阿里巴巴希望持续建设3D-FUTURE，不断为3D几何及视觉研究提供需求的标注以及新特征，包括但不限于已有数据扩充，完整房屋布局信息提供，3D模型分割标注等，以推进学术尖端科技的工业落地。

为什么需要3D-FUTURE？

当前大型开源3D数据集都存在一些不足，不足以支持工业级的3D模型重建与纹理恢复等领域的深入细致研究。首先，已开源数据集的大多数3D CAD模型(家具类) 都是从网上收集的，因此普遍存在细节缺失以及无纹理或纹理信息度低等问题，且没有多样专业的属性标签。针对此现象，3D-FUTURE提供多种不同风格且带有丰富细节的高质量3D家具模型，并配备了高清饱含信息的纹理以及多样化的属性标签。其次，目前学界暂无组织较好的大规模室内仿真图像数据集。3D-FUTURE通过最先进的工业3D渲染引擎，在专业设计师所设计的5,000多个场景中渲染产生了20,000+图像，填补了这一空白。最后，现有数据集只提供2D-3D伪匹配，即根据2D图中物体，人工从开源3D模型池里选择与之相似的3D模型作为匹配结果。这种标注过程极有可能忽视掉一些局部的形状细节特征，导致提供的2D-3D匹配结果并非完全一致。因此难以支持数据驱动的高质量三维重建以及高精度形状检索等相关3D研究。与之相比，3D-FUTURE提供的10,000+ 3D模型都是与2D渲染图中的物体真实配对的。我们相信，3D-FUTURE这些特性可以启发高质量3D模型理解和重建等领域的创新研究。

阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop？

阿里巴巴淘系技术部联合来自于悉尼大学、英国伦敦大学伯贝克学院、墨尔本大学、中国科学院计算所的顶尖学者举办基于3D-FUTURE的第一届3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。 3D几何与视觉研究是广受关注的基础研究领域，是建设未来3D智能世界必经之路。淘系技术部在人工智能国际顶级会议IJCAI-PRICAI举办workshop及竞赛，旨在总结目前最先进的3D几何与视觉技术，启发高质量3D模型理解与重建，并且建立学术研究与工业应用的桥梁。

竞赛内容包括三个项目，分别是基于图片的3D模型推荐，基于单张图的3D模型重建，实例分割。信息如下：

基于图片的3D模型推荐：在该项挑战赛中，参赛者被要求根据2D图片在给定3D池中检索出对应的3D模型。随着极速增长的3D模型数量，建立一个可靠的IBSR（image-based 3Dshaperetrieval）系统不管在工业界还是在学术界都非常重要。比如用户3D场景布局重建的基础就是根据2D图中物体，从大型3D池中找出对应的3D模型。该项竞赛最大的挑战是针对2D与3D是完全不同域以及表征信息的差距，提取具有域不变性且纹理抑制的的特征表示。我们希望参赛者能充分探索最先进的解决方案，并基于此设计出更加精准可靠的IBSR算法。另外，我们也期望通过这项比赛来促进具有鲁棒性的形状检索发展，即在图片中物体存在轻微遮挡以及具有复杂背景的情况下实现较高精度的检索。我们将用TopK召回率以及TopK平均F-score作为主要性能衡量指标。

基于单张图的3D模型重建：在该项挑战赛中，参赛者被要求从单张RGB图像重建对应的3D模型，这些图片主物体可能存在轻微遮挡以及少部分残缺。众所周知，3D模型的数量与质量是数据驱动的3D理解研究以及3D相关人工智能应用的基础，比如虚拟场景搭建。然而，目前海量的网络图片中的物体都没有或很难收集到对应的3DCAD模型。另一方面，目前工业界高质量3D模型生产效率很低，无法支持大规模高效生产。这项奖赛旨在总结目前最先进的单目图像3D重建方案，并启发工业级mesh表面细节重建的研究探索思路。Chamfer Distance（CD）以及F-score将作为重建结果质量的评价标准。

实例分割：在该项挑战赛中，参赛者被要求对渲染的室内场景图进行实例分割。在训练集中，3D-FUTURE将提供场景图中部分物体所对应的带有纹理的3D模型作为辅助信息，期望能提升边缘分割精度。实例分割是学界的基础研究问题，也是室内场景理解的关键之一。高精度尤其是边缘鲁棒的实例分割不仅有利于启发高质量图像合成相关工业应用，例如有潜力部分取代昂贵低效的渲染过程，从而实现高效自动化用户室内搭配编辑生成；也有潜力大幅提升IBSR，3D重建等基础3D问题的效果。该项挑战赛的评估指标为被广泛认可的Mask Average Precision (mAP)。

附workshop及竞赛重要信息

重要日程节点：

3月30日竞赛开启报名，并开放部分示例数据集。

4月03日开放完整训练集与验证集。

5月31日开放相关测试集。

6月05日竞赛结束。

6月12日潜在优胜者报告提交截止日期。

6月17日报告审核以及竞赛最终结果公开。

7月13日3D-FUTURE Workshop at IJCAI-PRICAI 2020。

优胜者奖励：

l 第一名1500美金，第二名1000美金，第三名500美金。

l 受邀请到国际人工智能顶会IJCAI-PRICAI 2020 Workshop进行报告。