原标题：台湾清华大学与Facebook再度攻破3D照片技术

更新：网友Alegriabaile指正“最新的3d照片与原来的主要区别是，原来的是根据苹果人像模式RGB-D进行三维全景图生成，重点在深度图的全局一致性变形，当时Facebook发布的只是用到了里面较简陋的内容生成方法；

最新的这个和19年的practical 3d photography更像，拍摄单幅RGB颜色图片，利用深度学习得到深度图（这个时候才有RGBD)，后面重点进行内容生成。”

有关于2D图像转3D图片，或转移3D模型相关技术，我们报道过多项研究，其中关于3D图片和3D拍照涉及最多的就是Facebook，与此同时包括谷歌、微软、NVIDIA也已公布都在研究2D图像到三维模型（3D模型）之间的训练模型。

可以肯定的是，在很长一段时间内，这种将2D图像转变3D效果或生成三维模型的AI技术将发挥巨大作用，例如应用到电子商务平台，游戏，影视剧，大众娱乐应用等领域有着极大价值。

目前，在2D图像转3D照片，以及3D照片拍摄相关方面，Facebook已经提出初步构建了一套已有的拍摄方案，并在不断完善中。

而近期，弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook再次公布一项有关3D拍照的AI技术论文，本研究着重改善了现有3D拍照中模糊和不连续性等问题。

Facebook 3D拍照/3D图片技术

在讲述新的研究之前，我们先来回顾一下Facebook现有的3D拍照和3D图像的研究成果。

2018年5月份的F8开发者大会上，Facebook公布3D照片研究，其将嵌入Facebook信息流中，移动设备可通过左右晃动呈现3D景深效果，而PC端则可通过鼠标拖拽观看立体效果，且仅支持拥有“人像模式”的iPhone设备。

实际上，这项技术初衷是为了让用户更轻松的创建出3D图片或其他3D内容，并且让大家可以通过自己的手机完成。

当时Facebook给出的方案是，通过双摄手机拍摄同一图像并计算深度信息，然后进行深度信息解码，再结合单一摄像头拍摄多张图像，通过双组数据对比推算出图片中不同深度数据，将图像进行分层从而实现三维拍摄的目的。

2020年2月，又公布了一项可以让2D照片转3D效果技术，而方法适用于单摄像头手机，完全基于AI技术实现，从而实现功能的互补，意味着几乎主流的智能手机全部支持Facebook 3D照片。

相比来看，这就是一套完全基于2D照片来实现模拟3D效果的升级版，其通过单目数据结合CNN模型，对算法要求更高，并且也需要前期进行大量数据实验积累，实现了在移动设备上快速处理，这对今后普及3D照片，甚至3D内容理解、环境感知等领域方面有极大的帮助。

新方法：单张RGB-D转换3D照片

虽然说上述两个研究已经很出色的完成了消费级场景的应用需求，但是为了满足未来潜在且广泛的3D照片需求，弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook近期公布了一项基于单目RGB-D图像完成3D照片转换。

简单来说，这是一项将多个图层图像合作的新颖方法，甚至可以还原出原图中被遮挡的部分物体和颜色。其中比较关键的一个就是引入“图像修复模型”，该模型采用上下分层内容感知形式，来填充缺失部分的颜色和内容等细节。

与此同时，通过此方法生成的3D照片可以通过标准图形引擎的运动视差来展示。最终结果就是，3D照片的效果极为出色。

不同方法对比：a，图像缺失、扭曲；b，图像边缘拉伸；Facebook 3D照片效果；4，本方法最终效果

图像预处理过程：a-b，颜色和深度输入；c-d，使用双边滤波锐化；e，基于视差值检测不连续性；f，消除虚假差值，优化图像边缘深度

图像前后感知处理过程：LDI绘图算法、合成区域（红色）、合成区域宽度5个像素宽

通过上述对比图来看，我们原有的3D图像或者存在图像缺失、或者边缘拉伸情况，而Facebook 3D照片也存在边缘模糊。

我们再来通过视频了解一下，该方法应用在最常见的家庭照片的效果。

上面的视频是多种不同方法之间的对比。

另外，我们再来看2.5D视差、旧照片和Dolly Zoom场景的效果图：

Dolly Zoom效果图

2.5D视差效果图

旧照片的效果图

根据论文自身的说法，在日常场景的照片中，本方法和高性能3D拍摄技术效果基本接近。

3D照片就是未来？

当然，本方法也有它的局限性，那就是它要求的是RGB-D图像，必须要求带有深度信息。回过头来看，也就是和Facebook最初发布的3D照片类似，需要双摄版iPhone机型，而安卓设备目前还不确定。不过，多摄像头机型越来越普遍，而且实现3D拍照的方法也越来越多，这点基本不用担心。

前面我们解释过，Facebook在3D照片方便已经耕耘许久，这背后的原因又是什么？

3D摄像技术绝对是一种新颖且能带来更有趣的展现效果，相比常规的2D照片要更有趣。但是，以往想要进行3D拍摄只能通过专业的摄像机，或全景相机，虽然消费级全景相机已经价格较低，但目前仍未达到普及的程度。

而我们又知道，Facebook绝对是AR/VR领域资深玩家，甚至此前还推出过 Surround360全景相机平台，其宣称世界上首个3D和全景视频拍摄端到端解决方案。但是， Surround360计划在2018年之后就很少被提及，甚至与RED合作的全景相机RED Manifold此后声音也越来越小。

其中一方面是目前全景拍摄需求相对小众，即便是消费级全景相机普及率也非常低；另一方面大众媒介直接从2D跳转到三维还需要一个过渡。

很显然，直接利用好大家手中的手机就是一个非常聪明的选择。这时，相信你已看出Facebook早已开始在AR/VR已经未来各种不同场景进行布局和探索尝试。

通过上面的预览效果图来看，可实现多种形态的3D照片模式，可以预想到的是，该技术可直接应用到手机图片处理App中，甚至应用到短视频制作App等等场景，而Facebook自身（包括旗下平台）就是一个图像、视频分享的平台，显然这对于之后的业务拓展也十分有利。

至于未来3D照片是否能够大范围普及，显然还是未知数，但可以肯定的是这些技术和过程的探索无疑对未来AR/VR/全息时代三维信息产生、交互拥有重大意义。游戏网