原标题：台湾清华大学与Facebook再度攻破3D照片技术
更新：网友Alegriabaile指正“最新的3d照片与原来的主要区别是，原来的是根据苹果人像模式RGB-D进行三维全景图生成，重点在深度图的全局一致性变形，当时Facebook发布的只是用到了里面较简陋的内容生成方法；
最新的这个和19年的practical 3d photography更像，拍摄单幅RGB颜色图片，利用深度学习得到深度图（这个时候才有RGBD)，后面重点进行内容生成。”
有关于2D图像转3D图片，或转移3D模型相关技术，我们报道过多项研究，其中关于3D图片和3D拍照涉及最多的就是Facebook，与此同时包括谷歌、微软、NVIDIA也已公布都在研究2D图像到三维模型（3D模型）之间的训练模型。
可以肯定的是，在很长一段时间内，这种将2D图像转变3D效果或生成三维模型的AI技术将发挥巨大作用，例如应用到电子商务平台，游戏，影视剧，大众娱乐应用等领域有着极大价值。
目前，在2D图像转3D照片，以及3D照片拍摄相关方面，Facebook已经提出初步构建了一套已有的拍摄方案，并在不断完善中。
而近期，弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook再次公布一项有关3D拍照的AI技术论文，本研究着重改善了现有3D拍照中模糊和不连续性等问题。
Facebook 3D拍照/3D图片技术
在讲述新的研究之前，我们先来回顾一下Facebook现有的3D拍照和3D图像的研究成果。
2018年5月份的F8开发者大会上，Facebook公布3D照片研究，其将嵌入Facebook信息流中，移动设备可通过左右晃动呈现3D景深效果，而PC端则可通过鼠标拖拽观看立体效果，且仅支持拥有“人像模式”的iPhone设备。
实际上，这项技术初衷是为了让用户更轻松的创建出3D图片或其他3D内容，并且让大家可以通过自己的手机完成。
当时Facebook给出的方案是，通过双摄手机拍摄同一图像并计算深度信息，然后进行深度信息解码，再结合单一摄像头拍摄多张图像，通过双组数据对比推算出图片中不同深度数据，将图像进行分层从而实现三维拍摄的目的。
2020年2月，又公布了一项可以让2D照片转3D效果技术，而方法适用于单摄像头手机，完全基于AI技术实现，从而实现功能的互补，意味着几乎主流的智能手机全部支持Facebook 3D照片。
相比来看，这就是一套完全基于2D照片来实现模拟3D效果的升级版，其通过单目数据结合CNN模型，对算法要求更高，并且也需要前期进行大量数据实验积累，实现了在移动设备上快速处理，这对今后普及3D照片，甚至3D内容理解、环境感知等领域方面有极大的帮助。
新方法：单张RGB-D转换3D照片
虽然说上述两个研究已经很出色的完成了消费级场景的应用需求，但是为了满足未来潜在且广泛的3D照片需求，弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook近期公布了一项基于单目RGB-D图像完成3D照片转换。
简单来说，这是一项将多个图层图像合作的新颖方法，甚至可以还原出原图中被遮挡的部分物体和颜色。其中比较关键的一个就是引入“图像修复模型”，该模型采用上下分层内容感知形式，来填充缺失部分的颜色和内容等细节。
与此同时，通过此方法生成的3D照片可以通过标准图形引擎的运动视差来展示。最终结果就是，3D照片的效果极为出色。
不同方法对比：a，图像缺失、扭曲；b，图像边缘拉伸；Facebook 3D照片效果；4，本方法最终效果
图像预处理过程：a-b，颜色和深度输入；c-d，使用双边滤波锐化；e，基于视差值检测不连续性；f，消除虚假差值，优化图像边缘深度
图像前后感知处理过程：LDI绘图算法、合成区域（红色）、合成区域宽度5个像素宽
通过上述对比图来看，我们原有的3D图像或者存在图像缺失、或者边缘拉伸情况，而Facebook 3D照片也存在边缘模糊。
我们再来通过视频了解一下，该方法应用在最常见的家庭照片的效果。
上面的视频是多种不同方法之间的对比。
另外，我们再来看2.5D视差、旧照片和Dolly Zoom场景的效果图：
Dolly Zoom效果图
2.5D视差效果图
旧照片的效果图
根据论文自身的说法，在日常场景的照片中，本方法和高性能3D拍摄技术效果基本接近。
3D照片就是未来？
当然，本方法也有它的局限性，那就是它要求的是RGB-D图像，必须要求带有深度信息。回过头来看，也就是和Facebook最初发布的3D照片类似，需要双摄版iPhone机型，而安卓设备目前还不确定。不过，多摄像头机型越来越普遍，而且实现3D拍照的方法也越来越多，这点基本不用担心。
前面我们解释过，Facebook在3D照片方便已经耕耘许久，这背后的原因又是什么？
3D摄像技术绝对是一种新颖且能带来更有趣的展现效果，相比常规的2D照片要更有趣。但是，以往想要进行3D拍摄只能通过专业的摄像机，或全景相机，虽然消费级全景相机已经价格较低，但目前仍未达到普及的程度。
而我们又知道，Facebook绝对是AR/VR领域资深玩家，甚至此前还推出过 Surround360全景相机平台，其宣称世界上首个3D和全景视频拍摄端到端解决方案。但是， Surround360计划在2018年之后就很少被提及，甚至与RED合作的全景相机RED Manifold此后声音也越来越小。
其中一方面是目前全景拍摄需求相对小众，即便是消费级全景相机普及率也非常低；另一方面大众媒介直接从2D跳转到三维还需要一个过渡。
很显然，直接利用好大家手中的手机就是一个非常聪明的选择。这时，相信你已看出Facebook早已开始在AR/VR已经未来各种不同场景进行布局和探索尝试。
通过上面的预览效果图来看，可实现多种形态的3D照片模式，可以预想到的是，该技术可直接应用到手机图片处理App中，甚至应用到短视频制作App等等场景，而Facebook自身（包括旗下平台）就是一个图像、视频分享的平台，显然这对于之后的业务拓展也十分有利。
至于未来3D照片是否能够大范围普及，显然还是未知数，但可以肯定的是这些技术和过程的探索无疑对未来AR/VR/全息时代三维信息产生、交互拥有重大意义。游戏网
| 相关下载 |
她是清华学子，拿过全国青年田径锦标赛800 米和1500米冠军，带着一张张闪亮的“名片”放弃保研机会，从清华大学参军入伍。负重爬绳、高空索降、泥详情>>
剑网3小苑清华怎么获得？小苑清华获取途径是什么？还不清楚的小伙伴看过来，这里234游戏网小编为大家带来剑网3小苑清华获取攻略的详细介绍！有兴趣的小伙伴不要错过喔！ 剑网详情>>
导 读 剑网3小苑清华在哪领？这是剑网3免费赠送的家园大礼，一间豪华装修的房子，小编这里带来了剑网3小苑清华获得方法，感兴趣的玩家们就一起来看看吧！ 剑网3小苑清华获得方法 温详情>>
剑网3将于5月22日上线新资料片——结庐在江湖，那么预约赠送的小苑清华应该在哪领取呢?下面小编就为大家带来相关攻略，感兴趣的小伙伴快来看看吧! 剑网3小苑清华在哪领 玩家们详情>>
剑网3小苑清华怎么获得，游戏也是即将上线新资料片——结庐在江湖，那么精装别院“小苑清华”又应该怎么获得呢，相信还有些小伙伴不知道。下面就让我们一起来看看吧!剑网3小苑清详情>>
原标题：“清华打野”小天隔空嘲讽K夜：小学7门课加起来不到100分 FPX的企业文化大家都懂，除了把整个队伍风格领向歧途的Doinb外，在Doinb带领之下，更是培详情>>
5月15日，@清华大学 新闻与传播学院团委微信公众号发布消息称，学校决定大幅度扩大新闻学院硕士研究生规模，今后学院的人才培养主要在研究生层次进行。此举详情>>
本文转自【津云】；5月15日，@清华大学 新闻与传播学院团委微信公众号发布消息称，学校决定大幅度扩大新闻学院硕士研究生规模，今后学院的人才培养主要在研究详情>>
5月14日，清华大学新闻与传播学院通过现场加网络远程在线的方式召开全体教职工会议，出席会议的清华大学副校长彭刚宣布，清华大学新闻与传播学院从2020年起，详情>>
原标题：吉林舒兰急寻去过清华浴池的居民！ 14日，吉林舒兰发布紧急通知：凡是 2020年4月1日（星期三）至5月6日（星期三）期间，到过清华浴池的居民，一是立即自我 居详情>>
（原标题：舒兰紧急通知：近期到过清华浴池的居民立即居家隔离并上报） 详情>>
据吉林省舒兰市委宣传部微信公众号消息，舒兰市新冠肺炎疫情防控工作领导小组办公室14日发布紧急通知称，根据舒兰市疾控中心对确诊病例密切接触者的流行病详情>>
全市广大城乡居民：根据市疾控中心对确诊病例密切接触者的流行病学调查，现将有关情况通知如下：凡是2020年4月1日（星期三）至5月6日（星期三）期间，到过清华浴池的居详情>>
【中国式成长考大学技巧】 高考分数哪怕在第一代按这个方法应该也能600多 课程安排:学说话，故事绘本，捏泥人，正版游戏，衡水密卷。 —————— 65回档拿故事绘本详情>>
5月8日，清华大学诉石城县清华幼儿园“侵害商标权及不正当竞争纠纷”一案将在赣州市中级人民法院开庭审理。据悉，清华大学以商标侵权为由已在江西详情>>
截至昨晚，全国75所教育部直属高校都在各自的信息公开网站上公布了2019年财务预算。清华大学依然以近300亿元的预算遥遥领先于其他高校，不仅比去年增加了27亿详情>>
据中青报4月20日消息，清华大学马克思主义学院副教授冯务中在思政课上使用了新形式，让学生通过扫二维码进入在线课堂，开启弹幕功能。通过手机提问“你给改革开放详情>>
核心提示 详情>>
（原标题：前万科员工向证监会举报王石：涉嫌侵犯万科全体员工权益） 详情>>
原标题：清华发布智库大数据报告：今日头条为智库实现影响力提供了新途径 日前，《清华大学智库大数据报告（2019）——今日头条版》由清华大学公共管理学院详情>>
清华大学武汉籍学生张睿茹近日在演讲中讲述自己疫情期间的经历。她说，作为00后，从小知道国歌中有“万众一心”，一场疫情真正理解了其中的含义。详情>>
原标题：构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒” 大数据文摘出品 在人工智能盛行的今天，AI早已融入了生活中的多个场详情>>
原标题：AI无间道！清华AI团队推出AI安全平台，欺骗顶尖人脸算法后又强势修复漏洞 允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 随着人工智能技术详情>>
原标题：清华背景团队成立「青鼎装备」，想要推广超声技术在各制造领域的应用 依托清华大学在超声加工领域十余年科研积累和技术储备。 深圳市青鼎装详情>>
原标题：王石率万科员工向清华大学捐赠2亿股股票 市值53亿元 新京报讯（记者 段文平）4月2日，万科周刊发布消息称，王石率万科员工向清华大学捐赠2亿股万科详情>>
「PW Live」是 PaperWeekly 的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反详情>>
原标题：最酷“云校招”！国内首位AI副总裁携网龙高管清华揽才 【环球网智能综合报道】当清华学子与AI副总裁隔空对话，会碰撞出怎样的火花？4月1日，网龙携详情>>
原标题：抗击新冠疫情 全球命运与共 中国日报社携手清华大学举办线上“新时代大讲堂” 中国日报网3月31日电 为深入宣传贯彻习近平主席在二十国集详情>>
原标题：清华与深圳三院分离出新冠病毒抗体 将推动临床应用 新京报讯（记者 樊朔）近日，清华大学医学院教授张林琦团队与深圳市第三人民医院教授张政研究详情>>
原标题：疫情下的人间巨婴：我儿子考不上清华你负责吗？ 目前大部分学生，都已经开始上网课了，尤其是高三、初三等升学班，学习任务尤其繁重、重要。 只是，上详情>>
原标题：华中科技大学与清华大学“同上一堂党课”系列课程第二讲开课 新华社武汉3月23日电（记者胡喆、李思远）华中科技大学与清华大学“同上一堂党课详情>>
原标题：533名武汉江夏小学生收到清华大学学生的一份特殊礼物 “武汉的小朋友们，你们都是祖国的花朵，都是祖国的希望。国家的未来把握在你们手上、命详情>>
图片来源于网络，如有侵权请联系删除 段子一 千辛万苦来到清华的学堂，我走到讲台上，义正言辞地说道：“各位同学你们好！我知道你们有的是靠父母进来的，有的是靠关系详情>>
楼下熊孩子刚上学，挺调皮。爷爷奶奶喊他好好读书，他说：“那我要好好学习，考上清华咋办？听说那学费可贵，咱会付得起？”他爷爷说：“好好学，付的起，你就別操心！”熊孩子：你骗详情>>
原标题：清华大学沈向洋教授快手直播：要避免传统社会语境里的偏见被带入AI 当下，以人工智能为代表的新兴技术正在让很多不可思议的事情成为现实。但在详情>>
原标题：微软前执行副总裁沈向洋受聘清华大学，首堂课谈AI责任 图片来源：清华大学 记者 | 彭新 编辑 | 1 3月5日，清华大学宣布，通过视频连线为正详情>>
原标题：清华大学姚期智：以前知识分子为了职称注重理论 未来重在应用！ “图灵奖”得主、中科院院士姚期智 原标题：计算机科学正在迎来黄金时代 来源：《详情>>
考上了清华大学，第一次当全村人的希望，有点紧张。 编辑 孩子，你都病成这样了，能不能休息一会啊！ 编辑 一拜天地（看一次笑一次） 编辑 作死小能手，让详情>>
马总多买几套，给自己点动力,还行,我更喜欢,清华大溪地交通，配套，教育都挺好的,我也喜欢详情>>
