详解Codec Avatars：Facebook押注的下一代社交

时间：2019-03-16 10:09:12 来源：作者：网络

在游戏行业和《第二人生》等社交应用的推动下，虚拟化身逐渐普及。我们开始在游戏乃至社交平台中拥有“神似”自己的虚拟形象，甚至这些形象能与用户交互，比如识别用户面部表情变化。

VR,虚拟现实技术,虚拟现实

随着VR社交成为新一代风口，虚拟化身似乎成了加深用户之间联系的纽带。我们选择或创造的虚拟角色往往反映了我们自身的特征或者想成为的角色，让我们能在虚拟世界中拥有一个理想化的“自己”。

VR,虚拟现实技术,虚拟现实

Facebook进军VR社交，其实早有预谋

去年底，曾传Facebook将神秘部门Building 8更名为Portal，并将部分研究工作转移到Facebook Reality Labs（FRL）部门。FRL部门的负责人是Facebook首席科学家Michael Abrash。在加入Facebook之前，Abrash在游戏行业有20年的从业经验。

VR,虚拟现实技术,虚拟现实

初到Facebook负责VR社交方面的业务时，他认为主要任务就是设计复杂的3D环境，当然日后的事实证明Abrash当时把社交想的太过简单。

随后在一次演讲中，Abrash分享了其在VR社交上的三方面尝试，即虚拟化身（Avatar）、社交环境（Social Environment）以及使用场景（Utility）。此后，Facebook开始发力构建虚拟化身。

VR,虚拟现实技术,虚拟现实

Abrash深信这项技术在接下来的50年里，将会成为工作、娱乐和沟通的主要方式，就像是电脑和智能手机一直在改变世界一样。

他表示：我曾描述过AR/VR在未来需要哪些技术来支撑，但从未公开具体开发过程及幕后团队。因此，FRL部门公开了一系列博客向大家展示FRL团队在5年里都进行了哪些研究。

VR,虚拟现实技术,虚拟现实

Codec Avatars——打造不一样的社交沉浸感

Facebook Reality Labs研究主任Yaser Sheikh提到了目前正在开发中的项目Codec Avatars，并表示其将彻底改变VR/AR设备与他人联结的方式，带来颠覆式的交互体验。

如果说智能手机让你听到和看到远在千里之外的亲朋好友，那么VR就会让他“真真正正”地坐在你的面前。

VR,虚拟现实技术,虚拟现实

基于3D捕捉和AI技术，Codec Avatars可以让人们快速能够轻松地构建属于自己的虚拟化身，并使虚拟空间中的交流和沟通像在现实世界一样自然。

用户将自定义一个能够匹配自身实际动作的虚拟角色（包括头、肩膀和双手）。这意味着当你转圈、摇头时，虚拟角色都能相应地表现出来。这种表情和情绪的变化也会增加虚拟化身的临场感和真实度。

VR,虚拟现实技术,虚拟现实

为了验证虚拟形象是否足够逼真，FRL进行了两种简单的测试：“ego test”（自我测试）和"mother test"（母亲测试），即通过这种虚拟形象，你身边的家人也能认出你来。

当您第一次接听视频电话时，没有人告诉您为什么这项技术很重要。因为它让你可以远程联络到每个人，你能真切地感受到这项技术为生活所带来的改变。

VR,虚拟现实技术,虚拟现实

而VR社交希望能再次突破，就像《星际迷航》中的全息甲板一般，参与者将以虚拟化身的形式出现，甚至可以在模拟环境中闲逛，就像他们实际上在那里一样。团队也正在积极地努力实现这一目标。

FRL为构建虚拟化身一直在努力

2014年秋天，Sheikh遇到了Abrash。当时，Sheikh领导着Panoptic Studio，这是卡内基梅隆大学机器人研究所旗下的一家3D捕捉实验室。两人一拍即合，后来Sheikh于2015年加入Facebook，自此以来领导研究团队。

VR,虚拟现实技术,虚拟现实

FRL建立了两间动捕工作室——Mugsy和Sociopticon，一个用于捕捉面部表情，一个用于身体运动。每一个都旨在精细捕捉身体结构，并以前所未有的细节水平测量身体运动，然后根据所集成的数据构建逼真的虚拟化身。

Mugsy的墙壁和天花板上安装了132颗佳能摄像头和350个灯光聚焦在椅子上。用户坐在椅子中，就相当于坐在了整个空间的中心，设备将精准地捕捉面部的所有细微变化。

VR,虚拟现实技术,虚拟现实

而Sociopticon专门用于拍摄身体动作变化，采用了更多180颗摄像头，能拍摄4K视频。

这两间动捕工作室能够能够每秒采集180Gb的数据，利用捕获的数据来训练AI系统，令其只需数张图片或视频即可快速轻松地打造符合用户自身形象的虚拟化身，这也让用户用了“代入感”和“参与感”。

VR,虚拟现实技术,虚拟现实

“随着机器学习在技术上的突破，这种超逼真的虚拟化身能够以动画方式进行实时制作。”

VR社交的未来

Codec Avatars将会对VR社交产生巨大的影响，这里有着非常先进的设备的经验丰富的专家。FRL科学家余守壹表示：“我们拥有世界上最先进的扫描设备，我们开始尝试扫描人们的鞋子、玩具以及能想到的任何东西。扫描日常物品听起来十分简单，但这一切都是为了构建一种更好的算法，以便未来可以轻松渲染最复杂的虚拟化身。”

VR,虚拟现实技术,虚拟现实