原标题：G7领导人大跳神曲？这个三维生成AI要被网友玩坏了……
计算机视觉方面的顶级学术会议 CVPR 2020 不久前刚结束，不过会上仍有不少论文值得一读。
今天我们介绍的这篇 PIFuHD，在大会上入选口头报告 (oral presentation)就非常有趣，它提出了一种全新的基于神经网络方法：只用一张人物全身正面照片，几分钟的计算时间，就可以自动重建高分辨率细节丰富的3D模型。
不仅如此，和已经存在的类似技术相比，它还可以“猜”出照片里并不存在的身体部位，比如背部：
更好玩的是，由于它可以自动生成一个标准格式的3D模型文件 (.obj)，你还可以用它来进一步进行动作绘制，制作各种奇奇怪怪的视频……
我挑了一张自己不太标致的半侧身照片，试着跑了下代码（后附教程），效果虽不完美，重建的3D模型有明显噪音，脚部处理的不太好，而且跟本人长得也不算太像……不过模型的还是很令人惊喜，而且用 Google Colab 生成模型只用了三分钟：
为了避免到这里就读不下去了，我们还是放点比本文作者更养颜的效果图来看看吧……
那么，这个神经网络是如何工作的呢？
基本原理
在计算机视觉技术的范畴里，对人体进行3D模型重建有好几种方向。
最经典的方法是采用多台相机，从多个角度拍摄对象的照片，以及采用手持的结构光扫描设备，进行全方位的扫描，再在专业的软件中进行拼贴重建。2014年史密森学会制作前美国总统奥巴马的3D肖像，就是用的这种方法：
如果用机器学习的思路，用参数模型回归能够比较准确地提取人体模型，但是往往只能提取出来“裸体”的模型，人体自有的外观，包括面部特征、服装、发型等等，都被舍弃掉了。
另一种方向是无模型学习，可以还原人体的表面细节，但是模型本身的还原度很低，而且对计算资源的依赖太大。
这篇 PIFuHD 论文的目标，是对单张照片上穿着衣服的人进行高细节的3D重建，分辨率足以识别手指、面部特征、衣服褶皱等详细的信息。
基于该团队之前开发的 PIFu（像素对齐隐式函数）算法，分成两个原理相同，但功能不同的模块：
第一个模块对输入图像进行下采样，进行粗糙推理，输出一个低分辨率的三维模型；第二个模块从输入图像读取更精确的表面细节，并且引入第一个模块的结果，（这也是这篇论文标题中 Multi-Level PIFu 的来源）。
结合两个 PIFu 模块的结果，PIFuHD 实现了其目标，从一张照片中得到了高清晰度、细节丰富的3D重建模型，并且对于内存等计算资源的依赖更少，还其它已知3D重建算法直接对高清输入图像重建出1024*1024分辨率的3D模型。以及，其它方法经常出现的“假象”，在这一新方法中也有效避免。
还有一个问题：PIFuHD 是如何重建人物后背的3D模型的呢？
考虑到整个研究的限制，输入图像是单一的、正面的照片，背部的细节根本不存在，也就无法真的“重建”，只能靠猜。而猜的工作，是由两个模块都具备的多层感知器 (Multilayer Perceptron, MLP) 进行的。
由于 MLP 的工作原理，以及研究限制，如果不进行优化的话，生成的模型背面，其肌理非常平滑，几乎没有任何细节的存在，这又显得太不真实。
所以研究者在流程当中增加了一个环节，把背部模型推理工作的一部分移到特征提取的步骤里，就能够生成具有更多细节，更容易让观看者信服的背部肌理。
除了图像之外，PIFuHD 还可以对视频进行逐帧重建：
这篇论文的设计巧妙，也提出和引用了很多计算机视觉领域和3D重建方向最新的概念。论文由Facebook 的人工智能实验室、Facebook现实实验室（原 Oculus Research）和南加州大学共同进行，第一作者为 Shunsuke Saito。
网友神·二次创作
研究者非常体贴地在 Google Colab 上提供了运行所需的代码，只要经过简单的配置就可以运行。我找了一些难度较低的淘宝和街拍照片进行测试：
第一张，除了鞋的重建说不过去，整体完美：
第二张，似乎因为背景太复杂，导致提取细节时出现了误判，其它还原的比较精确，包括手和包，以及头左侧头发的质感：
又找了一些不是很标致，并非完全正脸的照片，效果也还算不错：
生成的模型也可以下载下来，放到诸如 Blender 等动画软件里，进行“二次创作”……这不，网友们已经大开脑洞了。
在下面这条视频里，这位网友似乎是用一张模特照片重建了3D模型，还增加了细节贴图，然后放到 ARKit 里，这样就可以在手机上打开了：
更厉害的还在后面。
静态的3D模型已经不能满足网友了，下面这位把自己的模型和舞蹈动作追踪组合起来，变成了街舞达人：
最后这个最神奇，网友把七国集团领导人全部复制成了3D模型，然后强迫他们跳日本神曲《新宝岛》：
这些网友的二次创作，玩的复杂多了，但其实技术门槛并不算高：只要用 PIFuHD 生成的模型文件，在 Blender 等3D渲染软件里打开，把输入图片作为贴图加上去，再用动画软件给新的模型加上动作什么的……
简直是没有做不到，只有想不到。
上手教程
论文作者很体贴地在 Google Colab（一个免费、在线、无需配置的 Python 开发环境）上提供了代码，任何人只要可以访问 Google 都可以进行测试。
在这里我们提供一个简单的教程，即使你不会写代码也可以轻松制作自己的3D模型：
首先访问论文的展示页面 https://shunsukesaito.github.io/PIFuHD/，点击"Demo"链接，进入 Google Colab；点击下图中这个按钮：
然后在新打开的 Google Colab 页面（"PIFuHD Demo 的副本") 上开始操作。右上角选择连接到托管代码执行程序 (hosted runtime)，然后在菜单栏的代码执行程序 (runtime) 里确认 runtime 种类为 GPU，保存：
Google Colab 是一个既可以写代码，又可以添加文字、图片和视频等各种注释内容的平台，不过我们关注代码块就好了。
每个代码块的左上角都会有一个运行的按钮，就像播放键一样。接下来你需要按从第一个到第四个代码块的运行按钮，跳过第五个代码块，选择第六个代码块，先不要按播放。
点击页面左边的文件夹，点击刷新，上传你的图片文件（最好是.png，实测.jpg等其他格式偶尔报错），然后把上传好的文件拖拽到 /pifuhd/sample_images 文件夹里
然后回到右边刚才选定的代码块，把你上传的输入图像的文件名写到下图中高亮位置：
然后，点击菜单栏的代码执行程序 (Runtime)，选择“运行当前单元格以及其后的所有单元格”，或者用键盘快捷键输入⌘/Ctrl+F10即可。
然后看着代码运行就好了。
一般重建3D模型的工作只用三五分钟。完成后你可以在左侧文件夹的 pifuhd/results/pifuhd_final/recon 路径里找到并下载生成的模型文件(.obj 格式) 和一张特征图（.png 格式，没什么用）。
你会发现程序仍然在跑余下的代码块，因为剩下的时间主要是在等渲染，程序会把输入图像和重建3D模型拼接到一起，生成一条可以下载的视频。
Colab 毕竟是一个免费的工具，图像处理的输入和输出尺寸也有限制。我自己测试后发现，在 Colab 上重建的模型，脸部细节和衣服还原真实程度比研究者自己做出来的差多了。
不过，就算没有任何代码知识，只需五分钟就可以体验机器学习3D重建模型的快乐，还是蛮不错的～游戏网
责任编辑：
| 相关下载 |
原标题：斗罗大陆：新模唐三正脸被“攻破”，看到模型，太帅了！ 在《斗罗大陆》第111集，大家终于见到了等候多时的阿银。一直以来，阿银的出现都是一闪而过，从详情>>
Square Enix 在今日公布了一组由野村哲也设计的“漫威宇宙 VARIANT BRING ARTS”系列模型，包括有钢铁侠、蜘蛛侠和美国队长，均售价 12800 日元，现已开放预订。 预订地址详情>>
【导读】万代推出了全新的《机动战士高达SEED DESTINY ASTRAY》MG 1/100 圣约高达模型，一起来了解一下。--> 日本万代宣布即将详情>>
作者： 奥尔加 2020-06-23 09:44 整理 迷迷你世界微缩家具的做法是玩家点击工作详情>>
去年高达系列 40 周年和 Hello Kitty 45 周年时，两个作品就已经合作推出过原创动画影片，大受好评。今年也将推出「Hello Kitty x 高达模型」商品 Hello Kitty/R详情>>
原标题：【欣赏】新手进步明显，突袭型gn弓兵 原创声明 高达模型制作技巧 微信公众号《高达模型制作技巧》自创办以来深受各个方面大力支持，众多作者编详情>>
好烦人！好可爱！但又好烦人！ 出自7月将播映TV动画的丈作品《宇崎酱想要玩耍》，「宇崎花」以单行本第一集封面的姿态化身为1/7比例模型！ 娇小的身形与形成对比的「SUGOIDEKAI」详情>>
原标题：【欣赏】魔蟹旧化场景 原创声明 高达模型制作技巧 微信公众号《高达模型制作技巧》自创办以来深受各个方面大力支持，众多作者编辑译者亦倾力详情>>
原标题：【公开处刑】以后这个作者的作品就…… 原创声明 高达模型制作技巧 微信公众号《高达模型制作技巧》自创办以来深受各个方面大力支持，众多作详情>>
原标题：网友制作喜欢架空高中生偶像的架空女高中生的房间模型 推特网友wakita ayaka公开了自己设计的应援架空的高中生偶像朝仓日向子的架空女高中详情>>
英雄联盟手游模型是什么样 手游模型一览。大家都知道英雄联盟的手游一直以来都是非常重要的重头戏，大家最关心的就是手游推出之后人物模型和电脑当中的详情>>
6月5日讯， 根据外媒9to5mac的消息，日本数码资讯网站Mac Otakara在油管上传了一则视频，曝光了一款5.5英寸iPhone 13的3D打印模型。据悉，这款机模是根据目前已泄露的信息制详情>>
这iPhone 12还没有发布，iPhone 13的消息已经开始频繁出现了。 据日本媒体报道称，苹果将在明年发布一款没有刘海的iPhone，随后其还分享了一款5.5英寸iPhone 3D模型机，也详情>>
原标题：iPhone 13模型机已曝光？采用无刘海设计+USB-C 6月5日消息，由于疫情的缘故，已经有众多爆料显示，今年的iPhone 12将延期发布。不过有趣的是，虽然详情>>
《剑与远征（英文版AFKArena）》于今年1月份上线IOS中文版，是莉莉丝在“出口转内销”趋势下的成功力作。它开服之后就引起了广泛的讨论，上线第二天即成为收入榜第三名，创造了出海详情>>
以重现“人与宝可梦共存的世界”为概念的Pokemon Scale World系列推出了第四弹食玩，本次的主题是系列最新续作《剑盾》的舞台“伽勒尔”地区，共包含宝可梦12种、训练家1种详情>>
23详情>>
原标题：【新手村】奔赴宿舍发来大量作品 原创声明 高达模型制作技巧 微信公众号《高达模型制作技巧》自创办以来深受各个方面大力支持，众多作者编辑详情>>
侠隐阁主角模型&立绘替换教程 发布时间：2020-05-15 12:34 来源：侠隐阁吧 作者：再山为霖 详情>>
作为独立传奇级别游戏制作人，坂口博信低调的多，5月11日今天发推晒出了了旗下正在开发的新游戏《Fantasian》的最新开发背景图，破例公开了2张，依然是为了制作游戏详情>>
桌面萌娘MMD怎么导入模型？很多小伙伴可能还不清楚游戏怎么导入模型吧，今天小编给大家带来桌面萌娘MMD导入模型方法一览，快来看一下吧。 桌面萌娘MMD导入模型方法一览详情>>
原标题：谷歌T5预训练模型单次运行成本超130万美元？算力和金钱才是模型训练的王道 选自arXiv 作者：Or Sharir、Barak Peleg、Yoav Shoham 机器之心编详情>>
跑跑卡丁车手游红旗模型什么时候调整，作为许多老跑跑玩家来说，红旗赛车是许多玩家心目中最为关心的赛车之一了，虽然本次的宾果主题赛车黑骑士也出来了，但是许多人都选择放弃而详情>>
跑跑卡丁车手游红旗模型调整什么时候出？跑跑卡丁车手游玩家最近关心的重点虽然是在宾果车黑骑士上，但是也有不少玩家关注烈焰红旗的消息，因为之前有玩家反映烈焰红旗模详情>>
原标题：数据ETL：反作弊的应用与基础模型 文章对数据ETL中的反作弊应用进行了简单的梳理分析，希望通过此文能够加深你对数据ETL的认识。 一、反作详情>>
迷你世界怎么做人物模型？迷你世界人物模型制作方法。迷你世界人物模型制作方法在迷你世界手游中，玩家点击开始游戏，然后点击右上角的插件库。然后选择生物-新建。 详情>>
迷你世界微缩模型怎么做？迷你世界微缩模型做法。迷你世界微缩模型做法在迷你世界手游中，玩家想要制作微缩模型，需要有模型工作台以及一袋沙土。玩家首先准备好想要详情>>
原标题：GeoAI-空间显式模型 转载本文需经【慧天地】许可 GeoAI-空间显式模型 理想情况下，从人工智能和数据科学到地球科学和社会科学中空间数据的详情>>
原标题：【欣赏】HG-GEO扎古2旧化方案 原创声明 高达模型制作技巧 微信公众号《高达模型制作技巧》自创办以来深受各个方面大力支持，众多作者编辑译详情>>
图片转自高达 小编点评：好厉害，以后交件照片就学这个了 详情>>
大家好，这里是小番茄游戏，每天给大家更新最新的吃鸡资讯与吃鸡套路，在手游和平精英与“蓝洞”的绝地求生之中，大家对G港以及N港应该都非常熟悉，尤其是那详情>>
原标题：用2D图像生成3D模型，微软新AI模型或成游戏业福音 将2D图像转换为3D图像，对于视频游戏开发人员、电子商务公司、动画公司来说，至关重要，但这并不详情>>
【导读】优衣库UT x 高达模型40周年合作T恤，3月下旬发售，售价为1500日元（约合人民币96元）。以各大高达机型为主题,其中独角兽、强袭自由高达、扎古等经典模型纷纷登场。--> 详情>>
原标题：实例解析：实体零售的单店模型和连锁模型 本文结合作者的从业经历，和近几年对新零售企业的观察和研究，详细拆解和分析了实体零售的单店模型和详情>>
原标题：实体零售的单店模型和连锁模型 经营线下实体店和电商的最大不同，需要先算清楚“单店模型”，在这个基础上才能将人、财、物及管理模型匹配后测详情>>
近期的Switch销量之王《宝可梦：剑/盾》证实了真香定律，一开始再怎么抵制，该买还是会买。但是这次的3D模型偷懒直接使用上一作3D模型这件事，似乎引起了开详情>>
【导读】强袭高达是在动漫《机动战士高达seed》 中登场的虚拟角色。作为一种作战兵器，本机是地球联合在中立国奥布所有的资源卫星赫利奥波利斯上极为机密开发的五架MS中的一详情>>
原标题：CSGO新人物模型遇冷：ECS S8将采用默认角色模型 导读：CSGO新人物模型遇冷。 尽管普通CSer对于CSGO新推出的人物模型爱不释手，不过已经有不少业详情>>
导读：CSGO新人物模型遇冷。 尽管普通CSer对于CSGO新推出的人物模型爱不释手，不过已经有不少业界大咖对新人物模型提出了批评。比如FMPONE，作为de_cache的地图创详情>>
原标题：模玩资讯：万代BEST HIT CHRONICLE 游戏主机 2/5比例组装模型 先前在2019年全日本模型 HOBBY SHOW，万代 BANDAI 旗下的 BANDAI SPIRITS 摊位就详情>>
