原标题：全是为了科学：只用一张图，就能让二次元老婆动起来，宛如3D
糙汉变萝莉，一点也不难。
转载声明：本文授权转载自「量子位」，搜索「QbitAI」即可关注。作者：栗子
只要输入一张静态的老婆，就能让她动起来，会张嘴会眨眼，还能东张西望，抬眼看天。仿佛成了3D老婆。
▲笹木咲
▲童田明治
并且，你想让妹子怎样动，姿势都可以定制。比如，渴望她一直对你wink，就调眼睛的参数：
这里有一只造福人类的AI，作者是名叫Pramook Khungurn的死宅少年。
此宅因长期沉迷虚拟偶像小姐姐，想到用深度学习自己做一只，结果成功了。
他把喜讯发上Reddit，7小时热度便突破200点。楼下有小伙伴发来贺电：
为了科学！
完全无法反驳。
既然如此，背后的科学究竟是怎样的？
静态老婆动起来
我们先粗略了解一下，打造一只虚拟老婆，原本是个怎样的技术任务。
Pramook说，至少得有一个人物模型，ta的动作要能控制：
一种方法是做3D模型，有些虚拟偶像 (VTuber) 的确是这样诞生的。只是比较贵，需要人物设计师和3D建模师，一人很难完成。如果是没有艺术技能的普通人类，就更做不到了。
另一种是做2D模型，成本比较低，这种方法制造的VTuber更常见。2D人物的动作也会简单一些。
于是Pramook明白了，2D老婆更容易获得。但即便这样，2D模型还是分成几个可动的部分，建模师要把这些部分的动作整合到一起，依然非常耗时。
既然如此，作为一只合格的技术宅，当然要用深度学习，把手动2D建模的繁琐步骤跳过去，直接用一张静态图，生成会动的老婆了。(至于静态图从哪来，有GAN可以直接生成啊↓↓↓)
▲来自waifulabs
少年打定主意之后，第一步就是要搞个数据集，才好训练算法：
自制数据集
这里需要的是，标注好姿势的脸部数据集。
如果是真实人脸，就有EmotioNet这样的数据集可以用。但二次元应该还没有这样直接可用的数据集。
少年机智地想到，虽然自己要的是2D老婆，但训练数据可以用3D模型来提取。熟悉初音的他，知道MikuMikuDance里面有大量的3D模型，于是下载了8000多个虚拟人物。
这些人物的动作都可以控制，只要想到一个姿势，就能渲染出一张这种姿势的图片来。
每个3D模型都可以得出成百上千张图，8000多个模型合在一起，就是很大的数据集了。
一个训练实例分三张图，第一张是原图 (直视前方) ，第二张是表情修改后的图 (如闭眼/闭嘴) ，第三张是在第二张基础上转动了脸的朝向。
表情的变化，是由6个参数决定的：两个负责眼睛开闭，一个负责嘴巴开闭，还有三个负责脸部转向 (x、y、z轴) 。
数据集有了，算法又是怎样的呢？
两步走
一是表情变化器 (Face Morpher) ，二是脸部旋转器 (Face Rotator) 。
表情变化器比较简单，少年借用了中选ECCV 2018的GANimation算法：
原理是，把从原图到第二张图之间要发生的变化，用另一张图表示出来。
然后用一个Alpha Mask，把这张图片和原图结合起来，就有了第二张图 (Mask也是网络自己生成的) 。
这个算法很适合用来修改图像的一小部分，比如闭眼。
脸部旋转器就复杂一些，用到了两个互补算法。
其中一个依然是GANimation (下图红框) ，原本它只用来改变表情，但少年又让它去做脸部旋转了。
另一个是来自Zhou等人2016年的视角合成算法 (下图蓝框) ，用来让图片里的3D物体转起来。要做到这一点，网络会计算出一个外观流 (Appearance Flow) ：它知道，输出的每个像素，色彩是来自输入中的哪个像素。
外观流擅长保存原图的纹理，生成精细的结果，但不擅长脑补旋转之后才露出的部分 (如下图a) ；
而GANimation生成的图像比较模糊，却能脑补出旋转前没有露出的部分 (如下图b) 。
最后，把两个互补算法输出的结果合为一体，用到的主要是U-Net结构。
现在观看一下成果吧。
顺利迁移
首先，既然AI是用3D模型里提取的图片训练的，就先用3D模型的图片测试一下：
3D考试顺利通过。
那么，输入2D图片也能行么？试一下手绘图：
AI依然没有被难住，不论输入的是彩虹社虚拟偶像的照片，还是用Waifulabs自动生成的新妹子 。
不过，这还不算完。
还能怎么玩
和一个面部追踪算法搭配食用，就能让妹子随着视频里的人脸，做出一样的动作。
比如，输入一段奥巴马的视频，妹子就学着他说起话来：
大叔变老婆，一点也不难。这就是虚拟偶像的本质吧 (误) 。
另外，视频不一定要从网上找，也可以自己录，作者Pramook已经试过了：
这样，教二次元老婆用温柔的表情，说出爱你的话，就可以顺畅地恋爱了。要是找不到可爱的声优，可以考虑一下谷歌娘啊。
一切就等算法开源啦。
*文章经作者授权发布，不代表PingWest品玩立场，如需转载请联系原作者。游戏网
责任编辑：
| 相关下载 |
原标题：只用一张图，就能让二次元老婆动起来，宛如3D：这全是为了科学啊 栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI △笹木咲 △童田明治 详情>>
原标题：能让怪盗基德受伤的女孩，仅此一位，还是远程攻击！ 对于从小就爱看动画的我们，有些作品真是陪伴着我们长大， 就比如说名侦探柯南，这个对很多人来说详情>>
【导读】冻冰箱的前女友尸体突然活了，新手村出现顶级氪金玩家，你这是撩人呢还是擦鞋呢，他居然忘记自己还有脑子，据说这样可以检测发情期到了没？ 这么详情>>
S9全球总决赛是S赛历史上整体实力最强的一届世界赛，这个观点在S9之后已经成为共识。而正在进行的全球性转会期，也可能是自S4之后动作最大且影响最大的一次转会期。SKT几乎详情>>
原标题：特朗普威逼利诱，能让“苹果制造”重返美国？ 【文/科工力量专栏作者 陈兴华】 经历近一年的“摇摆”，苹果仅存的美国本土生产线得以保留，而且美详情>>
原标题：关系付费盘活私域流量，会员经济能让微博摆脱广告依赖吗？ 对于恰逢十周年节点的微博来说，三季度财报并不令人满意。 尽管MAU和DAU都维持了10%详情>>
能让男人这么安静， 又这么耐心的等待，只有。。 这是亲妈，没毛病.安全第一 孩子你这是有多困！ 服装谁做的，咋不把蝙蝠标志镂空 事故和故事字体详情>>
这就是功夫 当吃货看到食物的表情 这是用生命在跳水啊 兄弟情深啊， 有没又想起自己小时候呢 这是谁的东西掉了？ 睡觉带娃两不误，给我眯十分钟就详情>>
大家好，我是A电竞小九。 相信大家都知道英雄联盟是一款恐怖游戏（狗头），AD玩家的游戏体验可谓是非常差，战士打不过，刺客打不过，法师打不过，到头来连辅助都能骑在AD头上详情>>
原标题：那张能让美少女胸部动起来的图，现在还有人在继续玩 小心别摔手机。 一项简单又快乐的技术都已经被发明了几个月了，但人们还是玩的不亦乐乎。详情>>
原标题：孙正义：从WeWork吸取了教训，不能让创始人控制董事会 软银集团在正式获得美国共享办公初创企业WeWork实际控制权之后，正在考虑放弃WeWork在香港详情>>
原标题：哪些准备姿势，能让手游在出海赛道上跑得更快更稳？ 出海玩家必备攻略。 文/菲斯喵 前阵子，葡萄君拜访了一家Top 5出海游戏厂商详情>>
原标题：线下实体商家，怎么做营销活动，才能让业绩倍增 线下实体商家在节假日怎么做活动，才能让业绩倍增。 近年来，不管是线上还是线下，各大企业商家纷纷详情>>
原标题：荣立一等功！谭斌：不能让2104战车在我面前沉掉 央视网消息：来认识一位被授予一等功的战士，他是第72集团军某旅四级军士长谭斌。和平年代什么事迹详情>>
原标题：美妆类三榜 ｜ “孟美岐＋李汶翰”的流量包能让品牌跃升28个位置吗？ 本文来自微信公众号：壹娱观察（ID: yiyuguancha）。 品牌榜这周有个意外的情况，详情>>
在FPX将FNC淘汰回家之后，FNC的中单在直播中点评了这届世界赛的中单。被问到将他淘汰回家的Doinb时他直言：Doinb是这届世界赛最差中单之一，俨然一副FNC输了但是我没输的样子详情>>
原标题：FNC中单再引争议 解说猫猫声援Doinb：他能让队伍成为SuperCarry 在FPX将FNC淘汰回家之后，FNC的中单在直播中点评了这届世界赛的中单。被问到将详情>>
在FPX将FNC淘汰回家之后，FNC的中单在直播中点评了这届世界赛的中单。被问到将他淘汰回家的Doinb时他直言：Doinb是这届世界赛最差中单之一，俨然一副FNC输了但是我详情>>
不爱与人交流的我，怎样把魔兽世界怀旧服玩成单人游戏，装备又不落人后？ 魔兽怀旧服这个游戏本身相比之后的版本，是个非常强调合作和与人沟通的游详情>>
原标题：单次付费能让百度网盘走出“商业困境”吗？ 10月22日，几个月以来的传闻终于成真，百度网盘在会员制之外推出了单次/单日下载加速服务。 虽然此详情>>
原标题：是什么样的办公应用，能让知乎和三节课同时看中？ 最近，小编发现微加的成交记录上出现了这两个耳熟能详的名字，知乎and三节课。 他们先后选择了用详情>>
“在刚刚结束的FIBA世界杯上中国队的惨痛失利，暴露出了中国篮球与国际一流水平的巨大差距，作为中国篮球的重要组成部分，CBA联赛肩负着为各级国字号队伍输送人才的国家责任以及详情>>
原标题：7×24小时无间断合成有声书，语音AI能让有声内容生产成本降低多少？ “随时随地，想听就听”这种便利的知识获取途径，制作成本有多大？ 有声读物正详情>>
原标题：演技类综艺扎堆 “最佳辩手”郭敬明能让这档节目笑到最后吗？ 每经记者：董兴生 温梦华 每经编辑：杜毅 近日开播的腾讯自制综艺《演员请就位》，刚详情>>
原标题：这样的“缘份天注定”才能让TA动心 彩色珠宝总有一种浪漫的气息。“世界之大，有你就是睛天。”我们总是用它来赞美每一次动人的邂逅，每天次缘详情>>
“用故事救人，用故事杀人”是第七届鲁迅文学奖得奖中篇《封锁》的书封语。在《封锁》里，作家小白讲述了一个小说家如何利用“讲故事”从日军的恐怖封锁中逃脱，从而完成自救的故详情>>
原标题：武则天“禁屠”趣事：如何能让老百姓不吃肉 中国古代帝王中，不少人颇有佛缘，女皇武则天便是其中一位。武则天推崇佛教的目的，是想把佛教当作自详情>>
原标题：这次安卓的重大更新，能让所有国产手机用户从中受益 更多一手测评，快关注“差评” 可能差友们这几天看科技资讯，也多多少少知道了，测试小半年的详情>>
原标题：凌潇肃发福仍能让唐一菲迷妹般凝视，与姚晨时期女强男弱鲜明对比 如今减肥已经成为时下热点，明星们也不例外。在9月1号的《哎呀好身材》节目里，首次携妻详情>>
原标题：动漫最美配角是谁？铁小路第一实锤，她能让女主直接下跪！ 主角的意思就是一部动漫的主要角色，几乎所有的剧情都是围绕这个主角的故事展开的。因为详情>>
原标题：凡凡一天爆出7个炮友，杨洋女友被赞，能让粉丝甘心认嫂子的竟是她？ 吴亦凡曝光恋情了，与所长想象中的情形不同，大家貌似都……很支持？ 来品品什么详情>>
原标题：雨露均沾做音频增量，荔枝“回声计划”能让播客挖到宝？ 文|曾响铃 来源|科技向令说（xiangling0815） 移动音频蠢蠢欲动。 国际市场上，Spotify和苹详情>>
原标题：能让陈冠希再次回归？！EVISU这波也太值得细品了 搭配神季秋天刚到，趁着各大种草号还没铺天盖地宣传丹宁单品的神奇用法。 Don觉得要提前把它拿详情>>
原标题：叠最厚的甲挨最毒的打，云顶之弈贵族骑士为何能让对手怀疑人生？ “叠最厚的甲挨最毒的打”，是炉石传说知名主播狗贼叔叔的代名词。专注战士几十详情>>
原标题：中国工程院院士邬贺铨：5G才能让自动驾驶真正实现 8月17日午间消息，2019年亚布力中国企业家论坛第十五届夏季高峰会在天津举行，中国工程院院士详情>>