原标题：把周杰伦的脸放进漫画，北航团队用MangaGAN画出新版《死神》
| 文章来源：机器之心有了这个模型，你也能拥有冷峻严酷的漫画形象——并且是独树一帜的久保带人 Style！或许，还能用这个方法找到「真人版」的川上富江？
奥巴马、周杰伦都可一键转换高冷漫画脸。
漫画是很多人的童年回忆，除了经典的《银魂》、《海贼王》、《火影》，久保带人的作品《死神》也很有人气。最近，六位来自北航的研究者推出了一款漫画脸转换模型「MangaGAN」，实现了真人照片到漫画脸的完美转换。
我们可以合理怀疑，几位论文作者都是久保带人的粉丝。
这篇论文中提出的「MangaGAN」，是一种基于生成对抗网络（GAN）的非成对照片到漫画转换方法。用来训练 MangaGAN 的数据集也来源于一部非常受欢迎的漫画作品——久保带人的《死神（Bleach）》，包含漫画人脸的面部特征、特征点、身体等元素，所以生成结果也带有强烈的久保带人风格。
标准漫画脸是如何生成的？
MangaGAN 生成漫画脸的整体流程。
总体来说，MangaGAN 包含两个分支：
一个分支通过几何转换网络（Geometric Transformation Network，GTN）学习几何映射；
另一个分支通过外观转换网络（Appearance Transformation Network，ATN）学习外观映射。
最后通过合成模块将二者融合，从而生成漫画脸。
假设 P 表示照片，M 表示生成的漫画脸，二者之间不存在成对关系。给定一张照片 p∈P，MangaGAN 学习映射
将 p 迁移至样本
（m∈M），同时为 m 加上漫画风格和面部相似度。
图中（f）步骤通过 GTN 勾勒出夸张的几何线条，并确定五官的几何分布位置；图中（e）步骤则通过 ATN 生成所有的面部特征，包括眼睛、鼻子和嘴巴。继而通过合成模块将几何轮廓和面部特征相融合，输出漫画脸 m∈M。
外观转换：ATN
ATN 是一个 multi-GAN 结构的网络，包含四个局部 GAN，分别用来转换眼、口、鼻和头发这四个面部位置。针对每个部位的 GAN，会有专属的训练策略和编码器以改善其性能。
眼睛和嘴巴是漫画脸的灵魂所在，但也是最难转换的部分，随着表情的变化，这两个部位的特征也会变化。
对于眼睛和嘴巴部位，为了实现更好的非成对数据匹配，研究者将 CycleGAN 与反向映射（reverse mapping）相结合，并进行了三项改进：
第一，设计了一个带有 SP loss L_SP 的 Similarity Preserving (SP) 模块，以增强相似度；
第二，训练编码器 E^eye 用于提取 p^eye 的主干，训练编码器 E^mouth 用于提取 p^mouth 的轮廓线条；
第三，提出结构平滑损失 L_SS，帮助网络生成笔触平滑的漫画脸。
使用不同的改进方法得到的眼部和嘴部区域对比情况。
上图第 5 列和第 11 列展示了使用 SP 模块进行改进的效果；第 6 列和第 12 列分别展示了使用编码器 E^eye 和 E^mouth 的改进效果；第 4 列和第 10 列展示了使用结构平滑损失进行改进的效果。
鼻子和头发的生成则相对简单，大部分动漫人物的鼻型相似，因此该研究使用基于 ProGAN 的架构生成鼻子。头发部分则使用了 APDdrawingGAN，通过头发分割方法划分出大致的头发区域，然后使用肖像分割方法移除多余的背景区域，即可生成类似漫画风格的头发样式。
几何转换：GTN
在转换面部特征点时会遇到一个问题：面部特征的搭配模式限制了结果的多样性。比如，脸型相同的人可能有着不同的眼口鼻大小或位置，但 GAN 在接受全局人脸特征点训练时可能遵循固定或类似的搭配模式。因此研究者也将「几何特征」分解为三种属性：脸型、位置、大小，并使用三个 sub-GAN 分别转换。
GTN pipeline。几何信息被分为三种独立属性：位置、大小和脸型，然后使用 N_loc、N_siz、N_sha 三个 sub-GAN 分别进行转换。
最终，如图 5(b) 所示，基于预定义的脸颊和额头比例，生成了整张漫画脸的几何特征。
最后一步：融合
这一步的目的是融合人脸特征和几何特征，从而生成漫画脸。
如上图所示，首先，根据几何特征来调整和定位各面部特征组件；
其次，基于分段三次 Hermite 插值多项式 (PCHIP) 方法，获得平滑的曲线并保留脸部形状，然后通过拟合生成人脸特征点的曲线来绘制脸型；
然后，模型提供了 10 种漫画式耳朵供选择，而非按照片重新生成，因为耳朵的样式对面部表情来说影响不大；
此外，研究者还收集了 8 种漫画人物身体（manga body），用来与生成的漫画脸搭配。
最后就可以输出漫画结果啦。该模型提供了快速微调尺寸和位置的工具，以及鼻子、耳朵和骨架等组件的切换工具，用户可以按照个人喜好进行调整，生成自己喜欢的漫画脸。
MangaGAN 效果如何？
该研究所用的实验数据集包括三部分：漫画数据集、照片数据集和人像数据集。漫画数据集来源于一部流行的漫画作品《死神》，包括 448 双眼睛、109 个鼻子、179 个嘴巴和 106 张正面漫画脸。
研究者将 MangaGAN 与 9 种漫画脸生成 SOTA 方法进行了对比，效果生成如下图所示：
可以看到，其他方法生成的漫画脸都会有扭曲和突兀的线条，或是面部存在莫名的阴影，其原因在于生成过程中忽视了几何特征的转换。相比之下，MangaGAN 生成的脸部十分干净利落，没有多余的部分。
接下来是跨域转换层面中 MangaGAN 与其他方法的对比。为公平起见，CycleGAN 和 UNIT 先转换全脸再转换每个人脸特征。最终效果如下图所示：
很明显，其他方法在匹配照片和漫画时容易出现问题，它们更关心二者的黑暗区域是否匹配，但没有转换脸型和笔触。MangaGAN 的生成结果则更接近理想中的漫画脸，脸型棱角分明，眉形平滑，嘴巴也进行了简化，几乎完全符合手绘漫画的人物长相特征。 游戏网
责任编辑：
| 相关下载 |
原标题：广东邮管局：未经同意将快件放进快递柜 消费者可追偿 近日，“丰巢快递柜超时收费”一事引发热议。广东省邮政管理局向记者回应称，寄递企业应按详情>>
原标题：泰国快递员将包裹小心翼翼放进顾客院子获赞 近日，泰国曼谷的居民坤刚让快递员把包裹放在院子前的草地上，结果他回家后发现快递在院子里。起初详情>>
原标题：泰国良心快递员将包裹小心翼翼放进顾客院子获赞 近日，泰国曼谷的居民坤刚让快递员把包裹放在院子前的草地上，结果他回家后发现快递在院子里。详情>>
别走，等等我 妹子的充电新方式！ 大哥，这艘友谊的小船说翻就翻了，你惊喜不？ 后车司机：我瞅你这还没带字母啊。 这山爬的我都没敢抬头! 这算谁的责任？ 详情>>
原标题：钢铁侠胸部的“心脏”并非特效，那是怎么巧妙放进身体的？高能预警 娱乐圈中的人们虽然大多时候看起来是非常光鲜亮丽的，但是事实上演员拍戏是非详情>>
原标题：担心沾染病毒，她将钱放进微波炉加热 澎湃新闻记者 陈伊萍 通讯员 何东 用微波炉加热纸币能起到消毒作用？答案是否定的，还非常危险。 日前，有市详情>>
能力越大，投篮越难？ 去年8月，财大气粗的索尼耗资2.29亿美元（折合人民币约16亿元）巨款，收购了《漫威蜘蛛侠》的开发商Insomniac。 而索尼之所以愿意下详情>>
女生宿舍关系有多么复杂？ 女生寝室4个人 私下拉了6个群 对于这样的宿舍关系 大家肯定也是苦不堪言 私下勾心斗角还不是最可怕的！ ▼ 真的太可怕了， 详情>>
原标题：魔兽世界：那些外形酷炫的坐骑，放进同类网游里岂不卖数万？ 大家好，这里是游戏日报骑虎。《魔兽世界》马上要十五周年了，在这漫长的岁月中诞生详情>>
原标题：焦点分析 | 把直播放进微信后，腾讯想通过带货和朋友圈广告赚钱 文 | 高小倩 张信宇 编辑 | 张雨忻 腾讯直播半年时间里发生了很多变化。 今详情>>
微信最无敌烧破大脑第52关是把苹果放进冰箱里面？难度比较简单，那么微信最无敌烧破大脑第52关怎么过呢?下面小编将给大家带微信最无敌烧破大脑第52关答案。 第52关 详情>>
只狼怎么把石头放进轿子里？还不知道方法的玩家们，下面Game234游戏门户网游戏小编就为大家带来把详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【新大话西游2帮主放进赏功堂的东西钱怎么来】，小编觉得可能对其他网友也有帮助，所以将此问答整理出来了,希望对您有帮助。小编为您搜罗的答案1啥钱怎详情>>
《黑暗之魂3》篝火等等,不过今天这个彩蛋你绝对想不到,CDPR竟然把整个团队的...在打了自由视角MOD后,他本想随处转转,没想到在雪山顶上发现了CDPR团队的合照... 详情>>
文/浪人成为“电竞奥运会”是TGA的终极目标。昨天，腾讯电竞的业务负责人侯淼在UP2019腾讯新文创生态大会上宣布：深度整合TGA，将TGA品牌升级为腾讯电竞运动会，打造覆盖更广泛群体的综合性赛事的生详情>>
把你放进我的心里当成我的唯一这首歌很甜，想必大家都很想知道这到底是什么歌。下面Game234游戏门户小编就为大家带来了抖音把你放进我的心里当成我的唯一歌曲介绍。详情>>
文/浪人成为“电竞奥运会”是TGA的终极目标。昨天，腾讯电竞的业务负责人侯淼在UP2019腾讯新文创生态大会上宣布：深度整合TGA，将TGA品牌升级为腾讯电竞运动会，打造覆盖更广泛群体的综合性赛事的生详情>>
俗话说的好“人怕肥猪怕壮”，这句话用来形容最近的《自走棋》那是再相当合适不过了。从春节前的意外走红开始，是是非非接踵而来，什么商标抢注、什么山寨手游，一个接一个跟抢大白菜一样。详情>>
俗话说的好“人怕肥猪怕壮”，这句话用来形容最近的《自走棋》那是再相当合适不过了。从春节前的意外走红开始，是是非非接踵而来，什么商标抢注、什么山寨手游，一个接一个跟抢大白菜一样。详情>>
近几天在玩丧尸围城3的时候,无意中给我发现了一个神奇的BUG,可以让一些大型武器(例如标题所说的终极巨型炸弹)放进口袋里可能也有其他玩家发现了,但小弟也想在这... 详情>>
最强大脑OL第17关怎么过?下面就分享最强大脑OL第17关攻略给大家，希望这篇攻略对小伙伴们有所帮助。最强大脑OL第17关攻略：把小车放进箱子里玩具车与题目上的“小车”都拖动到箱子里。详情>>
如果你是一位艺术爱好者，相信在手机上观看画作应该是件稀松详情>>
2018ChinaJoy虽然已经过去了，但是余霜和魔术师“峰峰三号”却让网友久久不能忘怀！CJ展上英雄联详情>>
原标题：绝地求生:最违反常理的4个道具,图4比房子高,却能放进口袋里!在蓝洞：绝地求生端游，或者手游的刺激战场、全军出击。游戏一直尽量朝着真实发展，比如蓝洞的详情>>
由网友趣玩乐园提供的观点：我认为可以的，乐高玩具都是塑料材质，放进冷水下玩具不会发生变化，也不会产生对鱼有害的物质！由网友小人机提供的观点：可以啊建议放一些比较大的鱼缸也可以用乐高堆一个详情>>
在明日之后游戏中把资源放进留言箱然后埋起来任务怎么做？这个任务非常难做，小编估计很多玩家都不知道留言箱怎么用吧。下面小编就给大家介绍一下把资源放进留言箱然后埋起来任务解析。明日之后把资源放进留言箱然后详情>>
明日之后把资源放进留言箱然后埋起来是新手任务之一，想必许多玩家还不清楚明日之后怎么放留言箱？没关系，下面给大家带来相关攻略，希望可以帮助到大家！ 明日之后把资源放进留言箱任务攻略&nbs详情>>
《刺激战场》玩家太皮！将P城物资全放进一个房子，场面太壮观！自从《绝地求生》这个游戏火了之后，不少的竞技详情>>
小编为您搜罗的答案:简单，如果汉化补丁是解压包形式的话，解压进游戏根目录（找不到就点桌面快捷方式属性，按打开文件夹，或者目标里也有地址），然后按安装程序注册安装就好，如果是单一个应用程序的也是放进根目详情>>
狗头人与地下世界版本上线十天之后，各种新卡组已经逐步成型稳定下来。与之前几个版本不同的是，这个版本的中立史诗卡的质量明显提高，很多都是很实用的史诗，也没有之前几个版本那详情>>
小编为您搜罗的答案:让一台平时只运行网游的电脑来玩现在的大型单机游戏，这个是一件非常麻烦的事情，不过过程很麻烦不建议你这么玩，理论上单机游戏的确可以通过移动硬盘复制到网吧里玩，除了游戏本体，还需要电脑详情>>
小编为您搜罗的答案:我和你一样，我刚搞定了。就是把游戏安装所在的文件夹名字改为全英文（比如NBA，数字也不要有）的才行，这就能玩了，你试试看。我的已经好了小编为您搜罗的答案:确定是游戏根目录？确定替详情>>
小编为您搜罗的答案:最新版本就包含了所有一代的地图，你没有一代的地图是因为你的游戏版本太低了。建议去下载最新版本的，还可以网上跟人联机合作或对抗。全部下载后，双击L4D2v2146.exe安装游戏详情>>
作为一年一度的中国玩家游戏盛会,ChinaJoy展会也吸引...在魔术表演过程中,魔术师突然将手中的扑克牌塞进了...全民泡泡大战最新版 益智休闲|138.75MB 全民泡泡大战... 详情>>
不管是端游的绝地求生，还是手游的刺激战场和全军出击，都有一些道具比较违反常理，很多玩家想破脑袋也不知道是为什么，今天悦耳整理4个最违反常理的设定，你们能否给悦耳解释下为详情>>
小编为您搜罗的答案:窗口就卡死在那，根本选不了那个CC帐户，怎么办啊哦，你在按下HOME键，把本来上的用户下去，在选择CC用户登录就行了。。详情>>
小编为您搜罗的答案:进游戏设置里应该有个载入，把你下载的名单载入一下就可以了详情>>
小编为您搜罗的答案:战国无双2的存档路径是：我的文档\KOEI\SENGOKUMUSOU2TW\Savedata所以你只要把全人物存档的那个文件（save.dat）放在s详情>>
小编为您搜罗的答案:首先真三国无双7猛将传的DLC，下载完解压出来应该有两个文件夹，一个是Update文件夹，里面放的是更新文件，也就是那个RES文件夹，这里面的内容就是DLC，需要将它们放进游戏目录详情>>
![大家一起养系列-我的甲虫 日文版[GBA游戏]](https://img2.game234.com/9decb48f-756d-4f3a-a32f-11fc918eb6e2.jpg)
