原标题：PyTorch&TensorFlow跑分对决：哪个平台运行NLP模型推理更快
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
关于PyTorch和TensorFlow谁更好的争论，从来就没有停止过。
开源社区的支持度、上手的难易度都是重要的参考。还有人说：学术界用PyTorch，工业界用TensorFlow。
然而还有一项不可忽略的因素，就是二者的实际性能。
没关系，不服跑个分？！
最近，一位来自“Huggingface”的工程师，使用了NLP中的Transformer模型，分别在两大平台上测试了一组推理速度。
虽然Huggingface只是一家创业公司，但是在NLP领域有着不小的声誉，他们在GitHub上开源的项目，只需一个API就能调用27个NLP模型广受好评，已经收获1.5万星。
PyTorch和TensorFlow究竟哪个更快？下面用详细评测的数据告诉你。
运行环境
作者在PyTorch 1.3.0、TenserFlow2.0上分别对CPU和GPU的推理性能进行了测试。
两种不同的环境中具体硬件配置如下：
在测试过程中使用本地Python模块的timeit来测量推理时间。每个实验重复30次，然后对这30个值取平均值，获得平均推理时间。
NLP模型的Batch Size设置为分别设置为1、2、4、8，序列长度为8、64,、128、256、512、1024。
测试结果
话不多说，先上跑分结果：
在大多数情况下，这两个平台都能获得相似的结果。与PyTorch相比，TensorFlow在CPU上通常要慢一些，但在GPU上要快一些：
以上的数据都是在所有模型总的平均结果。结果显示，输入大小（Batch Size×序列长度）越大，对最终结果的影响也越大。
当输入太大时，PyTorch会出现内存不足的情况。作者把这些部分从结果中删除，因此这会使结果偏向PyTorch。
总的来说，PyTorch模型比TensorFlow模型更容易耗尽内存。除了Distilled模型之外，当输入大小达到8的Batch Size和1024的序列长度时，PyTorch就会耗尽内存。
至于更完整详细的清单，请参阅文末的Google文档链接。
两大平台的加速工具
除了初步的测试，作者还用上两个平台独有的加速工具，看看它们对模型推理速度有多大的提升。
Torch是PyTorch创建可序列化模型的方法，让模型可以在不同的环境中运行，而无需Python依赖项，例如C++环境。
Torch似乎非常依赖于模型和输入大小：
使用Torch可以在XLNet上产生永久的性能提升，而在XLM上使用则会不可靠；
在XLM上，Torch可以提高较小输入时的性能，但会降低较大输入时的性能。
平均而言，使用Torch跟踪的模型，推理速度要比使用相同PyTorch非跟踪模型的快20％。
XLA是可加速TensorFlow模型的线性代数编译器。作者仅在基于TensorFlow的自动聚类功能的GPU上使用它，这项功能可编译一些模型的子图。结果显示：
启用XLA提高了速度和内存使用率，所有模型的性能都有提高。
大多数基准测试的运行速度提升到原来的1.15倍。在某些极端情况下，推理时间减少了70％，尤其是在输入较小的情况下。
最后，作者还在Google文档的列表里还加入了“训练”选项卡，或许不久后就能看到两大平台上的训练测试对比，唯一挡在这项测试面前的障碍可能就是经费了。
传送门
原文链接：
https://medium.com/huggingface/benchmarking-transformers-pytorch-and-tensorflow-e2917fb891c2
完整跑分清单：
https://docs.google.com/spreadsheets/d/1sryqufw2D0XlUH4sq3e9Wnxu5EAQkaohzrJbd5HdQ_w/edit#gid=0
— 完—
活动推荐 | 10.31-11.1北京智源大会
百位顶级专家，60+前沿报告，10+圆桌论坛与尖峰对话，为你带来内行的AI盛会。
荟萃全球顶级学者：John Hopcroft（图灵奖），Michael Jordan（机器学习权威学者），Chris Manning（NLP权威学者），朱松纯（计算机视觉权威学者），张钹、高文、戴琼海和张平文院士等100多位专家。
扫码查看大会详细日程，注册参会时输入优惠码「BBAILZW」专享7折优惠，学生票仅69元（数量有限，先到先得）。
喜欢就点「好看」吧 ! 游戏网
责任编辑：
| 相关下载 |
原标题：年收入255亿，全球月活向5亿挺进，改名后的YY跑得更快 出品 | 创业最前线 作者 | 宋老师 北京时间2020年3月17日，欢聚集团(NASDAQ:YY)发布2019详情>>
原标题：iOS端Facebook Messenger代码精简，启动更快体积更小 在2012年3月6日，Facebook就发布了发布了其Facebook Messenger的Windows版本。 在之后的详情>>
和平精英一局游戏的时间在三十分钟左右，如果最后你能顺利吃鸡的话，大概会时间久一点。但是只要不落地成盒，在不同的游戏时间里做出正确的决定，吃鸡还是详情>>
原标题：Ampere发布业界首款80核ARM处理器，号称比AMD 64核霄龙更快 IT之家3月3日消息 今天晚上，Ampere发布了Ampere Altra处理器，官方称这是业界首款80详情>>
原标题：更热、更快、更贵……2019年十项新纪录大盘点 参考消息网12月28日报道最炎热的月份、最快的马拉松、最疯狂的拍卖价……法新社12月26日盘点了2019年详情>>
原标题：Epic商店界面升级：加载速度更快，愿望清单开发中 IT之家 12月19日消息 今天上午， Epic Games Store 公布了开发更新内容，推出了优惠券功能，12天免详情>>
原标题：揭秘技术洞察，ColorOS 7如何做到更快、更美、更好用 2019年11月20日，OPPO在北京推出手机操作系统ColorOS 7。新推出的ColorOS 7将支持25款OPP详情>>
原标题：乐刷二维码支付，让收款更快捷 现今各行各业内竞争形势都非常激烈。对于商户来说,想要从中脱颖而出,除了努力提高自身产品质量与服务外,为消详情>>
当下，和平精英、王牌战士、明日之后等FPS手游十分火爆，在这些游戏中，想要玩的好就需要有十分过硬的技术！那么有没有快速提升操作的好办法呢？近日，北通J1手游按键的横空出世，为详情>>
原标题：进博会大数据全面应用 商品通关更快 央视网消息：随着本届进口博览会日益临近，各类展品也陆续通关。记者从上海海关了解到，为了让展品通关速度详情>>
原标题：《红月传说》，为了让生活更快乐 在发展早期，“游戏”被冠名为“电子海洛因”。传统媒体封杀过，专家教授抨击过，家长教师抵制过，但如今它已然成为详情>>
原标题：科学看待路由器：天线多并不代表信号更好、网速更快 时至今日，越来越多的家庭已经通上了网络，而路由器也成为了诸多家庭中的必要设备。不过，随着详情>>
原标题：CDPR开发者：我们需要更快地开发游戏故事 在《巫师3：狂猎》和后续故事DLC推出后，CDPR已经跻身世界上最优秀的游戏开发商之一，这也是《赛博朋克20详情>>
在《巫师3：狂猎》和后续故事DLC推出后，CDPR已经跻身世界上最优秀的游戏开发商之一，这也是《赛博朋克2077》高人气背后的主要原因。然而这并不是说这家波兰开发详情>>
原标题：比快更快的闪电式充电，小米移动电源3超级闪充版体验 说起充电宝想必大家并不陌生，如今为了满足移动设备的续航需求，几乎每个人都配备了移动电详情>>
原标题：每天跳绳20分钟和跑步1小时，2个月后谁减肥更快？答案扎心了 原创内容，擅自搬运者必究！ 减肥这个话题，一直处于风口，从来都没有被停止过讨论。 每个详情>>
这个是不成立的，既然被称为速本的话，防御与攻击能力在同本中肯定是很弱的。而且本高的你打低本的话会受到惩罚，你本高对手两级能打的资源详情>>
原标题：《小冰冰传奇》暴走棋评测：节奏更快的自走棋对战 自《刀塔自走棋》诞生之后，其新颖的休闲玩法立即受到了大量棋牌类玩家的喜爱。在今年四月份，自详情>>
车辆是刺激战场中重要的交通工具，并且其可以被打爆（呜呜，我的车就被人扫爆过）我们击打车辆的哪个部位才能最快的引爆它，击杀对手呢？攻略对象普通吉普车，M416步骤分解1我们来到训练详情>>
无论新买的无线路由器还是之前的无线路由器，接入后就一般不再做什么了。其实我们可以做很多事情来控制那些设备访问你的网络：保持驱动的更新防止黑客入侵，并提高信号的可靠性和详情>>
原标题：《Dota2》数据显示：女性游戏水平比男性提升更快 IT之家4月22日消息 近日国外的Gosu ai网站对《Dota2》 详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【问道商店怎么能刷星更快】，小编觉得可能对其他网友也有帮助，所以将此问答整理出来了,希望对您有帮助。小编为您搜罗的答案1我来回答：商会分1-10详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【魔域115级以后怎样升级更快些】，【魔域115级以后怎样升级更快些】具体问题如下：俺是新手,不懂请大家照顾下!!小编觉得可能对其他网友也有帮助详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【有没有让系统复制文件更快的工具?】，【有没有让系统复制文件更快的工具?】具体问题如下：在我的电脑中，往往要把一些上G的文件从X盘转移到S盘，系详情>>
一款游戏越是困难，就越能激起玩家（大佬限定）们的征服欲。《只狼：影逝二度（Sekiro:ShadowsDieTwice）》发售到如今，许多玩家详情>>
冷兵器骑战网游《战意》，已经于6月8日迎来了不删档。作为一款主打“骑战”的游戏，没有一匹堪比的卢和赤兔的战马怎么行?今天，就让我们一起来看看，如何在《战意》中做一个有马的真男人!有马才是纯爷们儿“套马详情>>
西希腊地区已经制定并实施了一个伟大的计划，通过360度全景视频来促进希腊和其他国家的交流同时推广旅游产品。随着近些年来旅游业的显着增长，希腊整体的旅游收入很可观，为了让旅游业继续保持目详情>>
游戏名 软件下载 游戏开测 游戏开服 视频 视频攻略 新游预告 热游视频 周边...LOL客户端一直是玩家所诟病的一个地方,严重影响了玩家的游戏体验。而最近拳头... 详情>>
原标题：新符文到来，亚索再获逆天加强，还能更快乐！Hi~小伙伴们大家好啊，我是锤锤酱。最近，美测试服更新了一枚叫做“护盾重击”的新符文，引起了网友广泛关注，不少玩家详情>>
现在玩游戏卡爆了。由网友高全玩电脑提供的观点：题主问2012年配的电脑能不能换某个配件让它速度更快？现在玩游戏卡爆了应该更换什么呢？我们先来看看你配置具体情况；你这套平台太老了，升级空间并不是很理详情>>
Remedy在E32018上公布新作《控制》之后，大家就都注意到这款游戏跟《量子破碎》非常相似。虽然两款游戏看起来确实很像，但在氛围和科幻元素方面，两者有很大的不同。《控制》详情>>
Remedy在E32018上公布新作《控制》之后，大家就都注意到这款游戏跟《量子破碎》非常相似。虽然两详情>>
虽然AR在企业级市场应用广泛，但是IDC昨天发布的报告显示，企业级AR应用还在慢慢起步，AR头显普及还需要几年。报告中称，AR和VR一体机和有线头显全球销量到2018年预计达420万台详情>>
【我的世界】效率100级！快还要更快！「突破附魔限制」详情>>
小编为您搜罗的答案:1、国运每天做，能刷高级车就高级车，没换镖令的话见黄就走吧！或者QB商城买.3块2一个运镖令由来：家族每日拉车QT兑换皇榜任务有小概率给1个2、鸡毛详情>>
我还能更快！桐人双刀补丁展示详情>>
