原标题：PyTorch横扫各大顶会，TensorFlow退守工业界：机器学习框架，一年间局势突变
鱼羊 栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
TensorFlow 2.0正式发布没几天，PyTorch 1.3今天也上线了。
一个疯狂强调“易用性”，一个整出了移动端部署。老将和新秀都卯足了劲。
毕竟，机器学习框架的世界，局势变化过于迅猛，稍不注意就会被抢了地盘。
一年前，TensorFlow还是各大顶会论文选择的主流框架，如今顶会几乎成了PyTorch的天下。
CVPR 2019，只提到PyTorch的论文有280篇，只提到TensorFlow的论文有125篇，但这还不是悬殊最大的一场会议。
有网友 (@programmerChilli) 说，虽然知道大批研究者逃离TF拥抱PT：
但我绝对想不到涨幅能到这种地步。
那么，PyTorch的优势到底在哪里？
PyTorch一路凯歌，对TensorFlow经营多年的格局又有怎样的冲击。
这一次，一位来自康奈尔大学的少年Horace He，用一份详尽的调查报告，对现状进行了总结，也为潜在入门者提供了方向：
PyTorch制霸学界
报告开头就提到：目前的大背景是，大量研究人员从TensorFlow转投PyTorch。
但大家未必知道，这势头来得多猛烈。来看2018年与2019年的各大顶会对比吧：
△被挡住的ICML是32.5%
表格列出了CVPR、NAACL、ACL、ICLR、ICML这五大顶会上，仅提到PyTorch/仅提到TensorFlow的论文数量。
2018年，PyTorch五项数据全部低于TensorFlow。
2019年，PyTorch五个数字全部超越TensorFlow。
PyTorch每项数据的增幅，都在192%到450%之间，涨势十分凶猛。
其中，以自然语言处理(NLP) 的顶会NAACL(450%) 和ACL(290%) 最为显著；在视觉顶会CVPR上也有大幅增长 (240%) 。
相比之下，TensorFlow有三项数据下滑。其中NAACL数据下降幅度达到了38.2%，而这里正是PyTorch飞跃式增长的地方。
此消彼长，PyTorch只用了一年，便把弱势变成了压倒性优势：
280:125 (CVPR) ，两倍有余。
66:21 (ACL) ，三倍有余。
103:33 (NAACL) ，三倍有余。
在语言和视觉顶会上，PyTorch的主导地位最明显。这跟上文提到的涨幅是吻合的。
如果还有人把PyTorch当做一个新秀，试图在TensorFlow主导的世界里，划出一片自己的地盘，那么数据告诉他们，已经不是这样了。
虽然，看上去TensorFlow还有两项数据在增长，但其实只有ICML的涨幅 (32.5%) ，还跟得上会议总录取论文数的增长。
也就是说，在另外四场会议上，TensorFlow已经开始衰退了。
为何研究人员爱PyTorch？
一是简单。它和NumPy比较像，风格很Python，能轻易和Python生态集成起来。
比如，你只要把一个pdb断点扔进PyTorch模型里，它直接就能用了。
相比之下，在TensorFlow模型里面debug的话，便会复杂得多了。
二是API好。比起TensorFlow的API，大多数研究人员更偏爱PyTorch的API。PyTorch设计得更科学；而TensorFlow要在各种API之间切换，令人操作不便：
‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’
三是性能。虽然PyTorch的动态图 (Dynamic Graphs) 提供的优化空间比较小，但许多用户都反馈说PyTorch的速度不亚于TensorFlow，甚至比对方还快。
虽然，没有严格测试数据表明到底谁更快，但至少TensorFlow并没有明显的优势。
这样，再加上前两点，足够让许多研究人员拥抱PyTorch了。
TensorFlow在研究领域会怎样？
就算今后TensorFlow变得像PyTorch一样友好，PyTorch的地盘也已经很大了。
这就是说，PyTorch的代码实现更容易找到，人们也更有动力发表PyTorch的代码给大家用，跟别人合作的话队友也可能会倾向PyTorch。
所以，迁回TensorFlow 2.0这件事，大概率不会进展很快。
当然，谷歌和DeepMind内部研究还是会用TensorFlow。他们的研究成果，大概也给了一部分研究人员，继续用TensorFlow的信心。
不过Horace He听说，谷歌内部也有许多研究人员，渴望逃离TensorFlow了。
另一方面，PyTorch主导地位越来越强，谷歌研究人员可能和整个社区之间产生隔阂：他们很难在外部研究的基础上搭建自己的应用，外面的研究人员也很难借鉴谷歌的代码。
最后，TensorFlow 2.0能不能挽回一些研究人员，还需要时间来观察。Eager Execution一定是个吸引人的点，而Keras API就不一定了。
TensorFlow守住工业界
虽然在各个开发者社区，“PyTorch真香”论声势浩大，现在又在顶会数据上实力压倒TensorFlow，但其实，在工业界，TensorFlow仍具优势。
比如，根据Medium博主Jeff Hale的统计结果，2019年，TensorFlow在线上招聘启事中拥有1541个新增职位，而PyTorch有1437个。
从arXiv的论文数量来看，TensorFlow也仍然占据首位，只是领先优势在缩小。
一方面，TensorFlow的诞生早于PyTorch，工业界对新鲜事物的追逐，不像学术界那样热切，使用TensorFlow已成行业惯性。
并且，许多企业的代码都是基于TensorFlow搭建的，想要迁移到PyTorch上，并非易事。
另一方面，相比于PyTorch，TensorFlow本身就是为工业界量身打造的。
相比于研究实验，工业界会有更多的限制和要求，比如：
· 不用Python。Python在服务器上运行时开销太大，有些公司承受不来。
· 可移动性。移动二进制文件中没法嵌入Python解释器。
· 服务。无停机更新，模型间无缝切换，可预测时间的批处理，等等等等。
TensorFlow在这些方面显然比PyTorch做得好得多。比如，训练好模型，然后使用TF Lite进行部署，是目前最可靠的生产管道之一。
有网友举了个例子：
TensorFlow能够将模型导出到coreml Android模型中，也能很容易地将其转移到GCP（谷歌云端平台）环境等任何形式的生产环境中。
相比之下，PyTorch的部署有些让人头秃：模型无法导出到非Python环境，无法优化，无法在移动设备上运行（随着PyTorch 1.3的发布，无法在移动端部署的问题已经得到解决）。
况且，TensorFlow还有Keras这个好伙伴呢。
不过，也有网友认为，PyTorch在工业界取得主导地位，只是时间问题。
毕竟在2018年的顶会上，TensorFlow还是主流呢。仅仅一年时间，王座就已易主。
△Medium博主Jeff Hale统计 “融合”趋势
PyTorch势头猛烈，但TensorFlow也没有坐以待毙。
一个有趣的现象是，现在，这两个机器学习框架呈现出了“融合”的趋势。
十一假期，TensorFlow 2.0正式登场，进一步整合TensorFlow和Keras，增强易用性，官方表示，这是一个快速、可扩展、可投入生产的灵活而强大的平台。
Keras的作者François Chollet甚至说：“TensorFlow 2.0是一个来自未来的机器学习平台，它改变了一切。”
在默认的eager execution模式下，TensorFlow 2.0能提供PyTorch eager模式下的大部分有点，比如易用性、可调试性等。
并且，针对TensorFlow的API过于复杂这个问题，2.0版本也提供了更易用的API。模型的训练和serving都无缝集成在了基础框架中。
PyTorch这边，2018年底引入了JIT编译器和“Torch”，增加图形功能。
就在今天，PyTorch 1.3发布，新增移动端部署、量化和命名张量等功能。
机器学习框架未来的游戏规则会如何改变，还真令人期待呢。
FB谷歌双料实习生
最后，介绍下这份详细报告的作者：
Horace He，来自康奈尔大学，是2016年入学的本科生。
自从上了大学，他每个暑假都在大厂实习：2017年是Facebook实习软件工程师，2018年是谷歌的实习软件工程师，2019年在Facebook做PyTorch实习生。
另外，少年还是VSCodeVim(标星6.2k) 的主要贡献者之一：
那么，TensorFlow和PyTorch，你会pick谁？
参考资料：
https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/
https://towardsdatascience.com/which-deep-learning-framework-is-growing-fastest-3f77f14aa318
作者系网易新闻·网易号“各有态度”签约作者
— 完—
大会启幕！预见智能科技新未来
量子位MEET 2020智能未来大会启幕，将携手优秀AI企业、杰出科研人员呈现一场高质量行业盛会！详情可点击图片：
榜单征集！三大奖项，锁定AI Top玩家
2019中国人工智能年度评选启幕，将评选领航企业、商业突破人物、最具创新力产品3大奖项，并于MEET 2020大会揭榜，欢迎优秀的AI公司扫码报名！
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 ! 游戏网
责任编辑：
| 相关下载 |
在5月2日的比赛当中，LPL春季赛总决赛的比赛正式打响，对于TES和JDG两支队伍来说，无论谁拿下最终的冠军，都将成为LPL的新王。经过五局的鏖战，最终JDG在详情>>
5月2日晚上结束的LPL春季赛TES和JDG的决赛，最终JDG成功以3-2的战绩击败了TES，拿下了LPL春季赛的冠军。而TES这边多位职业选手因为表现不佳受到了一详情>>
5月2号英雄联盟TES战队倒在了LPL春季总决赛，与JDG战队鏖战五场，最终还是与冠军失之交臂！JDG战队的团战执行力非常强，除了中单牙膏比较拉胯以外，其他四详情>>
今天5月2号英雄联盟LPL春季总决赛，由TES战队对抗JDG战队。目前两队已将比赛拖入第五把决胜局，各种名场面层出不穷，特别是水手组合以二打五更是震撼详情>>
在刚刚LPL总决赛TES和JDG的比赛中，相信很多玩家都被TES的双C操作给看懵了吧？在二打五的情况下直接完成收割，Knight和阿水都打出了自己的极限操作，让详情>>
LPL的春季赛快要结束了，只剩下TES和JDG两支战队争夺最后的冠军了。最终无论结果如何，他们两支战队都算是起飞了，尤其是TES，之前在JKL正式宣布加盟之详情>>
LPL春季赛只剩下了TES和JDG的决赛还没有打，在这场决赛之前，TES和IG的四强赛中，很多人看好IG，但是没想到TES打得非常好，以3-1的战绩击败了IG晋级决赛。详情>>
随着时间的推移备受关注的英雄联盟LPL春季赛也已进行到尾声阶段了，回顾本次的季后赛表现最出色的战队除了JDG之外就是TES战队了，在JKL加盟正式上场详情>>
时代变了，曾经的总冠军，如今争季军。新王马上就要登基了，那究竟是哪一支新王会最终捧杯呢？参加决赛的两支队伍目前已经产生了，一支是击败详情>>
tes前AD沦为替补后奋发rank，韩服排位战胜UZI的薇恩，莫欺少年穷！ 在JKL加入了TES之后，原来的tes的ADC也是因此直接就成了替补，被按在了饮详情>>
最近很多人都在关注JKL转会的事情，毕竟出了不少的瓜，确实也都对阿水造成了一些负面影响，而TES战胜了IG ，阿水也用实力把自己的名声都打回来了。如果之后TES拿下春季赛冠军的详情>>
就在4月26日，TES和IG的对决中以3-1的成绩拿下了IG，至此已经拿下了两届S赛冠军。从开始不被大家看好吊车尾的角色，到如今备受关注的主角战队之一，滔博详情>>
4月26日的比赛，TES战胜了IG，也实现了队史第一次挺进LPL联赛的决赛。在这场比赛结束之后，英雄联盟赛事官博放出了TES关键局中的比赛语音，下面我们可以来了解一下。 第四局详情>>
英雄联盟2020LPL春季赛的季后第一场赛半决赛，TES以强势的姿态夺得胜利。TES与IG的对决可以说在开始前就吸引足了眼球。这场对决在结束后引发了网详情>>
4月26日，TES在春季赛季后赛中击败了IG，同时也打破了队史，首次进入到了LPL联赛的决赛！作为比赛的胜者，4月26日英雄联盟赛事官博也是非常贴心地公布出了详情>>
4月26号，LPL春季季后赛IG与TES战队的天王山大战已经在斗鱼平台正式落下帷幕了，在这一场备受LPL玩家关注的焦点大战中，S8世界冠军IG战队惨遭TES击溃详情>>
最近英雄联盟春季赛季后赛已经进入到半决赛阶段，而在刚结束不久的比赛中，IG战队由于发挥不佳所以被TES以3-1的战绩淘汰，最终仅仅收获四强席位。不得详情>>
北京时间4月26日，LPL春季季后赛正式进入到了半决赛阶段，有道是“每逢大赛玄学必现“，迄今为止，LPL季后赛的大比分均定格为了3：1（就算是IG和TES这样的联详情>>
恭喜TES拿下今天比赛的胜利，以下为赛后群访内容~ Q：赛前有想到能干脆利落的3-1拿下比赛吗？针对iG做出了什么特殊准备 教练：也有想过赢下比赛，但是比分是多少详情>>
前言：TES获胜后不止左手一个人哭了？放话要拿冠军，解说爆料：看到他的表情差点泪洒现场。 左手哭了 详情>>
路漫漫其修远兮，大家好我是路远！ 前言：TES战胜IG冲进决赛，无疑代表了LPL新生代的崛起！这件事情对于TES来说是一件值得庆祝的事情，毕竟他们详情>>
万众期待的半决赛第一场终于落下了帷幕，这TES对阵IG也是非常多网友所期待的，无论是实力还是恩怨情仇都是十足的亮点。虽然双方4场比赛打得火药味十详情>>
北京时间4月26日，迎来了LPL春季赛季后赛半决赛的赛场，TES对阵IG战队。这场比赛的焦点莫过于阿水首次对阵老东家，而最终的结果是TES以三详情>>
4月26日晚上结束的LPL春季赛季后赛四强赛IG和TES的比赛，最终IG以3-1的战绩击败了TES，成功拿下了比赛的胜利，晋级决赛。因为这场比赛的关详情>>
2020年的4月26日，英雄联盟里面LPL赛区的季后赛是在TES和IG之间展开，TES自从JKL加盟之后，整体实力有了极大的提高，而IG在这个赛季有新的下详情>>
2020LPL春季赛季后赛半决赛TES对战iG正常比赛注定是万众瞩目的，Jackeylove在加入TES之后，首次面对老东家，曾经并肩作战的队友们现在成为对手，压力也是非常大。何况这两天详情>>
想必大家都看了昨天滔博和IG的比赛，刚刚加入了JackeyLove的滔博对战老东家IG，四场比赛简直不要太精彩，就连炮车都是精挑细选，一炮轰死rookie 详情>>
今年LPL春季赛后期，TES自引入JackeyLove后，战队的实力也是变得更强了，“水手”组合所产生的化学反应，远超观众们的预期。今天LPL春季赛半决赛，TES要对详情>>
LPL季后赛进入尾声，在26日的半决赛中，滔搏3-1掀翻IG晋级决赛。这场BO5很精彩，两边都是硬碰硬的风格，打法非常符合我们LPL详情>>
Q：赛前有想到能干脆利落的3-1?拿下比赛吗?针对iG做出了什么特殊准备 教练：也有想过就是赢下比赛，比分多少没有具体去想。针对IG我们比较好点的团队联动，大概IG玩什么样详情>>
4月26日晚上结束的LPL春季赛季后赛TES和IG的四强赛，前两局结束之后，TES以2-0的战绩拿到了赛点，第三局IG成功扳回了一城，第四局前期TES多次抓上路，疯狂详情>>
4月26日英雄联盟2020LPL季后赛迎来了IG和TES的比赛，赛前有网友分享了一个神评论：这局比赛是IG粉丝和rng粉丝首次合作。虽然赛前的舆论对TES战队JKL详情>>
LPL春季季后赛正紧张的进行当中，在上一场TES对阵WE的比赛中，梦想少年WE还是给了TES很大的压力，但是最终TES还是通过自己双C强有力的发挥详情>>
随着FPX以3-1战胜EDG、TES以3-1战胜WE，2020年LPL春季赛四强也已经确定了，分别是IG、JDG、FPX、TES，比较有意思的是，跟2019年春季赛的四强详情>>
TES以三比一的比分赢了WE之后，就注定要与IG面临一场对决。这一结果让网友们纷纷闻瓜而动，忍不住猜测到底是TES赢还是IG赢？因为TES与IG多场对决中，TES详情>>
2020LPL春季赛常规赛的收官之战是由TES对阵FPX，而这场比赛的结局是TES零封了S9冠军战队FPX，成功改变了季后赛的局势。TES通过努力少打详情>>
4月20日，2020年LPL春季赛常规赛的比赛正式结束，FPX和TES贡献了这场收官之战。BO3第一局，FPX的阵容押宝前中期节奏，而TES的阵容则相对偏向详情>>
在这次的冬季转会期上，我们LPL赛区还是爆出了许多重磅消息。但最值得关注的还是IG冠军ADC阿水的去向，只不过直到转会期结束之后，阿水去详情>>
Q：第一局输掉之后队伍做了哪些调整?你在场下看觉得这一局问题在哪? 教练：第一局就团战没打好吧，最重要的就团战没有打好。然后尝试一些新的东西，后面就觉得第一把的组详情>>
4月24日，LPL春季赛季后赛开始了六进四的争夺。鏖战四局，TES让一追三战胜WE，晋级半决赛。下一场比赛，TES将与常规赛头名iG详情>>
![夜下降生Exe：Late[st]](https://img.fhyx.com/uploads/steam/w_img/801630.jpg)
