AI算法效率每14月翻番，OpenAI：长江后浪推前浪

时间：2020-05-06 13:58:47 来源：作者：网络

原标题：AI算法效率每14月翻番，OpenAI：长江后浪推前浪

参与：泽南、杜伟

人工智能算法也遵循着自己效率提升的「摩尔定律」。

在人工智能领域里，因为研究人员的努力，顶尖算法的效率提升速度超过了芯片中摩尔定律的速度。

著名人工智能研究机构 OpenAI 今天更新了有关业内顶尖机器学习模型算法需求的报告，并得出最新结论：自 2012 年以来，在著名数据集 ImageNet 上训练一个图像分类系统所需的算力每 16 个月减少一倍。

这一观点和 OpenAI 几个月前「最先进 AI 模型算力需求增长 30 万倍」的态度有了很大变化，其结论或许意味着人工智能在未来发展的过程中将不大可能受到算力瓶颈的掣肘。

除了关注模型的最优表现之外，OpenAI 本次研究发现的模型效率提升是最引人关注的地方。它还有着更深层次的意义：为 AI 的技术属性和社会影响提供依据。

「算法的改进是 AI 技术提升的核心。不过寻找衡量所有技术进步的标准非常困难，特别是它们在使用算力方面变化的趋势，」OpenAI 表示。「算法效率的提升使得研究人员可以在同样时间内进行更多实验，并减少资金花费。分析表明，政策制定者需要增加对于计算效率研究的投资，这不仅对于学术界有帮助，而且可以进一步帮助业界。」

此外，值得注意的是，OpenAI 并不是首个公开提出对 AI 模型的效率展开基准测试的机构。2019 年，艾伦人工智能研究所、卡内基梅隆大学以及华盛顿大学的科学家提议将效率作为 AI 学术论文以及准确性和相关度量的更常用评估标准。同时，也有人呼吁进行工业级的效能分析，并为机器学习项目建立每瓦特计算（compute-per-watt）的标准。

「后浪推前浪」：更高效模型不断涌现，算力持续提升

在调查研究中，OpenAI 发现在 WMT-14 翻译任务上谷歌 Transformer 所需算力已经比此前常用的 seq2seq 模型要少 61 倍——而两者推出的相隔时间也仅有 3 年。

DeepMind 的著名人工智能 AlphaZero 不仅可以从零开始自我学习实现在围棋、象棋、日本将棋等游戏中超越人类的水平，而且要比前一代系统，仅早一年推出的 AlphaGoZero 节省 8 倍算力。

对于 OpenAI 自己，最近被人们所熟知的技术当然是 Dota 2 人工智能 OpenAI Five 了，其最新的 Rerun 版本仅需 1/5 的算力即可打败前一代算法，而两代推出的相隔时间仅有三个月。

近年来各种算法训练出 AlexNet 级图片分类效果所需的算力，蓝色点为当时效率最优。

简而言之，仅以图像分类任务来看的话，过去 7 年人工智能的效率已经提升了 44 倍。这个速度超过了摩尔定律，似乎意味着只要持续努力下去，我们无需担心会因为硬件瓶颈而导致人工智能发展受阻的情况。另一方面，考虑到 2012 年的算力价格和 2019 年大有不同，在实践中情况还要更好一些。

如此乐观的结论，和不到一年前 OpenAI 得出的「AI 计算量每年增长 10 倍」看起来有些不同。去年 11 月，这家机构的研究发现从 AlexNet 到 AlphaGo Zero，跨方向最先进 AI 模型对计算量的需求已经增长了 30 万倍。

OpenAI 推测算法效率可能超过摩尔定律带来的增益，因为它观察到集成电路中的晶体管数量大约每两年翻一番。有趣的是，人工智能的发展规律也类似于英特尔芯片近年来提出的「Tick Tock」发展战略——新的功能通常需要耗费大量的算力才能获得（新制程），然后这些功能的优化版本得益于流程改进而实现更高效的部署（似乎可以对应芯片上新微架构的提升）。

此外调研结果表明，对于投入大量研究时间和/或算力的 AI 任务来说，算法效率的提升可能超过了对硬件效率的需求。

作为总体基准测试的一部分，OpenAI 首先进行视觉和机器翻译效率基准测试，特别是在 ImageNet 和 WMT14 数据集，并且之后会添加更多的基准方法。不允许出现人工标签、其他图像或数据，但对用于翻译或扩增增强的训练数据不会施加任何限制。