原标题：华为开源只用加法的神经网络：实习生领衔打造，效果不输传统CNN | CVPR 2020 Oral
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
没有乘法的神经网络，你敢想象吗？无论是单个神经元的运算还是卷积运算，都不可避免地要使用乘法。
然而乘法对硬件资源的消耗远大于加法。如果不用乘法，全部改用加法应该可以让运算速度大大提升。
去年年底，来自北京大学、华为诺亚方舟实验室、鹏城实验室的研究人员将这一想法付诸实践，他们提出了一种只用加法的神经网络 AdderNet（加法器网络）。一作是华为诺亚方舟实习生，正在北大读博三。
如今，这篇文章已经被CVPR 2020收录（Oral），官方也在GitHub上开放了源代码。有兴趣的同学不妨前往一试究竟。
加法器网络简介
加法器网络的核心在于： 用L1距离代替欧氏距离。
L1距离是求两点之间坐标差值的绝对值之和，因此全程不涉及乘法。
在这种新的定义下，反向传播中用到的求偏导数运算也变成了求减法。梯度下降的优化过程也被叫做 符号SGD（signSGD）。
在加法器网络的新定义下，特征向量的空间分布也和CNN有很大的不同。
那么AdderNet的实际效果如何呢？
在CIFAR-10的图像分类任务中，AdderNet相比当初Bengio等人提出的加法神经网络BNN性能有大幅提升，并且已经接近了传统CNN的结果。
开源代码
官方的AdderNet基于Python3和PyTorch。
先按照PyTorch的官方文档准备ImageNet数据集，运行程序评估它在验证集上的效果：
AdderNet可以在ImageNet数据集上达到74.9％的Top-1准确度和91.7％的Top-5准确度。
或者将CIFAR-10数据集下载到本地，测试一下它在CIFAR-10上的效果
不过AdderNet仍需自己训练，官方表示将很快发布预训练模型。
现阶段的AdderNet并非没有缺陷，作者在项目主页中说，由于AdderNet是用加法过滤器实现的，因此推理速度较慢，需要用CUDA编写才能提高速度。
这与作者希望提高神经网络运算速度的初衷还有一段距离。
但这篇论文的作者表示，今后还会继续加法器神经网络的研究，发表更多的成果，让我们一起期待这项研究取得新的进展吧。
华为诺亚实验室实习生领衔打造
AdderNet这篇文章的一作名叫 陈汉亭，毕业于同济大学数学系，现在在北京大学信息科学技术学院攻读博士学位，同时在华为诺亚方舟实验室实习。
在硕博连读的前三年中，他已经以一作身份发表了5篇论文，其中一篇《Data-Free Learning of Student Networks》被ICCV 2019收录，另外它参与多篇论文还被NeurIPS、IJCAI、ICML等顶会收录。
传送门
源代码：
https://github.com/huawei-noah/AdderNet
论文地址：
https://arxiv.org/abs/1912.13200
作者系网易新闻·网易号“各有态度”签约作者
— 完—
北京时间3月21日早10:30， 线上首次云试乘无人车！急寻众多监工们，跟随轻舟智航L4级无人车应对硅谷晚高峰。此外更有两位轻舟智航顶级技术专家、前Waymo核心工程师 拆解其创新技术路径以及大规模智能仿真系统的具体应用。
戳二维码，备注“无人车”即可报名、加交流群与同好讨论交流无人车进展~
高能直播 | 云体验无人车试乘+顶级技术专家拆解仿真系统
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !游戏网
| 相关下载 |
原标题：2019年美国专利数最高，华为排在企业榜第十 据全球知名专利数据库提供商IFI CLAIMS Patent Services公布的数据显示，2019年美国所获专利数最高详情>>
6公里详情>>
原标题：华为P40系列全家福曝光 7大配色提前亮相顶配徕卡五摄 随着华为P40系列发布日逐渐临近，有关新机的更多消息也进一步被泄露。国外知名爆料人ev详情>>
陈建斌领衔代言，37网游实时国战三国策略手游《最强王者》 “孟德新政”烽火来袭。天下群雄汇聚，共襄盛举。斗鱼八大主播 “呆妹儿、智勋、周淑怡、仙某某、东北大鹌鹑”等详情>>
原标题：华为余承东：华为已经成中国最大的手表厂、耳机厂 证券时报e公司讯，12月21日，华为2019花粉年会上，华为消费者业务CEO余承东表示，我们成长为全球第二大智能详情>>
有中集，无人机等等4000多家企业,大量企业详情>>
原标题：华为 P40 Pro 新 OS 曝光，首个 GeekBench 跑分出炉 3月14日消息，国外爆料大神 RODENT950 透露华为 P40 系列将首发 EMUI 10.1 系统，版本代号“详情>>
原标题：全球存储市场：华为营收猛增28.2%；NetApp骤降16.3%；IBM增长5.9%；戴尔、HPEH3C各下滑6.4%、4.5% 据 IDC 发布的《全球企业存储系统季度跟踪报告》详情>>
原标题：神州数码将推华为鲲鹏处理器的服务器及PC，5月投产 IT之家3月13日消息 据澎湃新闻报道，神州数码公司旗下首个鲲鹏系列产品生产基地――神州鲲详情>>
原标题：华为为什么打不垮、压不倒？ 最近几年，华为面对了极大的压力，某些国家通过各种力量打击华为，压制华为的发展，一度世界上一些国家的政客们也紧跟其详情>>
原标题：华为HMS Core在应用商店下载数量达到68亿次 在各家手机厂商硬件的带领之下，各家也开始纷纷抢占软件市场，通过提升自家系统UI的辨识度以及易用详情>>
原标题：华为的1+8+N：不是加法，而是以IoT之名的融合 在流行文化领域，这些年有一个概念非常热：“宇宙”，意思一部分文化元素之间彼此连接、互相影响构成的详情>>
原标题：360与华为深度合作，共建鲲鹏大生态 近期，三六零（股票代码：601360，以下简称360）宣布旗下各桌面软件产品，与华为完成鲲鹏兼容性认证。未来，360安全产详情>>
原标题：华为坂田基地探访之旅-深入华为研发中心、近距接触华为科技和最新互联产品 7月17日下午，百强标杆考察培训中心承接，携学员共同参观华为公司深详情>>
原标题：台积电5nm产能已爆满！苹果vs华为5nm芯片抢位赛将拉开 芯东西（ID：aichip001） 编 | 韦世玮 芯东西3月13日消息，据外媒GSMARENA报道，台积电正在按计详情>>
原标题：华为 MateXs 体验：依旧 16999 元，更结实也更好用了 去年手机行业出现了很多新的热词，比如 5G、高刷新率、折叠屏。其中 5G 和高刷新率很多厂商详情>>
原标题：华为双喜临门！在这场5G“战争”中，美国将被全世界“抛弃”！ 世界各国都进入了紧张的5G基础建设当中，华为在这一市场的表现，也让西方国家大吃一惊详情>>
原标题：华为P40 Pro相机规格曝光 将采用两颗长焦镜头 在此前的发布会上，华为总裁余承东表示，P40系列手机将于3月26日发布，并搭载华为移动服务。近期，Tw详情>>
原标题：华为P40系列3.26发布 将推出多个特别版配色 近日，华为正式宣布其今年上半年的旗舰产品华为P40系列即将于3月26日发布上市。该公告是在线发布详情>>
原标题：明星都在用，华为“多屏协同”一个屏幕操作两个系统就是这么酷 湖南卫视在2月初上线了一档新型“云”录制智趣类脱口秀公益节目《天天云时间详情>>
原标题：美国出手、英国议会放行！华为两大利好来了，一批A股涨停潮 继美国免征部分中国医疗物资关税之后，刚刚，美国政府再度延长了华为的临时许可证。 根详情>>
原标题：华为给AI心脏做了个“改良手术” 文|深几度 琨珸 过去十年间，我们见证了中国在基础设施建设取得的辉煌成就，一项又一项基础建设项目令世界详情>>
VR之家消息：今日（3月10日）上午，华为官方宣布，华为P40系列全球线上发布会将于3月26日召开，新款5G旗舰手机P40将于3月26日在巴黎发布。感兴趣的网友们进来详情>>
原标题：余承东曝光华为法国首款旗舰店内景 华为P40即将发布 近日，余承东微博晒出一家华为旗舰店的内景，展示店前排队盛况。据悉这是华为在法国的第一详情>>
原标题：中国移动5G承载网招标：华为中标份额过半，烽火、中兴分剩余“蛋糕” 每经记者：刘春山 每经编辑：张海妮 今日（3月10日），中国移动采购与招标网公布了2详情>>
原标题：能存上万张照片的智慧屏是啥样？华为智慧屏尊爵版告诉你 随着科技的发展，智能设备得到了长足的进步，其中大屏设备进步更是明显，如今的大屏设备已详情>>
原标题：华为Mate 30热销超700万 5G时代换机潮或将出现 证券时报e公司讯，华为消费者业务CEO余承东25日表示，华为Mate 30系列上市60天全球出货量突破700万台，超详情>>
原标题：华为高管提前晒照，暗示P40/Pro新机拟采用双挖孔前置方案 IT之家3月8日消息 今日午间华为Fellow Cyberverse总工程师，Camera总工程师罗巍发文详情>>
原标题：等不及了？已有第三方店铺提前开卖华为P40/Pro保护壳 IT之家3月8日消息 目前有关华为新款P40/Pro的消息开始增多，近日已有商家提前上架开售了详情>>
原标题：华为P40 Pro红旗定制版海报曝光：矩阵后置5摄，龙形图腾亮眼 IT之家3月7日消息 早前有消息称红旗在为新车预热时透露了“红旗定制版华为P40”的详情>>
原标题：法国首家华为旗舰店开业 图为3月5日在巴黎拍摄的华为旗舰店外景。 新华社记者 高 静摄 本报巴黎3月6日电 （记者葛文博）中国华为公司法国首家详情>>
原标题：华为法国第一家旗舰店开业 新京报讯 2020年3月6日，华为法国首家旗舰店正式开业。据悉，华为法国第一家旗舰店，是基于百年历史的奥斯曼的建筑上详情>>
原标题：华为nova7系列或在4月发布 支持40W快充 有消息称，华为在3月26日发布P40系列后，在4月还可能发布nova7系列产品，nova7系列包括了nova7 5G、nova7详情>>
原标题：听说华为给湖北一线员工每天补助2000元之后…… 网友酸了，员工却说...... 近日有华为员工发帖称，武汉研究所现场办公的人员每人补助2000元（从1详情>>
原标题：卢伟冰与网友戏言成真，红旗定制版华为P40曝光 集微网3月5日（文/数码控），去年小米集团副总裁，中国区总裁，红米Redmi品牌总经理卢伟冰发了一条微博详情>>
