百度飞桨轻量化推理引擎再升級，新增适配国产AI芯片比特大陆算丰

时间：2020-03-27 19:51:40 来源：作者：网络

原标题：百度飞桨轻量化推理引擎再升級，新增适配国产AI芯片比特大陆算丰

2020年伊始，AI 技术持续深入发展，人工智能场景规模化落地与应用不断创造新的中国速度。随着 AI 技术与传统行业的不断融合，智能经济时代的全新产业版图初步显现。

进入智能时代，AI 芯片和深度学习框架二者融合成为构建我国自主 AI 生态的关键力量。作为智能时代的操作系统，深度学习框架起到承上启下的作用——上承应用、下接芯片。作为智能时代的核心大脑，AI 芯片支持框架平台让 AI 技术更加普及易用，为行业赋能更多应用场景。

近日，百度飞桨深度学习平台新增适配比特大陆最新算丰系列 AI 芯片，两者的成功融合在芯片利用率、性能功耗比等指标上尽显优势，相比传统 GPU 更适合深度学习推理，成为我国构建自主 AI 生态的典范。

轻量化推理引擎 Paddle Lite 再升级

作为国内功能最完备的端到端开源深度学习平台，飞桨以其兼具灵活和效率的开发机制、工业级应用效果的模型、超大规模并行深度学习能力、推理引擎一体化设计以及系统化的服务支持，成为加快产业智能化升级的主力军。

Paddle Lite 是飞桨推出的一套功能完善、易用性强且性能卓越的轻量化推理引擎。轻量化体现在使用较少比特数用于表示神经网络的权重和激活，能够大大降低模型的体积，解决终端设备存储空间有限的问题。

推理性能也整体优于其他框架，以 ResNet50 模型作例，在高通骁龙845上，Paddle Lite 相比其他框架，比 MNN 快10.26%，比 NCNN 快17.1%。近期已正式上线的 V2.3 版本更通过支持“无校准数据的训练后量化”及网络结构与算子优化，在不牺牲性能的条件下，将模型压缩率提升至75%，有效将模型体积大幅缩小，进而满足移动及边缘端设备的轻量化需求。而搭载了比特大陆 AI 芯片的 V2.4 版本即将在近期上线。

▲ 百度飞桨与比特大陆兼容性认证书

通过对比特大陆 AI 芯片的适配，Paddle Lite 不仅可实现对多种硬件平台的兼容，亦能更好地服务用户实际业务需求、节省模型迁移时间、加快敏捷开发部署，极大丰富了飞桨的硬件生态。

▲ Paddle Lite 支持比特大陆算丰 BM 系列芯片

算丰芯片与飞桨整合效能

与百度同为国内人工智能企业先行者的比特大陆是世界上少数几家有能力开发云端人工智能芯片的公司之一，并已成功推出四代人工智能芯片（云端芯片算丰 BM1680、算丰 BM1682、算丰 BM1684，终端芯片 BM1880）。凭借多年技术积累与行业实践，比特大陆 AI 芯片正在迅速成长为国产智能芯片阵营的中坚力量，为中国乃至全球的 AI 平台落地提供核心支撑。

比特大陆开发的形态丰富的各种 AI 硬件产品均基于自主研发 AI 芯片，拥有完整的国内自主知识产权和专利，同一套 SDK 和简单易用的工具链支持多形态应用，充分满足云+边的“新基建”算力基础设施建设需求。

最新一代算 BM1684 芯片，聚焦于云端及边缘应用的人工智能推理，采用台积电 12nm 工艺，在典型功耗仅16瓦的前提下，INT8 算力可高达 17.6Tops，在 Winograd 卷积加速下，INT8 算力更提升至 35.2Tops，是一颗低功耗、高性能的 SoC 芯片。其算力性能和性能功耗比指标业界领先，超过主流推理 GPU，在性能满足视频分析业务需求的前提下，可以实现视频结构化的单路成本最优。

▲ 算丰1684在飞桨框架上

int8 运行 Resnet50 的性能指标

强强联手共建 AI 生态圈

与此同时，比特大陆积极参与百度的黄埔学院计划，进一步深化双方合作关系，并成功合作开发运行百度“行人车辆”算法的 SS-5416C3 人工智能一体机，交付于公安部安全与警用电子产品质量检测中心进行检测。此外，在接下来发布的飞桨开源框架版本，也会完整对比特大陆的编译工具 BM Lang 及相关 Profiler 工具的支持。

随着飞桨在稳定性、兼容性和成熟度等方面不断升级，比特大陆 AI 芯片也在不断提升性能、优化指标，助力飞桨加速产业结合，二者联手帮助产业实现智能转型，为我国产业智能化发展贡献力量。

关于飞桨

百度飞桨（PaddlePaddle）是目前国内自主研发、开源开放、功能最完备的产业级深度学习平台，集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体。飞桨源于产业实践，致力于与产业深入融合，提供了领先的深度学习&机器学习任务开发、训练、部署能力，加速企业从算法研发到产业落地的过程。目前飞桨已广泛应用于工业、农业、服务业等，服务150多万开发者，与合作伙伴一起帮助越来越多的行业完成 AI 赋能。

关于比特大陆