Tengine,可能是最好用的Arm嵌入式系统AI框架了!
时间:2018-09-17 11:59来源:电子创新网
摘要:边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?
边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?
- 有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。
- 有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。
- 有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。
OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。
专门针对Arm嵌入式设备优化的神经网络推理引擎
OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。
而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。
Tengine的“发动机”——HCL计算库
有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。
现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。
*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试
NCNN数据为2018年9月7日
Tengine + HCL,不同人群的量身定制
Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine+HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。
- 有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。
- 有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。
- 有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。
OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。
专门针对Arm嵌入式设备优化的神经网络推理引擎
OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。
而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。
Tengine的“发动机”——HCL计算库
有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。
现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。
*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试
NCNN数据为2018年9月7日
FP32 | INT8 | Diff | ||||
TOP1 | TOP5 | TOP1 | TOP5 | TOP1 | TOP5 | |
MobileNetv1 | 67.86% | 87.60% | 66.40% | 86.44% | -1.46% | -1.16% |
SqueezeNet | 57.86% | 79.86% | 57.80% | 79.92% | -0.06% | 0.06% |
GoogLeNet | 68.48% | 88.82% | 68.70% | 88.82% | 0.22% | 0.00% |
ResNet50 | 71.60% | 89.90% | 71.60% | 89.86% | 0.00% | -0.04% |
HCL INT8量化计算精度变化
* 采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下Tengine + HCL,不同人群的量身定制
Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine+HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。
免责声明:本文若是转载新闻稿,转载此文目的是在于传递更多的信息,版权归原作者所有。文章所用文字、图片、视频等素材如涉及作品版权问题,请联系本网编辑予以删除。
我要投稿
近期活动
- 安森美汽车&能源基础设施白皮书下载活动时间:2024年04月01日 - 2024年10月31日[立即参与]
- 2023年安森美(onsemi)在线答题活动时间:2023年09月01日 - 2023年09月30日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年08月01日 - 2023年08月31日[查看回顾]
- 【在线答题活动】PI 智能家居热门产品,带您领略科技智慧家庭时间:2023年06月15日 - 2023年07月15日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年06月01日 - 2023年06月30日[查看回顾]
分类排行榜
- 汽车电子电源行业可靠性要求,你了解多少?
- 内置可编程模拟功能的新型 Renesas Synergy™ 低功耗 S1JA 微控制器
- Vishay 推出高集成度且符合 IrDA® 标准的红外收发器模块
- ROHM 发布全新车载升降压电源芯片组
- 艾迈斯半导体推出行业超薄的接近/颜色传感器模块,助力实现无边框智能手机设计
- 艾迈斯半导体与 Qualcomm Technologies 集中工程优势开发适用于手机 3D 应用的主动式立体视觉解决方案
- 维谛技术(Vertiv)同时亮相南北两大高端峰会,精彩亮点不容错过
- 缤特力推出全新商务系列耳机 助力解决开放式办公的噪音难题
- CISSOID 和泰科天润(GPT)达成战略合作协议,携手推动碳化硅功率器件的广泛应用
- 瑞萨电子推出 R-Car E3 SoC,为汽车大显示屏仪表盘带来高端3D 图形处理性能
编辑推荐
小型化和稳定性如何兼得?ROHM 推出超小型高输出线性 LED 驱动器 IC,为插座型 LED 驱动 IC 装上一颗强有力的 “心脏”
众所周知,LED的驱动IC担负着在输入电压不稳定的情况下,为LED提供恒定的电流,并控制恒定(可调)亮度的作用。无论是室内照明,还是车载应用,都肩负着极为重要的使命。
- 全桥逆变器PCB走线问题
时间:2024-04-16 浏览量:431
- AP4313 恒流公式看不懂,求助帮忙推导
时间:2024-04-14 浏览量:491
- 请教三相逆变器启动流程
时间:2024-04-12 浏览量:453
- 输出重载时,用万用表测量PFC输出电解电容上电压超过500V?!
时间:2024-04-07 浏览量:399
- An绕组截面积是什么意思
时间:2024-04-03 浏览量:368
- 关于反激电源效率的一个疑问
时间:2022-07-12 浏览量:10247
- 多相同步BUCK
时间:2010-10-03 浏览量:37890
- 大家来讨论 系列之二:开机浪涌电流究竟多大?
时间:2016-01-12 浏览量:43187
- 目前世界超NB的65W适配器
时间:2016-09-28 浏览量:60047
- 精讲双管正激电源
时间:2016-11-25 浏览量:128207
- 利用ANSYS Maxwell深入探究软磁体之----电感变压器
时间:2016-09-20 浏览量:107594
- 【文原创】认真的写了一篇基于SG3525的推挽,附有详细..
时间:2015-08-27 浏览量:100352