Flex Logix 发布 InferX™ X1 8TOPS 高性能,低功耗,低成本 AI 边缘推理芯片
时间:2019-04-12 14:48来源:21Dianyuan
摘要:比现有解决方案高数倍的实际吞吐量,低数倍的功耗和成本
美国加州山景城,2019年4月10日 – Flex Logixâ Technologies, Inc. 今天宣布,其在拥有数个专利的业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC), 研发了 InferXtm X1边缘推理芯片。今天在美国硅谷举办的Linley Processor Conference,Flex Logix介绍了 InferX X1芯片及其性能。作为一款针对于边缘AI推理应用的芯片,InferX X1有着极高的 MAC 利用率以及出众的能效比 — 只需要一颗x32的DRAM, 就可以达到8TOPS的算力。这在边缘推理这种只需 low batch size 的应用场景中显得极为重要。与现有的解决方案相比,InferX X1能以更低的功耗,更低的成本,提供更高的算力。
InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像 达到25.4帧每秒(fps)的吞吐量。对2Megapixel高清图像达到12.7帧每秒(fps)。而达到这样的高吞吐量只需要用到一个x32的DRAM。
InferX 支持INT8,INT16,BF16并可以在不同的算法层混合使用,方便客户根据自己的需求来优化吞吐量和算法精度。InferX还内置有Winograd变换来加速INT8计算卷积,芯片会自动对适用的矩阵乘法来实时转换weights到Winograd模式,得到将近2.25倍的性能提升。由于InferX的Winograd是用12bits来计算的,所以精度不会有损失。
Flex Logix提供客户完整的软件开发环境。客户可以直接将基于TensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler软件来编译。
Flex Logix将提供InferX X1芯片。芯片可以通过扩展口来连接数个芯片以增加算力。FlexLogix同时还会提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。
“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix CEO Geoff Tate说。”在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网进行络pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”
Geoff Tate还说, “我们还在芯片里加上了Winograd来加速INT8的运算,这让客户在选择INT8时能得到更高的吞吐量。而同时我们也支持BF16,让对精度更在意的客户在需要时也能运用。客户可以选择根据自己的需求在不同的网络层混合运用来到达高精度,高吞吐量。”
一个创新的可编程互连技术,两个高速成长的产品线
Flex Logix在其拥有十余个专利的创新可编程互连技术上研发了EFLX eFPGA IP. Flex Logix已经成为eFPGA IP市场的领先者,已有包括大唐辰芯,美国波音,SiFive RISC-V等十余个客户正在应用Flex Logix的eFPGA IP。
最新研发的nnMAX AI IP,即InferX芯片中使用的新推理架构,利用了同样的可编程互连技术,并结合了专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器能支持INT8, INT16, BF16等AI算法里常见的精度数字。每一颗nnMAX IP单元拥有1024个乘加器以及相应的SRAM,在16nm制程上可以提供2 TOPS的算力。nnmAX IP单元可以根据需求拼接成NxN的阵列,最大可以提供超过100 TOPS的算力。
Flex Logix在InferX X1芯片里集成了4个nnMAX IP单元,提供8 TOPS的算力。
时间表
InferX X1推理芯片计划于Q3 2019流片,样片和PCIe板可于年底提供。基于台积电16nm的nnMAX IP将于Q3 2019提供授权给客户用于集成到客户自己的ASIC或SoC. 感兴趣的客户可以访问 www.flex-logix.com 来获得我们在 Linley Processor Conference发布的胶片,或联系Flex Logix亚太区销售jim@flex-logix以获取更多信息。
InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像 达到25.4帧每秒(fps)的吞吐量。对2Megapixel高清图像达到12.7帧每秒(fps)。而达到这样的高吞吐量只需要用到一个x32的DRAM。
InferX 支持INT8,INT16,BF16并可以在不同的算法层混合使用,方便客户根据自己的需求来优化吞吐量和算法精度。InferX还内置有Winograd变换来加速INT8计算卷积,芯片会自动对适用的矩阵乘法来实时转换weights到Winograd模式,得到将近2.25倍的性能提升。由于InferX的Winograd是用12bits来计算的,所以精度不会有损失。
Flex Logix提供客户完整的软件开发环境。客户可以直接将基于TensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler软件来编译。
Flex Logix将提供InferX X1芯片。芯片可以通过扩展口来连接数个芯片以增加算力。FlexLogix同时还会提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。
“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix CEO Geoff Tate说。”在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网进行络pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”
Geoff Tate还说, “我们还在芯片里加上了Winograd来加速INT8的运算,这让客户在选择INT8时能得到更高的吞吐量。而同时我们也支持BF16,让对精度更在意的客户在需要时也能运用。客户可以选择根据自己的需求在不同的网络层混合运用来到达高精度,高吞吐量。”
一个创新的可编程互连技术,两个高速成长的产品线
Flex Logix在其拥有十余个专利的创新可编程互连技术上研发了EFLX eFPGA IP. Flex Logix已经成为eFPGA IP市场的领先者,已有包括大唐辰芯,美国波音,SiFive RISC-V等十余个客户正在应用Flex Logix的eFPGA IP。
最新研发的nnMAX AI IP,即InferX芯片中使用的新推理架构,利用了同样的可编程互连技术,并结合了专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器能支持INT8, INT16, BF16等AI算法里常见的精度数字。每一颗nnMAX IP单元拥有1024个乘加器以及相应的SRAM,在16nm制程上可以提供2 TOPS的算力。nnmAX IP单元可以根据需求拼接成NxN的阵列,最大可以提供超过100 TOPS的算力。
Flex Logix在InferX X1芯片里集成了4个nnMAX IP单元,提供8 TOPS的算力。
时间表
InferX X1推理芯片计划于Q3 2019流片,样片和PCIe板可于年底提供。基于台积电16nm的nnMAX IP将于Q3 2019提供授权给客户用于集成到客户自己的ASIC或SoC. 感兴趣的客户可以访问 www.flex-logix.com 来获得我们在 Linley Processor Conference发布的胶片,或联系Flex Logix亚太区销售jim@flex-logix以获取更多信息。
免责声明:本文若是转载新闻稿,转载此文目的是在于传递更多的信息,版权归原作者所有。文章所用文字、图片、视频等素材如涉及作品版权问题,请联系本网编辑予以删除。
我要投稿
近期活动
- 安森美汽车&能源基础设施白皮书下载活动时间:2024年04月01日 - 2024年10月31日[立即参与]
- 2023年安森美(onsemi)在线答题活动时间:2023年09月01日 - 2023年09月30日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年08月01日 - 2023年08月31日[查看回顾]
- 【在线答题活动】PI 智能家居热门产品,带您领略科技智慧家庭时间:2023年06月15日 - 2023年07月15日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年06月01日 - 2023年06月30日[查看回顾]
分类排行榜
- 汽车电子电源行业可靠性要求,你了解多少?
- 内置可编程模拟功能的新型 Renesas Synergy™ 低功耗 S1JA 微控制器
- Vishay 推出高集成度且符合 IrDA® 标准的红外收发器模块
- ROHM 发布全新车载升降压电源芯片组
- 艾迈斯半导体推出行业超薄的接近/颜色传感器模块,助力实现无边框智能手机设计
- 艾迈斯半导体与 Qualcomm Technologies 集中工程优势开发适用于手机 3D 应用的主动式立体视觉解决方案
- 维谛技术(Vertiv)同时亮相南北两大高端峰会,精彩亮点不容错过
- 缤特力推出全新商务系列耳机 助力解决开放式办公的噪音难题
- CISSOID 和泰科天润(GPT)达成战略合作协议,携手推动碳化硅功率器件的广泛应用
- 瑞萨电子推出 R-Car E3 SoC,为汽车大显示屏仪表盘带来高端3D 图形处理性能
编辑推荐
小型化和稳定性如何兼得?ROHM 推出超小型高输出线性 LED 驱动器 IC,为插座型 LED 驱动 IC 装上一颗强有力的 “心脏”
众所周知,LED的驱动IC担负着在输入电压不稳定的情况下,为LED提供恒定的电流,并控制恒定(可调)亮度的作用。无论是室内照明,还是车载应用,都肩负着极为重要的使命。
- 关于反激电源效率的一个疑问
时间:2022-07-12 浏览量:10181
- 面对热拔插阐述的瞬间大电流怎么解决
时间:2022-07-11 浏览量:8938
- PFC电路对N线进行电压采样的目的是什么
时间:2022-07-08 浏览量:9583
- RCD中的C对反激稳定性有何影响
时间:2022-07-07 浏览量:7196
- 36W单反激 传导7~10M 热机5分钟后超标 不知道哪里出了问题
时间:2022-07-07 浏览量:5970
- PFC电感计算
时间:2022-07-06 浏览量:4181
- 多相同步BUCK
时间:2010-10-03 浏览量:37867
- 大家来讨论 系列之二:开机浪涌电流究竟多大?
时间:2016-01-12 浏览量:43162
- 目前世界超NB的65W适配器
时间:2016-09-28 浏览量:60025
- 精讲双管正激电源
时间:2016-11-25 浏览量:128115
- 利用ANSYS Maxwell深入探究软磁体之----电感变压器
时间:2016-09-20 浏览量:107559
- 【文原创】认真的写了一篇基于SG3525的推挽,附有详细..
时间:2015-08-27 浏览量:100297