莱迪思sensAI 4.1 工具和IP将低功耗FPGA变为 网络边缘智能AI/ML计算引擎

时间:2021-11-24 17:11来源:

摘要:网络边缘设备的爆发式增长推动着新应用的开发,这些应用可以将大量原始数据转化为有用的、可操作的信息,便于实时决策。莱迪思sensAI41解决方案集合提供即用的AIML工具、IP核、硬件平台、参考设计和演示以及定制设计服务,将网络边缘设备和应用快速推向市场。

策必须转移到设备本身。这些网络边缘设备包括自动驾驶汽车、物联网传感器、安全摄像头、智能手机、笔记本电脑和个人电脑等。因此网络边缘计算的潜力巨大。
数据重压之下,云端无法包揽一切
智能手机和物联网设备的指数级增长推动了网络边缘计算的发展,这些设备无处不在,必须连接到互联网才能向云端发送信息或从云端接收信息。一些物联网设备(例如摄像机)在运行过程中会生成大量数据。
其他物联网设备,如温度传感器,会生成少量数据,但由于这样的传感器数量可达数十亿,为云端处理带来了极大的负担。因此,基于网络边缘的处理十分必要,不仅可以降低云端的网络通信成本和云存储成本,还能避免云端数据通道过载。
网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式,以帮助分析数据并据此做出决策。事实上,AI/ML技术的使用增长极其迅猛。
如今AI/ML算法被视为高效处理原始数据的必要手段,因为它们可以识别出传统的算法程序难以解析和识别的复杂、多维度的数据模式。一些特定的AI/ML应用包括检测、识别、辨认和计数人员或物体;资产和存货追踪、环境感知、声音和语音检测和识别、系统健康监测以及系统维护调度等。






图1. 网络边缘计算的趋势(图片来源:莱迪思)
许多可以利用AI/ML功能的网络边缘应用需要在极具严苛的功耗限制下运行。这些广泛分布的设备通常依靠电池供电。此类应用在各种网络边缘环境中比比皆是,包括工厂、农场、办公楼、零售店、医院、仓库、街道和住宅。随着它们数量的增加,这些设备需要在仅充一次电或者仅依靠收集和存储能量的情况下运行较长时间,甚至可能是几个月或几年。
因此,许多设备需要在大部分时间里处于睡眠或休眠状态,在设备处于非活动状态时大部分电路应处于低功耗待机模式。然后激活事件会在需要时启动设备。在此类应用中,以超低功耗运行的基础电路系统必须保持待命,等待激活事件,然后根据需要为设备的其余部分供电。
FPGA以低功耗实现AL/ML
对低运行功耗和AI/ML算法实现的需求似乎与低功耗网络边缘设备设计的要求相互冲突。然而,这两种复杂的设计要求其实并不矛盾。莱迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——专为满足低功耗网络边缘设备的诸多设计要求而定制。这些FPGA可以支持多个传感器、显示器,支持高分辨率视频、网络连接和网络边缘AI/ML处理。
与此同时,莱迪思最新发布的sensAI解决方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务,有助于设计团队开发新的网络边缘设备,并将其快速推向市场。最新版本的sensAI支持CertusPro-NX FPGA。
莱迪思sensAI解决方案集合可加速端到端的AI/ML模型训练、验证和编译。莱迪思在2021年初发布的sensAI 4.0中新增了sensAI Studio设计环境,这是一种基于图形用户界面(GUI)的工具,可帮助开发人员快速构建机器学习应用。在使用莱迪思sensAI 4.1中的工具设置网络边缘计算设计,并且采用莱迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA时,可以在超低功耗下实现实时的AI/ML功能——功耗低至1mW到1W。



 
图 2. 莱迪思sensAI Studio设计环境加速端到端的AI/ML模型训练、验证和编译。(图片来源:莱迪思)
随着sensAI 4.1支持莱迪思CertusPro-NX FPGA系列产品,sensAI的性能也有了较大提升,除了已有的对象检测和追踪应用之外,还新增了对多个对象实时分类等应用。sensAI 4.1解决方案集合包括更新的神经网络编译器,还兼容其他广泛使用的机器学习平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。
莱迪思sensAI 4.1解决方案集合中的IP核包括三种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus和CNN Compact——以及一个CNN协处理器引擎。CNN IP核能让开发人员使用其他人发布的广泛使用的各类CNN,例如Mobilenet v1/v2、Resent、SSD和VGG,或者根据需要自定义CNN模型。sensAI 4.1 CNN加速器利用莱迪思FPGA的并行处理能力、分布式存储器和DSP资源,极大简化了超低功耗AI设计的实现。加速器核利用FPGA的可编程逻辑来实现低功耗神经网络,包括极其高效的二值神经网络(BNN),能够以毫瓦级超低功耗实现CNN。

图3. 莱迪思sensAI解决方案集合可开发基于莱迪思FPGA的AI/ML设备。(图片来源:莱迪思)
莱迪思sensAI 4.1参考设计
莱迪思FPGA提供可编程I/O,经配置可支持传感器接口常用的多种电气接口标准。公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势,因此莱迪思sensAI 4.1的设计旨在简化网络边缘设备中基于多个传感器的AI/ML推理功能的开发,实现智能的传感器融合。sensAI 4.1解决方案集合包括许多参考设计示例,演示了多种智能传感器融合的应用案例,它们可以同时运行,实现深入的情景感知。这些参考设计包括:
· 手势检测
该参考设计使用IR图像传感器,实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。
· 关键词检测
该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架(例如Caffe、Tensorflow或Keras)更新提供的训练数据集,为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。
 
免责声明:本文若是转载新闻稿,转载此文目的是在于传递更多的信息,版权归原作者所有。文章所用文字、图片、视频等素材如涉及作品版权问题,请联系本网编辑予以删除。
我要投稿
近期活动
帖子推荐更多

Copyright 2008-2024 21dianyuan.com All Rights Reserved 备案许可证号为:津ICP备10002348号-2