CV芯片作为整个视觉感知技术中最关键的一环,目前也还处在初期

时间:2018-06-07 17:50来源:高工智能汽车

摘要:人类从外界获得的信息约75%来自视觉系统,而在驾驶行为中尤为突出,驾驶员驾驶需要的信息90%来自视觉。藉此,在自动驾驶的感知系统中,视觉感知成为了重要的一环。

人类从外界获得的信息约75%来自视觉系统,而在驾驶行为中尤为突出,驾驶员驾驶需要的信息90%来自视觉。藉此,在自动驾驶的感知系统中,视觉感知成为了重要的一环。

 

相比于超声波雷达、毫米波雷达、激光雷达等传感器,摄像头诞生时日更久,但基于摄像头的感知技术,兴起并没有多年。

 

 

 

CV(Compute Vision)计算机视觉或称机器视觉,是一门通过图像获取所需要信息的学科,在实际的应用中,会通过硬件的摄像头,获取图片或者视频信息,中间需要经过内部的ISP、DSP处理,以得到更清晰的图像,然后利用深度学习的算法,对获得的图片信息进行分析、处理,最终得到现实世界通过图像映射而来的数字或符号信息,以便于机器理解现实世界。

 

在这个过程中,涉及到的最核心技术,就是对图像的分析、处理,工程应用中,视觉芯片担当了处理的核心任务。

 

得益于CV在识别、运动分析、场景重建、图像恢复的能力,其广泛应用于安防、无人机、自动驾驶等领域。

 

而在自动驾驶中,CV不仅可以识别障碍物(行人、车辆等)、道路情况,还可用于构建地图。相比于传统消费领域,汽车的使用环境更为复杂严苛,因此CV在自动驾驶领域的应用才刚起步。CV芯片作为整个视觉感知技术中最关键的一环,目前也还处在初期。

 

CV&自动驾驶

 

在自动驾驶中应用CV技术,CV技术必须具备实时性、鲁棒性、实用性这三个特点。

 

实时性要求CV系统的数据处理必须与车辆的高速行驶同步进行;

 

鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等,复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等,各种天气晴、阴、雨、雪、雾等均具有良好的适应性;

 

实用性指智能车辆能够为普通用户所接受。

 

目前,CV主要用于路径的识别与跟踪。与其它传感器相比,CV具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点,但数据处理量极大,存在系统实时性和稳定性问题,要靠开发高性能的计算机硬件,研究新算法来解决。

 

随着计算机技术和图像处理技术的飞速发展,三维重建道路环境为车辆高速智能驾驶提供强大的信息,在不远的将来具有现实可行性。

 

CV的道路识别基本原理为,公路路面的环境(白色路标、边缘、路面颜色、坑洼、障碍物等)的CCD图像灰度值和图像纹理、光流有差异。

 

根据这种差异,经图像处理后可以获得需要的路径图像信息,如方位偏差、侧向偏差、车辆在道路中的位置等信息。将这些信息与车辆的动力学方程相结合,可构成车辆控制系统数学模型。

 

深度学习在CV中应用广泛,主要是因为深度学习算法的通用性很强,比如faster RCNN在人脸、行人、一般物体检测任务上都可以取得非常好的效果;深度学习获得的特征(feature)有很强的迁移能力,比如在ImageNet(物体为主)上学习到的特征在场景分类任务上也能取得非常好的效果;

 

深度学习计算主要是卷积和矩阵乘,针对这种计算优化,所有深度学习算法都可以提升性能,因此工程开发、优化、维护成本低。

 

CV在自动驾驶中使用,必须具备可靠、低功耗、超强算力等特点,因此基于CV的自动驾驶专用芯片也就应用而生。

 

CV芯片的研发制造,除却工艺难度,最大的难度便在于芯片的设计,算法的调教。拥有芯片设计能力的公司并不多,大部分公司都是基于一些成熟的IP核进行研发。

 

业内人士表示,基于外部Ip核开发,是一种普遍的做法,但在调校算法以及芯片的性能过程中,由于不具有自下而上的能力,很难将芯片的性能发挥到极致。如此一来,就会在各个性能指标上存在差距,比如功耗,算力等。

 

CV芯片厂商之国际力量

 

针对自动驾驶领域的视觉芯片的公司,全球范围内有ADI、NXP、TI、Mobileye/ST、Movidius、NEXTCHIP 、Ambarella、Inuitive等公司。

 

ADI(Analog Devices, Inc.)是数字信号处理芯片(DSP)厂商,其发布的Blackfin处理器(BF60X系列)专门针对ADAS,具有车道偏离警告、交通信号识别、智能前灯控制、物体检测/分类、行人检测等功能。

 

低端系统基于BF592,实现LDW功能;中端系统基于 BF53x/BF54x/BF561,实现LDW(车辆偏离预警系统)/HBLB/TSR(Traffic SignRecognition道路交通标志识别系统)等功能;高端系统基于BF60x,实现LDW/HBLB(智能远光灯控制)/TSR/FCW(前方碰撞预警系统)/PD(车辆探测)等功能。集成的视觉预处理器能够显著减轻处理器的负担,从而降低对处理器的性能要求。

 

恩智浦S32V234是NXP的S32V系列产品中2015年推出的ADAS处理芯片,在BlueBox平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。

 

该款芯片拥有CPU(4颗ARM CortexA53和1颗M4)、3D GPU(GC3000)和视觉加速单元(2颗APEX-2vision accelerator),能同时支持4路摄像头,GPU能实时3D建模,计算能力为50GFLOPs。S32V234在设计时加入了诸如ECC(错误检查与纠正),FCCU(故障收集与控制单元),M/L BIST(内存/逻辑内置自测)等多种安全机制,能够满足ISO26262 ASIL B~C的需求。

 

德州仪器(TI)的TDA SoC系列,包括TDA2x、TDA3x、TDA2Eco,其中TDA3x系列可支持车线维持辅助、自适应巡航控制、交通标志识别、行人与物体检测、前方防碰撞预警和倒车防碰撞预警等多种ADAS算法。

 

这些算法对于前置摄像头、全车环视、融合、雷达与智能后置摄像头等众多ADAS应用的有效使用至关重要。此外,TDA3x处理器系列还能帮助客户开发针对行人和车辆、前方碰撞预警及车线维持辅助的自主紧急制动(AEB)等符合NCAP程序的ADAS应用。

 

Mobileye虽然不是芯片制造商,但其同意法半导体(ST)合作,生产了知名的EyeQ系列芯片,用于自动驾驶。

 

其最先进的EyeQ5装备了8枚多线程CPU内核,搭载18枚Mobileye的下一代视觉处理器。相比而言,EyeQ4作为上一代视觉SoC芯片,只配置了4个CPU内核和6个矢量微码处理器(Vector Microcode Processor,俗称VMP)。EyeQ5最多支持20个外部传感器(摄像头、雷达或激光雷达),而EyeQ4最多只能处理8个传感器的数据信息。

 

NEXTCHIP(韩)是一个以图像处理技术为主的公司,产品包括视频监控、DVR、SOC、自动驾驶系统中的核心芯片,均是以图形处理、传输为主的半导体芯片厂家。

 

公司涉及CV领域芯片是在自动驾驶系统的应用中,主打产品APACHE4是瞄准下一代的ADAS体系的SOC芯片。APACHE4加入了专用检测引擎,支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入其中的CEVA-XM4图像和视觉平台可让APACHE4的客户使用高阶软件编程来开发差异化的ADAS应用。

 

安霸则一直是高清视频业界的技术领导者,主要提供低功耗、高清视频压缩与图像处理的解决方案,应用领域涵盖安防、无人机、车机等。

 

2015年安霸以3000万美元的价格收购了意大利初创自动驾驶公司VisLab,开始发力自动驾驶领域。

 

2017年到现在,安霸相继发布了针对ADAS的CV1和CV2 系列芯片,CV1和CV2都在同一芯片上提供单目和立体视觉处理,CV1能够对分辨率高达4K的视频进行计算机视觉处理,CV2的深度神经网络性能是CV1的20倍。

 

Inuitive是一家先进的3D计算机视觉和图像处理器设计厂家,利用CEVA-XM4智慧视觉DSP的授权许可,运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉相关之演算法。

 

CEVA图像和视觉DSP满足最复杂计算摄影和电脑视觉应用对极端处理的需求,比如视频分析、扩增实境和先进驾驶辅助系统(ADAS)。

 

Inuitive视觉处理器NU3000以第三代的CEVA-MM3101图像和视觉DSP来提供立体视觉功能,现在是Google Project Tango生态系统中的一部分,开发人员能够利用它来开发需要即时深度产生、映射、定位、导航和其它复杂信号处理演算法的应用。

 

国际知名汽车电子IC厂商,都纷纷发布了针对自动驾驶的CV芯片,但主要的应用领域还是在较低等级的ADAS。

 

业内人士表示,芯片厂商在推出一款芯片时,特别注重市场和时机,因为每一款芯片的研发都需要投入上千万美金,成本的回收基本要依靠KK级别的出货量。

 

如果时机未到,市场还未成熟,即使芯片性能、品质都能达到要求,但不能大规模销售,仍会影响公司的计划,甚至拖垮公司。

 

因此面对自动驾驶的浪潮,大部分传统车载芯片巨头,都还只是谨慎的在推ADAS级别的芯片,内部都在积累更高级别的技术,甚至在算力上一定程度可以满足,但并不会盲目推出更高级别的芯片。

 

尚处早期的自动驾驶CV芯片市场

 

国内近年来也涌现出了不少初创公司推出了CV芯片,比如地平线、深鉴科技、寒武纪、西井科技。

 

地平线在2017年发布了后装的征程1.0,征程能够以1.5W的功耗,实现1Tflops的算力,每秒处理30帧4K视频,对图像中超过200个物体进行识别,能够实现FCW/ LDW/ JACC等高级别辅助驾驶功能,满足L2的计算需求。

 

计划中的征程2.0将会支持4-6路摄像头的同时接入;支持车辆、行人、车道线和可行驶区域的检测;支持交通指示标志,包括交通牌、路标、地面标志、交通文字和符号的检测和识别;支持一般障碍物检测、地面缺陷检测;征程3.0将会支持最多8路摄像头的同时接入和多传感器融合。

 

寒武纪在2017年发布了面向智能驾驶领域的IP核寒武纪1M,CEO陈天石介绍,它的性能将达到寒武纪1A的10倍以上,高度集成,具有更高的性能功耗比,目标是让中国的汽车全部都用上国产智能处理器。

 

国产CV芯片目前的各项指标还只停留在要求较低的后装水平,各个公司也希望在未来几年能够研发出符合车规要求的芯片。

 

但从后装到前装,芯片所要符合的不仅是车规的要求,还要经受OEM对公司没有任何大规模前装量产经验的质疑。

 

业内人士透露,目前国内的OEM已经在积极布局下一代车型,基于视觉的ADAS功能也或多或少的被列入了产品规划中。

 

对于CV方案的选型,OEM更倾向于一些具有量产经验的厂商,算力、功耗以及价格都在考虑范围内。OEM并不会因为要新增ADAS功能而盲目上CV芯片,如果原有的传统芯片可以满足相应功能的算力需求,那么OEM也会倾向于沿用上一代产品。

 

要做符合车规等级的CV芯片,并不容易,即使是原来具备传统车载芯片的厂商也一样。CV芯片市场目前还处在早期,传统领域的巨头也尚在摸索推广阶段,初创公司要想直接进入,难度不小。

 

除此以外,同等性能下的芯片功耗、价格将会成为各个厂商竞争的关键。

我要投稿
近期活动

Copyright 2008-2018 21dianyuan.com All Rights Reserved 备案许可证号为:津ICP备10002348