一站式电子元器件采购平台

华强商城公众号

一站式电子元器件采购平台

元器件移动商城,随时随地采购

华强商城M站

元器件移动商城,随时随地采购

半导体行业观察第一站!

芯八哥公众号

半导体行业观察第一站!

专注电子产业链,坚持深度原创

华强微电子公众号

专注电子产业链,
坚持深度原创

电子元器件原材料采购信息平台

华强电子网公众号

电子元器件原材料采购
信息平台

提高汽车感测装置夜间检视能力 从芯片到机器学习软硬兼施

来源:科技网 发布时间:2019-07-08

摘要: 自动驾驶、先进驾驶支援系统(ADAS)、防撞警报系统等,在夜间、大雨、大雪等情况要如何顺利运作,是汽车科技的一大问题。夜间检视技术应用在自动煞车与防撞系统,更是已投入市场接受检验,并持续进步中,而强化夜间检视功能的方法,可从硬件与软件两方面来着手。



自动驾驶、先进驾驶支援系统(ADAS)、防撞警报系统等,在夜间、大雨、大雪等情况要如何顺利运作,是汽车科技的一大问题。夜间检视技术应用在自动煞车与防撞系统,更是已投入市场接受检验,并持续进步中,而强化夜间检视功能的方法,可从硬件与软件两方面来着手。


多家汽车电子零组件厂,如德国博世(Bosch)、日立汽车系统(Hitachi Automotive Systems),还有以色列新创Mobileye等,都有各自的解方。


提升夜间检视能力的技术,如果不只是搭载于少数高级车,而是要普及到一般驾驶人会购买或使用的轻型车或小型车,就还要考量装置成本的降低,与体积小型化或轻量化。


汽车的检视感测装置,通常有两种方式。一种是单眼摄影机搭配毫米波雷达,另一种则是使用不只一个镜头的立体摄影机(Stereo Camera)。因此,加强夜间检视功能时,可以从提高摄影镜头的入光量、扩展CMOS传感器的动态范围(Dynamic Range)、提升影像处理芯片的处理速度等,硬件方面来着手。


而在软件方面,可以采取的方式是改良影像认识的算法、透过机器学习提升辨识度等。


2018年度(2018/4~2019/3)日本国土交通省,与汽车事故对策机构(NASVA)合作的日本新车评鉴计划(JNCAP)的检测之中,在预防安全效能评鉴方面,针对夜间行人的检视与自动剎车功能的部分,由本田技研(Honda Motor)的N-Van与Insight两款汽车,取得与丰田汽车(Toyota Moter)的Corolla Sport相同的第一名成绩。


博世摄影机与算法调整 强化辨识夜间行人与物体的不同模式


据Nikkei Automotive的整理,本田的这两款汽车,使用的是Honda Sensing系统,采用的硬件装置为单眼摄影机与毫米波雷达,其中摄影机采用德国博世的产品。


本田的Insight,把77GHz毫米波雷达放在车辆最前方的缓冲板与厂牌标志的后方。本田


博世的单眼摄影机,装载于本田的汽车前方挡风玻璃内侧的上方,主要用于感测行人。而77GHz毫米波雷达,以及处理雷达信息的传感器融合(Sensor Fusion)系统,则装载于车辆最前方的缓冲板(Front Bumper)后方。提升夜间检视能力时,就从单眼摄影机与处理的软件两方面下手。


首先是调整摄影机的拍摄方式。摄影机拍摄一个画面时,是拍摄了多个影像来组成。现在,多个影像拍摄时,使用多重曝光的手法,即使在夜间也可以拍到更鲜明的影像,再组成一个画面,就可以更加清楚显示出行人或物体。


之后再将这样的画面,输入规则数据库(Rule Base),让机器学会辨识这张画面的内容属于哪种模式。另外,也要改良辨识画面模式的算法。


调整过后,当夜间开车时车灯只照射到行人的下半身,身体不同部位显示出不同的明暗程度,即使与白天摄影机可拍摄到的情况不同,算法也能更容易辨别。


日立汽车系统强化芯片与机器学习能力


2018年度日本JNCAP检测中,仅次于丰田与本田的,是铃木(Suzuki Motor)的Solio。这款汽车采用铃木的双镜头煞车支援系统,检视感测装置为挡风玻璃内上方的双镜头立体摄影机,摄影机由日立汽车系统出品,影像处理芯片是美国Altera的产品。

铃木的Solio将双镜头立体摄影机装配于挡风玻璃后的上方。铃木


日立汽车系统的立体摄影机所搭载的CMOS影像传感器,将感测的动态范围扩大的话,就能包括白天到晚上、明暗程度不同的对象。动态范围指的是可辨识的讯号,如光或声音等,其最大值与最小值的比率,若这个比率过小,则会造成白天的影像太亮太白,晚上的影像太黑难以看清的情况。


另外影像处理芯片的处理速度也要提升,才能在短时间内处理更多拍摄到的影像。


在软件方面,与搭载博世单眼摄影机的本田车情况相同,同时也要改良算法,才能更容易辨识夜间车灯下光线照射不均的人体。
原本日立汽车系统的摄影机,使用的规则数据库,是由技术研发人员以手动来设定条件,来学习辨识。然而,还是有辨识的条件设定过于复杂,以及很难辨识夜间行人等问题。


解决的方式,是采用机器学习。原本的立体摄影机,是利用左右2个镜头拍摄的不同影响,进行视差计算后制作成从红到绿不同颜色的距离影像,来检测影像中任意形状的对象,再辨识内容,从规则数据库中比对出这个影像的模式是属于行人还是物体。


日立汽车系统的新立体摄影机,在影像辨识的过程中,采用机器学习的方式,可以把大量摄影到的影像用更高的效率来处理,以更快的速度进行比对。


影像辨识用的微处理器储存了数十万枚的学习用影像。立体摄影机拍摄到的影像,就是拿来与数十万枚的学习用影像来作比对,辨识出夜间的行人。以机器学习来进行,会更容易辨识出车灯照射时下半身较明亮的行人影像。


新芯片更适合处理与辨识影像 且符合降低成本与小型化需求


这个过程中,影像档的处理量一定会大幅增加,因此微处理器的效能也要提升。日立汽车系统较旧的立体摄影机,搭载3个微处理器,分别是影像处理的特殊应用IC (ASIC),瑞萨电子出品的SH系列的影像辨识微处理器,以及同样是瑞萨产品的车辆控制用IC。
在2018年度JNCAP检测中表现突出的新立体摄影机,则将影像处理ASIC与影像辨识的微处理器,合并为1个芯片,但影像辨识的核心从1个增加为2个。



新立体摄影机的新芯片,使用的是美国Altera的Cyclone V。它是能将复数功能集中于一个芯片的现场可程序逻辑闸阵列(FPGA),使用安谋(Arm)制核心,同时能进行影像处理与影像辨识,取代原本由瑞萨提供的SH系列的影像辨识微处理器。不过车辆控制IC,仍维持使用瑞萨的原产品。


这样的好处是影像辨识速度加快,且能适用机器学习。另外微处理器从3个减少为2个,降低成本与重量,更能适应低成本与小型化的需求,让高级车之外的一般车款也能使用。


此外,摄影机镜头的光圈F值也调整为更低的数值,加强摄影机的灵敏度,更容易发现夜间的行人。


Mobileye的EyeQ3与EyeQ4


Mobileye的影像处理芯片EyeQ3,目前被多家车厂的自动煞车系统摄影机所采用。而马自达的CX-8与三菱汽车的ek Space两款汽车,都使用了EyeQ3芯片来搭配摄影机,预防安全效能评鉴的白天行人检视效果,成绩都名列前茅。


但在夜间检视的功能上,却落后于使用博世与日立汽车系统产品的本田、铃木、速霸陆等厂。其原因在于EyeQ3的处理速度不足。


不过,Mobileye于2018年新推出的EyeQ4,以及预定于2020年量产的EyeQ5,处理速度都远高于EyeQ3,将可解决夜间检视能力的问题。



然而EyeQ4的成本明显较高,目前只使用在价格500万日圆(4.6万美元)以上的IBM高级轿车上。可能要等到数年以后,EyeQ4的成本才会降低到能够搭载于2万美元左右的量贩型车辆上。


除了新车之外,已经出厂数年以上的旧车,也需要加装防止对撞的警报系统,或防止左右转时卷入人车的警报系统。这种后来加装的警报装置,采用Mobileye的影像处理芯片,现在已经进入市场,在日本于2011年就已开始销售。


负责销售的Japan 21统计,警报系统至2018年6月,累积销售6万台以上,其中出租车与租赁用汽车约3万台,巴士1万台,货车卡车约2万台。据称搭载警报系统后,交通事故的件数减少了88%。


目前这些系统使用的芯片是EyeQ2或EyeQ3。预估在数年后,EyeQ4的价格下降后可搭载于警报系统,加强夜间检视能力。


日本电子信息技术产业协会(Japan Electronics and Information Technology Industries Association;JEITA)于2018年12月发表汽车装载的电子控制装置(Electronic Control Unit;ECU)市场规模预测。其中有关行车安全的ECU,如安全煞车、ADAS、Level 3以上自动驾驶等,将从2017年的2.3兆日圆(210亿美元),至2030年将增加为近4兆日圆(360亿美元)。而车用传感器的部分,如摄影机、雷达等,将从0.9兆日圆(80亿美元),至2030年将增为1.7兆日圆(156亿美元)。


行车安全ECU与传感器ECU,就包含了夜间检视行人并自动煞车或警报系统的配备。随着自动化与安全要求,相关配备的市场规模将持续增加。

声明:本文观点仅代表作者本人,不代表华强商城的观点和立场。如有侵权或者其他问题,请联系本站修改或删除。

社群二维码

关注“华强商城“微信公众号

调查问卷

请问您是:

您希望看到什么内容: