當(dāng)前的自動駕駛和輔助駕駛系統(tǒng)中,激光雷達(dá)和毫米波雷達(dá)等傳感器已經(jīng)屢見不鮮,但圖像傳感器主攻的攝像頭視覺系統(tǒng)依然未被任何一家車廠拋棄。反觀特斯拉,更是一直堅持純視覺方案。那么圖像傳感器究竟有何優(yōu)勢,又是如何解決自動駕駛帶來的挑戰(zhàn)的?
不同位置的汽車圖像傳感器
單從傳感器數(shù)量上來看,圖像傳感器無疑是ADAS和AD應(yīng)用中用在車身上最多的傳感器,遍布車身各個位置。但在像素、動態(tài)范圍等參數(shù)上,這些圖像傳感器往往不會統(tǒng)一,那么它們的位置是如何決定其配置的呢?安森美(onsemi)中國汽車市場現(xiàn)場應(yīng)用經(jīng)理陳力答道,遠(yuǎn)距離攝像頭例如前視/后視,要求高靈敏度,高動態(tài)范圍,抑制LED閃爍和高像素數(shù),以滿足長距離小障礙物探測需要,目前常用8百萬像素;而近距離攝像頭例如環(huán)視,要求高靈敏度,中等動態(tài)范圍和中等像素數(shù),主要探測車身周圍的場景,目前常用到2~3百萬像素;如果是抓拍高速運(yùn)動場景的攝像頭,則需要考慮采用全局快門圖像傳感器。
除了車外用于ADAS和AD的圖像傳感器外,用于環(huán)視和監(jiān)控的傳統(tǒng)攝像頭應(yīng)用也要用到圖像傳感器,但它們的參數(shù)需求同樣存在差異。環(huán)視攝像頭為人眼視覺+低速應(yīng)用,ADAS是機(jī)器視覺+高速應(yīng)用。后者強(qiáng)調(diào)傳感器的功能安全,低照性能,動態(tài)范圍,空間解析力和抗LED閃爍功能要求。
車內(nèi)監(jiān)控也分駕駛員監(jiān)控(DMS)和乘客監(jiān)控(OMS),出于安全考慮,歐盟和中國均出臺了相關(guān)政策,強(qiáng)制要求部分商用車型中裝配DMS系統(tǒng)。OMS系統(tǒng)雖然面世不算久,但在安全帶檢測、車內(nèi)乘客滯留提醒等應(yīng)用上同樣起到至關(guān)重要的作用。這兩大車內(nèi)監(jiān)控系統(tǒng)中,DMS側(cè)重于機(jī)器視覺,需要時刻關(guān)注駕駛員的狀態(tài),因此往往用到黑白的全局快門圖像傳感器。而OMS則側(cè)重于記錄功能,可用彩色或RGB-IR的滾動快門傳感器。
LED閃爍問題如何抑制
汽車圖像傳感器最常見的挑戰(zhàn)之一就是LED閃爍抑制(LFM),就像人眼對于LED屏幕的閃爍的感知一樣,如今的手機(jī)常常用到DC調(diào)光和PWM的方案。而汽車圖像傳感器就像是車上的眼睛,對車外的LED光線同樣會有所感應(yīng),那么汽車圖像傳感器又是如何解決LFM問題,改變車燈的頻率有沒有可能改善LED閃爍呢?
陳力給出了這一問題的解釋:采用DC調(diào)光方式的LED沒有閃爍的問題,此時LED一直常亮,僅通過調(diào)幅來調(diào)節(jié)亮度,整個過程中燈并沒有熄滅的狀態(tài); 而另外一種更常見的LED燈是PWM調(diào)頻驅(qū)動方式,即以一種一明一暗的光脈沖方式在照明,脈沖閃爍頻率從幾十到幾百赫茲都有可能,這種閃爍是照明場景客觀存在的現(xiàn)象,雖然人眼通??床坏剑鼙粓D像傳感器所感知。從某種角度來說,圖像傳感器輸出的結(jié)果更客觀真實,而眼睛反倒欺騙了你。光脈沖的閃爍頻率取決于PWM頻率,其亮度取決于占空比,不同LED燈通常頻率也不同。抑制LED閃爍常見的方法是增大曝光時間,曝光時間越長,每行像素能抓到更多光脈沖,從而削弱了閃爍的強(qiáng)度,但曝光時間越長,帶來的運(yùn)動模糊也越明顯。同理,增加LED燈的頻率也可以減小LED閃爍,但LED燈頻率往往不可控,實際場景中,LED閃爍不僅僅出現(xiàn)在車燈上,環(huán)境中的LED照明都存在類似閃爍,例如信號燈,廣告燈等等。
高動態(tài)范圍(HDR)和超級曝光
動態(tài)范圍在汽車圖像傳感器上有著非常高的要求,真實世界場景下的動態(tài)范圍極端情況下可以達(dá)到140 dB,所以這類產(chǎn)品往往都要做到120 dB以上,目前傳統(tǒng)HDR采用的多重曝光合并方式會產(chǎn)生高速運(yùn)動偽影的現(xiàn)象,這對ADAS應(yīng)用中的算法提出了一定要求。
為了解決同時做到LFM和HDR又能保證成像質(zhì)量的挑戰(zhàn),安森美的Hayabusa系列汽車圖像傳感器采用了超級曝光像素的技術(shù)。通過擴(kuò)展像素容量,可以做到長時間曝光捕捉脈沖光而不會過飽和,并將動態(tài)范圍擴(kuò)展至線性像素容量的5倍。Hayabusa只需單次曝光就能在兼顧LFM的情況下實現(xiàn)95 dB的動態(tài)范圍。陳力提到,在多次曝光合并技術(shù)基礎(chǔ)上,傳統(tǒng)像素需要3次曝光來實現(xiàn)120 dB的動態(tài)范圍,而Hayabusa只需要兩次曝光合并就可以實現(xiàn)120 dB的動態(tài)范圍,大大改善了運(yùn)動偽影問題。與大小像素技術(shù)相比,超級曝光沒有兩種像素結(jié)構(gòu)帶來的巨大的光學(xué)設(shè)計挑戰(zhàn),即邊緣像素性能急劇惡化和嚴(yán)重的像素間串?dāng)_,也不會因為校準(zhǔn)和去噪而導(dǎo)致細(xì)節(jié)與分辨率的損失。
結(jié)語
面對其他高性能傳感器的競爭,圖像傳感器憑借其成本、大小等優(yōu)勢依然牢牢占據(jù)著汽車市場。這一視覺方案憑借LFM和HDR等特性,以及超級曝光等技術(shù)的創(chuàng)新,依然在其弱項上進(jìn)行突破,適配更多的駕駛場景。
不同位置的汽車圖像傳感器
車身上不同位置的圖像傳感器 / 安森美
單從傳感器數(shù)量上來看,圖像傳感器無疑是ADAS和AD應(yīng)用中用在車身上最多的傳感器,遍布車身各個位置。但在像素、動態(tài)范圍等參數(shù)上,這些圖像傳感器往往不會統(tǒng)一,那么它們的位置是如何決定其配置的呢?安森美(onsemi)中國汽車市場現(xiàn)場應(yīng)用經(jīng)理陳力答道,遠(yuǎn)距離攝像頭例如前視/后視,要求高靈敏度,高動態(tài)范圍,抑制LED閃爍和高像素數(shù),以滿足長距離小障礙物探測需要,目前常用8百萬像素;而近距離攝像頭例如環(huán)視,要求高靈敏度,中等動態(tài)范圍和中等像素數(shù),主要探測車身周圍的場景,目前常用到2~3百萬像素;如果是抓拍高速運(yùn)動場景的攝像頭,則需要考慮采用全局快門圖像傳感器。
安森美中國汽車市場現(xiàn)場應(yīng)用經(jīng)理陳力 / 安森美
除了車外用于ADAS和AD的圖像傳感器外,用于環(huán)視和監(jiān)控的傳統(tǒng)攝像頭應(yīng)用也要用到圖像傳感器,但它們的參數(shù)需求同樣存在差異。環(huán)視攝像頭為人眼視覺+低速應(yīng)用,ADAS是機(jī)器視覺+高速應(yīng)用。后者強(qiáng)調(diào)傳感器的功能安全,低照性能,動態(tài)范圍,空間解析力和抗LED閃爍功能要求。
車內(nèi)監(jiān)控也分駕駛員監(jiān)控(DMS)和乘客監(jiān)控(OMS),出于安全考慮,歐盟和中國均出臺了相關(guān)政策,強(qiáng)制要求部分商用車型中裝配DMS系統(tǒng)。OMS系統(tǒng)雖然面世不算久,但在安全帶檢測、車內(nèi)乘客滯留提醒等應(yīng)用上同樣起到至關(guān)重要的作用。這兩大車內(nèi)監(jiān)控系統(tǒng)中,DMS側(cè)重于機(jī)器視覺,需要時刻關(guān)注駕駛員的狀態(tài),因此往往用到黑白的全局快門圖像傳感器。而OMS則側(cè)重于記錄功能,可用彩色或RGB-IR的滾動快門傳感器。
LED閃爍問題如何抑制
汽車圖像傳感器最常見的挑戰(zhàn)之一就是LED閃爍抑制(LFM),就像人眼對于LED屏幕的閃爍的感知一樣,如今的手機(jī)常常用到DC調(diào)光和PWM的方案。而汽車圖像傳感器就像是車上的眼睛,對車外的LED光線同樣會有所感應(yīng),那么汽車圖像傳感器又是如何解決LFM問題,改變車燈的頻率有沒有可能改善LED閃爍呢?
有無LFM的對比 / 安森美
陳力給出了這一問題的解釋:采用DC調(diào)光方式的LED沒有閃爍的問題,此時LED一直常亮,僅通過調(diào)幅來調(diào)節(jié)亮度,整個過程中燈并沒有熄滅的狀態(tài); 而另外一種更常見的LED燈是PWM調(diào)頻驅(qū)動方式,即以一種一明一暗的光脈沖方式在照明,脈沖閃爍頻率從幾十到幾百赫茲都有可能,這種閃爍是照明場景客觀存在的現(xiàn)象,雖然人眼通??床坏剑鼙粓D像傳感器所感知。從某種角度來說,圖像傳感器輸出的結(jié)果更客觀真實,而眼睛反倒欺騙了你。光脈沖的閃爍頻率取決于PWM頻率,其亮度取決于占空比,不同LED燈通常頻率也不同。抑制LED閃爍常見的方法是增大曝光時間,曝光時間越長,每行像素能抓到更多光脈沖,從而削弱了閃爍的強(qiáng)度,但曝光時間越長,帶來的運(yùn)動模糊也越明顯。同理,增加LED燈的頻率也可以減小LED閃爍,但LED燈頻率往往不可控,實際場景中,LED閃爍不僅僅出現(xiàn)在車燈上,環(huán)境中的LED照明都存在類似閃爍,例如信號燈,廣告燈等等。
高動態(tài)范圍(HDR)和超級曝光
動態(tài)范圍在汽車圖像傳感器上有著非常高的要求,真實世界場景下的動態(tài)范圍極端情況下可以達(dá)到140 dB,所以這類產(chǎn)品往往都要做到120 dB以上,目前傳統(tǒng)HDR采用的多重曝光合并方式會產(chǎn)生高速運(yùn)動偽影的現(xiàn)象,這對ADAS應(yīng)用中的算法提出了一定要求。
超級曝光像素與大小像素的對比 / 安森美
為了解決同時做到LFM和HDR又能保證成像質(zhì)量的挑戰(zhàn),安森美的Hayabusa系列汽車圖像傳感器采用了超級曝光像素的技術(shù)。通過擴(kuò)展像素容量,可以做到長時間曝光捕捉脈沖光而不會過飽和,并將動態(tài)范圍擴(kuò)展至線性像素容量的5倍。Hayabusa只需單次曝光就能在兼顧LFM的情況下實現(xiàn)95 dB的動態(tài)范圍。陳力提到,在多次曝光合并技術(shù)基礎(chǔ)上,傳統(tǒng)像素需要3次曝光來實現(xiàn)120 dB的動態(tài)范圍,而Hayabusa只需要兩次曝光合并就可以實現(xiàn)120 dB的動態(tài)范圍,大大改善了運(yùn)動偽影問題。與大小像素技術(shù)相比,超級曝光沒有兩種像素結(jié)構(gòu)帶來的巨大的光學(xué)設(shè)計挑戰(zhàn),即邊緣像素性能急劇惡化和嚴(yán)重的像素間串?dāng)_,也不會因為校準(zhǔn)和去噪而導(dǎo)致細(xì)節(jié)與分辨率的損失。
結(jié)語
面對其他高性能傳感器的競爭,圖像傳感器憑借其成本、大小等優(yōu)勢依然牢牢占據(jù)著汽車市場。這一視覺方案憑借LFM和HDR等特性,以及超級曝光等技術(shù)的創(chuàng)新,依然在其弱項上進(jìn)行突破,適配更多的駕駛場景。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
電動車
+關(guān)注
關(guān)注
73文章
2975瀏覽量
113853 -
圖像傳感器
+關(guān)注
關(guān)注
68文章
1862瀏覽量
129405
發(fā)布評論請先 登錄
相關(guān)推薦
電動車用萬能控制器不用霍爾可以嗎
電動車的控制器是電動車系統(tǒng)中非常重要的一個部件,它負(fù)責(zé)控制電機(jī)的啟動、運(yùn)行、停止以及速度調(diào)節(jié)等功能。霍爾傳感器(Hall sensor)是控制器
索尼圖像傳感器芯片有哪些
索尼(Sony)是全球領(lǐng)先的圖像傳感器制造商之一,其產(chǎn)品廣泛應(yīng)用于數(shù)碼相機(jī)、智能手機(jī)、監(jiān)控攝像頭等多個領(lǐng)域。索尼的圖像傳感器技術(shù)一直處于行業(yè)領(lǐng)先地位,不斷推出創(chuàng)新的產(chǎn)品和技術(shù)。 一、索
圖像傳感器的參數(shù)有哪些
圖像傳感器是現(xiàn)代電子設(shè)備中不可或缺的組成部分,廣泛應(yīng)用于手機(jī)、相機(jī)、監(jiān)控系統(tǒng)、醫(yī)療成像、工業(yè)檢測等領(lǐng)域。它負(fù)責(zé)將光信號轉(zhuǎn)換為電信號,從而實現(xiàn)圖像的捕獲和處理。 一、圖像
圖像傳感器的探測能力與哪些因素有關(guān)
圖像傳感器的探測能力與相關(guān)因素 圖像傳感器是現(xiàn)代電子成像系統(tǒng)中的核心部件,它能夠?qū)⒐庑盘栟D(zhuǎn)換為電信號,進(jìn)而生成數(shù)字圖像。隨著科技的不斷進(jìn)步,
圖像傳感器的原理是什么?
圖像傳感器是一種將光信號轉(zhuǎn)換為電信號的設(shè)備,廣泛應(yīng)用于攝影、視頻監(jiān)控、醫(yī)學(xué)成像、天文觀測等領(lǐng)域。圖像傳感器的原理涉及到光電效應(yīng)、電荷存儲、信號放大、模數(shù)轉(zhuǎn)換等多個方面。 一、
圖像傳感器是依靠什么感光的
圖像傳感器是一種將光學(xué)圖像轉(zhuǎn)換成電子信號的設(shè)備,廣泛應(yīng)用于數(shù)字?jǐn)z影、視頻監(jiān)控、醫(yī)學(xué)成像、天文觀測等領(lǐng)域。圖像傳感器的工作原理基于光的感光性,
簡單認(rèn)識CMOS圖像傳感器
CMOS(Complementary Metal-Oxide-Semiconductor)圖像傳感器,中文學(xué)名為互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器,是一種典型的固體成像
圖像傳感器龍頭企業(yè)解讀 在國產(chǎn)CMOS圖像傳感器賽道清華系霸榜
圖像傳感器技術(shù)并不像其他傳感器賽道一樣有眾多細(xì)分領(lǐng)域,傳感器企業(yè)成長性極高,譬如韋爾股份,憑借圖像傳感器
未來已來,多傳感器融合感知是自動駕駛破局的關(guān)鍵
數(shù)據(jù),與現(xiàn)有主流AI計算平臺完全兼容,它可以復(fù)用已有的圖像數(shù)據(jù)樣本,免除了產(chǎn)品的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需要完全重新采集的困擾。
“多維像素”數(shù)據(jù)組合示意圖
昱感微的融合感知技術(shù)采用最前沿的 多傳感器前
發(fā)表于 04-11 10:26
傳感器數(shù)據(jù)融合算法python代碼
傳感器數(shù)據(jù)融合算法是一種將多個傳感器收集到的數(shù)據(jù)合并到一個一致和準(zhǔn)確的表示中的技術(shù)。這種算法的目的是提高數(shù)據(jù)精確性和可靠性,從而增強(qiáng)對環(huán)境或目標(biāo)的理解和控制。在本文中,我們將詳細(xì)討論傳感器
多傳感器數(shù)據(jù)融合算法最關(guān)鍵的是
多傳感器數(shù)據(jù)融合是一個綜合處理多傳感器數(shù)據(jù)的過程,以提高對環(huán)境或目標(biāo)的感知和解釋能力。在這個過程中,各種數(shù)據(jù)融合算法起著至關(guān)重要的作用。本文將深入探討多
什么是CMOS圖像傳感器?CMOS圖像傳感器的基本名詞解釋
Sensor,作為攝像頭模組最重要的一部分,其總價值占比超過50%,在攝像頭模組及相關(guān)行業(yè),提到“Sensor”這個詞,一般代指圖像傳感器。目前,除了一些特殊領(lǐng)域,CMOS圖像傳感器占
傳統(tǒng)基于幀的圖像傳感器輸出和基于事件的視覺傳感器輸出對比
(EVS)。這兩款專為工業(yè)設(shè)備設(shè)計的傳感器實現(xiàn)了業(yè)界最小(相比其它堆疊式基于事件的視覺傳感器)的4.86 μm像素尺寸,并且只有在感知到場景變化時才會進(jìn)行捕捉記錄。 ? 01 事件相機(jī)概述 ? 傳統(tǒng)基于幀的圖像
評論