面向未來智能駕駛的嵌入式視覺的探索與思考

感知系統(tǒng)包括視覺系統(tǒng)在內(nèi)，未來隨著從ADAS到自動(dòng)駕駛的逐步過渡，對(duì)感知系統(tǒng)會(huì)有一個(gè)巨大的變化。一方面，之前ADAS更多關(guān)注點(diǎn)在解決誤報(bào)率方面，而未來自動(dòng)駕駛行業(yè)會(huì)更加關(guān)注漏檢率。

近日，在上海舉辦的2018高工智能汽車開發(fā)者大會(huì)上海站上，來自國(guó)內(nèi)雙目嵌入式視覺初創(chuàng)公司元橡科技CTO任杰表示，未來自動(dòng)駕駛對(duì)安全性要求更高，不能漏報(bào)，一旦漏報(bào)就是一個(gè)非常嚴(yán)重的交通事故。比如除了車、人等常見的一些障礙物，未來車輛感知系統(tǒng)必須檢測(cè)到全類型的障礙物。

傳統(tǒng)的單目視覺，首先依賴于大量的樣本，對(duì)于中國(guó)這樣的復(fù)雜道路場(chǎng)景，就要采集更多有特色的樣本，誰采集的數(shù)據(jù)更多就優(yōu)勢(shì)越大。同時(shí)，需要對(duì)圖像有一個(gè)精準(zhǔn)的識(shí)別，只有識(shí)別了以后才能判斷這個(gè)物體大概離車有多遠(yuǎn)。

因此，單目視覺系統(tǒng)如果不知道這是一個(gè)什么障礙物，就無法知道它離車有多遠(yuǎn)。所以，傳統(tǒng)的單目視覺取決于識(shí)別圖像的精準(zhǔn)度。而對(duì)于雙目視覺系統(tǒng)來說，不管認(rèn)不認(rèn)識(shí)這個(gè)物體，它的點(diǎn)云就在三維空間里，首先可以保證車輛安全，這是雙目的最大優(yōu)勢(shì)之一。

雙目做ADAS不依賴樣本庫，測(cè)距直接通過簡(jiǎn)單的規(guī)則——將路面以上凸起的物體都可視為障礙物，整個(gè)算法是全白盒化的，不會(huì)存在識(shí)別不到的問題。而且一旦出現(xiàn)問題，就可以直接找到原因，不會(huì)像單目深度學(xué)習(xí)算法是黑盒的邏輯。

此外，傳統(tǒng)的單目視覺最大瓶頸在于天氣變化，尤其是雨霧及夜晚環(huán)境。而雙目識(shí)別是一個(gè)全類型環(huán)境識(shí)別，以目前的主流自適應(yīng)巡航ACC為例，雙目視覺可以減少光照變化帶來的影響。

比如，車輛在過隧道的時(shí)候它的顏色、紋理發(fā)生了非常大的變化，可能從一輛白車變成黑車，對(duì)于攝像頭跟蹤來講是一個(gè)很大的難度。雙目視覺可以很大的程度上做彌補(bǔ)，因?yàn)樵谌S空間上這個(gè)點(diǎn)云始終存在的。甚至是一些相對(duì)環(huán)境惡劣的天氣，由于雙目可以獲取深度信息，在很大程度上可以克服此類情況。

但此前，國(guó)內(nèi)做雙目立體視覺的公司并不多，之所以沒有被大范圍應(yīng)用于自動(dòng)駕駛，主要是受制于硬件條件的不成熟。

在任杰看來，做立體相機(jī)的量產(chǎn)落地，幾個(gè)關(guān)鍵的指標(biāo)要達(dá)到，包括尺寸、功耗、成本、性能等。以元橡科技的產(chǎn)品為例，尺寸可以做到目前世界最小的車載立體視覺相機(jī)。性能方面，100米測(cè)距范圍保持誤差5%以內(nèi)，完全可以達(dá)到883要求，同時(shí)做到功耗低于5W，延時(shí)小于3ms。

雙目的攝像頭是一個(gè)天然融合的傳感器，它將深度學(xué)習(xí)和圖像學(xué)習(xí)糅合，使得后續(xù)的處理速度會(huì)非?？?。目前，元橡科技使用FPGA的方式，將傳感器深度圖像生成的時(shí)間壓縮到了毫秒級(jí)別，這意味著處理解析圖像數(shù)據(jù)，得出結(jié)果幾乎是實(shí)時(shí)的，給控制決策部分留下了非常充裕的時(shí)間。

立體視覺的另外一個(gè)難點(diǎn)就是兩個(gè)相機(jī)的一致性問題，就像天下沒有兩片相同的葉子，哪怕是工業(yè)流水線上生產(chǎn)出來的相機(jī)，也存在一定的差異性。

因此，為了使得立體相機(jī)達(dá)到同步拍攝，系統(tǒng)的軟件結(jié)構(gòu)、運(yùn)行機(jī)制都需要進(jìn)行軟硬件調(diào)整，才能達(dá)到統(tǒng)一性。雙目跟單目最大的區(qū)別是，前者需要軟硬件的聯(lián)合優(yōu)化，這也是為什么元橡科技選擇要做軟硬件一體的解決方案商。

雙目攝像頭的方案，CMOS融合圖像數(shù)據(jù)需要相匹配的ISP處理，現(xiàn)有的ISP方案都是針對(duì)單目的，不太適合做雙目的處理，所以元橡科技從ISP這個(gè)硬骨頭開始啃，爭(zhēng)取在相機(jī)的每個(gè)處理單元做到最優(yōu)。

任杰透露，公司從去年已經(jīng)在研發(fā)芯片，預(yù)計(jì)在今年第四季度可以對(duì)外發(fā)布自主研發(fā)的雙目圖像處理芯片。

而在國(guó)際上，斯巴魯1989年開始對(duì)立體攝像頭（即雙目攝像頭）技術(shù)進(jìn)行研究，并于1999年把該技術(shù)應(yīng)用（命名為EyeSight）到量產(chǎn)車的ADAS系統(tǒng)之上。在新的第三代ADAS系統(tǒng)中，加入制動(dòng)控制車速的功能成為了一個(gè)重要設(shè)計(jì)目標(biāo)，以提升主動(dòng)巡航控制的舒適性。

后來隨著毫米波雷達(dá)技術(shù)逐漸成熟，斯巴魯通過融合立體攝像頭數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)提升了ADAS系統(tǒng)的工作穩(wěn)定性及對(duì)極端天氣的適應(yīng)能力。

目前EyeSight已經(jīng)發(fā)展到3.5代，但僅限于日本市場(chǎng)(其他市場(chǎng)為第三代)。第三代EyeSight功能包含PCB預(yù)防碰撞剎車系統(tǒng)、ACC主動(dòng)車距定速控制系統(tǒng)、PCTM預(yù)防碰撞油門控制系統(tǒng)、LDW車道偏移警示系統(tǒng)、LSW車道偏擺警示系統(tǒng)、LVSA前車駛離警示系統(tǒng)這六大功能。

2017年3月，歐洲Euro-NCAP（安全評(píng)鑒協(xié)會(huì)）發(fā)布了新一系列包擴(kuò)奧迪、豐田、路虎等在內(nèi)的車型的碰撞測(cè)試結(jié)果，其中路虎的發(fā)現(xiàn)車型獲得了五星。獲得五星的路虎車型，搭載的主動(dòng)安全系統(tǒng)中，前向采用了雙目攝像頭的方案，而這個(gè)方案也成為了它能脫穎而出的關(guān)鍵。

談及大規(guī)模量產(chǎn)，元橡科技希望將來把產(chǎn)品做成一個(gè)標(biāo)準(zhǔn)件，然后批量給主機(jī)廠、自動(dòng)駕駛公司使用，而不是忙不迭的做一個(gè)又一個(gè)的定制項(xiàng)目。同時(shí)，未來希望做全球頂級(jí)的雙目視覺軟硬件方案提供商。