肇觀電子國產(chǎn)車規(guī)AI芯片NE-V163A體驗(yàn)

作為一家車載智能硬件行業(yè)的資深玩家，肇觀電子致力于為主機(jī)廠提供高性能并經(jīng)嚴(yán)格測試的智能汽車零部件。在汽車電子產(chǎn)業(yè)鏈Tier 1 系統(tǒng)集成廠商長期處于國際寡頭壟斷的市場格局下，包括肇觀電子在內(nèi)的國內(nèi)企業(yè)始終創(chuàng)新求生，不斷提升產(chǎn)品競爭力。隨著工信部要求加快國產(chǎn)化替代，加快布局和發(fā)展國產(chǎn)汽車電子芯片，肇觀電子迎來機(jī)遇。 最近上市的一款國產(chǎn)車規(guī)AI芯片NE-V163A由上海肇觀電子研發(fā)。融合了計(jì)算機(jī)視覺算法、AI和深度學(xué)習(xí)等先進(jìn)技術(shù)。

一

硬件配置

先讓我們看一下肇觀電子NE-V163A開發(fā)板的外觀：

▲肇觀電子 NE-V163A開發(fā)板

開發(fā)板預(yù)留了豐富的I/O接口，有音視頻接口、控制和調(diào)試接口、SD存儲(chǔ)卡、USB和網(wǎng)絡(luò)接口等等，都集成在了一塊板子里，基于這些接口可以非常方便地?cái)U(kuò)展出復(fù)雜的功能。值得一提的是：板子上標(biāo)配1 GB內(nèi)存（DDR3200），8GB EMMC，128Mb Flash, 這個(gè)配置相當(dāng)闊綽，和NE-V163A 強(qiáng)悍的性能很配，用來跑重型任務(wù)無需擔(dān)心內(nèi)存。 下面是官方公布的硬件配置說明

開發(fā)板配件考慮很周到，有TF卡、TF轉(zhuǎn)USB外設(shè)、電源、還配備了官方支持的OV4689傳感器連接板，連接板直接插到NE-V163A的MIPI擴(kuò)展連接器的位置。TF卡用來存神經(jīng)網(wǎng)絡(luò)模型，這東西太小了經(jīng)常找不到，廠家比較貼心送了一個(gè)。

廠家提供了快速啟動(dòng)說明書，通過簡單的幾下操作，開發(fā)板的硬件環(huán)境連接無腦完成，和上圖一樣。

二

如何啟動(dòng)

按照官方的說法，只要簡單幾個(gè)步驟就能實(shí)現(xiàn)我們想要實(shí)現(xiàn)的各種功能,先對(duì)主芯片NE-V163A做個(gè)理論鋪墊。

主芯片NE-V163A的規(guī)格介紹不在此贅述。再來啟動(dòng)卡燒錄，使用Windows調(diào)試計(jì)算機(jī)，并安裝串口usb驅(qū)動(dòng)程序： ?CP210x_Universal_Windows_Driver 驅(qū)動(dòng)安裝好后，使用MicroUSB數(shù)據(jù)線連接開發(fā)板和計(jì)算機(jī)，給開發(fā)板上電，在計(jì)算機(jī)的設(shè)備管理器看到了串口通信的端口號(hào)，并記下了該端口號(hào)，接下來通信時(shí)會(huì)用到。

用市面上常見的測試工具PotPlayer播放器 測試rtsp視頻流，看視頻流的分辨率和幀率是否正常，畫面的曝光和顏色是否隨場景變化能夠正常調(diào)整：

ISP處理性能和H.265編碼性能達(dá)到了4K@30fps。畫面穩(wěn)定，無卡頓。 以上是最基本的開機(jī)測試過程，更進(jìn)一步的測試就需要用串口調(diào)試工具登錄到開發(fā)板的系統(tǒng)里，看一下系統(tǒng)的輸出信息。選用SecureCRT，這是嵌入式開發(fā)人員的標(biāo)配工具，專門用于調(diào)試開發(fā)板的。若以前未接觸過肇觀開發(fā)板，建議先看官方提供的技術(shù)資料，熟悉軟硬件環(huán)境。

硬件連接環(huán)境，燒錄TF卡

映像文件路徑選中SDK編譯出來的映像

設(shè)備選擇TF卡

點(diǎn)擊寫入等待燒錄完畢即可

TF卡燒錄完畢后將其插入開發(fā)板；開發(fā)板和計(jì)算機(jī)連接好，通電，按下上電開關(guān)。

打開SecureCRT，選擇快速連接

選擇Serial協(xié)議，選擇在計(jì)算機(jī)設(shè)備管理器記錄的端口號(hào)，其他參數(shù)按照?qǐng)D示設(shè)置

連接后，按下回車，等到出現(xiàn)歡迎信息后，輸入root按回車進(jìn)入

想要讓板子活起來，需要花一點(diǎn)功夫，至少跟著《操作手冊(cè)》插插線，動(dòng)動(dòng)鼠標(biāo)。對(duì)于熟悉海思或類似方案開發(fā)的人員應(yīng)該能比較快速上手，基本風(fēng)格相差不多。

三

開發(fā)效果如何？Demo一下！

啟動(dòng)完以后，要進(jìn)行自我算法的開發(fā)，比如車廠需要肇觀電子提供檢測駕駛員是否有疲勞駕駛或者打電話的智能零部件（DMS），又或者要能夠辨別出道路上直行或左轉(zhuǎn)的標(biāo)線，區(qū)分紅綠燈以提示制動(dòng)或行駛，判斷前車離我們的距離等等(ADAS)，就需要計(jì)算機(jī)視覺幫助進(jìn)行內(nèi)容理解和幾何理解。 肇觀電子為展示NE-V163A開發(fā)板穩(wěn)定的SDK、強(qiáng)大的CNN，良好的ISP等等，開發(fā)板上已內(nèi)置很多demo腳本，只要簡單跑一下就能檢閱結(jié)果了：

這么多寶貝，一看就很讓人激動(dòng)，接下來我們隨手挑兩個(gè)腳本跑一下。

【Demo 1】 運(yùn)行vi_vpss_depth_bt1120_720p_720p_imx291_stitching_fusion （1）使用HDMI線連接NE-V163A開發(fā)板和顯示器。 （2）進(jìn)入/product/media/vi_vpss_depth_venc_rtsp_vo，執(zhí)行對(duì)應(yīng)的腳本： cd/product/media/vi_vpss_depth_venc_rtsp_vo ./vi_vpss_depth_bt1120_720p_720p_imx291_stitching_fusion.sh 【結(jié)果】

顯示器輸出：雙目720p@25fps的實(shí)時(shí)深度視頻+左相機(jī)實(shí)時(shí)視頻+右相機(jī)實(shí)時(shí)視頻。

【Demo 2】

運(yùn)行vi_cnn_venc_rtsp_vo

（1）使用網(wǎng)線連接NE-V163A開發(fā)板和Windows調(diào)試計(jì)算機(jī)。

（2）配置NE-V163A開發(fā)板的網(wǎng)絡(luò)地址和Windows調(diào)試計(jì)算機(jī)在同一個(gè)網(wǎng)段，確保可以ping通，參考腳本如下：

（3）進(jìn)入/product/media/vi_cnn_venc_rtsp_vo，執(zhí)行對(duì)應(yīng)的腳本：

（4）在Windows調(diào)試計(jì)算機(jī)打開PotPlayer（PotPlayer1），輸入rtsp://192.168.30.77:5540/live0，播放主碼流的實(shí)時(shí)視頻，如下所示：

（5）在Windows調(diào)試計(jì)算機(jī)打開另一個(gè)PotPlayer（PotPlayer2），輸入rtsp://192.168.30.77:5541/live1，播放輔碼流的實(shí)時(shí)視頻。

【結(jié)果】

PotPlayer1輸出：實(shí)時(shí)視頻+物體識(shí)別框。

PotPlayer2輸出：實(shí)時(shí)視頻。

SecureCRT控制臺(tái)輸出：CNN的處理時(shí)間和處理結(jié)果。

提示信息很友好，想看的信息都在，而且結(jié)果顯示芯片的CNN性能確實(shí)卓越非凡。

四

性能和壽命

芯片的性能和壽命是產(chǎn)品的關(guān)鍵，需經(jīng)過長期批量測試，一般至少要幾百顆芯片經(jīng)歷過一兩個(gè)冬夏循環(huán)后才能比較靠譜。

AEC-Q100對(duì)于Tier 1 的工程師應(yīng)不陌生，這是汽車電子協(xié)會(huì)AEC (Automotive Electronics Council) 制定和推動(dòng)的一套質(zhì)量控制標(biāo)準(zhǔn)。大致流程是從廠家提供的待測芯片中隨機(jī)抽取幾千顆，對(duì)這些芯片進(jìn)行嚴(yán)格測試后，再逐一進(jìn)行苛刻的質(zhì)量和可靠性確認(rèn)。由于車載電子設(shè)備涉及到用戶生命和財(cái)產(chǎn)安全，因此，相比消費(fèi)和工業(yè)電子設(shè)備而言，車規(guī)級(jí)芯片的測試項(xiàng)目更加繁復(fù)、測試環(huán)境更加惡劣、通過標(biāo)準(zhǔn)更加嚴(yán)苛，對(duì)質(zhì)量系統(tǒng)和安全系統(tǒng)要求極高。AEC-Q100測試涉及幾十項(xiàng)測試要求，被測芯片必需通過全面測試芯片產(chǎn)品的可靠性指標(biāo)，從而確保系統(tǒng)產(chǎn)品在整個(gè)生命周期的可靠性。

在AEC-Q100溫度循環(huán)測試中，NE-V163A芯片在-40°C至+105°C環(huán)境下多次迭代進(jìn)行1000小時(shí)的測試，確保芯片能夠在此測試溫度下保持正常工作；以人為加速老化的方式測試芯片，依然確保芯片在產(chǎn)品使用中的可靠性和壽命。 總結(jié)一下，NE-V163A開發(fā)板套件硬件配置豐富，配件周到, 接口豐富；通過運(yùn)行的兩個(gè)官方提供的腳本demo程序，我們初步認(rèn)為, ISP干凈通透，色彩純正，圖像清晰；H265編碼流暢穩(wěn)定，CNN運(yùn)算實(shí)時(shí)高效，功耗常規(guī)，符合大家和市場對(duì)它的預(yù)期，尤其特別重點(diǎn)說明的是NE-V163A的雙目depth功能，點(diǎn)云圖穩(wěn)定清晰，層次分明，60cm處測試人臉五官深度清晰，精度很高。

原文標(biāo)題：國產(chǎn)車規(guī)AI芯片肇觀電子NE-V163A開發(fā)板新體驗(yàn)

文章出處：【微信公眾號(hào)：佐思汽車研究】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq