虹科Xylon記錄儀在視頻攝像頭的應(yīng)用

背景

車載攝像頭的發(fā)展

視頻攝像頭已經(jīng)逐漸從最初的汽車后視鏡應(yīng)用發(fā)展到智能傳感器，可以檢測道路上的物體，并通過自動剎車和車道保持等駕駛輔助來提高安全性。最近的ADAS/AD的發(fā)展已經(jīng)使攝像頭成為感知汽車周圍環(huán)境不可或缺的工具。雖然激光雷達(dá)和雷達(dá)在傳感器融合中能夠比較可靠地檢測道路障礙物，在全天候提供最大程度的晝夜信息，但實際上只有視頻攝像機(jī)能夠最準(zhǔn)確地識別和分類車輛周圍的物體。

傳統(tǒng)的計算機(jī)視覺系統(tǒng)依賴灰度視頻來識別形狀，并在一定程度上依賴基本色度，例如交通標(biāo)志識別，而基于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)(DNNs)的現(xiàn)代視覺系統(tǒng)往往需要色彩來理解世界。顏色決定了一切，使神經(jīng)網(wǎng)絡(luò)更好地模仿人類大腦。

DNNs必須經(jīng)過訓(xùn)練，才能在特定的ADAS/AD應(yīng)用中以最大的可靠性協(xié)同工作。訓(xùn)練過程使用帶有精確標(biāo)注的數(shù)據(jù)集在算力強(qiáng)大的服務(wù)器上進(jìn)行。

經(jīng)過訓(xùn)練的參數(shù)在ECU控制器中的GPU、FPGA或視覺處理器上進(jìn)行DNNs實現(xiàn)。全彩色視頻需要從指定攝像機(jī)位置和來相同視頻傳感器和鏡頭的獲取，以確保DNNs盡可能可靠。然而，收集這些視頻的過程要困難得多。

車載攝像頭不會產(chǎn)生顏色，它們生成的顏色信息編碼為眾多拜耳編碼變體之一。此外，常用的高動態(tài)范圍(HDR)相機(jī)以不同的曝光方式生成兩到三幀，組合在一個幀中，可以顯示被陽光直射的物體和被放置在極端陰影中的物體。

ISP管道問題

生成高對比度的彩色視頻需要通過一個稱為HDR圖像信號處理(ISP)的專用硬件進(jìn)行處理。HDR ISP管道通常由同一Soc芯片中的DNNs實現(xiàn)，這使得在DNNs輸入處處理的彩色視頻很難用于芯片外的標(biāo)注和機(jī)器學(xué)習(xí)。這一問題可以通過對處理后的彩色視頻進(jìn)行數(shù)據(jù)記錄來解決。由于ISP管道對數(shù)據(jù)執(zhí)行大量像素操作，這種處理需要硬件升級到標(biāo)準(zhǔn)數(shù)據(jù)記錄儀級別。

Xylon

Xylon的logiRECORDER汽車HIL視頻記錄器是一種完美的解決方案。它以可編程FPGA為基礎(chǔ)，實現(xiàn)了芯片級的HDR ISP集成。這確保了經(jīng)過處理的視頻的完整性，并通過其他車輛傳感器的數(shù)據(jù)并行記錄來提供完整的傳感器融合支持。

VOL.1

Xylon

Xylon在設(shè)計可編程芯片方面有超過25年的經(jīng)驗，它的logicBRICKS庫包括用于可編程FPGA和SoC芯片中的ISP處理的IP核。它使Xylon能夠直接在數(shù)據(jù)記錄儀的視頻I/O模塊中實現(xiàn)HDR ISP，動態(tài)地處理原始視頻并記錄彩色視頻。

Xylon ISP處理的視頻與ECU soc ISP處理的視頻之間的差異是非常小的。Xylon與客戶合作，針對特定的攝像機(jī)進(jìn)行ISP調(diào)優(yōu)，并通過DNNs訓(xùn)練實現(xiàn)最佳的視頻質(zhì)量。

VOL.2

Xylon

除了數(shù)據(jù)記錄，logiRECORDER獨特的HIL回放功能可以將記錄數(shù)據(jù)直接注入連接的ECU?？删幊痰腍DR ISP塊集成在logiRECORDER的視頻輸出，相當(dāng)于真實的相機(jī)仿真。而不是簡單地回放記錄的數(shù)據(jù)，logiRECORDER的HDR ISP塊修改視頻以響應(yīng)ECU的命令。這種閉環(huán)HIL與ECU運(yùn)行的固件大大提高了最終產(chǎn)品的質(zhì)量保證。

所提出的解決方案已經(jīng)與幾個Xylon客戶建立了原型，計劃于2022年第三季度推出可量產(chǎn)的解決方案。

虹科車輛網(wǎng)絡(luò)

車輛網(wǎng)絡(luò)事業(yè)部在汽車總線行業(yè)經(jīng)驗超過10年，與世界知名的CAN、LIN總線供應(yīng)商PEAK-System、Lipowsky、IHR等合作10年之久，提供領(lǐng)域內(nèi)頂尖水平的CAN/LIN分析儀和測試方案，同時也提供汽車以太網(wǎng)，時間敏感網(wǎng)絡(luò)(TSN)的仿真測試工具和方案。虹科自主研發(fā)的EOL測試軟硬件系統(tǒng)已經(jīng)在業(yè)內(nèi)完成多次安裝和測試，事業(yè)部所有成員都受過國內(nèi)外專業(yè)培訓(xùn)，并獲得專業(yè)資格認(rèn)證，五位工程師平均5年+技術(shù)經(jīng)驗和水平一致贏得客戶極好口碑。

原文標(biāo)題：虹科Xylon記錄儀-色彩決定一切

文章出處：【微信公眾號：廣州虹科電子科技有限公司】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。