虹科Xylon記錄儀-色彩決定一切

背景

車載攝像頭的發(fā)展

視頻攝像頭已經(jīng)逐漸從最初的汽車后視鏡應用發(fā)展到智能傳感器，可以檢測道路上的物體，并通過自動剎車和車道保持等駕駛輔助來提高安全性。最近的ADAS/AD的發(fā)展已經(jīng)使攝像頭成為感知汽車周圍環(huán)境不可或缺的工具。雖然激光雷達和雷達在傳感器融合中能夠比較可靠地檢測道路障礙物，在全天候提供最大程度的晝夜信息，但實際上只有視頻攝像機能夠最準確地識別和分類車輛周圍的物體。

傳統(tǒng)的計算機視覺系統(tǒng)依賴灰度視頻來識別形狀，并在一定程度上依賴基本色度，例如交通標志識別，而基于機器學習和深度神經(jīng)網(wǎng)絡(DNNs)的現(xiàn)代視覺系統(tǒng)往往需要色彩來理解世界。顏色決定了一切，使神經(jīng)網(wǎng)絡更好地模仿人類大腦。

DNNs必須經(jīng)過訓練，才能在特定的ADAS/AD應用中以最大的可靠性協(xié)同工作。訓練過程使用帶有精確標注的數(shù)據(jù)集在算力強大的服務器上進行。

經(jīng)過訓練的參數(shù)在ECU控制器中的GPU、FPGA或視覺處理器上進行DNNs實現(xiàn)。全彩色視頻需要從指定攝像機位置和來相同視頻傳感器和鏡頭的獲取，以確保DNNs盡可能可靠。然而，收集這些視頻的過程要困難得多。

車載攝像頭不會產(chǎn)生顏色，它們生成的顏色信息編碼為眾多拜耳編碼變體之一。此外，常用的高動態(tài)范圍(HDR)相機以不同的曝光方式生成兩到三幀，組合在一個幀中，可以顯示被陽光直射的物體和被放置在極端陰影中的物體。

ISP管道問題 ?

生成高對比度的彩色視頻需要通過一個稱為HDR圖像信號處理(ISP)的專用硬件進行處理。HDR ISP管道通常由同一Soc芯片中的DNNs實現(xiàn)，這使得在DNNs輸入處處理的彩色視頻很難用于芯片外的標注和機器學習。這一問題可以通過對處理后的彩色視頻進行數(shù)據(jù)記錄來解決。由于ISP管道對數(shù)據(jù)執(zhí)行大量像素操作，這種處理需要硬件升級到標準數(shù)據(jù)記錄儀級別。

Xylon的logiRECORDER汽車HIL視頻記錄器是一種完美的解決方案。它以可編程FPGA為基礎，實現(xiàn)了芯片級的HDR ISP集成。這確保了經(jīng)過處理的視頻的完整性，并通過其他車輛傳感器的數(shù)據(jù)并行記錄來提供完整的傳感器融合支持。

Xylon在設計可編程芯片方面有超過25年的經(jīng)驗，它的logicBRICKS庫包括用于可編程FPGA和SoC芯片中的ISP處理的IP核。它使Xylon能夠直接在數(shù)據(jù)記錄儀的視頻I/O模塊中實現(xiàn)HDR ISP，動態(tài)地處理原始視頻并記錄彩色視頻。

Xylon ISP處理的視頻與ECU soc ISP處理的視頻之間的差異是非常小的。Xylon與客戶合作，針對特定的攝像機進行ISP調優(yōu)，并通過DNNs訓練實現(xiàn)最佳的視頻質量。

除了數(shù)據(jù)記錄，logiRECORDER獨特的HIL回放功能可以將記錄數(shù)據(jù)直接注入連接的ECU。可編程的HDR ISP塊集成在logiRECORDER的視頻輸出，相當于真實的相機仿真。而不是簡單地回放記錄的數(shù)據(jù)，logiRECORDER的HDR ISP塊修改視頻以響應ECU的命令。這種閉環(huán)HIL與ECU運行的固件大大提高了最終產(chǎn)品的質量保證。

所提出的解決方案已經(jīng)與幾個Xylon客戶建立了原型，計劃于2022年第三季度推出可量產(chǎn)的解決方案。