Jacinto攝像頭接入與ISP處理

ADAS的技術(shù)使駕乘體驗(yàn)更舒適、更安全、更智能。 TI JacintoTDA4VM&DRA829處理器是TI最新一代的處理器，以先進(jìn)的高集成度和多核異構(gòu)的高性能處理能力，展現(xiàn)了其靈活的處理能力和極具競(jìng)爭(zhēng)力的成本，為ADAS技術(shù)實(shí)現(xiàn)提供了極具競(jìng)爭(zhēng)力的平臺(tái)。 在ADAS的應(yīng)用中，攝像頭作為感知模塊，越來(lái)越多地?cái)z像頭被部署在應(yīng)用中，感知能力的大小對(duì)應(yīng)用來(lái)說(shuō)至關(guān)重要，因此，本文將介紹Jacinto7處理器攝像頭接入和ISP的處理能力。

Jacinto7 圖像接入

Jacinto7 TDA4VM/DRA829攝像頭接入子系統(tǒng)包含了2x MIPI CSI-2接口 和video processing front end（VPFE），可以支持多個(gè)攝像頭的接入。

圖1 ： TI Jacinto7攝像頭接入子系統(tǒng)

對(duì)于MIPI-CSI2接口支持情況如下：

2 個(gè) MIPI D-PHY，帶 4 個(gè)通道（2.5Gbps/通道）

支持8個(gè)帶反串器集線器的傳感器

2x 攝像機(jī)適配層 （CAL）

– MIPI CSI2 的協(xié)議棧

–支持所有MIPI支持的格式

原始/DPCM/YUV

原始 8、10、12、14、16 位

– 伴奏或線性

從 SDRAM 并發(fā)讀取像素流

– I/F 端口流量的實(shí)時(shí)優(yōu)先級(jí)

VPFE輸入接口模塊用于接收原始圖像、視頻數(shù)據(jù)、YUV等數(shù)字圖像數(shù)據(jù)。 VPFE支持的功能如下：

支持傳統(tǒng)的拜耳模式和Foveon傳感器格式。

– 為外部定時(shí)發(fā)生器生成 HD/VD 定時(shí)信號(hào)和現(xiàn)場(chǎng) ID，或可與外部定時(shí)發(fā)生器同步

–支持逐行掃描（非隔行）和隔行掃描傳感器

– 支持高達(dá) 110-MHz 的傳感器時(shí)鐘。

– 支持 REC656/CCIR-656 標(biāo)準(zhǔn)（YCbCr 422 格式，8 位或 16 位）。

– 支持 YCbCr 422 格式，8 位或 16 位，帶離散 HSYNC 和 VSYNC 信號(hào)。

– 支持高達(dá) 16 位輸入。

因此，從圖像接入來(lái)說(shuō)，TDA4VM/DRA829 MIPI-CSI2的每個(gè)接口有10Gbps 的帶寬，兩個(gè)MIPI-CSI2有20Gbps的帶寬，每個(gè)CSI2接口支持16個(gè)Virtual Channels，因此兩個(gè)CSI2接口可以支持多達(dá)32路攝像頭。 EVM可以方便展示多達(dá)8路2M攝像頭的接入。

Jacinto7 圖像處理

Jacinto7集成了視覺預(yù)處理加速器Vision Pre-processing Accelerator（VPAC）, 提供了常用的圖像處理功能，比如顏色處理和增強(qiáng)、噪聲過(guò)濾、寬動(dòng)態(tài)（WDR）、鏡頭畸變矯正、圖像金字塔、圖像縮放等。 基于TI 超過(guò)20年在數(shù)百萬(wàn)種產(chǎn)品中部署的多個(gè)Soc系統(tǒng)，TI發(fā)布了最新一代的成像系統(tǒng)，即德州儀器第七代ISP，并被集成在了Jacinto7 TDA4VM和DRA829處理器。

如圖2 VPAC系統(tǒng)框圖所示，由以下主要模塊組成：

視頻成像子系統(tǒng) （VISS）

鏡頭畸變校正 （LDC）

雙線性噪聲濾波器 （BNF）

多尺度 （MSC）

圖2 ： TI Jacinto7 VPAC 系統(tǒng)框圖

VISS（Video Imaging Subsystem）模塊主要處理RAW數(shù)據(jù)并輸出RGB或YUV圖像。 其包含RAW FE（Raw Front End）、NFS（Noise Filter）、GLBCE（Global and Local Brightness Contrast Enhancement）、FCP(Flex Color Processing)等模塊。

LDC（Lens Distortion Correction）主要對(duì)圖像進(jìn)行畸變矯正。

MSC（Multi-Scalar）主要功能是對(duì)圖像進(jìn)行縮放。

BNF（Bilateral Noise Filtering）雙邊濾波去除噪聲。

TDA4VM的VPAC的處理能力是720MP/s，因此理論上可以對(duì)24M RAW攝像頭的數(shù)據(jù)進(jìn)行處理。

杰辛托7 用例

Jacinto7 的用戶經(jīng)常會(huì)問(wèn)TDA4VM/DRA829能夠接幾個(gè)攝像頭，有幾個(gè)ISP，ISP能夠處理幾路攝像頭的問(wèn)題。 通常我們經(jīng)常使用MIPI-CSI2接收?qǐng)D像，使用VPAC里面VISS對(duì)RAW圖像進(jìn)行處理。 TDA4VM/DRA829處理器有兩個(gè)CSI-2接口，一個(gè)ISP， ISP可以分時(shí)處理多路圖像， 其吞吐量如下表所示：

PSDKRA 多攝像頭用例 1

Jacinto7 SDK支持Multi Camera Use Case，其系統(tǒng)框圖如圖3所示，該Demo同時(shí)可以接入8個(gè)2MP@30FPS攝像頭，攝像頭先通過(guò)FPD LINK串化器UB953，然后通過(guò)同軸接入FPD LINK解串器UB960，最后通過(guò)TDA4VM MIPI-CSI2接口接入TDA4VM進(jìn)行圖像處理。

該Demo可以在EVM快速搭建，需要TDA4VM EVM、Fusion Board（攝像頭接口板）和8個(gè)AR0233或IMAX390攝像頭。

圖3：TDA4VM多攝像頭用例1

該Use Case的利用率如下8*2MP@30FPS（RAW12）：

PSDKRA 多攝像頭用例 2

當(dāng)前的ADAS應(yīng)用中，有4個(gè)2MP@30FPS攝像頭實(shí)現(xiàn)全景，1個(gè)8MP@30FPS實(shí)現(xiàn)前視，另外一個(gè)攝像頭完成DMS或后視功能。 一個(gè)前視攝像頭其系統(tǒng)框圖如圖4所示：

1 8MPpixel@30fps RAW12 前置攝像頭

1 * 1MPpixel@60fps RAW12后置/ DMS攝像頭

4 2MPpixel@30fps RAW12 環(huán)視 （SRV） 攝像頭

圖4：TDA4VM多攝像頭用例2

該Use Case的利用率如下：

PSDKRA 多攝像頭用例 3

在Jacinto7里面如果超過(guò)8個(gè)攝像頭應(yīng)該怎么接呢？ 假如依舊使用TDA4VM CSI2的兩個(gè)接口，如果是9個(gè)或9個(gè)以上的攝像頭，需要如何接呢？ FPD LINK有Cascading的功能，如下方案采用FPD LINK Cascading的功能，其系統(tǒng)框圖如圖6所示：

圖6 ： TDA4VM多攝像頭用例3-2

總結(jié)

攝像頭的接入和處理能力對(duì)用戶方案至關(guān)重要，因此，本文對(duì)Jacinto7 TDA4VM/DRA829處理的攝像頭接入和處理能力進(jìn)行了概述，并使用實(shí)際的Use Case 介紹了攝像頭的接入和處理方案，用戶可以根據(jù)實(shí)際應(yīng)用需求對(duì)文中的方案進(jìn)行修改。 對(duì)于其它的Jacinto7的處理器，比如TDA4VL、TDA4AL、TDA4VMECO、TDA4VH、TDA4AH等處理器，本文也同樣適用，需要注意的是不同處理器的CSI和VPAC帶寬的不同，性能有所差異，因此需要根據(jù)帶寬進(jìn)行換算。