ArmSom--攝像頭開(kāi)發(fā)指南(一）

一. 簡(jiǎn)介

RK3588從入門(mén)到精通

開(kāi)發(fā)板：ArmSoM-W3

Kernel：5.10.160

OS：Debian11

本?主要介紹在Rockchip平臺(tái)下Camera相關(guān)代碼配置，MIPI-CSI調(diào)試的通路解析

名詞解釋?zhuān)?/p>

CSI ( Camera Serial Interface )：主機(jī)處理器與攝像頭模塊之間的高速串行接口

DSI ( Display Serial Interface )：主機(jī)處理器與顯示模塊之間的高速串行接口

ISP ( Image Signal Processor )： 即圖像信號(hào)處理模塊， 主要作用是對(duì)前端圖像傳感器輸出的信號(hào)做后期處理，依賴(lài)于 ISP 才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場(chǎng)細(xì)節(jié)。

VICAP（ Video capture ）：視頻捕獲單元

MIPI-DPHY ：Rockchip芯片中符合MIPI-DPHY協(xié)議的控制器。

二. MIPI-CSI基礎(chǔ)概念

MIPI：移動(dòng)產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface) 是MIPI聯(lián)盟發(fā)起的為移動(dòng)應(yīng)用處理器制定的開(kāi)放標(biāo)準(zhǔn)。

CSI: MIPI-CSI-2協(xié)議是MIPI聯(lián)盟協(xié)議的子協(xié)議，專(zhuān)門(mén)針對(duì)攝像頭芯片的接口而設(shè)計(jì)。

由于其高速，低功耗的特點(diǎn)，MIPI-CSI2協(xié)議極大的支持了高清攝像頭領(lǐng)域的發(fā)展，CSI-2協(xié)議遵循的物理標(biāo)準(zhǔn)有兩個(gè)，分別為C-PHY和D-PHY。

D-PHY與C-PHY區(qū)別： 從實(shí)用角度來(lái)看，主要是數(shù)據(jù)線和時(shí)鐘線的區(qū)別，還有傳輸速率，C-PHY通過(guò)某些技術(shù)改良，使數(shù)據(jù)傳輸速度更快。

瑞芯微3588用的DPHY-v1.2 &&(D/C-PHY) DPHY-v2.0。

三. MIPI-CSI硬件配置

RK3588 camera 資源硬件擁有2路DCPHY，2路DPHY，一路DVP，6路CSI HOST，一個(gè)vicap控制器，2個(gè)isp控制器。 其中2路DPHY可以分解成4x2lane的模式工作。

硬件通路框圖如下：

MIPI-CSI資源介紹 ：

2lane最大帶寬是5G，分辨率可以達(dá)到8M30幀，4lane最大帶寬達(dá)到10G。

三. MIPI CSI用法

3.1 DPHY

rk3588支持兩個(gè)dcphy，節(jié)點(diǎn)名稱(chēng)分別為csi2_dcphy0/csi2_dcphy1。每個(gè)dcphy硬件支持RX/TX 同時(shí)使用，對(duì)于camera輸入使用的是RX。支持DPHY/CPHY協(xié)議復(fù)用；需要注意的是同一個(gè)dcphy的TX/RX 只能同時(shí)使用DPHY或同時(shí)使用CPHY

rk3588支持2個(gè)dphy硬件，這里我們稱(chēng)之為dphy0_hw/dphy1_hw，兩個(gè)dphy硬件都可以工作在full mode 和split mode兩種模式下

? Full Mode： ? 僅使用csi2_dphy0,csi2_dphy0與csi2_dphy1/csi2_dphy2互斥,不可同時(shí)使用;

? data lane最大4 lanes;

? 最大速率2.5Gbps/lane;

? Split Mode： ? 僅使用csi2_dphy1和csi2_dphy2, 與csi2_dphy0互斥,不可同時(shí)使用;

? csi2_dphy1和csi2_dphy2可同時(shí)使用;

? csi2_dphy1和csi2_dphy2各自的data lane最大是2 lanes;

? csi2_dphy1對(duì)應(yīng)物理dphy的lane0/lane1;

? csi2_dphy2對(duì)應(yīng)物理dphy的lane2/lane3;

? 最大速率2.5Gbps/lane;

3.2 多sensor支持

硬件支持最多采集7路sensor：6mipi + 1dvp，多sensor軟件通路如下：

四. camera相關(guān)配置

4.1 Camera 軟件驅(qū)動(dòng)目錄

Camera相關(guān)驅(qū)動(dòng)文件如下：

|-- arch/arm/boot/dts DTS配置文件

|-- drivers/phy/rockchip

|-- phy-rockchip-mipi-rx.c mipi dphy驅(qū)動(dòng)

|-- phy-rockchip-csi2-dphy-common.h

|-- phy-rockchip-csi2-dphy-hw.c

|-- phy-rockchip-csi2-dphy.c

|-- drivers/media

|-- platform/rockchip/cif RKCIF驅(qū)動(dòng)

|-- platform/rockchip/isp RKISP驅(qū)動(dòng)

|-- dev 包含 probe、異步注冊(cè)、clock、pipeline、 iommu及media/v4l2 framework

|-- capture 包含 mp/sp/rawwr的配置及 vb2，幀中斷處理

|-- dmarx 包含 rawrd的配置及 vb2，幀中斷處理

|-- isp_params 3A相關(guān)參數(shù)設(shè)置

|-- isp_stats 3A相關(guān)統(tǒng)計(jì)

|-- isp_mipi_luma mipi數(shù)據(jù)亮度統(tǒng)計(jì)

|-- regs 寄存器相關(guān)的讀寫(xiě)操作

|-- rkisp isp subdev和entity注冊(cè)

|-- csi csi subdev和mipi配置

|-- bridge bridge subdev，isp和ispp交互橋梁

|-- platform/rockchip/ispp rkispp驅(qū)動(dòng)

|-- dev 包含 probe、異步注冊(cè)、clock、pipeline、 iommu及media/v4l2 framework

|-- stream 包含 4路video輸出的配置及 vb2，幀中斷處理

|-- rkispp ispp subdev和entity注冊(cè)

|-- params TNR/NR/SHP/FEC/ORB參數(shù)設(shè)置

|-- stats ORB統(tǒng)計(jì)信息

|-- i2c

|-- imx415.c CIS(cmos image sensor)驅(qū)動(dòng)

4.2 Sensor驅(qū)動(dòng)開(kāi)發(fā)移植

Sensor 驅(qū)動(dòng)位于 drivers/media/i2c 目錄下，Sensor 驅(qū)動(dòng)與 RKCIF 或者 RKISP1 驅(qū)動(dòng)最大程度上獨(dú)立，二者異步注冊(cè)，在dts中由 remote-endpoint 聲明 連接關(guān)系。

Sensor 驅(qū)動(dòng)的開(kāi)發(fā)移植概括為 5 個(gè)部分

1.按照 datasheet 編寫(xiě)上電時(shí)序，主要包括 vdd、reset、powerdown、clk 等

2.配置 sensor 的寄存器以輸出所需的分辨率、格式

3.編寫(xiě) struct v4l2_subdev_ops 所需要的回調(diào)函數(shù)，一般包括 set_fmt、get_fmt、s_stream、s_power

4.增加 v4l2 controller 用來(lái)設(shè)置如fps、exposure、gain、test pattern

5.編寫(xiě) probe()函數(shù)，并添加 Media Control 及 Sub Device 初始化代碼

Documentation/devicetree/bindings/media/i2c/下面有對(duì)驅(qū)動(dòng)的Documentation可供參考，板級(jí) dts 可以根據(jù)該文檔快速配置。

在板級(jí) dts 中，引用 Sensor 驅(qū)動(dòng)，一般需要：

1.配置正確的 clk及io mux

2.根據(jù)原理圖設(shè)置上電時(shí)序所需要的 regulator 及 gpio

3.增加 port 子節(jié)點(diǎn)，與 cif 或者 isp 建立連接

4.2.1 上電時(shí)序

不同 Sensor 對(duì)上電時(shí)序要求不同，可能很大部分的 Sensor 對(duì)時(shí)序要求不嚴(yán)格，只要 mclk、vdd、reset 和 powerdown 狀態(tài)是對(duì)的、就能正確進(jìn)行 I2C 通訊并輸出圖片，而不用關(guān)心上電的先后順序及延時(shí)， Sensor 廠家提供的 DataSheet 中，一般會(huì)有上電時(shí)序圖，只需要按順序配置即可。

__imx415_power_on() //控制上電時(shí)序部分

__imx415_power_off() //控制下電時(shí)序部分

在probe()階段會(huì)去嘗試讀取 chip id，如 imx415的 imx415_check_sensor_id，

ret = __imx415_power_on(imx415); if (ret) goto err_free_handler; ? ret = imx415_check_sensor_id(imx415, client); if (ret) goto err_power_off;

如果能夠正確讀取到chip id，一般就認(rèn)為上電時(shí)序正確，Sensor 能夠正常進(jìn)行 i2c 通信

一般在imx415_check_sensor_id()中出現(xiàn)問(wèn)題、按照以下方式排查

1.先將__imx415_power_off()注釋掉

2.檢查i2c從地址、i2c讀函數(shù)

3.可以抓下i2c的波形

4.2.2 Sensor 初始化寄存器列表

在imx415的驅(qū)動(dòng)中，定義了struct imx415_mode supported_modes[]，用來(lái)表示Sensor 支持的不同初始化 mode，即Sensor可以輸出不同分辨率的圖像、不同的fps等。Mode 可以包括如分辨率，Mbus Code，fps，寄存器初始化列表等。

這里支持很多種imx415模組的分辨率配置，默認(rèn)是3864x2192@30fp，查看下面代碼可知會(huì)以一種分辨率來(lái)做為默認(rèn)的配置：

適配新的分辨率需要替換新的初始化列表，例如imx415攝像頭，僅支持30幀，但是需要提升到60幀。

sensor本身支持的最大mipi傳輸速率，每秒傳輸?shù)臄?shù)據(jù)量是width * height * 10bit * fps，這個(gè)也是有上限，不能無(wú)限制提高。 IMX415的DateSheet上寫(xiě)的就是支持3864x2192@30fps，要調(diào)整為60幀，需要廠家提供一組低分辨率的sensor配置，比如1080P@60fps，然后添加到struct imx415_mode supported_modes[]的.reg_list中，reg_list列表最后用了 REG_NULL 表示結(jié)束。

4.2.3 回調(diào)函數(shù)

v4l2_subdev_ops 回調(diào)函數(shù)是 Sensor 驅(qū)動(dòng)中邏輯控制的核心，包含豐富的接口給上層應(yīng)用調(diào)用

static const struct v4l2_subdev_ops imx415_subdev_ops = { .core = &imx415_core_ops, .video = &imx415_video_ops, .pad = &imx415_pad_ops, };

部分成員函數(shù)：

open - Userspace通過(guò)在打開(kāi)/dev/v4l-subdev?節(jié)點(diǎn)時(shí)，會(huì)調(diào)用到該.open()函數(shù)。

s_power - 包括power on和power off。在這里上電或者下電

enum_mbus_code - 用于枚舉支持的媒體總線（Media Bus）格式代碼。媒體總線是V4L2系統(tǒng)中用于描述圖像格式的標(biāo)準(zhǔn)。這個(gè)函數(shù)可能會(huì)列出IMX415傳感器支持的不同媒體總線格式代碼。

enum_frame_size - 用于枚舉傳感器支持的不同幀尺寸（分辨率）。這個(gè)函數(shù)可能會(huì)返回一組可用的幀尺寸選項(xiàng)，供應(yīng)用程序選擇。

enum_frame_interval - 用于枚舉傳感器支持的不同幀間隔（幀速率）。它會(huì)返回可用的幀間隔選項(xiàng)，以供應(yīng)用程序選擇。

get_fmt - 用于獲取當(dāng)前傳感器的圖像格式。應(yīng)用程序可以使用它來(lái)查詢(xún)當(dāng)前設(shè)置的圖像格式。

set_fmt - 用于設(shè)置傳感器的圖像格式。應(yīng)用程序可以使用它來(lái)配置所需的圖像格式。

get_selection - 用于獲取當(dāng)前傳感器的圖像選擇（ROI - Region of Interest）。這允許應(yīng)用程序了解當(dāng)前的感興趣區(qū)域設(shè)置。

get_mbus_config - 用于獲取媒體總線配置，包括數(shù)據(jù)總線寬度、時(shí)序等信息。

這些函數(shù)在V4L2子設(shè)備的驅(qū)動(dòng)程序中起著關(guān)鍵的作用，允許應(yīng)用程序配置和控制IMX415傳感器，以捕獲圖像和視頻數(shù)據(jù)。

4.3 DTS配置

這里是單路Camera的dts配置說(shuō)明，以imx415攝像頭為例 。

案例場(chǎng)景：這里使用的是csi2_dphy0的單路camera配置：

鏈路配置： imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2

在這個(gè)通路下，會(huì)注冊(cè)medio0和medio1這兩個(gè)節(jié)點(diǎn)。

4.3.1 配置sensor端

我們需要根據(jù)板子原理圖的MIPI CSI接口找到sensor是掛在哪個(gè)I2C總線上，然后在對(duì)應(yīng)的I2C節(jié)點(diǎn)配置camera節(jié)點(diǎn)，正確配置camera模組的I2C設(shè)備地址、引腳等屬性。sensor對(duì)應(yīng)驅(qū)動(dòng)路徑在kernel\drivers\media\i2c下面。 下面是imx415配置：

注意：

data-lanes必須指明具體使用的lane數(shù)，否則無(wú)法識(shí)別為mipi 類(lèi)型;

module-index與iq文件中的moduleId相關(guān)，<0>對(duì)應(yīng)moduleId配置為m00，<1>對(duì)應(yīng)moduleId配置為m01，m是“module”的縮寫(xiě)，01是十進(jìn)制數(shù)字；

module-name與module-lens-name命令與設(shè)備/etc/iqfiles中對(duì)應(yīng)sensor的iq文件名后面相同。這里對(duì)應(yīng)的Sensor iq文件是“imx415_CMK-OT2022-PX1_IR0147-50IRC-8M-F20.json”，注意大小寫(xiě)有區(qū)分

4.3.2 csi2_dphy0配置

csi2_dphy0與csi2_dphy1/csi2_dphy2互斥,不可同時(shí)使用。另外需要使能csi2_dphy0_hw物理節(jié)點(diǎn)

4.3.3 isp相關(guān)配置

&rkcif_mipi_lvds2_sditf { status = "okay"; ? port { mipi_lvds2_sditf: endpoint { remote-endpoint = <&isp0_vir0>; }; }; }; ? &rkisp0 { status = "okay"; }; ? &isp0_mmu { status = "okay"; }; ? &rkisp0_vir0 { status = "okay"; ? port { #address-cells = <1>; #size-cells = <0>; ? isp0_vir0: endpoint@0 { reg = <0>; remote-endpoint = <&mipi_lvds2_sditf>; }; }; };

一個(gè)ISP可以接多個(gè)Sensor，但只能分時(shí)復(fù)用。通過(guò)配置dts，將多個(gè)Sensor鏈接到MIPI DPHY后，可通過(guò)media-ctl切換Sensor。

4.4 多攝像頭配置

上述是單目4lan攝像頭的配置，DPHY處于Full Mode下，這里有一份DPHY處于Split Mode下，配置四個(gè)2lan攝像頭的例子：

鏈路配置：

imx464 _1—> csi2_dphy1 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir0 ? imx464 _2—> csi2_dphy2 —> mipi3_csi2 —> rkcif_mipi_lvds3—>rkcif_mipi_lvds3_sditf —>rkisp0_vir1 ? imx464 _3—> csi2_dphy4 —> mipi4_csi2 —> rkcif_mipi_lvds4—>rkcif_mipi_lvds4_sditf —>rkisp1_vir0 ? imx464 _4—> csi2_dphy5 —> mipi5_csi2 —> rkcif_mipi_lvds5—>rkcif_mipi_lvds5_sditf —>rkisp1_vir0

這里配置四個(gè)同一型號(hào)的攝像頭，如果是有其他類(lèi)型的攝像頭需要添加，更新、替換相應(yīng)的sensor驅(qū)動(dòng)。

五. 結(jié)語(yǔ)

這里借用ArmSoM-W3開(kāi)發(fā)板上的imx415模組介紹在rockchip平臺(tái)關(guān)于camera的部分配置 ，在開(kāi)發(fā)和配置攝像頭驅(qū)動(dòng)時(shí)，每個(gè)具體型號(hào)的攝像頭可能有其獨(dú)特的設(shè)置和要求。如果你對(duì)其他型號(hào)的攝像頭或其他嵌入式系統(tǒng)組件有疑問(wèn)，或者需要更多定制的幫助，可以在ArmSom論壇提出問(wèn)題，與其他開(kāi)發(fā)者分享經(jīng)驗(yàn)和獲取支持。