基于FPGA的RPi攝像頭設(shè)計

方案介紹

FPGA 非常適合低延遲、高吞吐量的成像應(yīng)用。最好使用直接連接到 FPGA 的相機（而不是 USB/網(wǎng)絡(luò)相機）來實現(xiàn)這一點。然而，對于業(yè)余愛好者、修補匠和小型初創(chuàng)企業(yè)來說，可用的相機模塊選項數(shù)量有限，而且并非所有可用的選項都很便宜（相對而言）。最重要的是，許多都有自己的物理接口，所以通常你只能將相機與它的開發(fā)套件一起使用。沒有相當(dāng)大的努力，就是這樣。

然而，由于帶有 15 針 FFC 攝像頭接口 (MIPI-CSI) 的 Raspberry Pi 等低成本單板計算機的普及，情況已經(jīng)好轉(zhuǎn)。隨著時間的推移，RPi 攝像頭接口變得非常流行，如今許多單板計算機都可以使用相同的攝像頭連接器（Jetson 套件、RPi 替代板等）。甚至一些 FPGA 板現(xiàn)在也配備了相同的 15 針連接器（Zybo-Z7、Kria 等）。由于流行，現(xiàn)在可以從各個供應(yīng)商（RPi 基金會、Arducam、VEYE 等等）獲得許多低成本圖像傳感器。

不幸的是，一旦我們開始在我們的 FPGA 中使用這些圖像傳感器之一，我們就會遇到一個大問題：大多數(shù)圖像傳感器的數(shù)據(jù)表都不公開！

您會看到，在使用任何現(xiàn)代圖像傳感器之前，您需要根據(jù)您的用例對其進行配置。雖然高吞吐量數(shù)據(jù)通過 MIPI-CSI 等協(xié)議傳輸，但配置通常通過 I2C 進行。但是，要知道通過 I2C 接口發(fā)送哪些命令需要知道傳感器的寄存器映射以及這些寄存器的每一位的功能。但如果沒有公開的數(shù)據(jù)表，這是一個大問題。在某些情況下，如果您足夠幸運，您將能夠在互聯(lián)網(wǎng)上找到泄露的特定圖像傳感器的數(shù)據(jù)表，但情況并非總是如此。例如，在撰寫本文時（2021 年 9 月），RPi“高質(zhì)量”相機沒有公開可用的數(shù)據(jù)表。

有時即使有數(shù)據(jù)表，事情也不會太樂觀。現(xiàn)代圖像傳感器是復(fù)雜的硅片，配置大多數(shù)圖像傳感器需要正確設(shè)置數(shù)百個寄存器，然后才能以正確的格式輸出正確的圖像數(shù)據(jù)。有時鐘/PLL 配置、分辨率、分級、曝光、增益、白平衡、輸出接口格式設(shè)置——僅舉幾例。至少獲得一個參考或起點來構(gòu)建不是很好嗎？

所以，我們能做些什么？
“嗅探”或“竊聽”是軟件/硬件黑客攻擊中常用的一種技術(shù)。這個想法是在不干擾原始對話的情況下監(jiān)聽兩個設(shè)備之間的通信，并保留細致的記錄以備后用。我們可能不明白對話的每個部分的含義，但有時我們可以重播相同的序列，并設(shè)法欺騙目標設(shè)備給我們需要的東西。

我的設(shè)置

在這種特殊情況下，我有一塊我之前購買的Zybo-z7-20板以及PCAM-5C板相機。我能夠使用Digilent 提供的演示項目非?？焖俚刈寖烧邊f(xié)同工作，該項目運行“裸機”。但是，對于未來的項目，我希望有更多的相機選項，而不僅僅是 PCAM-5C。許多 RPi 接口兼容傳感器都帶有自己的 Linux 驅(qū)動程序。我希望能夠在運行裸機時使用相同的傳感器。

我的計劃如下：

• 選擇具有匹配物理/電子接口的相機
• 使用我需要的設(shè)置（分辨率、幀率等）使用它的原生平臺（RPi、Jetson 等）
• 使用邏輯分析器設(shè)置 I2C 嗅探器并記錄從處理器到相機的所有命令。
• 使用我自己的 FPGA 板清理、適當(dāng)格式化和重新播放命令。

對于這個特定的實驗，我將使用我已有的：- Raspberry Pi v2.1 相機- RaspberryPi 4B 作為“本機”平臺- Saleae Logic 16 pro 作為我的邏輯分析儀- Zybo-Zy-20 作為我的“目標” FPGA 板。

步驟 1：驗證接口兼容性
N. 通過查看電路板原理圖來檢查引腳配置和電壓電平。

我們可以看到連接器將為連接的相機提供 3.3V 電壓，并且 I2C 也在 3.3V 電壓下工作。

接下來，我們看一下攝像頭模塊。從RPi v2.1 相機模塊的原理圖，我們可以驗證引腳配置和電壓確實匹配。

您可能會注意到 1.8V 而不是 3.3V 的上拉電壓，但這沒關(guān)系，因為組件 Q1 正在執(zhí)行電壓電平轉(zhuǎn)換。它期待相同的 3.3V 電源輸入。我還驗證了 ENABLE 信號可以與來自 Zybo-Z7 的 3.3V 信號一起使用。MIPI 信號和地的所有位置都符合預(yù)期。

第 2 步：讓相機與原生平臺一起工作
首先，我們需要讓相機與其本地支持的平臺一起工作，在這種情況下是 Raspberry Pi 4。但是，對于不同的相機，它可以是任何其他嵌入式系統(tǒng)（Jetson Nano 等）；平臺沒有太大關(guān)系。主要目標是能夠使用可用的驅(qū)動程序命令相機進行正確的設(shè)置，以便我們可以監(jiān)視 I2C 線路。

我不會詳細介紹如何讓 v2 ??相機與 Raspberry Pi 一起工作，因為這在互聯(lián)網(wǎng)上的很多地方都有介紹，包括官方文檔。簡而言之，我在 RPi 4 上啟動了 Raspbian OS 映像，啟用了攝像頭，然后打開終端發(fā)出以下命令：

實時視頻立即開始在連接的 HDMI 監(jiān)視器上顯示，表明相機正在按預(yù)期工作。Ctrl+C退出。注意上面gstreamer管道的使用，這是上面命令工作的先決條件。

第 3 步：嗅探 I2C 通信
現(xiàn)在我們有了一個工作系統(tǒng)，下一步是嗅探 RPi 和圖像傳感器之間的 I2C 通信。首先，我使用烙鐵將三根細跳線連接到 FFC 上的接地、SDA、SCL 引腳，然后用 Kapton 膠帶覆蓋以作為連接線的機械釋放。我這樣做是因為與在焊接過程中弄亂 RPi 或相機板相比，F(xiàn)FC 電纜便宜且易于更換，如果您犯了錯誤。此外，這給了我一條“間諜電纜”，我也可以將其重新用于其他相機/平臺。

在此之后，我將這些電線與我的邏輯分析儀連接起來。對于這一步，我使用 USB“邏輯分析儀”來嗅探 I2C 通道上的通信。我使用了 Saleae Logic 16 pro，因為這是我所擁有的，但任何便宜的邏輯分析儀都可以用于此（I2C 的數(shù)據(jù)速率相當(dāng)慢）。最后，我為 I2C 解碼配置了邏輯分析儀并點擊了開始按鈕。

現(xiàn)在我們有一些捕獲的數(shù)據(jù)。接下來，我們需要清理和準備數(shù)據(jù)，然后才能將其與我們的 FPGA 板一起使用。我遵循的確切程序非常特定于我的設(shè)置，我將詳細說明每個步驟的意圖以供讀者理解。

步驟 4：清理和準備 I2C 數(shù)據(jù)
現(xiàn)在我們有一些捕獲的數(shù)據(jù)，我們需要清理和準備數(shù)據(jù)，然后才能將其與我們的 FPGA 板一起使用。由于我遵循的確切過程非常特定于我的設(shè)置，因此我將詳細說明每個步驟的意圖，以便讀者理解。

我注意到的第一件事是，有一個初始的命令突發(fā)（左），然后是另一個密集的命令突發(fā)（中），然后經(jīng)過一段時間的延遲，每約 15 毫秒（右）有一個 I2C 命令。

每 ~15ms 的命令對應(yīng)于 60fps 的幀之間的時間。此外，命令被發(fā)送到相同的 I2C 地址并且都是寫命令。

所以我得出結(jié)論，經(jīng)過一些實驗，這些必須是從 ISP 到相機的命令，用于在處理每一幀之后調(diào)整不斷變化的光照條件（自動增益/曝光控制，可能還有自動白平衡）。這也意味著，就目前而言，我可以刪除在這些命令的第一次實例之后發(fā)送的任何數(shù)據(jù)數(shù)據(jù)，因為發(fā)送一次曝光命令就足以開始了。另外，請注意這些重復(fù)的命令被發(fā)送到 I2C 地址 0x10。因此我們可以推斷出我們相機的I2C 地址是 0x10 。

接下來，我查看了修剪后的數(shù)據(jù)，并注意到開頭有一些讀取命令，以及一些對 I2C 地址 0x71 的寫入命令。

因為我們不知道如何處理從讀取命令返回的數(shù)據(jù)，所以保留它們沒有意義，所以我刪除了它們。

尋址到 0x71 的命令最有可能用于位于 Rpi V2.1 cam 上的 EEPROM，Raspberry pi 固件使用它來查看是否連接了真正的相機，因此我們也不需要保留它們。因此我也刪除了它們。

對于轉(zhuǎn)儲的數(shù)據(jù)，我只會提到一些細分。讓我們隨機選擇一行轉(zhuǎn)儲數(shù)據(jù)：

在這一行中，0x10 是相機的 I2C 地址，0x0162 是寄存器地址，0x0D、0xE8 是數(shù)據(jù)字節(jié)。通常一個寄存器是一個字節(jié)長，因此由于大多數(shù)傳感器中的 I2C 地址自動遞增功能，第二個字節(jié)實際上將轉(zhuǎn)到下一個寄存器地址 (0x1063)。

無論如何，在此之后，我將剩余的修剪數(shù)據(jù)復(fù)制到 Excel 表中，刪除了除 I2C 數(shù)據(jù)之外的所有文本并對其進行了格式化（通過一些手動操作），以便稍后在 Xilinx 內(nèi)部將其用作 C 中的數(shù)組開發(fā)工具包。其中一部分包括在每行中添加一列，其中包含 I2C 字節(jié)數(shù)，因為轉(zhuǎn)儲數(shù)據(jù)中的不同行發(fā)送的 I2C 字節(jié)數(shù)不同。

步驟 5：使用 FPGA 重放命令
現(xiàn)在，為了使用我們的 FPGA 板測試我們的數(shù)據(jù)，我需要一個 Vivado &SDK 項目。幸運的是，我已經(jīng)從Adam Taylor的優(yōu)秀帖子中下載了一個 Vivado 項目，它為我提供了一個工作系統(tǒng)，可以從 PCAM-5C 相機以 720p60 分辨率獲取數(shù)據(jù)并通過 HDMI 輸出顯示。

接下來，我為此轉(zhuǎn)到了 SDK 項目，并添加了一個數(shù)組，其中包含前面步驟中轉(zhuǎn)儲和格式化的 I2C 數(shù)據(jù)，并將其設(shè)置為啟動后發(fā)送到 v2 相機 I2C 地址（0x10）。其余什么都不必更改，事實上我什至在文件中保留了以前的 PCAM-5C 代碼，因為當(dāng)該地址上沒有設(shè)備響應(yīng)時，直接忽略對該地址的命令。我還配置了 Adam 的 vivado 項目以使用 CSI 輸入（而不是 HDMI IN）作為源。包含所有修改的完整項目鏈接在帖子末尾。

軟件修改完成后，剩下要做的就是將 RPi v2.1 攝像頭連接到 Zybo-Z7 上的 MIPI 連接器，將 HDMI 電纜從 HDMI TX 端口連接到顯示器，然后上傳代碼。

幾秒鐘后，現(xiàn)場視頻出現(xiàn)在屏幕上！

然而，在成功之前，我會提到一個我立即觀察到的問題：曝光和白平衡保持不變。公平地說，這是意料之中的，因為我們不會在初始配置后更新曝光或白平衡。將來，這可以通過構(gòu)建一些 HLS 塊來計算曝光、白平衡等，并在每一幀后將更新發(fā)送回傳感器來完成。

結(jié)果和結(jié)論
我能夠使用 Zybo-Z7-20 FPGA 從 RPi Cam v2.1 成功獲得 720p-60fps 視頻，甚至沒有查看數(shù)據(jù)表（順便說一句，它可用于 RPi v2.1 cam 上的 IMX219 傳感器模塊）。這證明這里采用的概念也適用于其他可用的傳感器（盡管有一些警告），并且應(yīng)該為我們提供更多用于 FPGA 項目的 MIPI 圖像傳感器選項。

在此過程中，我了解到一些注意事項：

如今越來越多的圖像傳感器沒有內(nèi)部 ISP（圖像信號處理器），而是依靠芯片內(nèi)部的 ISP 來接收視頻以實現(xiàn)自動曝光/增益、白平衡等功能。這意味著，如果這些傳感器之一是與 FPGA 一起使用，那么我們需要在 FPGA 中自己處理這些功能。在受控的光照條件變化下，通過查看每一幀之后發(fā)送到相機的數(shù)據(jù)，應(yīng)該可以找到相關(guān)的寄存器。另一方面，一些相機模塊還帶有板載 ISP，在這種情況下，這不會成為問題。（看看來自 Arducam、VEYE 的一些傳感器）
并非所有圖像傳感器本身都支持 720p 或 1080p 等格式。因此，在某些情況下，與用戶通過命令行請求的相比，驅(qū)動程序會將傳感器設(shè)置為高度/寬度（或兩者）更大的模式。在這種情況下，Raspberry Pi/Jetson 等內(nèi)部的 ISP（圖像信號處理器）應(yīng)將圖像裁剪為用戶要求的分辨率。這意味著如果我們使用 FPGA 來接收這個流，那么我們將需要在我們的 FPGA 中進行裁剪。通過為圖像起始位置、活動像素和水平和垂直方向的步幅設(shè)置適當(dāng)?shù)闹怠?/p>