使用Jetson Nano的CSI相機(jī)接口

描述

本教程取自此存儲(chǔ)庫(kù)https://github.com/JetsonHacksNano/CSI-Camera和JetsonHacks上的原始文章。

演示

使用 Jetson Nano 的 CSI 相機(jī)接口

使用帶有 NVIDIA Jetson Nano 開(kāi)發(fā)者套件的 MIPI-CSI（版本 2.0）相機(jī)（如 Raspberry Pi 版本 2 相機(jī)）的簡(jiǎn)單教程。

攝像頭應(yīng)安裝在載板上的 MIPI-CSI Camera Connector 中。相機(jī)色帶上的針腳應(yīng)面向 Jetson Nano 模塊。

測(cè)試相機(jī)：需要鏈接

$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM),width=3820, height=2464, framerate=21/1, format=NV12' ! nvvidconv flip-method=0 ! 'video/x-raw,width=960, height=616' ! nvvidconv ! nvegltransform ! nveglglessink -e

有以下三個(gè)例子：

simple_camera.py 是一個(gè) Python 腳本，它使用 OpenCV 從相機(jī)讀取并顯示到屏幕上的一個(gè)窗口：

$ python simple_camera.py

face_detect.py 是一個(gè) python 腳本，它從攝像頭讀取并使用 Haar Cascades 檢測(cè)面部和眼睛：

$ python face_detect.py

Haar Cascades 是一種基于機(jī)器學(xué)習(xí)的方法，其中從大量正負(fù)圖像訓(xùn)練級(jí)聯(lián)函數(shù)。然后該函數(shù)用于檢測(cè)其他圖像中的對(duì)象。

第三個(gè)示例是一個(gè)簡(jiǎn)單的 C++ 程序，它使用 OpenCV 從攝像頭讀取數(shù)據(jù)并顯示到屏幕上的一個(gè)窗口中：

$ g++ -std=c++11 -Wall -I/usr/lib/opencv simple_camera.cpp -L/usr/lib -lopencv_core -lopencv_highgui -lopencv_videoio -o simple_camera
$ ./simple_camera

筆記

OpenCV 4 和 JetPack 4.3

從 JetPack 4.3/L4T 32.3.1 開(kāi)始，Jetson 運(yùn)行 OpenCV 4。這意味著如果您使用的是早期版本的 JetPack，則需要選擇此 CSI-Camera 存儲(chǔ)庫(kù)的早期版本。例如，為了做到這一點(diǎn)，在運(yùn)行示例之前：

$ git clone https://github.com/JetsonHacksNano/CSI-Camera.git
$ git checkout v2.0

相機(jī)圖像格式

您可以使用 v4l2-ctl 來(lái)確定相機(jī)功能。v4l2-ctl 在 v4l-utils 中：

$ sudo apt-get install v4l-utils

對(duì)于 Raspberry Pi V2 攝像頭，輸出為（假設(shè)攝像頭為 /dev/video0）：

$ v4l2-ctl --list-formats-ext
ioctl: VIDIOC_ENUM_FMT
Index       : 0
Type        : Video Capture
Pixel Format: 'RG10'
Name        : 10-bit Bayer RGRG/GBGB
Size: Discrete 3280x2464
Interval: Discrete 0.048s (21.000 fps)
Size: Discrete 3280x1848
Interval: Discrete 0.036s (28.000 fps)
Size: Discrete 1920x1080
Interval: Discrete 0.033s (30.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.017s (60.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.017s (60.000 fps)

GStreamer 參數(shù)

對(duì)于 GStreamer 管道，nvvidconv 翻轉(zhuǎn)方法參數(shù)可以旋轉(zhuǎn)/翻轉(zhuǎn)圖像。當(dāng)攝像機(jī)的安裝方向與默認(rèn)方向不同時(shí)，這很有用。

flip-method         : video flip methods
flags: readable, writable, controllable
Enum "GstNvVideoFlipMethod" Default: 0, "none"
(0): none             - Identity (no rotation)
(1): counterclockwise - Rotate counter-clockwise 90 degrees
(2): rotate-180       - Rotate 180 degrees
(3): clockwise        - Rotate clockwise 90 degrees
(4): horizontal-flip  - Flip horizontally
(5): upper-right-diagonal - Flip across upper right/lower left diagonal
(6): vertical-flip    - Flip vertically
(7): upper-left-diagonal - Flip across upper left/low

OpenCV 和 Python

從 L4T 32.2.1 / JetPack 4.2.2 開(kāi)始，GStreamer 支持內(nèi)置到 OpenCV 中。請(qǐng)注意，如果您使用的是早期版本的 OpenCV（很可能是從 Ubuntu 存儲(chǔ)庫(kù)安裝的），您將收到“無(wú)法打開(kāi)相機(jī)”錯(cuò)誤。如果您可以從命令行在 GStreamer 中打開(kāi)相機(jī)，但在 Python 中打開(kāi)相機(jī)時(shí)遇到問(wèn)題，請(qǐng)檢查 OpenCV 版本。

>>>cv2.__version__

參考

• https://github.com/JetsonHacksNano/CSI-Camera