StereoPi硬件功能介紹！貼心的硬件設(shè)計(jì)語(yǔ)言

在手機(jī)或者消費(fèi)電子領(lǐng)域，3D傳感技術(shù)主要應(yīng)用于先進(jìn)的人臉識(shí)別、身份驗(yàn)證和高精度的深度感知應(yīng)用，而目前主要的3D傳感包括立體成像、3D結(jié)構(gòu)光以及ToF 3D圖像傳感技術(shù)，那先來(lái)個(gè)很俗的問(wèn)題，“這3種技術(shù)中哪個(gè)方案更好呢？”到了一個(gè)公說(shuō)公有理婆說(shuō)婆有理的時(shí)刻，個(gè)人認(rèn)為，下面一張表格能很好的詮釋這個(gè)問(wèn)題，也避免了像“我和你媽都都掉進(jìn)河里先救誰(shuí)的世界性難題”。

是的，看你具體應(yīng)用在哪個(gè)領(lǐng)域，并且你有的成本跟預(yù)算又是多少，否則，扯開(kāi)這一切談方案都是耍流氓的行為。今天我要說(shuō)的是一個(gè)非常簡(jiǎn)單又十分便宜就能構(gòu)建的一個(gè)3D圖像傳感方案，立體視覺(jué)，也就是大伙常說(shuō)的雙目成像，主角是StereoPi。

StereoPi硬件功能介紹

StereoPi是一款基于Raspberry Pi的開(kāi)源立體相機(jī)。它可以捕獲，保存，直播和處理實(shí)時(shí)立體視頻和圖像。StereoPi在機(jī)器人，AR/VR，計(jì)算機(jī)視覺(jué)，無(wú)人機(jī)，全景視頻等方面開(kāi)辟了無(wú)數(shù)可能性。

兼容哪些Raspberry Pi？

Raspberry Pi計(jì)算模塊1

Raspberry Pi計(jì)算模塊3

Raspberry Pi計(jì)算模塊3 Lite

Raspberry Pi計(jì)算模塊3+ 8 GB / 16 GB / 32 GB eMMC閃存

Raspberry Pi Compute Module 3+ Lite

外形尺寸：

寬*長(zhǎng)：90mm*40mm

高度：23mm（標(biāo)準(zhǔn)版）/ 15mm（超薄版，沒(méi)有排針座）

視頻：

輸入：兩個(gè)15pin CSI-2攝像頭連接器

輸出：HDMI

相機(jī)支持：

Raspberry Pi相機(jī)V1（OV5647傳感器）

Raspberry Pi相機(jī)V2（Sony IMX 219傳感器）

HDMI視頻拍攝模塊（單模，東芝TC358743XBG芯片）

連接：

GPIO：40pin Raspberry Pi標(biāo)準(zhǔn)擴(kuò)展接口

USB：2個(gè)USB Type-A，1個(gè)MicroUSB接口

以太網(wǎng)：RJ45接口

存儲(chǔ)：

microSD卡插槽（在Raspberry Pi CM3/3+Lite上）

功率：

通過(guò)雙引腳接口輸入5V DC

手動(dòng)電源開(kāi)關(guān)

軟件：

通過(guò)Micro USB接口進(jìn)行固件更新

運(yùn)行標(biāo)準(zhǔn)的Raspbian系統(tǒng)

支持Python

大量的示例代碼

板子具體接口的分布如下圖所示：

貼心的硬件設(shè)計(jì)語(yǔ)言

貼心的硬件設(shè)計(jì)語(yǔ)言

另外，值得一提的是StereoPi帶有非常貼心的設(shè)計(jì)，可以說(shuō)專(zhuān)為挑剔的硬件發(fā)燒友而生。

做過(guò)硬件設(shè)計(jì)的都知道，硬件中看似微小的不便會(huì)導(dǎo)致大量時(shí)間浪費(fèi)和挫敗感，這就是為什么在設(shè)計(jì)StereoPi時(shí)，設(shè)計(jì)了許多看似微小但實(shí)際非常重要的功能。比如：

電源開(kāi)關(guān)，所以你不必拔掉電纜

相機(jī)連接器間距是人眼之間的平均距離

連接器都在同一側(cè)

平行的相機(jī)連接器，用于靈活的外殼設(shè)計(jì)

“Slim”版的電路板沒(méi)有大型、有高度的連接器

USB供電電源無(wú)CPU干預(yù)

4pin擴(kuò)展排針座上有第三個(gè)USB端口

Micro USB可用于將系統(tǒng)燒錄到內(nèi)部eMMC存儲(chǔ)，這解決了樹(shù)莓派永遠(yuǎn)的痛

耐用可靠的JST EHR-2電源連接器

支持傳統(tǒng)的Raspberry Pi CM1

兩個(gè)版本

StereoPi有兩種版本：標(biāo)準(zhǔn)型和纖薄型。大多數(shù)人都想要標(biāo)準(zhǔn)版。超薄版本適用于計(jì)劃將StereoPi集成到另一臺(tái)設(shè)備中且不需要（或沒(méi)有空間）大型連接器的高級(jí)用戶(hù)。具體來(lái)說(shuō)，超薄版沒(méi)有USB Type-A連接器，RJ45以太網(wǎng)插孔或GPIO排針擴(kuò)展接口。當(dāng)然，這些連接器的PCB焊盤(pán)仍然可用，以防你可能需要直接焊接或安裝自己的連接器。

除此以為，其它方面超薄版本與標(biāo)準(zhǔn)版本都相同。兩者都支持Raspberry Pi計(jì)算模塊的所有版本（CM1，CM3 / CM3 +和CM3 / CM3 + Lite）。

配件和套件

除了StereoPi板卡本身，還配套各種配件和套件，您可以根據(jù)自己的需求定制StereoPi。

電力連接線(xiàn)

StereoPi具備兩種電源線(xiàn)：

USB電源線(xiàn)允許您從任何USB兼容電源為StereoPi供電，滿(mǎn)足特定設(shè)置的最低電源要求。它可以是計(jì)算機(jī)，移動(dòng)電源或手機(jī)充電器。

需要焊接到電源的短電源線(xiàn)。當(dāng)USB電纜太大而無(wú)法進(jìn)行設(shè)置或使用自己的電源時(shí)，此功能非常有用。

Raspberry Pi兼容相機(jī)V1

這款入門(mén)級(jí)相機(jī)非常適合StereoPi，它包含在入門(mén)套件中。

Waveshare“G”廣角（160°）相機(jī)

這款相機(jī)非常棒，可以在大多數(shù)項(xiàng)目中使用它！但是，它相對(duì)昂貴，所以只有在豪華套件中提供。

短FPC相機(jī)線(xiàn)

市場(chǎng)上的所有相機(jī)都包括一個(gè)大約10-20厘米長(zhǎng)的相機(jī)FPC線(xiàn)，非常適合臺(tái)式設(shè)置，但對(duì)于緊湊的設(shè)置卻很笨重。當(dāng)留給用戶(hù)的空間很小時(shí)，我們更喜歡這種短（5厘米）相機(jī)帶狀電纜。

用于兩個(gè)V1/V2 Raspberry Pi相機(jī)的安裝板

這種定制的激光切割亞克力板可以在立體設(shè)置中輕松安裝兩個(gè)V1或V2相機(jī)，該板具有2毫米螺釘（不包括在內(nèi)）的孔，用于固定攝像機(jī)，還具有相機(jī)光學(xué)元件的切口，相距65mm。

用于兩個(gè)廣角Waveshare Raspberry Pi相機(jī)的安裝板

這種定制的激光切割亞克力板可以在立體設(shè)置中輕松安裝兩個(gè)廣角Waveshare相機(jī)，該板具有2毫米螺釘（不包括在內(nèi)）的孔，用于固定攝像機(jī)。它還具有相機(jī)光學(xué)元件的切口，相距65mm。

StereoPi入門(mén)套件

StereoPi豪華套件

開(kāi)發(fā)系統(tǒng)

StereoPi板載了一個(gè)金手指接口用于兼容樹(shù)莓派的計(jì)算機(jī)模塊，除了上面說(shuō)的最傳統(tǒng)的CM1，還包括CM3（普通和精簡(jiǎn)版）和CM3 +（普通版和精簡(jiǎn)版），因?yàn)檫@個(gè)產(chǎn)品是以樹(shù)莓派計(jì)算模塊為核心，所以自然而然的支持標(biāo)準(zhǔn)的Raspbian系統(tǒng)。

當(dāng)然，Raspbian帶有Python，這意味著開(kāi)始使用StereoPi進(jìn)行開(kāi)發(fā)就像安裝Picamera一樣簡(jiǎn)單，Picamera是支持立體聲捕獲的Raspberry Pi相機(jī)模塊的純Python接口。例如：

from picamera import PiCameracamera = PiCamera(stereo_mode='side-by-side', resolution=(1280,720))camera.capture('foo.jpg')

通過(guò)從Raspbian終端運(yùn)行這個(gè)簡(jiǎn)單命令捕獲上面的視頻：

raspivid-3dsbs-w1280-h480-o1.h264

使用立體圖像同樣容易：

raspistill -3d sbs -w 1280 -h 480 -o 1.jpg

另外，StereoPi也非常易于與其它主流的工具一起使用包括：

YouTube：通過(guò)互聯(lián)網(wǎng)直播3D視頻

借助StereoPi入門(mén)套件，簡(jiǎn)單的3D打印機(jī)外殼，4G調(diào)制解調(diào)器和一些簡(jiǎn)單的代碼，我們可以直接將水族館的3D視頻直播到Y(jié)ouTube：

要以3D格式觀(guān)看此視頻，您可以使用配備Google Cardboard等3D查看器的任何手機(jī)。您也可以使用Oculus Go查看它。以下是用于捕獲視頻的實(shí)際設(shè)置的照片：

Oculus Go：將直播3D視頻直接傳輸?shù)絍R設(shè)備

StereoPi足夠小且足夠靈活，可以快速構(gòu)建新增強(qiáng)和虛擬現(xiàn)實(shí)（AR/VR）應(yīng)用程序的原型。它足夠強(qiáng)大，可以直接在Raspberry Pi上進(jìn)行實(shí)時(shí)視頻處理，并且足夠快，可以將視頻流式傳輸?shù)街鳈C(jī)進(jìn)行額外處理。

OpenCV：構(gòu)建實(shí)時(shí)深度圖

自動(dòng)駕駛汽車(chē)，無(wú)人駕駛飛機(jī)和機(jī)器人即將到來(lái)！使用StereoPi，可以率先體驗(yàn)這股大浪潮。從相機(jī)失真和校準(zhǔn)等基礎(chǔ)知識(shí)開(kāi)始，然后升級(jí)到構(gòu)建深度圖。將此與神經(jīng)網(wǎng)絡(luò)相結(jié)合，你也可以成為無(wú)人駕駛方案的專(zhuān)家。下面是我們使用 在StereoPi上運(yùn)行的OpenCV 3.0制作的深度貼圖：

如果你本身有在Raspberry Pi上運(yùn)行OpenCV的經(jīng)驗(yàn)，你可能知道大多數(shù)路徑將引導(dǎo)您進(jìn)入 PyImageSearch，其中 Adrian提供了大量現(xiàn)成的示例，包括從OpnenCV安裝，一直到Raspberry上的人臉識(shí)別。我們希望Adrian能夠使用StereoPi為立體視頻制作一些新的教程！

ROS：創(chuàng)建一個(gè)空間感知的機(jī)器人

許多機(jī)器人的一項(xiàng)關(guān)鍵任務(wù)是了解他們的物理環(huán)境。但是，作為一個(gè)囊腫有點(diǎn)羞的初級(jí)工程師，你可能沒(méi)有上萬(wàn)元可以掏出來(lái)玩機(jī)器人，這時(shí)StereoPi可以來(lái)救場(chǎng)，下面這個(gè)例子中，我們使用了來(lái)自Ubiquiti Robotics的Raspberry Pi的機(jī)器人操作系統(tǒng)（ROS）圖像，并添加了一些簡(jiǎn)單的代碼來(lái)獲得這個(gè)深度圖：

如果你已經(jīng)嘗試過(guò)ROS和Raspberry Pi，那么你可能已經(jīng)知道了raspicam_node 使用Raspberry Pi相機(jī)的流行軟件包，目前已經(jīng)可以在立體模式下使用它。

所以，現(xiàn)在，您可以使用StereoPi進(jìn)行深度貼圖和 ROS中的SLAM。后續(xù)的計(jì)劃是幫助創(chuàng)建一個(gè)針對(duì)StereoPi優(yōu)化的ROS驅(qū)動(dòng)程序，具有完全立體支持，就像其他支持ROS的立體攝像機(jī)一樣。

Hugin：制作360°全景照片和視頻

創(chuàng)建360°全景相機(jī)就像將兩個(gè)廣角相機(jī)的圖像拼接在一起以創(chuàng)建單個(gè)球形圖像一樣簡(jiǎn)單。您只需要一個(gè)用于攝像機(jī)的安裝板以及車(chē)載或車(chē)外拼接軟件。以下是您可以使用StereoPi和像Hugin這樣的全景裝訂器的示例 ：

Wifibroadcast：來(lái)自無(wú)人機(jī)的無(wú)線(xiàn)直播 3D視頻

StereoPi與流行的raspivid原生Raspberry Pi相機(jī)應(yīng)用程序無(wú)縫協(xié)作 - 只需添加-3d sbs選項(xiàng)即可接收立體視頻。這意味著StereoPi還可以使用raspivid基于Wifibroadcast 和 EZ-WifiBroadcast的基于項(xiàng)目的項(xiàng)目， 使用Raspberry Pi實(shí)現(xiàn)無(wú)人機(jī)直播視頻。

這是一個(gè)使用Wifibroadcast從StereoPi直播視頻的設(shè)置，其中廣角攝像頭安裝在流動(dòng)站頂部到基于Raspberry Pi的地面站，然后到配備有Google Cardboard查看器的iPhone：

StereoPi還可以與現(xiàn)成的視頻流解決方案一起使用，該解決方案只需接收HDMI并將其無(wú)線(xiàn)傳輸?shù)交?。在下面的設(shè)置中，我們將StereoPi的HDMI輸出連接到Insight SE 5G：

當(dāng)然，您也可以將StereoPi的攝像機(jī)指向相反的方向，以獲得無(wú)人機(jī)的前視圖和后視圖：

如果您使用Mikrotik或 Ubiquiti等遠(yuǎn)程Wi-Fi解決方案 或COFDM以太網(wǎng)橋（例如， HN-550TX），您可以將遙測(cè)數(shù)據(jù)與兩個(gè)StereoPi視頻流相結(jié)合并將其傳輸?shù)降孛嬲尽?/p>

小結(jié)

看到這么多驚喜的應(yīng)用僅僅是一個(gè)小小的StereoPi折騰出來(lái)的，是不是有種刷新五官的趕腳，在如此平易近人的價(jià)位上構(gòu)建3D立體視覺(jué)方案、并且能有如此豐富的生態(tài)系統(tǒng)加持恐怖只有StereoPI才能做到，很不錯(cuò)！