優(yōu)化支持視頻的無(wú)人機(jī)設(shè)計(jì)

據(jù)估計(jì)，未來(lái)十年，全球?qū)⒂薪?80億美元用于空中無(wú)人機(jī)和其他無(wú)人駕駛飛機(jī)。雖然無(wú)人機(jī)技術(shù)的商業(yè)應(yīng)用預(yù)計(jì)將推動(dòng)超過(guò)1270億美元的全球市場(chǎng)，但消費(fèi)無(wú)人機(jī)正在從這些投資中獲益。為了更好地了解無(wú)人機(jī)的安全操作，讓我們深入了解實(shí)現(xiàn)安全飛行的關(guān)鍵要求：低延遲視頻傳輸。

要在用戶視線之外操作，任何無(wú)人機(jī)都需要配備具有實(shí)時(shí)傳輸功能的機(jī)載攝像頭。在為工作選擇合適的系統(tǒng)時(shí)，重要的是要記住以下因素：

低功耗：低功耗可延長(zhǎng)飛行時(shí)間

低延遲：更低的延遲可實(shí)現(xiàn)更快的反應(yīng)

無(wú)線鏈路穩(wěn)健性：堅(jiān)固的連接可提高準(zhǔn)確性和響應(yīng)能力

范圍：更長(zhǎng)的范圍延長(zhǎng)了操作距離

自主性：額外的傳感器可實(shí)現(xiàn)更安全的飛行

在這些考慮因素中，低延遲視頻壓縮和傳輸至關(guān)重要。以下方法概述了開(kāi)發(fā)人員可以減少無(wú)人機(jī)視頻壓縮和傳輸系統(tǒng)延遲的幾種方法：

視頻捕獲：更高的幀速率意味著更短的捕獲時(shí)間 （Tcap）。例如，30 fps 攝像機(jī)需要 33 毫秒才能捕獲每一幀視頻。對(duì)于 60-fps 視頻捕獲，此數(shù)字減少到 16.5 毫秒。

壓縮或編碼：壓縮技術(shù)用于降低傳輸視頻幀所需的數(shù)據(jù)速率。H.264壓縮標(biāo)準(zhǔn)是在無(wú)人機(jī)中錄制和壓縮視頻的一種非常常見(jiàn)的技術(shù)。壓縮通常是一項(xiàng)計(jì)算密集型任務(wù)。編碼所需的時(shí)間 （Tenc） 取決于所使用的編碼引擎和功能的選擇。

傳輸：無(wú)人機(jī)使用Wi-Fi連接等無(wú)線通信機(jī)制與地面站通信。由此產(chǎn)生的傳輸延遲 （Ttx） 取決于可用的數(shù)據(jù)帶寬。例如，如果 720p30 流以 1 Mbps 編碼，可用帶寬為 2 Mbps，則向地面站發(fā)送流所需的時(shí)間為 16.5 毫秒。

網(wǎng)絡(luò)：根據(jù)需要，空中系統(tǒng)可以通過(guò)網(wǎng)絡(luò)連接到遠(yuǎn)程地面站。如果是這種情況，網(wǎng)絡(luò)內(nèi)可能會(huì)導(dǎo)致額外的延遲 （Tnw）。

接收：如果地面站也無(wú)線連接到網(wǎng)絡(luò)，則系統(tǒng)中涉及類似于傳輸?shù)念~外延遲（Trx）。

解壓或解碼：壓縮的視頻流需要在接收站解壓。與編碼一樣，此解碼過(guò)程也是計(jì)算密集型的，會(huì)給系統(tǒng)引入解碼延遲 （Tdec）。

顯示：就像視頻捕獲一樣，根據(jù)刷新率，會(huì)有顯示延遲（Tdisp）。

還需要注意的一點(diǎn)是，直接與地面站通信的無(wú)人機(jī)不需要依賴網(wǎng)絡(luò)，只會(huì)導(dǎo)致單個(gè)傳輸延遲（Ttx）（即Tnw = 0和Trc= 0）。

為了更好地說(shuō)明逐幀操作期間從捕獲到顯示的總延遲，圖 1 詳細(xì)介紹了此過(guò)程的時(shí)間線。

圖1：視頻捕獲和顯示時(shí)間線。

總延遲的具體示例可在表 1 中找到。

表1：中心

表 1 中概述了用于控制無(wú)人機(jī)操作的高延遲方案。在這里，操作員需要 118.7 毫秒才能看到收集的視頻。如果無(wú)人機(jī)以每秒 15 米的速度行駛，當(dāng)遠(yuǎn)程操作員看到需要更改航班時(shí)，它將移動(dòng) 1.8 米;在此期間，無(wú)人機(jī)可能會(huì)墜毀。

為了幫助減少這種可能性，H.264標(biāo)準(zhǔn)引入了切片的概念。切片由多個(gè)宏塊（視頻幀的二維單元）組成，這些宏塊是獨(dú)立編碼的。使用此方法可以單獨(dú)解碼每個(gè)切片，而無(wú)需引用另一個(gè)切片。但是，雖然低延遲編碼在如何排列這些切片方面提供了靈活性，但使用自然行順序是最有效的。

當(dāng)幀中的切片數(shù)大于 1 時(shí)，開(kāi)發(fā)人員不僅能夠減少編碼時(shí)間，還能夠減少整體延遲。在這種情況下，系統(tǒng)只需等待捕獲一幀即可開(kāi)始編碼，從而自動(dòng)觸發(fā)其傳輸。其影響是捕獲、編碼、傳輸、接收、解碼和顯示過(guò)程不再是串行的，而是并行的，理論上每一步的延遲都會(huì)減少 N 倍。這使得整體延遲：T = Tcap + （Tenc + Ttx + Tnw + trx + Tdec + Tdisp）/N（圖 2）。

圖2：基于切片對(duì)處理時(shí)間線的影響。

理論上，編碼和顯示過(guò)程之間的有效時(shí)間將減少N倍。但是，實(shí)際上，時(shí)間可能并不總是與切片數(shù)成線性關(guān)系，這是由設(shè)置和處理單個(gè)切片所需的開(kāi)銷引起的。表 2 顯示了基于切片的編碼的延遲示例，基于每幀 30 個(gè)切片的速率。

表 2：基于切片的延遲示例。

如本例所示，即使實(shí)現(xiàn)了有效的編碼/解碼時(shí)間，延遲仍占用基于幀的編碼的一半時(shí)間（每幀一個(gè)切片）。通過(guò)使用此過(guò)程，遠(yuǎn)程無(wú)人機(jī)飛行員的反應(yīng)速度至少提高了三倍。

需要考慮的一個(gè)權(quán)衡：雖然更多的切片將加快編碼和傳輸過(guò)程，但它也會(huì)降低壓縮率。此方法增加了用于切片的位數(shù)以及有效傳輸時(shí)間。設(shè)計(jì)人員必須優(yōu)化端到端系統(tǒng);最終，將由他們相應(yīng)地調(diào)整此參數(shù)。

數(shù)字媒體處理器利用集成的硬件引擎以及專為視頻的低延遲編碼和解碼而設(shè)計(jì)的幀到內(nèi)存 ISP，每幀使用多個(gè)切片。圖 3 顯示了低延遲視頻編碼 Wi-Fi 系統(tǒng)中無(wú)人機(jī)的數(shù)字媒體處理器。

圖3：TMS320DM368 數(shù)字媒體處理器采用低延遲視頻編碼 Wi-Fi 系統(tǒng)，用于無(wú)人機(jī)。

Wi-Fi 和藍(lán)牙組合連接設(shè)備配備了無(wú)人機(jī)所需的高級(jí)功能，例如天線分集、最大比率組合、雙頻支持（2.4 和 5 GHz 頻段）、速率管理和優(yōu)化的數(shù)據(jù)路徑。

如果需要對(duì)航空系統(tǒng)進(jìn)行機(jī)載監(jiān)控，可以使用UART接口與無(wú)人機(jī)的中央控制單元交換控制數(shù)據(jù)，從而實(shí)現(xiàn)自主避免碰撞。

對(duì)于工程師來(lái)說(shuō)，無(wú)人機(jī)是一個(gè)令人興奮的技術(shù)平臺(tái)，這些平臺(tái)受到大多數(shù)設(shè)計(jì)變量（如尺寸、重量、功耗和成本 ［SWaP-C））的限制。受控飛行 - 自萊特兄弟時(shí)代以來(lái)從未改變的挑戰(zhàn) - 需要低延遲視頻處理，無(wú)論是通過(guò)無(wú)線連接為操作員交付還是最終完全自主操作。通過(guò)對(duì)全視頻幀進(jìn)行基于切片的處理并流式傳輸多個(gè)通道的壓縮視頻，設(shè)計(jì)人員將能夠?yàn)闊o(wú)人機(jī)飛行提供靈活、超低延遲的視頻傳輸。

審核編輯：郭婷