基于FPGA的超低時延激光多媒體終端

基于FPGA的超低時延激光多媒體終端

一作品簡介

隨著數(shù)字光處理技術(shù)(DLP)和液晶顯示器技術(shù)(LCD)的不斷發(fā)展，市場上能實現(xiàn)4K@60Hz超高清投影的投影機型號日漸增加，對投影儀器性能的要求也與日俱增，對投影延遲、投影亮度、投影色彩、系統(tǒng)可擴展性等方面提出了更高的要求。

在軍用領(lǐng)域中，時間就是生命，美國空軍的模擬器通用體系結(jié)構(gòu)與標準(Simulator Common Architecture Requirements and Standards，SCARS)中規(guī)定戰(zhàn)斗機模擬訓(xùn)練全任務(wù)仿真器(Full Mission Simulators, FMS)的模擬投影延時不得高于20ms；在商用領(lǐng)域中，時間就是金錢，金融期貨與證券交易的深度行情信息最快每250ms刷新一次，對投影系統(tǒng)畫面?zhèn)鬏數(shù)臅r延要求高；在民用領(lǐng)域中，時間就是快樂，專業(yè)電子競技顯示儀器的視頻傳輸時延需低于16ms。

針對軍用、商用、民用三大領(lǐng)域?qū)Τ蜁r延投影顯示的需求，本團隊完全獨立自主地從硬件系統(tǒng)、邏輯算法以及軟件代碼三方面實現(xiàn)了基于FPGA的超低時延超高清激光多媒體終端，同時兼顧投影亮度、投影色彩和系統(tǒng)可擴展性。相比于市場上4K投影時延高達40ms到200ms的投影系統(tǒng)，本系統(tǒng)4K投影時延為15.8ms；能夠支持的最高投影畫面質(zhì)量為4K@60Hz；投影畫面亮度可達3500流明；畫面對比度能夠達到1000:1；系統(tǒng)支持USB3.0接口、千兆網(wǎng)口、萬兆光口等高速接口以實現(xiàn)硬件擴展。

圖1

二硬件設(shè)計

本系統(tǒng)的硬件設(shè)計有本團隊成員使用Cadence系列軟件進行EDA設(shè)計，包括原理圖庫設(shè)計、原理圖設(shè)計、PCB封裝庫設(shè)計以及PCB設(shè)計。本作品的硬件系統(tǒng)原理圖設(shè)計采用自頂向下的top design設(shè)計方法。最終完成了復(fù)雜的低延時激光多媒體終端硬件原理圖設(shè)計，原理圖共計58頁，部分頂層設(shè)計如圖2所示。

圖2

本作品的硬件平臺為一塊復(fù)雜的16層高密度激光多媒體顯示終端系統(tǒng)板，用于實現(xiàn)超低時延激光投影，采用Xilinx Ultrascale+系列的XCZU7EV-FFVC1156E作為核心芯片，板上掛載了6片DDR4擴展存儲資源，支持HDMI2.0與V-by-One兩種視頻輸入接口，搭載一路數(shù)字微鏡驅(qū)動接口以及一路DP1.2a視頻輸出接口；系統(tǒng)同時支持SATA大容量存儲設(shè)備、USB3.0接口、MIPI D-PHY攝像頭接口、千兆以太網(wǎng)、萬兆以太網(wǎng)以及光學(xué)控制接口等豐富的外設(shè)資源。

圖3

圖4

三低時延邏輯算法設(shè)計

3.1分布式離散交織顯示邏輯算法

顯示信令控制模塊是數(shù)字微鏡驅(qū)動單元中的核心模塊，而顯示信令控制模塊中最為核心的就是分布式離散交織顯示算法，該算法的示意圖如下圖所示。該算法采用不同的LFSR隨機種子優(yōu)化投影顯示策略，實現(xiàn)了視頻數(shù)據(jù)更高效的顯示，相較于傳統(tǒng)的幀刷新方式，將帶寬利用率提升了74.5%。

圖5

3.2SARR邏輯算法

SARR(Self-Adjust-Rolling-Row)指自適應(yīng)的滾動行緩存算法，該算法可極大降低了瞬時峰值數(shù)據(jù)帶寬。相較于市面投影儀40~200ms量級的響應(yīng)處理時延，本系統(tǒng)的4K投影響應(yīng)延時僅為15.8ms，極大緩解了傳統(tǒng)投影顯示延時高，投影體驗差的問題。基于SARR的低延時緩存策略貫穿在整個軟件邏輯設(shè)計之中，并且著重在數(shù)字微鏡驅(qū)動單元中的DDR4緩存單元體現(xiàn)，該算法的整體運行監(jiān)控示意圖如圖6所示。

圖6

基于超低延時的設(shè)計需求，SARR分為了讀寫兩個部分，寫檢測部分需要監(jiān)控輸入的視頻數(shù)據(jù)流、數(shù)據(jù)預(yù)處理，顏色生成等模塊的工作狀態(tài)，檢測寫部分的整體輸入速率；讀檢測部分需要基于寫入的數(shù)據(jù)速率，控制顯示信令控制的讀取速度，監(jiān)控DDR4存儲模塊的讀寫狀態(tài)和DMD的數(shù)據(jù)吞吐速率，協(xié)調(diào)讀部分的讀取速率，確保讀寫指針維持偏差維持在4.167ms之內(nèi)。并且，基于SARR可以使得軟件處理部分同時兼容4K@60Hz、4K@50Hz、4K@30Hz、4K@25Hz等多種顯示規(guī)格。

圖7

3.3作品創(chuàng)新點

3.1.1 全方面自主設(shè)計的低時延激光顯示多媒體平臺系統(tǒng)

本作品中的硬件、邏輯以及軟件均為本團隊成員獨立自主設(shè)計的低時延激光顯示多媒體平臺。該多媒體平臺擁有豐富的外設(shè)資源，支持HDMI2.0與V-by-One視頻輸入，能夠通過萬兆光口與千兆網(wǎng)口實現(xiàn)板級互聯(lián)實現(xiàn)硬件資源擴展，能夠通過更換數(shù)字微鏡子板以實現(xiàn)對不同型號數(shù)字微鏡芯片的驅(qū)動，多媒體終端的可擴展性和兼容性強。

本作品使用三色激光光源實現(xiàn)投影，使用了基于三色激光光源的RGBYCW六色顯示技術(shù)，相比較于傳統(tǒng)DLP投影技術(shù)中使用高壓汞燈投影以及單/雙色激光配合色輪投影的技術(shù)而言，投影亮度更高，對比度更高，色彩飽和度更高，投影畫面更加真實，對應(yīng)用場合的要求更低。

3.1.2 獨創(chuàng)的新型投影邏輯設(shè)計架構(gòu)和分布式離散交織顯示算法

本團隊從MEMS底層構(gòu)建驅(qū)動應(yīng)用算法，通過SARR(Self-Adjust-Rolling-Row)技術(shù)，相較于市面投影儀40~200ms量級的響應(yīng)處理時延，本系統(tǒng)的4K投影響應(yīng)延時僅為15.8ms，解決了傳統(tǒng)投影顯示延時高，投影體驗差的問題。

本團隊在驅(qū)動算法層面，提出了一種通過分布式離散交織顯示算法，采用不同的LFSR隨機種子優(yōu)化投影顯示策略，實現(xiàn)了視頻數(shù)據(jù)更高效的顯示，極大降低了瞬時峰值數(shù)據(jù)帶寬，將帶寬利用率提升74.5%，抑制了偽輪廓噪聲，提高了驅(qū)動算法的效果，配合多色投影組合策略，大幅提高了投影畫面的灰度精度及亮度。

3.1.3 突破技術(shù)壁壘，推動技術(shù)創(chuàng)新

本作品僅使用一塊FPGA就完成了對TI數(shù)字微鏡芯片的驅(qū)動，相比較于TI傳統(tǒng)的“專用驅(qū)動芯片+固件程序”驅(qū)動方案，靈活性更高，成本更低，在數(shù)字微鏡驅(qū)動領(lǐng)域填補了我國的技術(shù)空白，對獨立生產(chǎn)制造數(shù)字微鏡器件具有指導(dǎo)意義。

本作品已申請4項發(fā)明專利，其中3項已通過授權(quán)。

●國家發(fā)明專利《一種基于FPGA的數(shù)字微鏡芯片驅(qū)動方法》，專利號：202110659960.9，已授權(quán)；

●國家發(fā)明專利《一種針對數(shù)字微鏡芯片的4K分辨率視頻圖像預(yù)處理方法》，專利號：202110617933.5，已授權(quán)；

●國家發(fā)明專利《一種基于振鏡的數(shù)字微鏡高分辨率視頻圖像投影方法》，專利號：202210737653.2，已授權(quán)；

●國家發(fā)明專利《一種基于數(shù)字微鏡的8K超高清單色顯示器》，申請?zhí)枺?023104558872，已通過初步審查。

四總結(jié)

總體而言，本團隊自主設(shè)計了基于FPGA開發(fā)了超低延時激光多媒體終端系統(tǒng)，同步控制三色激光光源和制動器實現(xiàn)超低延時的超高清激光投影，可廣泛應(yīng)用于軍用、商用、民用等領(lǐng)域，具有延時低、圖像質(zhì)量高、通用性強、應(yīng)用擴展性高等優(yōu)勢。本作品僅使用一塊FPGA就完成了對數(shù)字微鏡驅(qū)動，相較于TI傳統(tǒng)的“專用驅(qū)動芯片+固件程序”驅(qū)動方案，靈活性更高，成本更低，在數(shù)字微鏡驅(qū)動領(lǐng)域填補了我國的技術(shù)空白，打破了TI的技術(shù)壟斷，且不受其應(yīng)用限制。在國產(chǎn)化大形勢下，為各大投影廠商選擇國產(chǎn)方案提供了可定制化的超低時延多媒體終端，應(yīng)用前景良好。

圖8