低延遲和低功耗圖像預(yù)失真

傳統(tǒng)的平視顯示器需要一個(gè)平坦的透明表面，圖像投射到該表面上。如此平坦的表面只需要簡(jiǎn)單的梯形失真校正即可顯示干凈的圖像。在較新的架構(gòu)中，擋風(fēng)玻璃本身將用作投影目標(biāo)。

如果不進(jìn)行校正，擋風(fēng)玻璃上可能如下所示的干凈投影圖像：

對(duì)于擋風(fēng)玻璃的三維表面，除了梯形失真或針墊校正之外，還需要更復(fù)雜的任意預(yù)變形。考慮到擋風(fēng)玻璃的物理形狀、投影儀的位置以及駕駛員可能的頭部位置，這是必需的。

這種預(yù)失真需要對(duì)圖像進(jìn)行轉(zhuǎn)換或扭曲，其中每個(gè)像素都被視為其所需位置。

Microchip與TES Electronic Solutions GmbH（TES）合作實(shí)施這種翹曲引擎。變形引擎基于以下簡(jiǎn)單概念：

對(duì)于每個(gè)輸出像素，從查找表（LUT）讀取所需源像素的亞像素精確位置，從源圖像中讀取該位置周圍的所需源像素，并通過雙線性濾波根據(jù)子像素位置對(duì)這些源像素進(jìn)行加權(quán)來計(jì)算輸出像素。

LUT由TES專有的自適應(yīng)增量編碼算法高度壓縮，允許壓縮系數(shù)從40到60倍，具體取決于子像素坐標(biāo)的可配置最大誤差值。

基于這種方法，可以實(shí)現(xiàn)任意形狀的翹曲。翹曲引擎創(chuàng)建需要投影的三維圖像的反曲率。

變形 IP 的通用設(shè)置如下：

顯示數(shù)據(jù)進(jìn)入 PolarFire? FPGA，由翹曲引擎處理，然后傳輸?shù)酵队皟x圖像。局部調(diào)光可以作為翹曲過程的一部分進(jìn)行;但是，這需要標(biāo)準(zhǔn)翹曲引擎的附加功能。

默認(rèn)情況下，變形過程基于在 DDR 內(nèi)存中臨時(shí)存儲(chǔ)傳入的視頻幀，并增加四個(gè)圖像幀的延遲：

這種方法允許完全靈活地扭曲和旋轉(zhuǎn)圖像以及處理圖像大小。

在外部 DDR 內(nèi)存不可用或應(yīng)避免的情況下，變形過程也可以適應(yīng)在沒有外部 DDR 內(nèi)存的情況下工作，而只能在部分輸入幀和流輸出接口上工作：

壓縮的變形LUT存儲(chǔ)在FPGA內(nèi)部，輸入的視頻數(shù)據(jù)的幾行緩沖在FPGA中。內(nèi)部RAM要求取決于傳入數(shù)據(jù)幀的寬度和需要存儲(chǔ)的行數(shù)，后者取決于最大圖像失真。

當(dāng)內(nèi)存中有足夠的輸入行時(shí)，可以開始處理輸出像素。輸出像素是根據(jù)存儲(chǔ)的輸入圖像行中的可用數(shù)據(jù)創(chuàng)建的。

此方法在不使用外部 DDR 內(nèi)存時(shí)優(yōu)化最低延遲;但是，它降低了翹曲能力的靈活性。對(duì)于只需要少量翹曲的相對(duì)平坦的表面，可以通過減少內(nèi)存需求來節(jié)省大量成本。一個(gè)積極的副作用是減少延遲。如果需要更大的圖像失真，例如魚眼鏡頭校正，該方法仍然適用，但節(jié)省的內(nèi)存更少，延遲增加。

另一個(gè)好處是，移除DDR內(nèi)存還可以消除內(nèi)存引起的凍結(jié)幀的風(fēng)險(xiǎn)，這可能是系統(tǒng)中的安全問題。

局部調(diào)光是投影應(yīng)用中經(jīng)常需要的功能。局部調(diào)光抵消了由用于背光的LED矩陣的照明熱圖引起的圖像梯度：

圖像的像素在顏色和亮度上單獨(dú)調(diào)整，以便背光矩陣的照明熱圖產(chǎn)生具有預(yù)期顏色和亮度的圖像。

由于輸出圖像的每個(gè)像素都被扭曲引擎觸摸，因此可以同時(shí)應(yīng)用局部調(diào)光，而不會(huì)增加任何額外的延遲。局部調(diào)光到單個(gè)像素的粒度取決于可用于存儲(chǔ)調(diào)光表的內(nèi)存。

在只需要局部調(diào)光而不翹曲的情況下，也可以獨(dú)立模式下使用按像素方法。對(duì)于此設(shè)置，只需要包含調(diào)光區(qū)域信息的熱圖表的內(nèi)存。調(diào)光在流模式下實(shí)現(xiàn)，不存儲(chǔ)完整的圖像幀。在這種方法中，調(diào)光的延遲僅保持在兩條圖像線，并消除了外部存儲(chǔ)器中圖像凍結(jié)的風(fēng)險(xiǎn)。

基于FPGA的靈活性，可以支持不同的通信接口。這允許在客戶可能擁有的多個(gè)平臺(tái)上重復(fù)使用設(shè)計(jì)。在設(shè)計(jì)中使用FPGA時(shí)，中等復(fù)雜的FPGA足以運(yùn)行翹曲引擎，因此可以使用非常節(jié)省空間的小型封裝在PCB上進(jìn)行簡(jiǎn)單且經(jīng)濟(jì)高效的布線。此外，在具有挑戰(zhàn)性的熱環(huán)境中使用FPGA可以毫不費(fèi)力，因?yàn)镸icrochip的PolarFire FPGA是業(yè)界中檔密度下功耗最低的器件。

審核編輯：郭婷