IP制作系統(tǒng)中視音頻絕對延時是怎么產(chǎn)生的？

二、絕對延時

1.絕對延時是怎么產(chǎn)生的？有沒有辦法進(jìn)行測量？

如果說相對延時是將視頻或音頻其一作為參考系，那么絕對延時則是以TAI、UTC、GPS等作為參考系，設(shè)備內(nèi)部進(jìn)行信號處理以及設(shè)備間或系統(tǒng)間信號傳輸交互都要耗費(fèi)一定時間，這個時間就是絕對延時。IP信號內(nèi)部處理的延時主要來自于Buffer，幀同步功能開啟需要Buffer，最大延時1幀。在RX端一般也會有Buffer，用來將IP編解碼（根據(jù)信號格式不同，延時一般在幾行到幾十行）、數(shù)據(jù)包封裝、網(wǎng)絡(luò)傳輸、2022-7倒換（ST 2022-7 ClassD 150μs）這些模塊產(chǎn)生的比較小的延時，統(tǒng)一以幀精度校準(zhǔn)，方便下游設(shè)備繼續(xù)進(jìn)行信號處理。概括來說，從A設(shè)備發(fā)流經(jīng)交換機(jī)到B設(shè)備，如果A設(shè)備開啟幀同步，那么B設(shè)備的輸出延時為2幀；A設(shè)備未開啟幀同步，B設(shè)備的輸出延時則為1幀。

圖11：公版IP網(wǎng)關(guān)內(nèi)部信號處理流程

一般來講基于FPGA的IP設(shè)備絕對延時較小且穩(wěn)定，比如索尼CAM+CCU （來自成像器1幀），HDCE IP適配器（單獨(dú)使用TX1幀，TX-RX Pair模式2幀），IPG（1次SDI-IP-SDI往返轉(zhuǎn)換1幀）、切換臺（直切1行，特技1幀）；另一些軟件服務(wù)器類設(shè)備，比如基于軟件的多畫面分割器、虛擬植入等等，它們的絕對延時相比FPGA類設(shè)備要大一點(diǎn)，并且不固定。

圖12：IP攝像機(jī)系統(tǒng)延時示意

設(shè)備信號處理的絕對延時不容易直接測量，比較簡單直接的方式是咨詢廠家。有時為了核實(shí)廠家所給信息是否準(zhǔn)確，也可以采用下文介紹的相對測試法進(jìn)行輔助驗(yàn)證。

●?相對測試法：

相對測試法的核心思路是刻意控制LipSync視音頻信號產(chǎn)生“錯位”，比如想要測量某視頻設(shè)備信號的處理時間，便可將解嵌后的LipSync視頻信號經(jīng)過該設(shè)備，而音頻信號跳過該設(shè)備，由于IPG對于視音頻信號處理時長相等，示波器所讀出的AV Delay實(shí)際上便是該設(shè)備視頻信號處理時間。使用此方法時建議規(guī)劃最短鏈路完成測試，以免引入誤差。

比如圖13中：(A1V2) AV Delay=V2-V1=IP MV絕對延時

圖13：相對測試法測量IP MV絕對延時

2. IP系統(tǒng)絕對延時怎么計算？

系統(tǒng)絕對延時=∑各設(shè)備絕對延時+∑交換機(jī)轉(zhuǎn)發(fā)時間+∑設(shè)備間信號傳輸時間 ≈∑各設(shè)備絕對延時

通常音頻系統(tǒng)絕對延時都小于視頻系統(tǒng)絕對延時，所以后文討論的系統(tǒng)絕對延時指的都是視頻系統(tǒng)。在IP系統(tǒng)中，交換機(jī)數(shù)據(jù)轉(zhuǎn)發(fā)時間（約5μs）以及各設(shè)備間信號傳輸時間通常小到可以忽略。如前文所述，大部分IP設(shè)備自帶幀級別精度的校準(zhǔn)，所以將系統(tǒng)鏈路中所經(jīng)過設(shè)備的信號處理時間求和，即可近似為系統(tǒng)整體的絕對延時。圖14為根據(jù)某4K IP轉(zhuǎn)播車系統(tǒng)實(shí)際案例所繪制用于示意系統(tǒng)絕對延時的框圖，供參考。

需要注意的一點(diǎn)是，自帶幀精度的設(shè)備要根據(jù)其工作模式來確定一幀等于多少ms，比如工作在4K模式的RX IPG取20ms計算，HD模式RX IPG取40ms計算，搭載MC50選件用于上下變換的IPG經(jīng)實(shí)測應(yīng)取40ms計算。

圖14：絕對延時理論計算框圖

由此可見，無論是設(shè)備層面，還是系統(tǒng)層面，IP系統(tǒng)中的絕對延時與基帶系統(tǒng)都是相近的。

3.什么場景需要關(guān)注絕對延時？如何測量絕對延時？

絕對延時是量化監(jiān)看鏈路時常用到的概念，將監(jiān)看鏈路中信號的所有傳輸和處理時間疊加求和后的數(shù)值就是監(jiān)看鏈路整體的絕對延時。通俗講就是現(xiàn)場發(fā)生一個事件，至導(dǎo)播在電視墻上觀看到此事件經(jīng)過了多長時間。不同于相對延時可以優(yōu)化調(diào)整為零，絕對延時無法去除，只能盡量減少。通過圖15可以清晰地對比區(qū)分絕對延時和相對延時。

圖15：絕對延時示意

根據(jù)過往經(jīng)驗(yàn)，絕大多數(shù)系統(tǒng)監(jiān)看鏈路延時處于主觀可接受范圍內(nèi)，但在個別大型、復(fù)雜系統(tǒng)的特殊應(yīng)用場景下，監(jiān)看絕對延時過大的問題暴露，并引發(fā)一系列連鎖反應(yīng)，在制作過程中對導(dǎo)播、攝像等工作人員產(chǎn)生干擾，進(jìn)而影響制作體驗(yàn)與節(jié)目質(zhì)量，后文將以實(shí)際案例分析絕對延時過大可能帶來的問題。

監(jiān)看鏈路絕對延時有哪些測量方法呢？比較常用的是圖16所示秒表拍照法。用電腦打開在線秒表，并在電腦前架設(shè)一臺訊道機(jī)，對準(zhǔn)電腦屏幕拍攝，將拍攝信號調(diào)度至大屏，最后用手機(jī)高快門同時拍照大屏和電腦。通過計算電腦秒表及大屏回顯時間的差值即可得到監(jiān)看鏈路近似絕對延時。類似的方法，還可以用放機(jī)輸出帶有時碼的畫面至大屏替代秒表。不過以上兩種方法均存有一定誤差，主要源自于秒表自身精度，不論秒表還是時碼，一秒內(nèi)的跳變次數(shù)都是有限的，手機(jī)拍攝到的數(shù)值也經(jīng)常會介于變化過程中一個模糊的數(shù)值。所以此方法理論最大誤差會發(fā)生在電腦和電視其中一個剛剛跳變?yōu)樾聰?shù)值，另一個處于即將跳變的狀態(tài)時，即最大誤差為秒表步進(jìn)分度值乘以2。

圖16：利用在線秒表對比三種不同HDMI轉(zhuǎn)換盒轉(zhuǎn)換速度

還可以引申前文介紹的相對測試法來測量監(jiān)看鏈路的絕對延時，如圖17所示，將LipSync測試信號解嵌，視頻信號經(jīng)監(jiān)看鏈路送至大屏，用攝像機(jī)拍攝大屏并將本機(jī)信號輸出至示波器；音頻信號完成解嵌后直接送至示波器，示波器讀出的數(shù)值即為監(jiān)看鏈路的延時。

圖17：LipSync測試監(jiān)看鏈路絕對延時

此外，拍攝大屏LipSync信號的方法理論上也可用于測量監(jiān)看、監(jiān)聽的相對延時，這時需要用機(jī)頭MIC拾監(jiān)聽音箱聲音給到示波器，見圖18。但拍攝大屏LipSync信號在實(shí)測過程中，發(fā)現(xiàn)需要反復(fù)調(diào)整攝像機(jī)畫面構(gòu)圖，直至示波器能夠正確識別信號，需要相當(dāng)耐心。

圖18：LipSync測試監(jiān)看、監(jiān)聽鏈路相對延時

（上述兩種測試方法可能存在一定誤差，僅供參考）

圖19：靈活使用LipSync測試信號實(shí)例

4.實(shí)際案例剖析

近期交付的4K IP轉(zhuǎn)播車系統(tǒng)，越來越多的導(dǎo)演區(qū)電視墻設(shè)計方案采用以商顯或高端電視機(jī)為主，輔以專業(yè)級監(jiān)視器的拼接方案，屏幕尺寸通常為55英寸，數(shù)量則根據(jù)車體布局設(shè)計確定。

圖20所示是比較典型的“5+1”案例。由設(shè)備布局圖可見，該系統(tǒng)第一導(dǎo)演區(qū)共有6塊大屏，其中采用5臺電視機(jī)顯示分割畫面，為導(dǎo)播提供信號源監(jiān)看；1臺索尼PVM-X550專業(yè)監(jiān)視器進(jìn)行全屏顯示，用以精準(zhǔn)呈現(xiàn)系統(tǒng)4K末級HDR畫面的最終效果。

圖20：“5+1”導(dǎo)演區(qū)電視墻拼接方案

但是此轉(zhuǎn)播車系統(tǒng)在制作大型綜藝節(jié)目中發(fā)現(xiàn)了以下問題：經(jīng)過音頻主管與導(dǎo)播主觀判斷，需要在導(dǎo)演區(qū)監(jiān)聽延時器加300ms的延時，電視監(jiān)看與音箱監(jiān)聽間相對定時才不至于察覺出明顯不同步。

一個比較特殊的情況是，由于導(dǎo)播需要通過節(jié)目音樂來找準(zhǔn)切換節(jié)奏，進(jìn)行機(jī)位調(diào)度，加之個人工作習(xí)慣，無論單耳耳麥還是雙耳耳麥佩戴都不是很適應(yīng)。如果采用通話面板的鵝頸話筒又會將導(dǎo)演區(qū)大音量監(jiān)聽反饋回通話系統(tǒng)，送回機(jī)位通話耳機(jī)中，與現(xiàn)場擴(kuò)聲疊加后產(chǎn)生聲學(xué)效應(yīng)對攝像師工作產(chǎn)生干擾，導(dǎo)致攝像無法聽清楚導(dǎo)播指令，影響了節(jié)目制作效率。

現(xiàn)場為了能夠以最快速度解決此問題，優(yōu)先考慮治標(biāo)，從通話系統(tǒng)入手，降低通話面板拾取到導(dǎo)演區(qū)監(jiān)聽的音量。經(jīng)過咨詢通話廠家，與通話面板適配的鵝頸話筒基本都是心形指向或全向電容麥?？紤]如果采用強(qiáng)指向話筒替代鵝頸話筒可能會讓導(dǎo)播聲音更加突出，于是在桌面上臨時固定了一個強(qiáng)指向話筒，正對導(dǎo)播，通過模擬轉(zhuǎn)IP網(wǎng)關(guān)接入IP通話系統(tǒng)中。實(shí)測在攝像機(jī)端聽導(dǎo)播講話有一定改善，可以勉強(qiáng)聽清指令。但是這種解決方法效果還不夠理想，只能作為臨時應(yīng)對方案。

圖21：在導(dǎo)演臺面架設(shè)強(qiáng)指向話筒作為臨時改善方案

因?yàn)?00ms的監(jiān)看監(jiān)聽相對延時遠(yuǎn)超出了經(jīng)驗(yàn)值，側(cè)面說明監(jiān)看鏈路整體絕對延時一定也是過大的。于是利用節(jié)目彩排間隙，繼續(xù)尋找視頻鏈路中帶來較大延時的環(huán)節(jié)或設(shè)備，判斷能否針對性進(jìn)行優(yōu)化，改善監(jiān)看絕對延時量，目標(biāo)將監(jiān)看絕對延時減小至200ms以內(nèi)。為此首先要找出監(jiān)看鏈路中絕對延時最大的節(jié)點(diǎn)，并盡可能減少其延時量。

首先被懷疑的是IP MV，因?yàn)樵谠O(shè)備IP化早期階段，基于軟件的IP MV產(chǎn)品延時就非常大，雖然后來被基于FPGA的IP MV取代，但未經(jīng)測試尚不清楚本系統(tǒng)內(nèi)配置的新型產(chǎn)品延時究竟有多大。

圖22：利用相對延時法測量IP MV信號處理時間

采用相對測試法對本系統(tǒng)中IP MV進(jìn)行測量，結(jié)果為40ms，屬于中規(guī)中矩的范圍，看來不是監(jiān)看鏈路總體延時過大的主要原因。之后又用秒表拍照法測試了第二懷疑對象IP-HDMI轉(zhuǎn)換盒，結(jié)果在40ms內(nèi)（無法精確測量）。既然IP MV以及IP-HDMI轉(zhuǎn)換盒延時都不至于產(chǎn)生太大影響，鏈路中其他設(shè)備CCU、切換臺、IPG信號處理時長又是已知很小且固定的，那么鏈路中可懷疑對象只剩下顯示設(shè)備了。

顯示終端總輸入延時=圖像傳輸?shù)斤@示終端的時間+顯示終端對圖像進(jìn)行解析處理的時間+屏幕顯示圖像的時間。高質(zhì)量的專業(yè)監(jiān)視器是基于FPGA，延時小于一幀；其它顯示終端會有不同情況，既有延時低的情況，也有延時大的情況，例如為了給觀者帶來更艷麗流暢的畫面體驗(yàn)，會由圖像處理芯片對畫面進(jìn)行增強(qiáng)和補(bǔ)償，對畫面解析處理會引入一定量的延時。高端顯示終端提供了延時優(yōu)化方法——將圖像模式改為游戲模式可有效降低HDMI輸入延時。實(shí)測多臺不同型號電視的游戲模式，相比標(biāo)準(zhǔn)模式可以降低約120-200ms延時。

圖23：利用服務(wù)器帶時碼監(jiān)看對比游戲模式和標(biāo)準(zhǔn)模式

該系統(tǒng)把大屏調(diào)整為游戲模式后，經(jīng)過重新校對，監(jiān)聽延時器由原先的300ms可以調(diào)整至140ms左右，監(jiān)看鏈路絕對延時過大的問題得到改善，但導(dǎo)播不戴通話耳麥且監(jiān)聽音量非常大的極端應(yīng)用場景中，機(jī)位通話還是會存留一定瑕疵。需要留心的一點(diǎn)是，更改商顯或電視的圖像模式后，不要忘記對其重新校色。

5.遠(yuǎn)程制作、分布式制作延時

雖然在孤島系統(tǒng)內(nèi)，絕對延時受關(guān)注程度不如相對延時，但在由多套子系統(tǒng)組成的遠(yuǎn)程制作系統(tǒng)中，絕對延時需要被重視起來。比如大型賽會期間，轉(zhuǎn)播車系統(tǒng)需回傳信號至MCR，此時轉(zhuǎn)播車系統(tǒng)、MCR系統(tǒng)以及兩者之間的信號傳輸都可以視作一個獨(dú)立延時環(huán)節(jié)，其中任一環(huán)節(jié)絕對延時過大都可能會影響到遠(yuǎn)程制作的質(zhì)量，所以此時測量系統(tǒng)絕對延時是十分有必要的。

不同于系統(tǒng)內(nèi)部各設(shè)備之間的信號傳輸延時小到可以忽視，多地間比如基于LAN/WAN的遠(yuǎn)程制作、分布式制作或者是5G回傳時，信號壓縮編解碼以及傳輸延時無法忽略。為了確保信號質(zhì)量，規(guī)避制作風(fēng)險，該如何對信號傳輸延時進(jìn)行精確測量呢？

其中難點(diǎn)就在于多地間如何采取一致的時間參考源作為共同的測量基準(zhǔn)。國外一家公司提供了基于PTP或NTP網(wǎng)絡(luò)時間協(xié)議的完整測量方案：現(xiàn)場端用IOS手機(jī)下載App，攝像機(jī)對準(zhǔn)手機(jī)拍攝，在系統(tǒng)內(nèi)部署的信號分析儀即可以毫秒級精度測量出相對延時、絕對延時，還可以校準(zhǔn)多機(jī)位一致性。在異地遠(yuǎn)程制作環(huán)境中，通過在關(guān)鍵節(jié)點(diǎn)部署多臺信號發(fā)生儀和分析儀，可以實(shí)現(xiàn)分段測量，比如圖24案例，方案中將遠(yuǎn)程制作劃分為4個段，為了便于理解，筆者進(jìn)行了標(biāo)注——藍(lán)色箭頭代表信號發(fā)生儀發(fā)出測試信號，紫色箭頭代表信號分析儀接收測試信號，相同數(shù)字為一組，測量的是所標(biāo)數(shù)字相同段的絕對延時。

值得一提的是，此產(chǎn)品在大型活動中有所應(yīng)用，一些轉(zhuǎn)播車上也有它的身影，但是經(jīng)了解其售價也相對昂貴。

圖24：遠(yuǎn)程制作延時示意

總結(jié)

IP系統(tǒng)在相對延時和絕對延時兩方面表現(xiàn)與傳統(tǒng)基帶系統(tǒng)十分接近，沒有超出我們的期待，也沒有表現(xiàn)出過大延時。由于各系統(tǒng)設(shè)計不盡相同，很難概括出簡單的公式或是經(jīng)驗(yàn)法則，典型值只能用作參考。長話短說，在一套精心設(shè)計的IP系統(tǒng)中，不應(yīng)與基帶系統(tǒng)在延時方面有太大的差異。

編輯：黃飛