如何用自動(dòng)腳本測試進(jìn)行視頻的質(zhì)量分析

關(guān)鍵詞： 腳本測試 , 視頻 , 質(zhì)量分析 , 自動(dòng)

隨著視頻設(shè)備變得更復(fù)雜以及上市周期的變短，質(zhì)量保證(QA)和質(zhì)量控制(QC)測試人員要在更短的時(shí)間內(nèi)測試更多的功能。通常測試人員而只是雜亂地測試一些基本功能。視頻質(zhì)量測試結(jié)果到底怎么樣？你是否知道你的系統(tǒng)存在一些性能缺陷和失真？

設(shè)計(jì)和制造過程中的視頻質(zhì)量測試

隨著數(shù)字電視(DTV)的出現(xiàn)，視頻處理有了巨大的改變。幾乎所有的視頻被壓縮，量化，通過廣播和IP方式分發(fā)，以及解壓縮。這為視頻技術(shù)廠商提供了機(jī)會(huì)。

但是，這些機(jī)會(huì)涌現(xiàn)的速度極其危險(xiǎn)。高技術(shù)設(shè)備從概念到供貨的平均上市時(shí)間從90年代的5到6年縮短到目前的一到兩年。最早提供一款高質(zhì)量產(chǎn)品的廠商還可以勉強(qiáng)處于可持續(xù)競爭的邊緣。隨著更多公司相互競逐而在很短的時(shí)間內(nèi)加入更多的功能，從產(chǎn)品的開發(fā)速度到系統(tǒng)的驗(yàn)證速度，產(chǎn)品的許多控制因素都發(fā)生了改變。

圖1：帶有合格/不合格結(jié)果的ClearView GUI。

為了應(yīng)對(duì)這一需求，一些測試機(jī)構(gòu)采用了腳本，希望能節(jié)省時(shí)間。運(yùn)行測試腳本盡管比手工測試要快，但如何使視頻質(zhì)量分析自動(dòng)化？絕大多數(shù)公司采用帶有“黃金眼”(golden eye)的測試儀器來驗(yàn)證質(zhì)量是否可接受。此外，許多聰明的測試人員更喜歡手動(dòng)測試，他們喜歡將他們的時(shí)間投入到創(chuàng)造性的測試案例，而非滿足于只是熟悉復(fù)雜的腳本語言。

Video Clarity公司創(chuàng)造了一個(gè)突破性的視頻質(zhì)量測試解決方法，使得設(shè)備制造商增加覆蓋并投入更多的時(shí)間到創(chuàng)造性測試上。該技術(shù)名為“ClearView”，是一個(gè)具有腳本的自動(dòng)化視頻質(zhì)量測試系統(tǒng)。ClearView包括一個(gè)非壓縮的視頻服務(wù)器，一臺(tái)視頻錄像機(jī)，一臺(tái)視頻播放設(shè)備，以及一臺(tái)定量視頻質(zhì)量記錄儀。通過在一臺(tái)設(shè)備上提供所有這些設(shè)備功能，ClearView成為一套完整的測試系統(tǒng)，可以實(shí)現(xiàn)先進(jìn)的視頻質(zhì)量評(píng)估和比較。

圖2：主觀分析顯示模式(垂直分割)。

ClearView視頻質(zhì)量分析

Video Clarity公司的ClearView系統(tǒng)為軟件開發(fā)人員、硬件設(shè)計(jì)師、QA/QC工程師、視頻研究人員以及生產(chǎn)和視頻分發(fā)機(jī)構(gòu)提供了一系列視頻質(zhì)量分析工具。ClearView對(duì)視頻進(jìn)行播放、錄像、顯示和視頻序列分析。該設(shè)備能夠從任何源文件、數(shù)字或模擬源，例如SDI、HD-SDI、DVI、VGA、HDMI、分量視頻、復(fù)合視頻或S端獲取視頻內(nèi)容。不管是什么輸入，ClearView都能接收并將其轉(zhuǎn)換成非壓縮的 4:2:2 Y'CbCr, 4:4:4 RGB、ARGB、或RGBA。這使得編解碼器能夠方便地被相互比較和評(píng)估。

圖3：編碼器/解碼器(DUT)合格/不合格視頻測試實(shí)例。

ClearView提供了許多能夠接近主觀質(zhì)量評(píng)估的數(shù)學(xué)模型。客觀的數(shù)學(xué)方法根據(jù)具有最高質(zhì)量的原始視頻信號(hào)的有效性被分成如下幾類：

1. 全基準(zhǔn)方法(FR)

2. 降低的基準(zhǔn)方法(RR)

3. 無基準(zhǔn)方法(NR)

你是否曾經(jīng)想過將你的H.264/VC-1 & MPEG-2與其它的進(jìn)行一下比較？現(xiàn)在就可以！你還可以測量視頻延遲和音視頻唇同步。

圖4：scriptable合格/不合格評(píng)分背后的基本原理。


數(shù)字壓縮的基本問題

和數(shù)據(jù)壓縮相似，視頻壓縮需要在磁盤空間、視頻質(zhì)量和在合理的時(shí)間內(nèi)對(duì)視頻解壓縮所需的硬件成本進(jìn)行折中。不過，如果對(duì)視頻過壓縮，就會(huì)出現(xiàn)可視缺陷。這正是視頻質(zhì)量測試和測量的使命，以便對(duì)視頻質(zhì)量進(jìn)行精確的建模。

在任何視頻質(zhì)量測量之前，只需將視頻數(shù)據(jù)對(duì)齊。將會(huì)出現(xiàn)下面一些有關(guān)對(duì)齊的問題：

1. 處理后的視頻時(shí)間上與原視頻信號(hào)對(duì)不齊

2. 處理后的視頻水平方向上有移位

3. 處理后的視頻豎直方向上有移位

4. 處理后的視頻有色彩保真度損失

5. 處理后的視頻音視頻不同步

時(shí)間對(duì)齊

客觀度量視頻質(zhì)量是逐幀進(jìn)行的，故視頻序列必須時(shí)間對(duì)齊。由于通常并沒有色柵/校準(zhǔn)條，ClearView從一個(gè)視頻幀開始，并將該幀放到視頻序列中的另一個(gè)幀中，使之具有最小的差和(sum-of-difference)。ClearView然后進(jìn)行修整使視頻序列時(shí)間上對(duì)齊。

空間水平對(duì)齊

1932年創(chuàng)立的隔行視頻，用來減小因CRT在刷新時(shí)間內(nèi)無法遍及整個(gè)屏幕所引起的顫動(dòng)。在數(shù)字電視規(guī)范中也用了隔行視頻，因?yàn)閷?duì)于一定的線數(shù)和刷新時(shí)間，可以將信號(hào)帶寬降低一半。但是，只有CRT才可以顯示隔行視頻。于是，只有通過去隔行才能在DLP、LCD和等離子電視上顯示隔行視頻。由于去隔行算法的影響，處理單元將會(huì)引起幾個(gè)像素的水平移位。ClearView中包括一個(gè)算法，用來確定幀位移量并適當(dāng)?shù)卣{(diào)整窗口尺寸。

空間豎直對(duì)齊

基于DCT的壓縮算法- MPEG、JPEG和VC-1，要求視頻必須可按16像素進(jìn)行劃分。由于塊大小的限制，NTSC視頻從486線縮至480線，而HD 1080視頻實(shí)際上被壓縮到1088線。由于壓縮視頻之間尺寸以及顯示視頻窗口不匹配將引起豎直偏移。ClearView包括一個(gè)算法來確定幀偏移量并適當(dāng)?shù)卣{(diào)整窗口尺寸。

色彩保真度損失

如果視頻是通過模擬源(分量視頻、復(fù)合視頻或S端口)輸出，則由于模數(shù)變換將會(huì)引起色彩的輕微偏差。ClearView將采用一個(gè)線性歸一化偏置來補(bǔ)償這一影響。

音視頻同步

在電視領(lǐng)域中，通常引起音視頻同步問題的原因是由于對(duì)電視節(jié)目的視頻部分進(jìn)行了大量處理所致，通常由視頻壓縮編解碼產(chǎn)生。ClearView測量視頻源和處理后的A/V序列之間的時(shí)間偏移，然后對(duì)壓縮解碼器提供一個(gè)偏移量來補(bǔ)償處理延遲。

視頻質(zhì)量評(píng)估

當(dāng)今，視頻設(shè)備制造商憑主觀驗(yàn)證視頻質(zhì)量。主觀測試具有創(chuàng)造性但無法很好地量化。如何測試成千上萬套設(shè)備？如何進(jìn)行回歸測試？如何根據(jù)主觀反饋來矯正測試設(shè)備和增加功能？

我們?cè)?jīng)提出這樣的問題—人眼評(píng)測客觀嗎？文中指出主觀視頻分析只能作為視頻質(zhì)量的精確評(píng)估(aka，將視頻序列提供給一組專家)。然而，主觀視頻分析只能用于開發(fā)和評(píng)估，而無助于操作監(jiān)控、生產(chǎn)線測試、故障定位，以及設(shè)備特定的可重復(fù)性測量。對(duì)定量的、可重復(fù)性視頻分析的需求都需要客觀的視頻質(zhì)量測試。

最小可覺差法

ClearView采用眾所周知的人體視覺系統(tǒng)，即最小可覺差法 (JND)來客觀地評(píng)估視頻質(zhì)量。JND根據(jù)算法來預(yù)測視頻質(zhì)量，這些算法的根據(jù)是對(duì)數(shù)以百計(jì)的評(píng)估專家的觀測進(jìn)行建模，并根據(jù)觀測距離、感知的缺陷、觀測角度以及電視顯示器尺寸等進(jìn)行打分。

開始時(shí)，記錄下面兩個(gè)視頻序列：

1. 視頻源序列

2. 處理后的視頻

在開始JND之前，視頻在時(shí)間上和空間上被對(duì)齊，模擬噪聲被歸一化。我們的JND產(chǎn)生一個(gè)平均評(píng)價(jià)得分(MOS)，分值等級(jí)從0到100，小于5為視頻質(zhì)量優(yōu)異。(有關(guān)JND的更多信息，請(qǐng)查閱Sarnoff實(shí)驗(yàn)室的白皮書)。

計(jì)算一個(gè)JND的主要目的是自動(dòng)地評(píng)估觀測者平均評(píng)估得分，不過得到用戶評(píng)估的最好的方法還是直接詢問他們！使用ClearView的最簡單方法就是在相同條件下，在同一顯示器上觀測比較兩個(gè)視頻序列，并主觀地決定哪一個(gè)更好。視頻可以分屏顯示、無縫分屏，鏡像分屏(蝶形)，或A-B(源-結(jié)果)方式，分割可以是水平分割，也可以是豎直分割?；胤胖С钟糜谏钊敕治龅目s放、慢動(dòng)作、穿梭，以及暫停，下面給出了一些顯示模式。

回歸測試

在利用JND或你自己的“黃金眼”對(duì)視頻進(jìn)行完評(píng)分后，該得分可以與任意數(shù)量的單元進(jìn)行比較進(jìn)行回歸測試。該視頻將被視作為后來參照的“黃金(樣板)”。在該例中，ClearView將兩個(gè)視頻序列對(duì)齊，并比較他們的視頻質(zhì)量。任何得分低于用戶規(guī)定門限的視頻序列，都將被視為不合格。

ClearView按照下面來控制測試建立：

1. ClearView對(duì)被測設(shè)備(DUT)提供原始視頻序列

2. DUT處理視頻數(shù)據(jù)

3. ClearView記錄DUT的輸出

4. 參照“黃金”序列，ClearView對(duì)齊并歸一化DUT

5. ClearView計(jì)算A/V延遲和偏移(偏移=唇同步誤差)

6. ClearView將DUT序列與“黃金”序列進(jìn)行比較

7. ClearView記錄每幀的合格/不合格，并產(chǎn)生一個(gè)總的合格/不合格得分

8. ClearView生成一個(gè)具有結(jié)果的記錄文件

所有的參數(shù)數(shù)據(jù)都被存儲(chǔ)在一個(gè)小日志文件中。該日志文件可以在任何一臺(tái)能夠訪問原始視頻序列的ClearView機(jī)器上回放，以便在解決異?，F(xiàn)象時(shí)能夠確保一個(gè)可重復(fù)環(huán)境。更進(jìn)一步，這些日志文件可以加到回歸測試上，以確保這些異常能夠保持固定不變。為了更方便，分析和圖表工具集還可以將日志文件輸入到微軟的Excel文件中進(jìn)行離線觀看。

GUI測試與自動(dòng)腳本的比較

可以通過其GUI或其指令線接口來控制ClearView。使用ClearView最簡單的方式是通過其交互式GUI。結(jié)果被記錄并形成圖形，而視頻被預(yù)覽并輸出到外部顯示器上。當(dāng)ClearView、DUT、工程師/測試人員都位于同一地點(diǎn)時(shí)，該功能效果更好。 當(dāng)開發(fā)和系統(tǒng)驗(yàn)證團(tuán)隊(duì)工作在不同國家并使用不同語言時(shí)，會(huì)出現(xiàn)一些細(xì)節(jié)問題。ClearView包括一個(gè)可編寫腳本(scriptable)的指令線接口，可以提供與GUI相同的功能，這又兩個(gè)額外的好處：

1. 指令可以從通過網(wǎng)絡(luò)可以訪問ClearView系統(tǒng)的任何地方輸入，

2. 指令可以被批處理，具有返回代碼，標(biāo)有日期，并被記錄，可重復(fù)利用

使用指令線接口，一個(gè)位于美國的測試人員可以發(fā)現(xiàn)不正常并將報(bào)告發(fā)給位于印度或中國的研發(fā)團(tuán)隊(duì)。其他的團(tuán)隊(duì)成員可以訪問ClearView日志，然后進(jìn)行復(fù)制并進(jìn)行處理。語言問題被減到最小，系統(tǒng)驗(yàn)證可以圍繞著時(shí)鐘進(jìn)行。

本文結(jié)論

視頻質(zhì)量測試是一個(gè)難題。視頻處理系統(tǒng)的性能差異很大，并且與輸入視頻信號(hào)的動(dòng)態(tài)特性有關(guān)，如大量的運(yùn)動(dòng)或空間細(xì)節(jié)。通過將視頻服務(wù)器、視頻錄像機(jī)、視頻播放機(jī)和視頻質(zhì)量分析儀整合到一套具有交互式GUI和自動(dòng)可編寫腳本的接口的系統(tǒng)中，視頻清晰度變成一個(gè)客觀性的視頻質(zhì)量分析，也使得回歸測試成為現(xiàn)實(shí)。