視頻AI與圖像AI的是一樣的嗎

與圖像處理相比，從視頻當(dāng)中提取見(jiàn)解或使用AI技術(shù)既帶來(lái)新的挑戰(zhàn)，同時(shí)也提供可觀(guān)的優(yōu)化賒。有一種誤解認(rèn)為，視頻AI只是簡(jiǎn)單從視頻素材當(dāng)中提取特定幀，并對(duì)各視頻幀運(yùn)行計(jì)算機(jī)視覺(jué)算法。雖然這種作法確實(shí)可行，但卻并不能真正帶來(lái)分析見(jiàn)解。在今天的文章中，我們將通過(guò)幾項(xiàng)實(shí)例來(lái)了解這種處理單一視頻幀方法的缺點(diǎn)。但考慮到篇幅有限，這里我不會(huì)詳細(xì)討論克服這些缺點(diǎn)所需要的其它算法。感興趣的朋友可以參考Video Indexer，其提供了多種能夠?qū)崿F(xiàn)此類(lèi)目標(biāo)的特定視頻算法。

視頻中出現(xiàn)的人物

我們一起來(lái)看以下［視頻］中的前25秒

請(qǐng)注意，在這25秒當(dāng)中Doug一直出現(xiàn)在畫(huà)面之內(nèi)。

如果要為Doug在視頻當(dāng)中出現(xiàn)的情況繪制一條時(shí)間線(xiàn)，則應(yīng)該如下圖所示。

請(qǐng)注意，在這一過(guò)程當(dāng)中Doug并非全程面向鏡頭。在視頻的第7秒當(dāng)中，他有在盯著Emily——第23秒也出現(xiàn)了同樣的情況。

如果您在視頻中的對(duì)應(yīng)時(shí)段之內(nèi)運(yùn)行人臉檢測(cè)，則Doug的面部將無(wú)法被檢測(cè)到（請(qǐng)參閱以下截圖）。

換句話(huà)來(lái)說(shuō)，如果只是在各視頻幀上進(jìn)行人臉檢測(cè)，大家將無(wú)法繪制出如上所示的時(shí)間線(xiàn)。要獲得這樣的時(shí)間線(xiàn)，我們必須有能力跨越視頻分段追蹤面部，并考慮其中出現(xiàn)的臉部側(cè)面視圖。Video Indexer能夠追蹤面部，這意味著您將能夠看到之前展示的完整時(shí)間軸。

使用光學(xué)字符識(shí)別提取主題/關(guān)鍵詞

請(qǐng)看以下兩幀內(nèi)容。

這兩幀來(lái)自主講人在舞臺(tái)上進(jìn)行演講的視頻，后面背景墻上的“Microsoft”一詞一直時(shí)隱時(shí)現(xiàn)。作為人類(lèi)觀(guān)看者，我們當(dāng)然能夠輕松推斷出其顯示的是“Microsoft”。但如果在這兩張圖片上運(yùn)行OCR，輸出結(jié)果將只有“Microsc”與“crosoft”。如果在視頻剪輯當(dāng)中處理完整的視頻幀序列，您會(huì)得到大量這種殘缺不全的詞匯。為了順利從鏡頭中提取到正確且完整的詞匯，您需要對(duì)這種部分詞匯應(yīng)用算法。Video Indexer能夠?qū)崿F(xiàn)這項(xiàng)功能，并從視頻當(dāng)中獲得更好的分析見(jiàn)解。

人臉識(shí)別

人臉識(shí)別系統(tǒng)由人臉數(shù)據(jù)庫(kù)組成，而該人臉數(shù)據(jù)庫(kù)則包含一組指向不同人物對(duì)象的訓(xùn)練用圖像。其還提供一項(xiàng)查詢(xún)功能，用于從查詢(xún)圖像當(dāng)中提取面部特征，并將其與人臉數(shù)據(jù)庫(kù)相匹配。查詢(xún)函數(shù)的輸出結(jié)果包含可能的匹配列表以及置信度值。查詢(xún)功能的輸出質(zhì)量，將取決于人臉數(shù)據(jù)庫(kù)與查詢(xún)圖像的實(shí)際質(zhì)量。

在視頻處理場(chǎng)景下，其中將包含多個(gè)視頻幀，且人物會(huì)配合不同的頭部姿態(tài)及照明條件亮相。我們當(dāng)然可以在每位人物出場(chǎng)時(shí)采取逐幀處理的方式進(jìn)行人臉識(shí)別系統(tǒng)查詢(xún)，但這種作法可能導(dǎo)致各幀之間出現(xiàn)不同的人臉匹配結(jié)論與存在巨大差異的置信度值。換句話(huà)來(lái)說(shuō)，我們需要使用額外的邏輯層來(lái)確定人臉匹配結(jié)果。作為優(yōu)化手段，我們可以選擇合適的幀子集進(jìn)行有針對(duì)性的人臉識(shí)別系統(tǒng)查詢(xún)，從而減少該系統(tǒng)的實(shí)際查詢(xún)次數(shù)。

在處理視頻時(shí)，我們還可以通過(guò)使用來(lái)自多個(gè)視頻幀的人物訓(xùn)練圖像整理變化趨勢(shì)，從而構(gòu)建并增強(qiáng)人臉數(shù)據(jù)庫(kù)。另外，大家也能夠建立邏輯以追蹤跨幀人物并利用啟發(fā)式算法評(píng)估其中的變化。 Video Indexer同樣能夠?qū)崿F(xiàn)這一功能，意味著用戶(hù)將能夠從當(dāng)前視頻當(dāng)中構(gòu)建起質(zhì)量更高的人臉數(shù)據(jù)庫(kù)成果。