分享人工智能與媒體服務(wù)的契合以及未來(lái)的發(fā)展方向

人工智能為多媒體服務(wù)帶來(lái)了更多、更有價(jià)值的新功能，讓你的媒體、你的video更加智能化，幫助用戶獲取更好的體驗(yàn)。微軟大中華區(qū)創(chuàng)新技術(shù)合作事業(yè)部 （CSE）資深技術(shù)顧問(wèn)梁建為我們分享了人工智能與媒體服務(wù)的契合以及未來(lái)的發(fā)展方向。

大家好，我是來(lái)自微軟創(chuàng)新技術(shù)合作事業(yè)部的梁建，很高興接受LiveVideoStack的邀請(qǐng)，跟大家一同介紹和暢想媒體服務(wù)video在未來(lái)2018年可能的發(fā)展。

2017年，我們經(jīng)歷了整個(gè)媒體行業(yè)視頻服務(wù)、視頻處理的快速發(fā)展，與此同時(shí)人工智能和區(qū)塊鏈也是去年的熱點(diǎn)話題，那我們就一起來(lái)看下人工智能和我們的媒體服務(wù)如何進(jìn)行結(jié)合。

人工智能幫助我們實(shí)現(xiàn)更多場(chǎng)景

傳統(tǒng)的媒體服務(wù)都會(huì)做哪些事情？比如線上直播、編解碼、內(nèi)容保護(hù)等等的服務(wù)，但隨著人工智能技術(shù)的發(fā)展，很多媒體行業(yè)或者媒體業(yè)務(wù)處理行業(yè)的朋友，也在探索如何將人工智能應(yīng)用到現(xiàn)在的媒體技術(shù)和行業(yè)發(fā)展上，包括視頻的發(fā)展上。

大家可以思考下在哪些場(chǎng)景上人工智能技術(shù)能幫助我們實(shí)現(xiàn)更多的場(chǎng)景？比如如何在越來(lái)越多的視頻中發(fā)現(xiàn)更好的、更需要的內(nèi)容；如何讓視頻內(nèi)容里人物之間產(chǎn)生關(guān)系；在視頻編輯和處理過(guò)程中，如何增加字幕的信息以及多語(yǔ)言的支持；如何讓視頻自動(dòng)的增加評(píng)論，像大家熟知的視頻里中比較流行的彈幕；以及如何讓視頻里產(chǎn)生更多的價(jià)值，比如在視頻里如何更好的嵌入廣告，讓視頻自動(dòng)的把對(duì)用戶的洞察力、想法展現(xiàn)出來(lái)。

人工智能讓媒體服務(wù)更“聰明”

這里我也想跟大家介紹在微軟的Azure云平臺(tái)上有一個(gè)Media Services媒體服務(wù)，它不僅僅包括了傳統(tǒng)的視頻直播、Encode、Decode這種編解碼能力、內(nèi)容保護(hù)能力，以及多渠道、多設(shè)備的Player的能力。它還提供了Video AI的能力。也就是除了在這個(gè)傳統(tǒng)的Midea Services架構(gòu)上，我們可以能幫助大家產(chǎn)生支持多種設(shè)備的流媒體Streaming的格式。同時(shí)它還 提供了Media Analytics媒體分析，它能夠從視頻匯總產(chǎn)生一些洞察力，幫助大家降低人工成本，同時(shí)自動(dòng)拿到更多的信息。

在微軟的Media Analytics服務(wù)中，它融入了非常豐富的人工智能技術(shù)：Audio Transcript能夠通過(guò)語(yǔ)音視頻自動(dòng)生成字幕信息；通過(guò)人臉檢測(cè)知道視頻中出現(xiàn)了哪些人物；通過(guò)視頻OCR把視頻中非數(shù)字的信息轉(zhuǎn)化為數(shù)字的文字信息；根據(jù)視頻中人臉的信息，選取人物自動(dòng)增加人臉修正；通過(guò)Video summaries智能生成視頻的總結(jié)或片段，比如一個(gè)小時(shí)的視頻生成出一分鐘的預(yù)告或者介紹；Content moderation可以智能審核內(nèi)容信息，比如成人信息、用暴力等等；以及通過(guò)比較流行的DNN深度學(xué)習(xí)算法、神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)物體的識(shí)別。此外還有視頻的穩(wěn)定、情緒識(shí)等等。由此我們可以預(yù)見(jiàn)在2018年，除了傳統(tǒng)的視頻編解碼、視頻流以及最新的視頻格式外，人工智能技術(shù)會(huì)給我們產(chǎn)生更多的價(jià)值，同時(shí)幫助我們降低成本。除了以上介紹的10種AI服務(wù)，我們也相信在2018年微軟還將提供更多的智能服務(wù)，也歡迎大家持續(xù)關(guān)注微軟Azure Media Services平臺(tái)。

除了傳統(tǒng)服務(wù)，微軟還提供了五大方面29類的認(rèn)知服務(wù)，而這29類服務(wù)又分別都提供了自己相關(guān)的API，它不僅可以用在傳統(tǒng)的圖片、語(yǔ)音識(shí)別、知識(shí)搜索，你可以非常方便地將它應(yīng)用到自己的媒體服務(wù)中。特別的，我們還有一個(gè)最新的服務(wù)Video Indexer，我們前面提到的10種人工智能服務(wù)都包含其中，包括translater——無(wú)論文字或者語(yǔ)言的，這樣對(duì)于一個(gè)視頻，它就會(huì)自動(dòng)根據(jù)你的需求去進(jìn)行說(shuō)語(yǔ)音識(shí)別、人臉識(shí)別、字幕翻譯、多語(yǔ)言翻譯、視頻內(nèi)容總結(jié)、場(chǎng)景分析等等。那如果你希望視頻有更多的拓展，比如知識(shí)搜索就非常重要，你可以根據(jù)視頻去搜索相關(guān)的視頻、圖片，同樣的你還可以進(jìn)行新聞的搜尋。

這里我們還提供了Custom Services——從視覺(jué)、到語(yǔ)言理解、到語(yǔ)音服務(wù)、到搜索都有一個(gè)定制化的體驗(yàn)。其實(shí)我們的API都是通用的，只不過(guò)定制化的場(chǎng)景、訓(xùn)練的數(shù)據(jù)是需要大家來(lái)提供。比如你希望在視頻服務(wù)中為用戶做更多的拓展搜索，但又并不希望進(jìn)行全網(wǎng)搜索找到一些不想要的信息，那么此時(shí)你就可以利用Custom Search定義相關(guān)的網(wǎng)站和希望的內(nèi)容，從而得到你規(guī)定的信息。語(yǔ)言理解上，大家可以很方便地把一些用戶在視頻聊天對(duì)話中，給他的關(guān)鍵詞、用戶所要的意圖、定義一些場(chǎng)景，通過(guò)自然語(yǔ)義理解抽取出來(lái)。包括我們說(shuō)的Custom Vision可以通過(guò)frame這種方式把視頻中的一些場(chǎng)景、物體識(shí)別、場(chǎng)景給他抽取出來(lái)，讓我們的視頻不僅僅是傳統(tǒng)中的觀看、編碼、streaming，同樣的你也可以通過(guò)人工智能拿到更多的信息。

最后，我也希望在2018年有越來(lái)越多的媒體制作、開發(fā)的合作伙伴一定將人工智能技術(shù)用起來(lái)，讓你的媒體、你的video更加智能化，拿到更多的信息。同樣，我相信在2018年我們和LiveVideoStack音視頻技術(shù)社區(qū)會(huì)有非常多的合作，也特別希望把更多的人工智能技術(shù)、更多的Media Services的服務(wù)給大家介紹出來(lái)，幫助大家更好的工作，同時(shí)帶來(lái)更多的體驗(yàn)。也預(yù)祝LiveVideoStack社區(qū)越辦越好，吸引更多的開發(fā)者，能夠匯集開發(fā)者、匯集我們這些做人工智能、做媒體服務(wù)的合作伙伴，謝謝大家！