百度云打造智能媒體全流程方案,人工智能在流媒體領(lǐng)域的應用 - 全文

人工智能正加速改變各個行業(yè)，而流媒體領(lǐng)域可能是其中改變最快的一個。隨著神經(jīng)網(wǎng)絡(luò)相關(guān)算法問題得到解決，人工智能技術(shù)在最近幾年得到了快速的發(fā)展，而人工智能技術(shù)在流媒體領(lǐng)域的滲透，使這項技術(shù)獲得了新的突破。當下圖片、長視頻、短視頻、直播、AR等各種媒體形式占據(jù)著互聯(lián)網(wǎng)圈，在媒體內(nèi)容和形式都非常豐富的今天，如何辨識、解析這些內(nèi)容，并通過人工智能反饋是目前所有科技巨頭關(guān)注的焦點，其中圖像識別、語音語義識別、同聲傳譯、字幕識別等應用場景的進一步挖掘，需要人工智能大戰(zhàn)拳腳。

百度云智峰會在北京舉行，天聞數(shù)媒科技有限公司與百度云正式簽訂傳媒行業(yè)的戰(zhàn)略合作協(xié)議。依托天聞數(shù)媒在媒體行業(yè)的深度積累，百度在人工智能領(lǐng)域的領(lǐng)先技術(shù)，天聞數(shù)媒為本次戰(zhàn)略合作專門設(shè)立子公司“天江智媒科技（北京）有限公司”。雙方將合力打造智能媒體全流程解決方案，將人工智能應用拓展至傳媒行業(yè)。

智能輔助寫作，讓記者做更擅長的事情

國家發(fā)改委發(fā)布最新油價調(diào)整通告，寫稿機器人立馬監(jiān)測到新聞線索，隨即抓取通告中的關(guān)鍵信息，迅速整理出一則圖文消息，整個過程只用了數(shù)十秒的時間。這是百度云智峰會天江智媒展區(qū)所呈現(xiàn)的內(nèi)容。

“機器人根據(jù)公告寫新聞，在新聞界早已經(jīng)有應用，已經(jīng)是大勢所趨。”天江智媒董事長肖志彥介紹，對于新聞界來說，會寫簡單新聞的機器人，能夠為記者免去大量基礎(chǔ)工作。百度在人工智能領(lǐng)域有著深厚的積淀，這次合作將充分發(fā)揮雙方的優(yōu)勢。

目前天江智媒的智能寫作機器人能夠整理出多種類型的文章，例如財經(jīng)新聞、旅游攻略、美食推薦等等，并且能夠根據(jù)不同的文章類型，自動提供不同類型的配圖。但是，這只是天江智媒的一個“小目標”。

“機器人能夠?qū)懸恍┖唵蔚母寮?，但是這并不意味著它可以取代記者。”肖志彥說，智能寫作更大的應用場景，在于為媒體從業(yè)者提供一個強大的智能輔助寫作工具，讓他們從紛繁復雜的基礎(chǔ)工作解脫出來，投入更多的精力到深度寫作中去，這恰好是他們最擅長的事情。

肖志彥眼中的新聞智能寫作，不僅僅是提供新聞寫作的智能機器人，而是這一產(chǎn)品的升級版——結(jié)合人工智能、機器學習、大數(shù)據(jù)等核心技術(shù)，在新聞生產(chǎn)的策劃、采編、發(fā)稿的全流程中，為新聞從業(yè)者提供輔助支撐。從而將新聞從業(yè)者從傳統(tǒng)的新聞生產(chǎn)方式中解放出來，使他們結(jié)合機器撰稿的優(yōu)勢，進行更有創(chuàng)造力的工作。

具體來說，通過智能輔助寫作系統(tǒng)，媒體從業(yè)者可以找到適合的選題，也能夠找到稿件素材、標題推薦，甚至能夠自動生成參考稿件，為記者進一步撰稿提供輔助。

“新聞媒體行業(yè)應用這些前沿技術(shù)打造智能輔助寫作平臺，是行業(yè)發(fā)展的必然趨勢?！毙ぶ緩┱f，隨著人工智能等技術(shù)的發(fā)展，新聞智能輔助寫作將發(fā)揮更大的價值，通過先進技術(shù)與新聞生產(chǎn)業(yè)務的結(jié)合，它為傳媒業(yè)提供了轉(zhuǎn)化傳統(tǒng)思維、優(yōu)化采編流程、深化內(nèi)容結(jié)構(gòu)的最佳路徑。

智能媒體云，助推行業(yè)轉(zhuǎn)型升級

此次百度云智峰會 “視頻智能技術(shù)與平臺”分論壇中，天聞數(shù)媒媒體業(yè)務部總裁韋宇鵬展示了基于人工智能的“天江智能媒體云”解決方案。

韋宇鵬介紹，依托云計算、大數(shù)據(jù)、人工智能等先進技術(shù)，“天江智能媒體云”能夠有效推動傳統(tǒng)媒體采編流程優(yōu)化、內(nèi)容質(zhì)量提升、傳播方式創(chuàng)新以及服務模式拓展。

在資源層面，“天江智能媒體云”的智能媒資庫產(chǎn)品能夠幫助媒體對內(nèi)實現(xiàn)資源的統(tǒng)一、標準化管理，對外進行知識化、運營化、資產(chǎn)化的深度應用。

在生產(chǎn)層面，通過熱點發(fā)現(xiàn)、智能寫作、智能勘誤以及智能發(fā)布4大產(chǎn)品，助力新聞生產(chǎn)策、采、編、發(fā)的全流程。

在發(fā)布層面，通過用戶洞察、智能推薦、傳播分析、評論管理、運營分析、智能語音助手、視覺呈現(xiàn)等一系列服務幫助媒體提升用戶體驗，并對傳播及運營效果進行監(jiān)測。

在增值層面，通過在營銷、輿情監(jiān)測以及行業(yè)洞察等3個方向的嘗試，幫助媒體實現(xiàn)價值轉(zhuǎn)化。

目前，天聞數(shù)媒及天江智媒已為國內(nèi)眾多中央級出版?zhèn)髅絾挝?、政府機構(gòu)及地方傳媒集團提供專業(yè)的服務，在媒體行業(yè)擁有多年的深度積累。肖志彥表示，公司后續(xù)將持續(xù)加大投入，深耕傳媒行業(yè)，引入互聯(lián)網(wǎng)創(chuàng)新機制與思維，打造涵蓋內(nèi)容生產(chǎn)加工、立體化傳播發(fā)布、個性化增值服務的全方位融合服務集成體系，構(gòu)建一體化協(xié)同發(fā)展的文化傳媒生態(tài)圈，助力行業(yè)客戶持續(xù)創(chuàng)造價值和轉(zhuǎn)型升級。

淺談人工智能在流媒體領(lǐng)域的應用

數(shù)據(jù)是人工智能的基礎(chǔ)

數(shù)據(jù)是人工智能技術(shù)實現(xiàn)的基礎(chǔ)，在UCloud平臺中，數(shù)據(jù)處理是如何操作的呢？首先，我們我們的對象存儲、直播云、媒體工廠每天會產(chǎn)生大量的原始數(shù)據(jù)，比如對象存儲每天新增的圖片會超過10億張，但是這些原始數(shù)據(jù)并不一定是對計算機友好的，例如直播數(shù)據(jù)，里面有傳輸?shù)膮f(xié)議、音視頻的交錯，還有各種編碼在里面，這樣的原始的數(shù)據(jù)對機器學習來說是不友好的。我們就需要預處理的平臺對原始數(shù)據(jù)進行處理，譬如圖片壓縮、音頻提取與聲道、采樣率歸一化、視頻的抽幀等，這些預處理的功能目前采用docker鏡像部署的方式跑在我們的彈性計算平臺上，目前有超過10000個虛擬節(jié)點在做這個事情。

僅有數(shù)據(jù)還是不夠的，我們需要對數(shù)據(jù)打上標簽，讓計算機知道這個東西是什么，然后它通過數(shù)據(jù)標簽去訓練和想學習，認識這一類的事物。目前打標簽有多種形式，如人工標注、關(guān)鍵字主動抓取等，對于難于標注的語音類的數(shù)據(jù)，我們也會購買第三方的數(shù)據(jù)。數(shù)據(jù)是人工智能的基礎(chǔ)，未來在人工智能這個領(lǐng)域，數(shù)據(jù)層面的競爭將會非常激烈。

機器學習解決哪些問題？

人工智能的另外一個重要環(huán)節(jié)機器學習，它解決的主要是兩類問題，一是分類，二是回歸。

分類目前應用得比較廣泛，也相對成熟一些，如圖片的分類，給出一張圖片，識別這個圖片是小貓還是小狗；或是對文字內(nèi)容的分類，比如讓計算機去分析一篇文章到底是體育類的還是經(jīng)濟類的等等?；貧w則是數(shù)學的概念，它處理的問題也是偏數(shù)學方向的，輸入和輸出都是數(shù)字類型的。據(jù)了解，目前有些團隊在做類似股票預測的場景，像這種場景依賴的變量非常多，而且本身系統(tǒng)非常復雜，難度比較大。

分類功能在媒體領(lǐng)域的應用

在當下這個內(nèi)容為王的時代，分類和回歸在媒體方面的應用十分廣泛，如內(nèi)容審核、人臉識別、自動標簽、字幕識別、同聲傳譯等。

【內(nèi)容審核】

目前大多數(shù)的內(nèi)容平臺對用戶都是開放的，用戶可以上傳圖片、視頻等。開放本身是好事，使得內(nèi)容更加豐富，但會涉及到很多網(wǎng)絡(luò)監(jiān)管問題，在國家和政府對網(wǎng)絡(luò)內(nèi)容的監(jiān)管要求越來越嚴格的背景下，很多內(nèi)容平臺公司會專門成立內(nèi)容審核部門，采用人工審核的方式，對用戶上傳內(nèi)容進行全量審核。這項工作如果完全依賴人力審核的話是一項巨大的工程，且審核團隊的工作枯燥乏味。

目前UCloud的UMAI平臺支持圖片與視頻的涉黃、暴力等內(nèi)容識別，通過調(diào)用UMAI接口來對內(nèi)容做預處理，可以將占比為絕大多數(shù)的正常內(nèi)容過濾掉，而只留下極少數(shù)判定為疑似不健康的內(nèi)容，需要審核團隊進行進一步的復查，這樣極大的減少了人工審核的工作量。

【人臉識別】

人臉識別現(xiàn)在在人工智能這塊應用較為廣泛，如身份認證、手機刷臉、系統(tǒng)登錄等；另外是人臉的搜索，比如在一段視頻里快速確定有沒有出現(xiàn)某個關(guān)鍵人物，或一個圖片集里有沒有包含這樣的人。人臉識別主要的流程一般如下，首先對這個圖片進行人臉的檢測，然后提取關(guān)鍵點，包括眼睛、鼻子、嘴巴、耳朵、輪廓等，切分處理以后，再給到卷積網(wǎng)絡(luò)提取特征，最后再做人臉識別，目前我們在公司考勤、政治任務識別方面已有相關(guān)的應用。

【自動標簽】

針對用戶自主上傳的圖片，自動標簽則發(fā)揮出重要作為。用戶在上傳圖片的時候，往往只會標注一到兩個關(guān)鍵詞，對圖片進行描述，而圖片里邊包含的大量其他的內(nèi)容和信息，是沒辦法檢索出來的，因為現(xiàn)在很多后臺的搜索是基于關(guān)鍵字的。通過計算機視覺的場景識別功能，可以很好的將圖片的隱藏信息挖掘出來，讓圖片有更多的關(guān)鍵字，能夠被更多的場景檢索出來，發(fā)揮其作用。

【字幕識別】

字幕識別的應用非常直接而實用，例如身份證、發(fā)票、名片的識別，可以減少手寫錄入的工作量，而類似視頻字幕識別這種，則可以幫助計算機更好地去理解視頻的內(nèi)容。

【同聲傳譯】

目前國內(nèi)企業(yè)出海風潮正盛，利用人工智能實現(xiàn)同聲傳譯可以幫助跨國公司、員工進行不同語種間的交流。在視頻直播這一塊，我們做了這樣的系統(tǒng)，可以在視頻直播傳輸前，把里面的音頻提取出來，做切片處理以后，把語音識別出來，經(jīng)過翻譯系統(tǒng)后輸出字幕并打上時間戳，播放終端拿到字幕和視頻數(shù)據(jù)后，做一次時間戳同步，在播放端進行展示。

這個系統(tǒng)主要有兩個難點：一是它是經(jīng)過了兩次計算機的識別，第一次是語音的識別，第二次是翻譯，這會有一個誤差的累積；二是這種場景的實時性要求比較高，比如說字幕的翻譯有點滯后，視頻數(shù)據(jù)又需要比較低的延遲，這樣體驗會非常不好。這也是這款產(chǎn)品正在優(yōu)化的兩個方向。

人工智能私有化部署應用

以上提及的是聚焦于公有云平臺的人工智能的應用，而我們在跟很多客戶的交流中，因為政策以及保密的原因，他們不希望將數(shù)據(jù)放到公有云上，在他們內(nèi)部也有不少服務器、視頻采集設(shè)備等硬件資源，希望能夠直接利用上。針對這樣的需求，我們會建議使用私有化部署的方案。

UCloud平臺做了兩件事去實現(xiàn)私有化部署的方案：第一是組件化，我們內(nèi)部有很多功能，比如直播、存儲、錄制、截圖等，我們將這些功能剝離開，做成各種組件的形式。這樣有一個好處，組件可以靈活搭配，用戶需要什么功能就部署什么組件，如果對某些功能有個性化需求，只要簡單修改對應組件的功能就可以了。第二是我們提供訓練好的模型，部署到客戶的私有環(huán)境中，目前這個模型是在我們公有云上訓練好的。

私有化部署在自動考勤系統(tǒng)等場景已經(jīng)有成熟的應用，我們也在不斷挖掘更多可應用的場景，希望運用人工智能技術(shù)讓我們的工作更便利、生活更美好