解析短視頻平臺(tái)背后的黑科技技術(shù)

一、粉絲經(jīng)濟(jì)時(shí)代，抖音成為現(xiàn)象級(jí)流量平臺(tái)

在粉絲經(jīng)濟(jì)時(shí)代，抓住流量意味著擁有一切可能。抖音作為現(xiàn)今最火的短視頻平臺(tái)，日活躍用戶(hù)已超過(guò)6億，每天數(shù)以?xún)|計(jì)的視頻被播放、轉(zhuǎn)發(fā)和評(píng)論。如此龐大的數(shù)據(jù)規(guī)模和訪(fǎng)問(wèn)壓力，沒(méi)有強(qiáng)大且穩(wěn)定的IT基礎(chǔ)設(shè)施顯然是hold不住的。

即便內(nèi)容創(chuàng)作者沒(méi)有粉絲基礎(chǔ)，但上傳的視頻內(nèi)容足夠優(yōu)質(zhì)，同樣有機(jī)會(huì)成為點(diǎn)播量過(guò)千萬(wàn)的網(wǎng)紅博主。這得益于平臺(tái)的智能推薦機(jī)制，將短視頻推送到對(duì)它感興趣的用戶(hù)面前，進(jìn)而促進(jìn)轉(zhuǎn)發(fā)和關(guān)注，增加用戶(hù)黏性。抖音火爆的背后，離不開(kāi)IT發(fā)展帶來(lái)的技術(shù)紅利，今天我們就來(lái)扒一扒抖音背后的“黑科技”。

二、短視頻平臺(tái)如何將你想看的視頻推送到你面前？

一條短視頻從制作到呈現(xiàn)在用戶(hù)面前，大致會(huì)經(jīng)歷以下過(guò)程：內(nèi)容制作者負(fù)責(zé)拍攝視頻素材、剪輯成片，并上傳到短視頻平臺(tái)；短視頻平臺(tái)對(duì)上傳的視頻進(jìn)行高度智能化的消重、審核以及特征識(shí)別，并根據(jù)識(shí)別標(biāo)簽自動(dòng)匹配用戶(hù)群進(jìn)行智能推薦分發(fā)；最后，用戶(hù)就能在移動(dòng)端看到平臺(tái)推送的各類(lèi)短視頻了。

三、海量視頻場(chǎng)景，主流玩家為何青睞對(duì)象存儲(chǔ)？

在上述流程中，短視頻平臺(tái)會(huì)將上傳成功的視頻存到對(duì)象存儲(chǔ)中，基于對(duì)象存儲(chǔ)實(shí)現(xiàn)視頻內(nèi)容從上傳到處理再到分發(fā)的全生命周期管理。無(wú)獨(dú)有偶，隨著“互聯(lián)網(wǎng)電視”的風(fēng)靡，傳統(tǒng)的數(shù)字電視業(yè)務(wù)（包括視頻直播和點(diǎn)播服務(wù)）也在不斷擴(kuò)張，傳統(tǒng)NAS已捉襟見(jiàn)肘，主流的服務(wù)提供商同樣面臨著向?qū)ο蟠鎯?chǔ)轉(zhuǎn)型的剛需。

即便SAN、NAS、分布式文件系統(tǒng)等存儲(chǔ)產(chǎn)品十分成熟，可主流玩家紛紛選擇對(duì)象存儲(chǔ)作為數(shù)字底座，原因何在？

海量空間 成本可控

作為短視頻領(lǐng)域的頂流，抖音的母公司——字節(jié)跳動(dòng)每天處理的數(shù)據(jù)就超過(guò)50PB，存量數(shù)據(jù)早已達(dá)到EB級(jí)。另?yè)?jù)亞太CDN產(chǎn)業(yè)聯(lián)盟大數(shù)據(jù)平臺(tái)監(jiān)測(cè)統(tǒng)計(jì)，字節(jié)跳動(dòng)及旗下公司的CDN峰值總帶寬已超過(guò)100Tbps。

在傳統(tǒng)的數(shù)字電視領(lǐng)域，趨勢(shì)同樣明顯。以天威視訊為例，作為深圳地區(qū)數(shù)字電視服務(wù)的提供商，其用戶(hù)規(guī)模超過(guò)百萬(wàn)級(jí)，存儲(chǔ)需求早已突破PB級(jí)。面對(duì)海量存儲(chǔ)、高并發(fā)訪(fǎng)問(wèn)以及大規(guī)模部署場(chǎng)景下成本優(yōu)化等現(xiàn)實(shí)問(wèn)題，傳統(tǒng)的集中式存儲(chǔ)顯然無(wú)法應(yīng)對(duì)，對(duì)象存儲(chǔ)成為管理海量數(shù)據(jù)的必然選擇。

基于HTTP協(xié)議訪(fǎng)問(wèn)更友好

大多數(shù)文件系統(tǒng)使用的是POSIX接口，而對(duì)象存儲(chǔ)采用基于HTTP協(xié)議的RESTful Web API，應(yīng)用端可直接通過(guò)HTTP協(xié)議讀寫(xiě)數(shù)據(jù)，這更適合短視頻、數(shù)字電視等涉及海量視頻存儲(chǔ)的應(yīng)用場(chǎng)景。

海量視頻文件讀取性能好

在這類(lèi)場(chǎng)景中，底層存儲(chǔ)承載了動(dòng)輒千萬(wàn)甚至上億個(gè)文件，并發(fā)訪(fǎng)問(wèn)量也達(dá)到了前所未有的量級(jí)。對(duì)比文件系統(tǒng)，對(duì)象存儲(chǔ)的扁平化數(shù)據(jù)結(jié)構(gòu)，能夠提供更好的訪(fǎng)問(wèn)性能。

另外，各類(lèi)應(yīng)用廣泛采用元數(shù)據(jù)檢索的方式進(jìn)行數(shù)據(jù)管理，通過(guò)對(duì)元數(shù)據(jù)的匹配得到唯一索引，再據(jù)此找到并讀取數(shù)據(jù)。對(duì)象存儲(chǔ)的扁平化數(shù)據(jù)結(jié)構(gòu)和K/V（鍵值對(duì)）訪(fǎng)問(wèn)方式更適合這樣的數(shù)據(jù)管理方式。

MOS為海量視頻存儲(chǔ)而生

針對(duì)上述場(chǎng)景，杉巖基于MOS海量對(duì)象存儲(chǔ)，打造了完善的海量視頻存儲(chǔ)解決方案，滿(mǎn)足數(shù)字電視服務(wù)、媒資管理等應(yīng)用場(chǎng)景對(duì)存儲(chǔ)的需求，為廣電、傳媒等行業(yè)客戶(hù)帶來(lái)了新的選擇。

匹配海量視頻場(chǎng)景

MOS存儲(chǔ)集群可彈性擴(kuò)展至數(shù)千個(gè)節(jié)點(diǎn)，提供EB級(jí)容量、百TB級(jí)聚合帶寬，輕松應(yīng)對(duì)海量存儲(chǔ)和高并發(fā)訪(fǎng)問(wèn)壓力，應(yīng)用無(wú)感知擴(kuò)容。

為視頻處理提供支撐

MOS集成智能數(shù)據(jù)處理引擎，可對(duì)視頻內(nèi)容進(jìn)行二次加工，比如智能壓縮、智能標(biāo)簽等等，同時(shí)提供精細(xì)化的檢索工具，快速獲取視頻內(nèi)容。此外，MOS支持引入第三方視頻處理插件，實(shí)現(xiàn)數(shù)據(jù)處理能力的按需擴(kuò)展。

豐富的管理策略

MOS提供基于標(biāo)簽控制的共享、轉(zhuǎn)移、刪除等策略，結(jié)合智能數(shù)據(jù)處理引擎的自動(dòng)標(biāo)簽、智能處理等能力，實(shí)現(xiàn)視頻內(nèi)容在上傳、存儲(chǔ)、處理、分發(fā)等階段的自動(dòng)化管理，在提升業(yè)務(wù)效率的同時(shí)，也簡(jiǎn)化了管理運(yùn)維。

綜合成本優(yōu)化

MOS通過(guò)大比例糾刪策略提升硬盤(pán)空間利用率，通過(guò)數(shù)據(jù)重刪和壓縮特性縮減無(wú)效數(shù)據(jù)，通過(guò)數(shù)據(jù)自動(dòng)分層均衡容量與成本，通過(guò)配置大容量數(shù)據(jù)盤(pán)和恰當(dāng)?shù)胤?wù)器硬件節(jié)省硬件開(kāi)支，這使得綜合成本顯著降低。

市場(chǎng)認(rèn)可度高

從市場(chǎng)認(rèn)可度來(lái)看，在IDC發(fā)布的《IDC China SDS Object Market Overview（2020 Q2）》報(bào)告中，杉巖對(duì)象存儲(chǔ)軟件市場(chǎng)份額名列第二。至今已累計(jì)服務(wù)數(shù)百家行業(yè)客戶(hù)，產(chǎn)品及方案成熟，贏得了客戶(hù)一致認(rèn)可。

四、成功實(shí)踐：幫助天威視訊搭建近5PB視頻存儲(chǔ)平臺(tái)

天威視訊是我國(guó)有線(xiàn)電視網(wǎng)絡(luò)行業(yè)的第一家股份制企業(yè)，負(fù)責(zé)深圳地區(qū)有線(xiàn)電視及寬帶網(wǎng)絡(luò)的建設(shè)、經(jīng)營(yíng)和維護(hù)，提供有線(xiàn)電視收視服務(wù)、電視增值業(yè)務(wù)以及互聯(lián)網(wǎng)接入服務(wù)等。

2020年初，天威視訊采用杉巖MOS海量對(duì)象存儲(chǔ)作為中心CDN的后端存儲(chǔ)。該項(xiàng)目部署7節(jié)點(diǎn)對(duì)象存儲(chǔ)集群，總存儲(chǔ)空間近5PB。新建的存儲(chǔ)系統(tǒng)通過(guò)S3接口與威視云平臺(tái)的中心CDN完成業(yè)務(wù)交互，實(shí)現(xiàn)直播頻道的實(shí)時(shí)注入和點(diǎn)播節(jié)目的非實(shí)時(shí)注入，以及二級(jí)CDN回源流量的分發(fā)。集群帶寬高達(dá)90Gbps，為視頻直播、點(diǎn)播服務(wù)提供穩(wěn)定支撐。

項(xiàng)目上線(xiàn)至今，MOS持續(xù)為視頻直播/點(diǎn)播服務(wù)提供穩(wěn)定支撐，為客戶(hù)帶來(lái)了多項(xiàng)收益。

性能提升20倍，用戶(hù)體驗(yàn)更好

集群帶寬90Gbps以上，整體性能較原有NAS提升20倍以上。視頻推送延時(shí)低至毫秒級(jí)，用戶(hù)收視體驗(yàn)顯著提升。

安全性提升30%，可靠性更高

采用3副本的數(shù)據(jù)保護(hù)策略，視頻注入文件分片后，均衡存儲(chǔ)在所有節(jié)點(diǎn)上，安全性提升30%。

管理效率提升50%，資源分配更靈活

為不同內(nèi)容提供商劃分不同的桶空間，便于后期靈活的進(jìn)行內(nèi)容管理，也可根據(jù)版權(quán)期限，通過(guò)生命周期管理實(shí)現(xiàn)策略性的數(shù)據(jù)導(dǎo)入、遷移、刪除，資源管理效率提升超過(guò)50%。

恢復(fù)效率提升10倍，運(yùn)維更簡(jiǎn)單

智能化運(yùn)維無(wú)需人工巡檢，為運(yùn)維工程師減輕工作量。故障節(jié)點(diǎn)秒級(jí)切換，加之多點(diǎn)并發(fā)恢復(fù)機(jī)制，恢復(fù)效率比傳統(tǒng)NAS提升10倍以上。故障風(fēng)險(xiǎn)可預(yù)知，避免了潛在的經(jīng)濟(jì)損失。

得益于用戶(hù)規(guī)模增長(zhǎng)，新興的短視頻應(yīng)用和傳統(tǒng)的數(shù)字電視業(yè)務(wù)都在擴(kuò)張，隨之而來(lái)的是海量視頻資源爆發(fā)式增長(zhǎng)，也讓對(duì)象存儲(chǔ)有了新的用武之地。杉巖MOS海量對(duì)象存儲(chǔ)，聚合海量存儲(chǔ)、智能處理等能力，為視頻點(diǎn)播、內(nèi)容分發(fā)等服務(wù)提供強(qiáng)大的存儲(chǔ)支撐，無(wú)疑是數(shù)字底座的最佳之選。

責(zé)任編輯：tzh