音視頻技術(shù)開發(fā)之淺析

Hulu 視頻QoS優(yōu)化策略

QoS直接關(guān)系到用戶體驗(yàn)，如何提升QoS就成為視頻平臺(tái)技術(shù)實(shí)力的體現(xiàn)。本文來自Hulu全球高級(jí)研發(fā)經(jīng)理、視頻編解碼與傳輸領(lǐng)域資深專家傅徳良在LiveVideoStackCon 2017上的分享。盡管Hulu提供服務(wù)的網(wǎng)絡(luò)環(huán)境與國內(nèi)大相徑庭，但其相關(guān)QoS保障策略依然值得借鑒。

微博短視頻服務(wù)優(yōu)化實(shí)踐

本文來自新浪微博視頻轉(zhuǎn)碼平臺(tái)技術(shù)負(fù)責(zé)人李成亞在LiveVideoStackCon 2017上的分享，由LiveVideoStack整理成文。李成亞分享了微博短視頻如何提升用戶體驗(yàn)、降低成本的思路與實(shí)踐，包括提升短視頻發(fā)布速度，降低長視頻轉(zhuǎn)碼時(shí)間，通過新的Codec減少帶寬成本等。

熊貓TV直播H5播放器架構(gòu)探索

本文來自熊貓TV音視頻技術(shù)專家姜雨晴在LiveVideoStackCon 2017上的分享，并有LiveVideoStack整理成文。當(dāng)下，打造一款播放器已經(jīng)有比較好的開源實(shí)現(xiàn)，但熊貓TV為什么還要自研一款H5播放器呢？為了保證業(yè)務(wù)持續(xù)擴(kuò)展能力，需要對(duì)播放器做解耦。同時(shí)，在播放器上線初期還遇到了音畫不同步、故障定位、客戶端性能不足等問題。

Dubbo源碼分析 -- 遠(yuǎn)程通信 Netty

Dubbo 做為 RPC 框架，需要進(jìn)行跨 JVM 通信，要保證高性、穩(wěn)定的進(jìn)行遠(yuǎn)程通信。Dubbo 底層通信選擇了 Netty 這個(gè) NIO 框架做為默認(rèn)的網(wǎng)絡(luò)通信框架并且通過自定義協(xié)議進(jìn)行通信。

中國電信發(fā)布全球首份5G技術(shù)白皮書

2018年6月26日，中國電信在2018上海世界移動(dòng)大會(huì)（MWCS）上發(fā)布了《中國電信5G技術(shù)白皮書》，這也是全球MNO運(yùn)營商首次發(fā)布全面闡述5G技術(shù)觀點(diǎn)和總體策略的白皮書。

音頻開源代碼中重采樣算法的評(píng)估與選擇

在音頻軟件實(shí)現(xiàn)中經(jīng)常會(huì)遇到兩個(gè)模塊采樣率不一致的情況，比如語音通話時(shí)采集到的PCM信號(hào)是16k Hz的，但編碼時(shí)codec是AMR-NB（AMR-NB是8k Hz采樣），這時(shí)就需要把16k Hz采樣的PCM值轉(zhuǎn)換成8k Hz采樣的PCM值（這叫降采樣或者下采樣），然后再去做AMR-NB編碼。本文介紹如何評(píng)估開源代碼里的重采樣實(shí)現(xiàn)以及選擇最適合的實(shí)現(xiàn)。

音頻/視頻技術(shù)

Google 實(shí)時(shí)流擁塞控制算法GCCx1wan

GCC是google實(shí)時(shí)流擁塞控制算法的簡(jiǎn)稱，已經(jīng)在WebRTC中實(shí)現(xiàn)，應(yīng)用于Chrome，后面將應(yīng)用到Hangouts（視頻聊天產(chǎn)品）中，主要用于視頻流的擁塞控制。

FFmpeg中的scale和crop參數(shù)FlyingPenguin

FFmpeg中的libavfilter提供了一整套的基于filter的機(jī)制。filter本身是一個(gè)插件的形式，可以快速的組裝需要的效果。本文簡(jiǎn)單介紹了通過filter實(shí)現(xiàn)視頻的水平鏡像效果。

iOS中獲取音頻流并提取pcmCNon

本文簡(jiǎn)要介紹了兩種不同的原始音頻流獲取方式 AVCaptureSession、AudioUnit，以及如何從AudioUnit獲取的原始數(shù)據(jù)中提取pcm。

用getDisplayMedia實(shí)現(xiàn)在Chrome中共享屏幕

Chrome網(wǎng)上商店已決定停止允許Chrome擴(kuò)展程序的內(nèi)聯(lián)安裝。這對(duì)WebRTC應(yīng)用程序有相當(dāng)大的影響，因?yàn)镃hrome中的屏幕共享目前還需要擴(kuò)展程序。getDisplayMedia能來解決這個(gè)問題嗎？本文來自appear.in的WebRTC工程師Philipp Hancke，LiveVideoStack對(duì)文章進(jìn)行了摘譯。

編解碼

基于鏡頭的編碼

基于鏡頭的編碼比基于主題的編碼帶來更高的編碼效率，由于對(duì)內(nèi)容感知的粒度更加細(xì)，這種改變的結(jié)果顯而易見。然而，更細(xì)粒度的編碼也會(huì)帶來更高的負(fù)責(zé)度，比如在AWS環(huán)境中，在基礎(chǔ)設(shè)施服務(wù)失效的情況下，如何最大限度的保留已編碼的成果，從而減少重復(fù)編碼工作。本文來自Netflix的科技博客，LiveVideoStack對(duì)原文進(jìn)行了摘譯。

視頻編碼步入更壓縮高性能時(shí)代

目前，針對(duì)海量多媒體數(shù)據(jù)的壓縮和處理，特別是VR和HDR視頻數(shù)據(jù)，開發(fā)并提出新的高性能codec及處理方案是多媒體通信應(yīng)用行業(yè)共同面臨的難題。MPEG已經(jīng)開始著手更新一代視頻編解碼標(biāo)準(zhǔn)VVC的制定，視頻壓縮性能有望進(jìn)一步大幅提高。在此背景下，本文簡(jiǎn)要梳理一下當(dāng)前針對(duì)大規(guī)模多媒體數(shù)據(jù)的高效壓縮技術(shù)。

用 JavaScript 編寫 MPEG1 解碼器柒緣生活吧

本文主要介紹了用JavaScript編寫MPEG1解碼器的開發(fā)過程中的一系列問題：JSMpeg中實(shí)現(xiàn)音頻流傳輸?shù)倪壿嫿M件構(gòu)成及流程，MPEG內(nèi)部的YUV格式轉(zhuǎn)換等。

UIImage圖片解碼的性能優(yōu)化吳家十三少

用 UIImage 或 CGImageSource 的那幾個(gè)方法創(chuàng)建圖片時(shí)，圖片數(shù)據(jù)并不會(huì)立刻解碼。圖片設(shè)置到 UIImageView 或者 CALayer.contents 中去，并且 CALayer 被提交到 GPU 前，CGImage 中的數(shù)據(jù)才會(huì)得到解碼。本文主要介紹了圖片解碼時(shí)產(chǎn)生的性能問題及優(yōu)化。

Android音視頻系列：H264視頻編碼介紹

本文從配置編碼參數(shù)、輸入要編碼的圖像幀、編碼數(shù)據(jù)生成等方面介紹了使用X264開源庫編碼的H264視頻編碼技術(shù)。

AI智能

簡(jiǎn)單初始化，訓(xùn)練10000層CNN

如何快速簡(jiǎn)單地訓(xùn)練神經(jīng)網(wǎng)絡(luò)？谷歌大腦研究人員研究了CNN的可訓(xùn)練性，提出了一種簡(jiǎn)單的初始化策略，不需要使用殘差連接或批標(biāo)準(zhǔn)化，就能訓(xùn)練10000層的原始CNN。作者表示，他們的這項(xiàng)工作清除了在訓(xùn)練任意深度的原始卷積網(wǎng)絡(luò)時(shí)存在的所有主要的障礙。

步態(tài)識(shí)別的深度學(xué)習(xí):綜述

步態(tài)是人在行走過程中姿態(tài)的變化.不同于人臉、指紋、虹膜等, 步態(tài)是唯一可在遠(yuǎn)距離非受控狀態(tài)下獲得的生物特征.步態(tài)識(shí)別指利用步態(tài)信息對(duì)人的身份進(jìn)行識(shí)別的技術(shù)，當(dāng)前關(guān)于步態(tài)識(shí)別方面的研究綜述主要圍繞在相關(guān)手工特征建模和傳統(tǒng)機(jī)器學(xué)習(xí)(非深度學(xué)習(xí))的識(shí)別算法上.

卷積神經(jīng)網(wǎng)絡(luò)的壓縮和加速

本文介紹了比較常見的4種卷積神經(jīng)網(wǎng)絡(luò)壓縮和加速方法，其中網(wǎng)絡(luò)裁枝與低秩估計(jì)的方法從矩陣乘法角度，著眼于減少標(biāo)量乘法和加法個(gè)數(shù)來實(shí)現(xiàn)模型壓縮和加速的；而模型量化則是著眼于參數(shù)本身，直接減少每個(gè)參數(shù)的存儲(chǔ)空間，提升每次標(biāo)量乘法和加法的速度，從而實(shí)現(xiàn)模型的壓縮和加速；模型蒸餾方法卻是從宏觀結(jié)構(gòu)入手，直接構(gòu)造了結(jié)構(gòu)簡(jiǎn)單，參數(shù)少的小網(wǎng)絡(luò)，將難點(diǎn)轉(zhuǎn)移成對(duì)小網(wǎng)絡(luò)的訓(xùn)練上。

場(chǎng)景文本檢測(cè)—CTPN算法介紹

對(duì)于復(fù)雜環(huán)境中的字符的識(shí)別，主要包括文字檢測(cè)和文字識(shí)別兩個(gè)步驟，這里介紹的CTPN(Detecting Text in Natural Image with Connectionist Text Proposal Network)方法就是在場(chǎng)景中提取文字的一個(gè)效果較好的算法，能將自然環(huán)境中的文本信息位置加以檢測(cè)。

圖像

騰訊優(yōu)圖CVPR 2018論文：圖片去模糊及快速肖像處理等多項(xiàng)技術(shù)解讀

在慢速曝光或快速運(yùn)動(dòng)拍攝照片時(shí)，圖像模糊常常困擾著照片拍攝者。騰訊優(yōu)圖實(shí)驗(yàn)室的新算法，可以處理非特定場(chǎng)景中的圖片模糊。算法基于一種被稱為「動(dòng)態(tài)模糊」的模糊模型假設(shè)。

使用 MATLAB 圖像處理算法，視頻實(shí)時(shí)加持藍(lán)天背景

本文將以色度鍵控效果為例，介紹在嵌入式硬件上部署 MATLAB 圖像處理算法的簡(jiǎn)單工作流。我們將使用 MATLAB Coder? 通過算法生成C代碼，然后使用在硬件上運(yùn)行的實(shí)用程序在 Raspberry Pi 板卡上進(jìn)行算法原型驗(yàn)證。最后，我們將算法移植至 NVIDIA Jetson Tx1 平臺(tái)以保證實(shí)時(shí)性能。