基于RTP 協(xié)議的視頻數(shù)據(jù)傳輸 - 基于ARM11+Linux的無線視頻監(jiān)控系統(tǒng)

　　4.1.2 基于RTP 協(xié)議的視頻數(shù)據(jù)傳輸

　　RTP 是實(shí)時傳送協(xié)議（ Real-time TransportProtocol）的縮寫，代表一個網(wǎng)絡(luò)傳輸?shù)膮f(xié)議，為音頻、視頻上傳中的常用協(xié)議［5］.RTCP 和RTP 一起提供流量控制和擁塞控制服務(wù)，它們能以有效反饋和最小開銷使傳輸效率最佳化，因而特別適合傳送實(shí)時的數(shù)據(jù)，所以采用該協(xié)議傳輸視頻數(shù)據(jù)。

　　本系統(tǒng)采用開源代碼Jrtplib 提供的RTP 協(xié)議棧，由于Jrtplib 對RFC3550 的實(shí)現(xiàn)進(jìn)行了封裝，使得傳輸視頻數(shù)據(jù)更加簡單。由于本系統(tǒng)的網(wǎng)絡(luò)最大有效載荷為1500 字節(jié)，因此設(shè)置RTP 包大小的上限為1400 字節(jié)，如果發(fā)送的數(shù)據(jù)大于1400 字節(jié)，則采用拆包的方法再發(fā)送，具體傳輸過程如圖4 和圖5 所示。

　　圖4 發(fā)送端流程框圖。

　　圖5 接收端流程框圖。

　　發(fā)送端主要過程如下：

　?。?）創(chuàng)建RTP 會話并設(shè)置目標(biāo)地址。調(diào)用Create方法得到RTP 會話實(shí)例，然后調(diào)用AddDestination 方法設(shè)置目標(biāo)IP 以及目標(biāo)端口號。

　　（2）獲得數(shù)據(jù)，調(diào)用Get_Data（）函數(shù)得到。

　　（3）發(fā)送數(shù)據(jù)，通過SendPacket（）方法實(shí)現(xiàn)。

　　接收端主要過程如下：

　?。?）創(chuàng)建RTP 會話。調(diào)用Create 方法來創(chuàng)建一個會話實(shí)例，并且在創(chuàng)建會話的同時設(shè)置端口號，要與發(fā)送端的端口號保持一致。

　?。?）接受RTP 數(shù)據(jù)。調(diào)用RTPSession 類的PollData（）方法接收數(shù)據(jù)。

　?。?）保存RTP 數(shù)據(jù)報。通過創(chuàng)建了一個指針數(shù)組，里面存放的是RTP 數(shù)據(jù)報的指針，只要將剛接收到RTP 數(shù)據(jù)報的指針賦給這個指針數(shù)組即可，這樣可以節(jié)省數(shù)據(jù)拷貝的時間。

　?。?）判斷是否接收完成，如果沒有，則跳轉(zhuǎn)到第b 步，否則接收端程序退出。

　　4.2 視頻數(shù)據(jù)的解碼和顯示

　　由于接收到的數(shù)據(jù)是經(jīng)H264 編碼的數(shù)據(jù)，因此，先要對該數(shù)據(jù)進(jìn)行解碼，然后才能顯示。而在服務(wù)器端，對視頻數(shù)據(jù)解碼用到FFmpeg.FFmpeg 是一個開源免費(fèi)跨平臺的視頻和音頻流方案，屬于自由軟件。

　　解碼時主要涉及FFmpeg 下的libavcodec 庫、libswscale庫和libavformat 庫，其中第一個庫是一個包含了所有FFmpeg 音視頻編解碼器的庫，第二個庫是格式轉(zhuǎn)化庫，因?yàn)榻獯a后的數(shù)據(jù)是YUV420 格式，而要在計(jì)算機(jī)上顯示該數(shù)據(jù)，則需要的是RGB 格式的，該庫功能就是把YUV420 格式轉(zhuǎn)化成RGB 格式，第三個庫是一個包含了所有的普通音視格式的解析器和產(chǎn)生器的庫。

　　4.2.1 初始化解碼線程

　?。?） 注冊全部的文件格式和編解碼器，調(diào)用av_register_all（）函數(shù)完成注冊。

　?。?） 設(shè)置AVFormatContext 結(jié)構(gòu)體。該結(jié)構(gòu)體是FFmpeg 格式轉(zhuǎn)換過程中實(shí)現(xiàn)輸入和輸出功能，保存相關(guān)數(shù)據(jù)的主要結(jié)構(gòu)，通過av_open_input_file 函數(shù)設(shè)置該結(jié)構(gòu)體。

　?。?） 檢查視頻流的信息，通過調(diào)用av_find_stream_info（pFormatCtx）函數(shù)，pFormatCtx-》streams 就填充了正確的視頻流信息，pFormatCtx 類型是AVFormatContext.

　?。?） 得到編解碼器上下文，pCodecCtx= pFormatCtx -》 streams［videoStream］-》codec，pCodecCtx 指針指向了流中所使用的關(guān)于編解碼器的所有信息。

　?。?） 打開解碼器，先通過avcodec_find_decoder 函數(shù)找到相應(yīng)解碼器，然后調(diào)用avcodec_open 函數(shù)打開解碼器。

　?。?） 申請內(nèi)存用來存放解碼數(shù)據(jù)， 通過調(diào)用avcodec_alloc_frame 函數(shù)實(shí)現(xiàn)，由于解碼的數(shù)據(jù)是YUV420 格式的，因此還需要將該數(shù)據(jù)轉(zhuǎn)換成RGB 格式，因此，再次調(diào)用avcodec_alloc_frame 申請內(nèi)存用來存放RGB 格式數(shù)據(jù)。

　?。?） 申請內(nèi)存用來存放原始數(shù)據(jù)，因?yàn)镠264 解碼時，對于P 幀需要參考前面一個關(guān)鍵幀或P 幀，而B幀需要參考前后幀，因此需要存放原始數(shù)據(jù)，首先，用avpicture_get_size 來獲得需要的大小，然后調(diào)用av_malloc 函數(shù)申請內(nèi)存空間。

　?。?） 通過調(diào)用avpicture_fill 函數(shù)將幀和新申請的內(nèi)存結(jié)合起來。

　?。?） 創(chuàng)建格式轉(zhuǎn)換上下文，通過img_convert_ctx=sws _getContext（src_w， src_h，src_pix_fmt， dst_w， dst_h，PIX_FMT_RGB24， SWS_BICUBIC， NULL， NULL，NULL）方法實(shí)現(xiàn)。其中，src_w 表示源圖像的寬度，src_h 表示源圖像的高度，src_pix_fmt 表示源圖像的格式，dst_w 表示目標(biāo)圖像的寬度，dst_h 表示目標(biāo)圖像的高度，PIX_FMT_RGB24 表示目標(biāo)圖像的格式。