摘 要： 針對H.323 視頻會議系統(tǒng)設計了一種基于RTP 的音視頻同步方法，該方法在嚴格遵守RTP 協(xié)議的前提下，將音視頻數(shù)據(jù)聯(lián)系起來通過同一個媒體通道傳輸，從而達到唇音同步的目的。實驗表明：該方法在對圖像質量影響很小的情況下，很好地實現(xiàn)了音視頻的同步播放，并且具有實現(xiàn)簡便，不增加系統(tǒng)負擔等優(yōu)點，具有廣泛的實用性。

　　H.323 視頻會議系統(tǒng)中，發(fā)送端同時采集到的音視頻數(shù)據(jù)能在接收端同時播放，則認為唇音同步。終端采集到的音視頻數(shù)據(jù)肯定是同步的，要保證同時播放，就要保證音視頻在采集和播放處理過程中消耗的時間相同。IP 網(wǎng)絡的特點決定了通過不同通道的音視頻數(shù)據(jù)傳輸所消耗的時間不可能完全相同，唇音同步是視頻會議系統(tǒng)中的一大難題。如果同時采樣的音視頻數(shù)據(jù)播放時間偏差在［-80ms，+80ms］以內，用戶基本上感覺不到不同步， 一旦超出［-160ms，+160ms］，用戶就可以明顯感覺到，中間部分是臨界范圍。

　　1 引言

　　1.1 文章安排

　　本文第2 節(jié)分析了現(xiàn)有的音視頻同步方案的缺點。第3 節(jié)詳細描述了本文所設計方案的實現(xiàn)過程。第4 節(jié)給出實驗數(shù)據(jù)以及分析結果。第5 節(jié)給出結論。

　　1.2 基本介紹

　　H.323 視頻會議系統(tǒng)中，音視頻不同步現(xiàn)象產(chǎn)生的原因除了網(wǎng)絡環(huán)境外，還有一個是音視頻的分開傳輸。雖然H.323 建議音視頻通過不同道道傳輸，但是實際傳輸數(shù)據(jù)的RTP［2，3］協(xié)議和其底層的UDP 協(xié)議都沒有規(guī)定一對連接只能傳輸音頻或者視頻中的一種，通過同一個通道傳輸音視頻完全可能，而且這樣可以最大程度的減少網(wǎng)絡原因引起的音視頻不同步，本文給出了這一設想的實現(xiàn)方案，并做了驗證。

　　2 現(xiàn)有解決方案

　　目前最常用的唇音同步方法從思路上可以分為以下兩類：

　　思路一，發(fā)送端給每個要發(fā)送的RTP 包打上時戳，記錄它們的采樣時間。接收端通過增加延時等方式，保證同時采樣的數(shù)據(jù)同時播放。這類方法的實現(xiàn)需要一個中立的第三方參考時鐘，需要有RTCP 協(xié)議的SR［2，3］的參與， 如果這兩個條件不具備，同步就失去了依據(jù)。

　　思路二，唇音不同步本質上是由H.323 視頻會議系統(tǒng)中音視頻的分開傳輸和處理導致的，如果采用某種方法將音視頻信息關聯(lián)起來，就可以有效的避免不同步現(xiàn)象。一種實現(xiàn)方案是，將音頻按一定的對應關系嵌入到視頻中傳輸，接收端從視頻中提取音頻數(shù)據(jù)并重建，從而達到唇音同步的目的［4］。該方案實現(xiàn)較復雜，而且采用非標準的RTP 實現(xiàn)方式，會給不同廠商H.323 產(chǎn)品間的互通帶來困難。

　　3 一種新的音視頻同步方法

　　本方法基本思路是：在音視頻數(shù)據(jù)的采樣、編碼、打包、發(fā)送、網(wǎng)絡傳輸、接收、網(wǎng)絡異常處理、拆包、解碼、播放這十個處理過程中，采集、編碼、打包、拆包和解碼的時間基本上固定，不會因為網(wǎng)絡環(huán)境差異造成時延的差異，而發(fā)送、網(wǎng)絡傳輸、接收、網(wǎng)絡異常處理四個過程則具有較大的隨機性，其處理時間會隨著網(wǎng)絡性能的不同有較大的差異，進而造成播放時音視頻的不同步。因此唇音同步處理的重點就在于保證發(fā)送、網(wǎng)絡傳輸、接收、網(wǎng)絡異常處理這四個過程中音視頻的同步，即圖1 中發(fā)送同步到組幀同步之間的部分。

　　圖1 唇音同步實現(xiàn)全過程

　　其他處理過程引起的時間差，只要在系統(tǒng)穩(wěn)定后給音頻加上固定的延時即可，因為一般情況下，音頻處理所花的時間比視頻處理少，具體的差值可多次實驗統(tǒng)計得到。

　　RTP 協(xié)議規(guī)定每個RTP 包中所承載的有效載荷類型（PT）是唯一的，但是如果將音視頻通過同一個通道傳輸，并且保證同一時刻采集到的音視頻幀順次交錯發(fā)送，則既能保證音視頻在傳輸中的同步，又遵守了RTP 協(xié)議。音頻數(shù)據(jù)量較小，一個RTP 包即能承載一幀，一個視頻幀則需要多個RTP 包承載，幀結束標志采用RTP 包頭中的Mark 字段，該字段為1，則說明當前包是一幀的結束包。

　　依據(jù)上述思想，方案具體實現(xiàn)過程設計如下：

　　（1） 發(fā)送端分別獨立的對音視頻信息進行采樣，組幀和打包，然后放到各自的緩沖隊列中等待發(fā)送（2） 數(shù)據(jù)發(fā)送模塊從發(fā)送緩沖中取數(shù)據(jù)，1） 從音頻緩沖隊列中取一個包（一幀）；2） 從視頻緩沖隊列中取數(shù)據(jù)，每取一個包，都判斷RTP 包頭的Mark 字段是否為1，如果為1，說明當前視頻幀已經(jīng)取完，轉1），如果Mark 字段為0，說明當前視頻幀還未取完，轉2）；（3） 音視頻數(shù)據(jù)通過同一個通道發(fā)送到網(wǎng)絡；（4） 接收端收到數(shù)據(jù)，根據(jù)包頭中的PT 字段區(qū)分音視頻，放到各自的接收緩沖隊列中進行請求丟包重傳、亂序重排等網(wǎng)絡異常處理［5，6］，然后進入組幀緩沖等待解碼器取走數(shù)據(jù)，進入組幀緩沖的數(shù)據(jù)沒有亂序包和重包，偶有丟包；（5） 音視頻各自拆包組幀，實現(xiàn)過程如圖2 所示：

　　圖2 組幀同步實現(xiàn)原理圖。

　　（6） 音視頻從各自的解碼緩沖隊列中按順序取數(shù)據(jù)送解碼，通過組幀過程中給音視頻數(shù)據(jù)加上的本地時戳來校準后同步播放。