一 知識(shí)篇
1.1 音視頻協(xié)議、通訊協(xié)議介紹
1.1.1 兩大標(biāo)準(zhǔn)制定組織
      這里的標(biāo)準(zhǔn)，主要指的是音視頻壓縮標(biāo)準(zhǔn)。兩大組織分別是國(guó)際標(biāo)準(zhǔn)化組織（ISO）和國(guó)際電信聯(lián)盟（ITU），相信IT行業(yè)的從業(yè)者沒(méi)聽(tīng)說(shuō)過(guò)這兩個(gè)行業(yè)的人很少。
      在音視頻壓縮標(biāo)準(zhǔn)方面，mpeg系列的協(xié)議是ISO制定的標(biāo)準(zhǔn)，而H系列的協(xié)議則是ITU制定的標(biāo)準(zhǔn)。
1.1.2 視頻協(xié)議
      目前主要的視頻壓縮協(xié)議有：H.261、H.263、H.264和mpeg-1、mpeg-2和mpeg-4。第一個(gè)視頻壓縮標(biāo)準(zhǔn)是H.261，它的算法現(xiàn)在來(lái)看，非常簡(jiǎn)單，但是，它的很多視頻壓縮的思想，一直影響到現(xiàn)在最新的壓縮標(biāo)準(zhǔn)H.264。H.264單看名字，感覺(jué)是ITU組織制定的，其實(shí)它還有一個(gè)名字叫mpeg-4 Part 10，翻譯過(guò)來(lái)叫mpeg-4 第十部分，這是因?yàn)镠.264是ISO和ITU組織共同制定的，版權(quán)共享。其實(shí)，一直以來(lái)，H系列的標(biāo)準(zhǔn)制定者和mpeg系列的標(biāo)準(zhǔn)制定者基本上就是同一群人，而且，這兩個(gè)系列的算法思想基本上都差不多，唯一有一點(diǎn)不同的協(xié)議是mpeg-4，它在它的高級(jí)profile中提出了小波變換等算法來(lái)實(shí)現(xiàn)視頻壓縮，從實(shí)際發(fā)展看，個(gè)人感覺(jué)不是很成功，采用小波變換的商用codec很少，這可能和這些算法的達(dá)不到實(shí)時(shí)性有關(guān)系。
      從應(yīng)用的角度看，mpeg系列在消費(fèi)類應(yīng)用更廣些，大家也更熟悉些，我們熟悉的VCD格式視頻主要是mpeg-1，DVD的視頻則是mpeg-2，早期大家看的電影在電腦上存盤(pán)文件格式都是*.mpg，基本上也都是mpeg做的壓縮了。在行業(yè)上，國(guó)內(nèi)的監(jiān)控行業(yè)，也是從mpeg-1到mpeg-2，到前兩三年的mpeg-4，再到最近的H.264。而H系列的標(biāo)準(zhǔn)，用得最多的是視頻會(huì)議，從H.261到H.263，再到H.263+、H.263++等，再到現(xiàn)在的H.264。
      從技術(shù)角度說(shuō)，H系列的協(xié)議對(duì)網(wǎng)絡(luò)的支持更好些，這點(diǎn)mpeg系列要差一些，但是，mpeg它每一代都比H系列同一代的協(xié)議要出得晚些，算法也相對(duì)更先進(jìn)些，因此，它用來(lái)做存儲(chǔ)協(xié)議是很合適的，這也就是為什么普通消費(fèi)類產(chǎn)品用戶很少了解到H系列協(xié)議的原因。
      H.264是兩大組織最新的算法成果，它在算法層面應(yīng)該說(shuō)是非常先進(jìn)了，有人評(píng)價(jià)，H.264是視頻壓縮技術(shù)的一個(gè)里程碑，在可預(yù)見(jiàn)的5到10年內(nèi)，出現(xiàn)新的視頻壓縮協(xié)議可能性很小，除非壓縮理論有重大突破。
      除了上面說(shuō)的協(xié)議，還有很多公司也有自己的壓縮算法，不過(guò)基本上都是不公開(kāi)的了，他們這些算法也都非常好，不過(guò)和開(kāi)發(fā)人員關(guān)系倒不是很大了，典型的是微軟的wmv、realplay公司的rm和rmvb等，他們的使用者也很多，而且他們都偏向流媒體應(yīng)用。
1.1.3 音頻協(xié)議
      音頻協(xié)議也分兩大類，ITU組織的主要是用于視頻會(huì)議的G系列協(xié)議，包括g.711、g.722、g.723、g.726、g.728、g.729等。這些協(xié)議主要有兩大特點(diǎn)，第一是比較關(guān)注語(yǔ)音壓縮，畢竟開(kāi)會(huì)主要是要聽(tīng)人講話；對(duì)音樂(lè)的壓縮效果可能就不是太好了；第二是壓縮率都比較大，碼率都比較低，典型的g.723支持5.9k/s這樣的碼率，而且語(yǔ)音音質(zhì)還很不錯(cuò)。ISO的音頻可能更為人熟知一些，最流行的就是mp3，它的全稱是mpeg-1 Audio layer 3，意思是mpeg-1的音頻第三層；另外，最新的音頻算法被稱為aac（也稱為mp4），它定義在mpeg-2或mpeg-4的音頻部分。他們的特點(diǎn)是音質(zhì)好，支持多聲道，高采樣精度和采樣頻率，尤其對(duì)音樂(lè)的壓縮效果比G系列要好太多。當(dāng)然，這也是因?yàn)樗鼈兊膽?yīng)用領(lǐng)域側(cè)重點(diǎn)不同造成的。
      同樣的，很多大公司也有自己的語(yǔ)音壓縮標(biāo)準(zhǔn)，效果也非常好。不過(guò)都是他們自己的知識(shí)產(chǎn)權(quán)和算法，通用市場(chǎng)用的還是少。
1.1.4 上層通訊協(xié)議
      在視頻會(huì)議系統(tǒng)中，目前最流行的有H.323和SIP協(xié)議，在流媒體應(yīng)用中，ISMA rtsp應(yīng)用得比較多，它屬于開(kāi)源項(xiàng)目，而很多流媒體產(chǎn)商有自己的流媒體傳輸協(xié)議，比如微軟的mms等。
      H.323主要用于視頻會(huì)議，被稱為協(xié)議簇，我們前面提到的H系列視頻壓縮協(xié)議和G系列音頻壓縮協(xié)議都屬于它的子協(xié)議。除了音視頻編解碼器外；它還定義了各種數(shù)據(jù)應(yīng)用，包括T.120、T.84、T.434等；另外還包括H.245控制信道、H.225.0呼叫信令信道以及RAS信道。詳細(xì)的H.323的知識(shí)，這里就不深入介紹了。
      SIP是由IETF提出來(lái)的一個(gè)應(yīng)用控制（信令）協(xié)議。正如名字所隱含的--用于發(fā)起會(huì)話。它可用來(lái)創(chuàng)建、修改以及終結(jié)多個(gè)參與者參加的多媒體會(huì)話進(jìn)程。參與會(huì)話的成員可以通過(guò)組播方式、單播連網(wǎng)或者兩者結(jié)合的形式進(jìn)行通信。
      H.323和SIP分別是通信領(lǐng)域與因特網(wǎng)兩大陣營(yíng)推出的建議。 H.323企圖把IP電話當(dāng)作是眾所周知的傳統(tǒng)電話，只是傳輸方式發(fā)生了改變，由電路交換變成了分組交換。而SIP協(xié)議側(cè)重于將IP電話作為因特網(wǎng)上的一個(gè)應(yīng)用，較其實(shí)應(yīng)用（如FTP，E-mail等）增加了信令和QoS的要求，它們支持的業(yè)務(wù)基本相同，也都利用RTP作為媒體傳輸?shù)膮f(xié)議。但H.323是一個(gè)相對(duì)復(fù)雜的協(xié)議。
      RTSP主要用于流媒體傳輸，它的英文全稱是real time streaming protocol。典型的應(yīng)用就是網(wǎng)絡(luò)電視的應(yīng)用，由客戶向服務(wù)器進(jìn)行點(diǎn)播，如果在監(jiān)控行業(yè)應(yīng)用的話，建議當(dāng)用戶進(jìn)行遠(yuǎn)程回放錄像時(shí)，可采用RTSP協(xié)議。
1.2 音視頻基本概念介紹
1.2.1 視頻的基本概念
RGB和YUV
      RGB指的是紅綠藍(lán)，應(yīng)用還是很廣泛的，比如顯示器顯示，BMP文件格式中的像素值等；而YUV主要指亮度和兩個(gè)色差信號(hào)，被稱為luminance和chrominance他們的轉(zhuǎn)化關(guān)系可以自己去查一下，我們視頻里面基本上都是用YUV格式。
YUV格式
      YUV文件格式又分很多種，如果算上存儲(chǔ)格式，就更多了，比如YUV444、YUV422、YUV411、YUV420等等，視頻壓縮用到的是420格式，這是因?yàn)槿搜蹖?duì)亮度更敏感些，對(duì)色度相對(duì)要差些。另外要注意幾個(gè)英文單詞的意思，比如：packet、planar、interlace、progressive等。
幀率
      每秒鐘圖像的刷新速度。PAL制式的電視，幀率是25幀每秒，NTSC制式的電視幀率是29.97幀每秒。我們常用的電腦也有刷新率，一般來(lái)說(shuō)，電腦的刷新率要在75赫茲以上，人眼才不會(huì)覺(jué)得閃。
隔行掃描(interlace)和逐行掃描(progressive)
      一般的電視上都是隔行掃描，而顯示器都是逐行掃描。這里有一個(gè)場(chǎng)的概念，隔行掃描是一幀等于兩場(chǎng)，而逐行掃描則是一幀就是一場(chǎng)。
碼率
      它的單位是 bit per second，一般所有描述帶寬的概念，單位都是bit，描述存儲(chǔ)容量的單位一般都是大B，也就是BYTE（字節(jié)）。
分辨率
      圖像的分辨率指的是它的像素?cái)?shù)，一般用得最多的是CIF，也就是352*288，4cif自然就是指704*576，而D1的分辨率嚴(yán)格意義上是720*576，大小來(lái)說(shuō)和4cif差不多了。當(dāng)然現(xiàn)在還有很多高清的分辨率，這些我不是太了解，大家感興趣可以查一下。另外，國(guó)外很多時(shí)候，對(duì)cif的高度取240，這是因?yàn)樗麄兊膸时任覀兏撸?9.97hz），自然，高度要小一些了。
實(shí)時(shí)與非實(shí)時(shí)
     主要用來(lái)形容編碼器，它含有兩個(gè)意思，一個(gè)是要保證幀率，也就是每秒25幀，另一個(gè)是“l(fā)ive”的意思，意味著直播，所謂的“實(shí)況轉(zhuǎn)播”的“實(shí)”。 延時(shí)
     也是形容編碼器的一個(gè)重要指標(biāo)，一般來(lái)說(shuō)，200ms到300ms人的感覺(jué)不會(huì)很明顯，到了500毫秒的話，還是可以很明顯感覺(jué)到的。
音視頻同步
     作為視頻會(huì)議的應(yīng)用，一般要求做到所謂的“唇同步”。基本的保證音視頻同步的手段就是時(shí)間戳（time stamp）。
復(fù)合視頻和S-Video
     NTSC和PAL彩色視頻信號(hào)是這樣構(gòu)成的--首先有一個(gè)基本的黑白視頻信號(hào)，然后在每個(gè)水平同步脈沖之后，加入一個(gè)顏色脈沖和一個(gè)亮度信號(hào)。因?yàn)椴噬盘?hào)是由多種數(shù)據(jù)“疊加”起來(lái)的，故稱之為“復(fù)合視頻”。S-Video則是一種信號(hào)質(zhì)量更高的視頻接口，它取消了信號(hào)疊加的方法，可有效避免一些無(wú)謂的質(zhì)量損失。它的 功能是將RGB三原色和亮度進(jìn)行分離處理。
NTSC、PAL和SECAM
     基帶視頻是一種簡(jiǎn)單的模擬信號(hào)，由視頻模擬數(shù)據(jù)和視頻同步數(shù)據(jù)構(gòu)成，用于接收端正確地顯示圖像。信號(hào)的細(xì)節(jié)取決于應(yīng)用的視頻標(biāo)準(zhǔn)或者“制式”--NTSC（美國(guó)全國(guó)電視標(biāo)準(zhǔn)委員會(huì)，National Television Standards Committee）、PAL（逐行倒相，Phase Alternate Line）以及SECAM（順序傳送與存儲(chǔ)彩色電視系統(tǒng)，法國(guó)采用的一種電視制式，SEquential Couleur Avec Memoire）。
     中國(guó)的電視信號(hào)一般都是PAL，而美日則是NTSC。這2個(gè)制式的幀率，圖像尺寸都有所不同。
線數(shù)
     我們?cè)谫I(mǎi)攝像頭的時(shí)候，經(jīng)常會(huì)提到一個(gè)叫線數(shù)的概念，它其實(shí)就是分辨率中的高（height）。舉個(gè)例子：PAL制式的D1圖像，線數(shù)就是576。
亮度、飽和度和對(duì)比度
     英文名分別是：brightness、saturation和 contrast。這是三個(gè)表示圖像的重要指標(biāo)。
1.2.2 音頻的基本概念
采樣率
     音頻的采樣率其實(shí)類似視頻的幀率，意思是每秒鐘采樣的次數(shù)。G.711的采樣率是8k（人的語(yǔ)音大概就在這個(gè)頻率范圍以內(nèi)），而mp3支持的典型采樣率是 44.1kHz（超過(guò)人耳響應(yīng)頻率的2倍多一點(diǎn)——奈奎斯特定理）。很明顯，mp3壓縮的原始聲音要比g.711好多了。
采樣精度
     就是每個(gè)采樣進(jìn)行模數(shù)轉(zhuǎn)換時(shí)的量化系數(shù)。G.711是8bit采樣精度，而mp3典型的是16bit。
回聲消除 
     視頻會(huì)議應(yīng)用中的音頻最大問(wèn)題?；芈暜a(chǎn)生的原因很復(fù)雜，一般認(rèn)為，在互聯(lián)網(wǎng)中的語(yǔ)音傳輸，延時(shí)來(lái)源有三個(gè)：壓縮延遲、分組傳輸延遲和處理延遲。語(yǔ)音壓縮延遲是產(chǎn)生回聲的主要延遲，例如在G.723.1標(biāo)準(zhǔn)中，壓縮一幀（30ms）的最大延遲是37.5ms。分組傳輸延遲也是一個(gè)很重要的來(lái)源，測(cè)試表明，端到端的最大傳輸延遲可達(dá)250ms以上。處理延遲是指語(yǔ)音包的封裝時(shí)延及其緩沖時(shí)延等。
1.3 視訊產(chǎn)品簡(jiǎn)介
1.3.1 MP4
     這是最近兩年開(kāi)始流行的新產(chǎn)品，它的定義其實(shí)業(yè)有些混亂。目前流行的說(shuō)法是：只要和視頻沾邊的便攜式播放器，都叫MP4。不過(guò)下面的圖更能說(shuō)明問(wèn)題。
1.3.2 光端機(jī)
     一種完成電——光信號(hào)轉(zhuǎn)換的設(shè)備。主要用于模擬遠(yuǎn)程視頻監(jiān)控系統(tǒng)，它可將遠(yuǎn)端的攝像頭模擬信號(hào)轉(zhuǎn)換成光信號(hào)傳送到監(jiān)控中心，配合監(jiān)控中心的DVR使用。
1.3.3 視頻會(huì)議MCU
     它是視頻會(huì)議的核心設(shè)備之一。當(dāng)參與視頻會(huì)議的終端超過(guò)2個(gè)時(shí)，就必須通過(guò)MCU來(lái)召開(kāi)會(huì)議。
      MCU的基本功能是媒體流轉(zhuǎn)發(fā)和混音，并進(jìn)行會(huì)議管理，隨著視頻會(huì)議的發(fā)展，MCU支持的功能也越來(lái)越多，比如：混屏、遠(yuǎn)程攝像頭控制等功能。