從服貿會近百場直播,解析低延遲直播背后的編碼技術

時間:2020-09-27

來源:消費日報網(wǎng)

導語:目前,視頻編碼都是基于塊進行的,將一幀視頻劃分為不同的塊,然后對每個塊再分別進行編碼處理。當下,幾乎所有的視頻編碼器都會在塊劃分和運動估計環(huán)節(jié)上消耗主要計算時間。因此,如何提高這兩者的計算效率成為低延遲直播場景下首要考慮的問題。

  近日,2020年中國國際服務貿易交易會在北京落幕。與以往不同,今年的服貿會采取線上線下結合的方式舉辦,線上會議30場,線上線下相結合會議70場,線上直播活動近百場,“云會議”、“云展覽”、“云洽談”成為本次服貿會的重要特色。

  服貿會上,每一場實時互動的云上會議和商務洽談,其實都是一次低延遲直播活動。為了降低用戶側在通訊中的延遲,使其盡量“不可感知”,各路廠商均加大投入以優(yōu)化延遲,因為這是低延遲直播場景中的首要核心性能指標。

  為適配低延遲場景關于延遲和畫質的核心需求,金山云依托深耕多年的視頻編碼引擎—KSC265,并以諸多定制算法為基礎,構建了一條適用于低延遲編碼的路徑,使得編碼延遲在該場景下大為降低的同時,幾乎不影響畫質。整體而言,得益于持續(xù)的快速算法創(chuàng)新,金山云低延遲直播在編碼引擎層面上,相較于開源編碼器x264/x265的zerolatency檔位基線水平的加速比達到了2倍以上,而BD-rate損失只有不到1%。

  自制編碼塊評價標準提速編碼過程

  目前,視頻編碼都是基于塊進行的,將一幀視頻劃分為不同的塊,然后對每個塊再分別進行編碼處理。當下,幾乎所有的視頻編碼器都會在塊劃分和運動估計環(huán)節(jié)上消耗主要計算時間。因此,如何提高這兩者的計算效率成為低延遲直播場景下首要考慮的問題。

  低延遲直播場景下,視頻畫面相對穩(wěn)定且變化并不豐富,不同編碼塊的編碼參數(shù)之間在時空上具有非常高的相關性。利用這一特性,金山云在塊劃分環(huán)節(jié)上對深度決策及模式?jīng)Q策設置快速終止條件,并設計了一種評價標準衡量編碼塊的時空復雜度,以此為基準進行快速劃分模式?jīng)Q策,在滿足一定條件下即可終止搜索,大大減少了模式搜索計算量。利用這項技術,金山云將塊劃分編碼過程加速了5倍。

  兩步運動估計流程大幅降低編碼器計算量

  基于塊的運動估計,其基本思想是將圖像序列的每一幀分成許多不重疊的塊,并認為宏塊內所有像素的位移量都相同,然后對每個宏塊到參考幀某一給定搜索范圍內根據(jù)一定的匹配準則找出與當前塊最相似的塊,即匹配塊,匹配塊與當前塊的相對位移即為運動矢量。運動估計的目的在于消除視頻信息在時間上的冗余,降低視頻傳輸?shù)谋忍財?shù)。

  如上所述,由于低延遲直播場景在時間維度上的變化并不豐富,即存在大量冗余,因而不需要過于繁雜的搜索即可得到精準的運動估計匹配。金山云視頻云團隊利用這一特性設計了兩步運動估計流程,即粗粒度估計和細粒度估計。在粗粒度估計過程中,基于上述塊劃分結果進行快速匹配,從而能夠在初期過濾掉絕大部分的候選匹配塊。在細粒度估計中,金山云視頻云團隊采用了多項獨創(chuàng)的編碼工具,從平移估計、運動分析、紋理分析這三個維度來進行組合決策,從而達到匹配塊精選的目的。這種由粗到細的級聯(lián)運動估計流程可以極大程度降低編碼器的計算量,從實際測試結果看來,其在低延遲直播場景中的加速比能達到3倍以上。

  得益于在音視頻、AI、大數(shù)據(jù)等方面的技術能力,金山云低延遲直播技術大大提升了直播互動體驗,目前已在電商、游戲、教育等場景中使用。隨著5G、云計算、AI、VR等技術的發(fā)展,直播將迎來更大的想象空間,而金山云低延遲直播編碼技術也將持續(xù)升級,為用戶帶來更高品質的低延遲直播體驗。

中傳動網(wǎng)版權與免責聲明:

凡本網(wǎng)注明[來源:中國傳動網(wǎng)]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(wǎng)(www.treenowplaneincome.com)獨家所有。如需轉載請與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個人轉載使用時須注明來源“中國傳動網(wǎng)”,違反者本網(wǎng)將追究其法律責任。

本網(wǎng)轉載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發(fā)表之日起一周內與本網(wǎng)聯(lián)系,否則視為放棄相關權利。

關注伺服與運動控制公眾號獲取更多資訊

關注直驅與傳動公眾號獲取更多資訊

關注中國傳動網(wǎng)公眾號獲取更多資訊

最新新聞
查看更多資訊

熱搜詞
  • 運動控制
  • 伺服系統(tǒng)
  • 機器視覺
  • 機械傳動
  • 編碼器
  • 直驅系統(tǒng)
  • 工業(yè)電源
  • 電力電子
  • 工業(yè)互聯(lián)
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機界面
  • PLC
  • 電氣聯(lián)接
  • 工業(yè)機器人
  • 低壓電器
  • 機柜
回頂部
點贊 0
取消 0