中國科學(xué)院深圳先進技術(shù)研究院高性能計算技術(shù)研究中心張云團隊在智能視頻編碼優(yōu)化理論與方法方面的研究取得進展。相應(yīng)成果“Deeplearning based chroma prediction for versatile videocoding(基于神經(jīng)網(wǎng)絡(luò)的色度預(yù)測)”2020 年 11月 3 日在線發(fā)表于 IEEE Transactions on Circuitsand Systems for Video Technology。

視頻數(shù)據(jù)爆炸式增長給存儲和傳輸帶來了巨大的壓力和挑戰(zhàn)，這迫切地需要快速、高效的視頻編碼方案。而下一代視頻編碼方法仍是采用憑統(tǒng)計經(jīng)驗手工設(shè)計預(yù)測函數(shù)的編碼方案，在一定程度上限制了編碼性能的提升。如何使用先進的學(xué)習(xí)工具在給定帶寬的條件下最大化視頻質(zhì)量、提高壓縮效率成為了未來智能視頻編碼優(yōu)化的關(guān)鍵問題。該文從計算機視覺和人工智能的角度出發(fā)，將視頻編碼中的色度預(yù)測問題模型化為計算機視覺中的圖像上色問題，以進一步消除顏色通道之間的冗余。基于卷積神經(jīng)網(wǎng)絡(luò)的色度預(yù)測包含兩個子網(wǎng)絡(luò)：亮度下采樣和色度預(yù)測。采用線性模型結(jié)果作為色度初始化以增強性能，采用量化參數(shù)來表征編碼失真消除壓縮噪聲影響。在編碼器設(shè)計過程中，為了取得更好的編碼性能，該文利用率失真優(yōu)化方法從傳統(tǒng)色度預(yù)測方法和所提出的方法中選擇代價最小的預(yù)測策略。

結(jié)果顯示，與現(xiàn)有傳統(tǒng)方法相比，該文方法在 Y、U、V 分量分別可以節(jié)省 4.28%、3.34%和 4.63% 的網(wǎng)絡(luò)帶寬。

針對現(xiàn)有視頻編碼模塊中的局限性問題，從計算機視覺和人工智能的角度出發(fā)，實現(xiàn)了由信號處理領(lǐng)域問題向人工智能領(lǐng)域問題的轉(zhuǎn)變，以海量視頻/圖像數(shù)據(jù)為基礎(chǔ)，研究結(jié)合神經(jīng)網(wǎng)絡(luò)模型的視頻編碼方法，最終實現(xiàn)智能視頻編碼優(yōu)化理論與方法的創(chuàng)新，預(yù)期成果能應(yīng)用于下一代視頻編碼標(biāo)準(zhǔn)及視頻壓縮的相關(guān)領(lǐng)域。