【中國傳動(dòng)網(wǎng) 技術(shù)前沿】 QualcommTechnologies正憑借其規(guī)模化的技術(shù)發(fā)明致力于讓數(shù)萬億終端支持人工智能(AI)，這將不僅豐富我們的生活，同時(shí)也將變革諸多行業(yè)。對(duì)于運(yùn)行在聯(lián)網(wǎng)終端上的AI，它的處理能效需要不斷提升。高能效是QualcommAIResearch的核心研究領(lǐng)域之一。本篇博客將通過舉例說明Qualcomm在高能效AI算法方面的最新研究，以及它如何與高能效的硬件設(shè)計(jì)相輔相成。

每焦耳提供多少智能將成為AI的評(píng)估基準(zhǔn)

深度神經(jīng)網(wǎng)絡(luò)(DNN)的爆發(fā)式增長正在推動(dòng)AI的發(fā)展。在深度神經(jīng)網(wǎng)絡(luò)的能耗以指數(shù)級(jí)增長的同時(shí)，其預(yù)測的準(zhǔn)確性也相應(yīng)提升，盡管這一提升十分微小但卻至關(guān)重要。根據(jù)目前的發(fā)展趨勢(shì)，預(yù)計(jì)在2025年，神經(jīng)網(wǎng)絡(luò)有望將其規(guī)模擴(kuò)大至100萬億個(gè)權(quán)重參數(shù)(圖1)，這一數(shù)據(jù)與人類大腦中突觸的數(shù)量接近。大腦的能效比目前的數(shù)字硬件高100倍，因此它也賦予我們不斷提升的希望和動(dòng)力。

值得關(guān)注的是，很快，AI處理的基準(zhǔn)測試將會(huì)有所改變，AI算法將以每焦耳可以提供多少智能作為衡量指標(biāo)。兩個(gè)主要原因如下：

o一方面，廣泛的經(jīng)濟(jì)可行性需要高能效AI，這是因?yàn)锳I所創(chuàng)造的價(jià)值必須高于運(yùn)行該服務(wù)的成本。更直觀的說，對(duì)于應(yīng)用AI的每項(xiàng)交易，它的經(jīng)濟(jì)效益可能要求成本低至1微美元(即一美分的萬分之一)，比如利用AI實(shí)現(xiàn)個(gè)性化廣告和推薦。

o另一方面，將終端側(cè)AI處理運(yùn)行在精致、超薄的移動(dòng)終端上也要求高能效。一個(gè)讓消費(fèi)者廣泛采用AI的場景是，在功耗和散熱能力有限且要求全天續(xù)航的終端設(shè)計(jì)中，處理始終在線的計(jì)算密集型工作負(fù)載。此外，一些其他類型的終端也要求同樣的能效特性，例如自動(dòng)駕駛汽車、無人機(jī)和機(jī)器人。

更深入地研究深度神經(jīng)網(wǎng)絡(luò)

主要由卷積神經(jīng)網(wǎng)絡(luò)(CNN)組成的深度神經(jīng)網(wǎng)絡(luò)(DNN)正在驅(qū)動(dòng)時(shí)下的AI變革。接下來我們將從優(yōu)點(diǎn)和缺點(diǎn)兩方面來介紹CNN。只有從基本角度了解它的缺點(diǎn)才能幫助我們改進(jìn)CNN。

在優(yōu)點(diǎn)方面，CNN可以借助最新研究成果來提取可學(xué)習(xí)特征、支持編碼位置的不變性(例如上圖中的狗，無論它位于圖片中哪個(gè)位置，都可以被歸類)、通過共享參數(shù)讓“數(shù)據(jù)高效”，以及在現(xiàn)代硬件上快速執(zhí)行及并行處理。在缺點(diǎn)和需要改進(jìn)的方面，CNN最顯著的問題是消耗了太多內(nèi)存、計(jì)算能力和能源。它不能對(duì)額外的對(duì)稱性進(jìn)行編碼，例如旋轉(zhuǎn)不變性(如果我們把圖2中的狗上下顛倒，它將不能辨認(rèn));它也不能可靠地量化預(yù)測的置信度，并且易于被輸入側(cè)的輕微改變所欺騙，如對(duì)抗樣本。我們正在研究各種技術(shù)以應(yīng)對(duì)這些挑戰(zhàn)，貝葉斯深度學(xué)習(xí)就是一項(xiàng)非常有前景的技術(shù)成果。

噪聲對(duì)AI來說可以是好事

貝葉斯深度學(xué)習(xí)是隨機(jī)的，這意味著在向神經(jīng)網(wǎng)絡(luò)的權(quán)重增加噪聲或隨機(jī)值的時(shí)候，它還會(huì)將噪聲傳播到激活節(jié)點(diǎn)。這些噪聲可以是好事，并且受到了人類大腦工作方式的啟發(fā)。貝葉斯深度學(xué)習(xí)的一個(gè)關(guān)鍵優(yōu)勢(shì)是通過壓縮和量化來降低神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度。量化可以減少參數(shù)的位寬(例如使用四位而非八位)，而壓縮則可裁剪模型中的激活節(jié)點(diǎn)數(shù)量，最終提升能效。如果想了解更多細(xì)節(jié)也可以觀看網(wǎng)絡(luò)研討會(huì)中更詳細(xì)的解讀。

貝葉斯深度學(xué)習(xí)不僅僅是一種理論——在研究中，我們已經(jīng)將其應(yīng)用在實(shí)際用例中。舉個(gè)例子，在一系列被標(biāo)記圖像的基準(zhǔn)數(shù)據(jù)點(diǎn)上，我們測量了ResNet-18的規(guī)模和精確度。ResNet-18是一種用于圖像分類的神經(jīng)網(wǎng)絡(luò)，且已針對(duì)規(guī)模而優(yōu)化。然后，我們比較了先進(jìn)裁剪方式和貝葉斯裁剪方式的精確度和壓縮比。結(jié)果顯示，貝葉斯裁剪裁的效果最好，其壓縮比為基準(zhǔn)數(shù)據(jù)的3倍，同時(shí)保持了基本相似的精確度。

AI的整體能效

未來，AI硬件將會(huì)如何發(fā)展?高效硬件的關(guān)鍵在于，它是從系統(tǒng)層面深入地理解真正的AI工作負(fù)載——換言之，真實(shí)環(huán)境中的應(yīng)用如何運(yùn)行在真正的終端上。Qualcomm致力于通過硬件、算法和軟件來實(shí)現(xiàn)這一點(diǎn)。