多年來，計(jì)算機(jī)硬件一直是一個(gè)不太活躍的市場(chǎng)。占主導(dǎo)地位的x86微處理器架構(gòu)已經(jīng)達(dá)到了通過小型化可以實(shí)現(xiàn)的性能增益的極限，因此制造商主要關(guān)注將更多的內(nèi)核封裝到芯片中。

　　對(duì)于快速發(fā)展的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)來說，GPU就是救星。GPU最初是為圖形處理設(shè)計(jì)的，它可以有數(shù)千個(gè)小內(nèi)核，非常適合AI訓(xùn)練所需的并行處理能力。

　　人工智能的本質(zhì)是得益于并行處理，大約10年前，人們發(fā)現(xiàn)，設(shè)計(jì)用于在屏幕上顯示像素的GPU很適合這一點(diǎn)，因?yàn)樗鼈兪遣⑿刑幚硪妫梢栽谄渲蟹湃牒芏嗪诵摹?/p>

　　這對(duì)英偉達(dá)公司來說是個(gè)好消息，該企業(yè)的市值從2015年的不到180億美元飆升至去年市場(chǎng)收縮之前的7350億美元。直到最近，該企業(yè)還幾乎獨(dú)攬了整個(gè)市場(chǎng)。但許多競(jìng)爭(zhēng)對(duì)手正試圖改變這種局面。

　　在人工智能工作負(fù)載方面，到目前為止主要是英偉達(dá)的GPU，但用戶正在尋找可以將其提升到新水平的技術(shù)，隨著高性能計(jì)算和AI工作負(fù)載的不斷融合，我們將會(huì)看到更多種類的加速器出現(xiàn)。

　　加速推動(dòng)新型硬件的發(fā)展

　　大型芯片制造商并沒有停滯不前。三年前，英特爾收購(gòu)了以色列芯片制造商哈瓦那實(shí)驗(yàn)室，并讓這家企業(yè)成為其人工智能開發(fā)工作的重點(diǎn)。

　　哈瓦那去年春天推出的Gaudi2訓(xùn)練優(yōu)化處理器和Greco推理處理器，據(jù)稱速度至少是英偉達(dá)旗艦處理器A100的兩倍。

　　今年3月，英偉達(dá)推出了擁有800億個(gè)晶體管的H100加速器GPU，并支持該公司的高速NVLink互連。它具有一個(gè)專用引擎，與上一代相比，它可以將自然語(yǔ)言處理中，使用的基于Transformer的模型的執(zhí)行速度提高六倍。最近使用MLPerf基準(zhǔn)的測(cè)試顯示，在大多數(shù)深度學(xué)習(xí)測(cè)試中，H100優(yōu)于Gaudi2.英偉達(dá)也被認(rèn)為在其軟件堆棧中具有優(yōu)勢(shì)。

　　許多用戶選擇GPU，因?yàn)樗麄兛梢赃M(jìn)入集中式軟件的生態(tài)系統(tǒng)，英偉達(dá)之所以如此成功，是因?yàn)樗麄兘⒘松鷳B(tài)系統(tǒng)戰(zhàn)略。

　　超規(guī)模云計(jì)算公司甚至比芯片制造商更早進(jìn)入這一領(lǐng)域。谷歌有限責(zé)任公司的Tensor處理單元是一種專用集成電路，于2016年推出，目前已經(jīng)是第四代。亞馬遜網(wǎng)絡(luò)服務(wù)公司在2018年推出了面向機(jī)器學(xué)習(xí)的推理處理加速器，聲稱其性能是GPU加速實(shí)例的兩倍多。

　　上個(gè)月，該公司宣布了基于其Trainium芯片的云實(shí)例的普遍可用性，稱在深度學(xué)習(xí)模型訓(xùn)練場(chǎng)景中，以可比的性能，它們的成本比基于GPU的EC2低50%。兩家企業(yè)的努力主要集中在通過云服務(wù)交付。

　　雖然成熟的市場(chǎng)領(lǐng)導(dǎo)者專注于增量改進(jìn)，但許多更有趣的創(chuàng)新正在構(gòu)建AI專用硬件的初創(chuàng)企業(yè)中進(jìn)行。根據(jù)數(shù)據(jù)顯示，在去年投資于芯片初創(chuàng)公司的18億美元風(fēng)險(xiǎn)投資家中，他們吸引了大部分的投資，是2017年的兩倍多。

　　他們正在追逐一個(gè)可能帶來巨大收益的市場(chǎng)，預(yù)計(jì)到2030年，全球人工智能芯片市場(chǎng)將從2020年的80億美元增長(zhǎng)到近1950億美元。

　　更小、更快、更便宜

　　很少有初創(chuàng)公司想要取代x86CPU，但這是因?yàn)檫@樣做的杠桿相對(duì)較小。芯片不再是瓶頸，不同芯片之間的通信才是一個(gè)巨大的瓶頸。

　　CPU執(zhí)行低級(jí)操作，如管理文件和分配任務(wù)，但純粹的CPU專用方法不再適用于擴(kuò)展，CPU設(shè)計(jì)用于從打開文件到管理內(nèi)存緩存的各種活動(dòng)，必須是通用的。這意味著它不太適合人工智能模型訓(xùn)練所需的大規(guī)模并行矩陣算術(shù)運(yùn)算。

　　市場(chǎng)上的大多數(shù)活動(dòng)都圍繞著協(xié)處理器加速器、專用集成電路，以及在較小程度上可以針對(duì)特定用途進(jìn)行微調(diào)的現(xiàn)場(chǎng)可編程門陣列。

　　每個(gè)人都在遵循谷歌的說法，即開發(fā)協(xié)同處理器，與CPU協(xié)同工作，通過將算法硬編碼到處理器中，而不是作為軟件運(yùn)行，來針對(duì)AI工作量的特定部分。

　　加速度方程

　　加速度方程用于開發(fā)所謂的圖形流處理器，用于自動(dòng)駕駛汽車和視頻監(jiān)控等邊緣計(jì)算場(chǎng)景。完全可編程芯片組承擔(dān)了CPU的許多功能，但在任務(wù)級(jí)并行和流執(zhí)行處理方面進(jìn)行了優(yōu)化，僅使用7瓦的電源。

　　體系結(jié)構(gòu)基于圖數(shù)據(jù)結(jié)構(gòu)，其中對(duì)象之間的關(guān)系表示為連接的節(jié)點(diǎn)和邊。每個(gè)機(jī)器學(xué)習(xí)框架都使用圖形概念，在整個(gè)芯片的設(shè)計(jì)中都保持著同樣的語(yǔ)義?？梢詧?zhí)行包括CMM但包含自定義節(jié)點(diǎn)的整個(gè)圖。我們可以在這些圖形中加速任何平行的東西。

　　其基于圖形的架構(gòu)解決了GPU和CPU的一些容量限制，并能更靈活地適應(yīng)不同類型的AI任務(wù)。它還允許開發(fā)人員將更多的處理轉(zhuǎn)移到邊緣，以便更好地推斷。如果企業(yè)能對(duì)80%的處理過程進(jìn)行預(yù)處理，就能節(jié)省大量時(shí)間和成本。

　　這些應(yīng)用可以讓智能更接近數(shù)據(jù)，實(shí)現(xiàn)快速?zèng)Q策。大多數(shù)的目標(biāo)是推斷，這是AI模型的現(xiàn)場(chǎng)部署，而不是更計(jì)算密集型的訓(xùn)練任務(wù)。

　　某企業(yè)正在開發(fā)一種使用內(nèi)存計(jì)算的芯片，以減少延遲和對(duì)外置存儲(chǔ)設(shè)備的需求。其人工智能平臺(tái)將提供靈活性和運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)的能力，同時(shí)保持較高的準(zhǔn)確性。

　　其數(shù)據(jù)處理單元系列為大規(guī)模并行處理器陣列，擁有可伸縮的80核處理器，能夠并行執(zhí)行數(shù)十個(gè)任務(wù)。關(guān)鍵創(chuàng)新是在每個(gè)處理元素內(nèi)部緊密集成一個(gè)張量協(xié)處理器，并支持元素之間的直接張量數(shù)據(jù)交換，以避免內(nèi)存帶寬瓶頸。這可以實(shí)現(xiàn)高效的AI應(yīng)用加速，因?yàn)轭A(yù)處理和后處理是在相同的處理元素上執(zhí)行的。

　　而有些企業(yè)專注于利用縮略圖大小的芯片組推斷深度學(xué)習(xí)模型，該企業(yè)稱該芯片組每秒可以執(zhí)行26萬(wàn)億次操作，而消耗的電力不到3瓦。在某種程度上，它是通過將用于訓(xùn)練深度學(xué)習(xí)模型的每個(gè)網(wǎng)絡(luò)層分解為所需的計(jì)算元素，并將它們整合在一個(gè)專門為深度學(xué)習(xí)構(gòu)建的芯片上實(shí)現(xiàn)的。

　　板載內(nèi)存的使用進(jìn)一步減少了開銷，整個(gè)網(wǎng)絡(luò)都在芯片內(nèi)部，更沒有外部存儲(chǔ)器，這意味著芯片可以更小，消耗更少的能量。該芯片可以在接近實(shí)時(shí)的高清圖像上運(yùn)行深度學(xué)習(xí)模型，使單個(gè)設(shè)備能夠同時(shí)在四條車道上運(yùn)行自動(dòng)車牌識(shí)別。

　　硬件目前的發(fā)展

　　一些初創(chuàng)企業(yè)采取的更多的是登月的方法，旨在重新定義人工智能模型訓(xùn)練和運(yùn)行的整個(gè)平臺(tái)。

　　例如，針對(duì)機(jī)器學(xué)習(xí)進(jìn)行了優(yōu)化的人工智能處理器，在接近9.000個(gè)并發(fā)線程和900兆處理器內(nèi)內(nèi)存的情況下，每秒可以管理高達(dá)350萬(wàn)億次處理操作。綜合計(jì)算系統(tǒng)被稱為Bow-2000IPU機(jī)器，據(jù)稱可以每秒進(jìn)行1.4千萬(wàn)億次運(yùn)算。

　　其不同之處在于其三維堆疊晶片設(shè)計(jì)，使其能夠在一個(gè)芯片中封裝近1500個(gè)并行處理核。所有這些企業(yè)都能夠運(yùn)行完全不同的業(yè)務(wù)。這與廣泛使用的GPU架構(gòu)不同，后者更傾向于對(duì)大數(shù)據(jù)塊運(yùn)行相同的操作。

　　再比如，有些企業(yè)正在解決互連問題，也就是集成電路中連接元件之間的布線。隨著處理器達(dá)到理論上的最高速度，移動(dòng)比特的路徑越來越成為瓶頸，特別是當(dāng)多個(gè)處理器同時(shí)訪問內(nèi)存時(shí)，如今的芯片不再是互連的瓶頸。

　　該芯片在一個(gè)人工智能平臺(tái)中使用納米光子波導(dǎo)，該平臺(tái)稱其在低能量封裝中結(jié)合了高速和大帶寬。它本質(zhì)上是一個(gè)光通信層，可以連接多個(gè)其他處理器和加速器。

　　人工智能結(jié)果的質(zhì)量來自于同時(shí)支持非常龐大和復(fù)雜的模型的能力，同時(shí)實(shí)現(xiàn)非常高的吞吐量響應(yīng)，這兩者都是可以實(shí)現(xiàn)的。這適用于任何可以使用線性代數(shù)完成的操作，包括大多數(shù)人工智能的應(yīng)用。

　　人們對(duì)其集成硬件和軟件平臺(tái)的期望極高。而企業(yè)則抓住了這一要點(diǎn)，例如研發(fā)平臺(tái)可以在從數(shù)據(jù)中心到邊緣的任何地方，運(yùn)行人工智能和其他數(shù)據(jù)密集型應(yīng)用。

　　而硬件平臺(tái)使用專為機(jī)器和深度學(xué)習(xí)設(shè)計(jì)的定制7納米芯片。其可重新配置的數(shù)據(jù)流架構(gòu)運(yùn)行AI優(yōu)化的軟件堆棧，其硬件架構(gòu)旨在最小化內(nèi)存訪問，從而減少互連瓶頸。

　　處理器更是可以重新配置，以適應(yīng)AI或高性能計(jì)算HPC工作負(fù)載，處理器被設(shè)計(jì)為以更高的性能水平處理大規(guī)模矩陣操作，這對(duì)工作量變化的客戶來說是一個(gè)加分項(xiàng)。

　　雖然CPU、GPU甚至FPGA都非常適合于事務(wù)系統(tǒng)和ERP等確定性軟件，但是，機(jī)器學(xué)習(xí)算法是概率的，這意味著結(jié)果是不提前知道的，這需要一種完全不同的硬件基礎(chǔ)設(shè)施。

　　平臺(tái)通過將1tb的高速雙數(shù)據(jù)速率同步存儲(chǔ)器連接到處理器上，最大限度地減少了互連問題，基本上可以用快20倍的片上存儲(chǔ)器來掩蓋DDR控制器的延遲，所以這對(duì)用戶來說是透明的，這使我們能夠訓(xùn)練更高參數(shù)計(jì)數(shù)的語(yǔ)言模型和最高分辨率的圖像，而無(wú)需平鋪或下采樣。

　　平鋪是一種用于圖像分析的技術(shù)，它通過將圖像分割成更小的塊，分析每個(gè)塊，然后重新組合，來減少對(duì)計(jì)算能力的需求。下采樣在訓(xùn)練數(shù)據(jù)的隨機(jī)子集上訓(xùn)練模型，以節(jié)省時(shí)間和計(jì)算資源。其結(jié)果是一個(gè)系統(tǒng)，不僅比基于GPU的系統(tǒng)更快，而且能夠解決更大的問題。

　　總結(jié)

　　由于許多企業(yè)都在為同樣的問題尋求解決方案，一場(chǎng)洗牌是不可避免的，但沒有人預(yù)計(jì)這種洗牌會(huì)很快到來。GPU將存在很長(zhǎng)一段時(shí)間，可能仍然是人工智能訓(xùn)練和推斷項(xiàng)目中最具成本效益的解決方案，而這些項(xiàng)目不需要極端性能。

　　盡管如此，隨著高端市場(chǎng)的模型越來越大、越來越復(fù)雜，對(duì)特定功能架構(gòu)的需求也越來越大。從現(xiàn)在開始的三到五年內(nèi)，我們可能會(huì)看到GPU和AI加速器的多樣性，這是我們能夠擴(kuò)大規(guī)模以滿足本十年結(jié)束及以后需求的唯一途徑。

　　預(yù)計(jì)領(lǐng)先的芯片制造商將繼續(xù)做他們擅長(zhǎng)的事情，并逐步建立現(xiàn)有的技術(shù)。許多企業(yè)還將效仿英特爾，收購(gòu)專注于人工智能的初創(chuàng)公司。高性能計(jì)算界也在關(guān)注人工智能的潛力，以幫助解決大規(guī)模模擬和氣候建模等經(jīng)典問題。

　　高性能計(jì)算生態(tài)系統(tǒng)總是在尋找他們可以吸收的新技術(shù)，以保持領(lǐng)先地位，他們正在探索人工智能能帶來什么。而潛伏在幕后的是量子計(jì)算，這是一項(xiàng)仍停留在理論層面而非實(shí)際層面的技術(shù)，但它有可能徹底改變計(jì)算方式。

　　無(wú)論哪種新架構(gòu)受到青睞，人工智能的激增無(wú)疑已經(jīng)重新點(diǎn)燃了人們對(duì)硬件創(chuàng)新潛力的興趣，從而開辟了軟件領(lǐng)域的新領(lǐng)域。