【中國(guó)傳動(dòng)網(wǎng) 行業(yè)動(dòng)態(tài)】 AI芯片不僅是未來十年半導(dǎo)體行業(yè)中最有希望的增長(zhǎng)機(jī)會(huì)之一，而且還是有可能破壞傳統(tǒng)計(jì)算市場(chǎng)的力量?，F(xiàn)今99％的AI軟件尚未編寫，只有不到1％的云服務(wù)器用于AI加速（今年總計(jì)500+萬臺(tái)服務(wù)器），企業(yè)服務(wù)器活動(dòng)幾乎為零。訓(xùn)練和推理工作從低基數(shù)中倍增，說明市場(chǎng)似乎是一致的，因?yàn)榻裉斓募铀儆布℅PU、CPU、FPGA）遠(yuǎn)遠(yuǎn)不能滿足市場(chǎng)的要求。

吞吐量上還需要巨大的飛躍（現(xiàn)今100倍）才能使AI無處不在。好消息是真正的架構(gòu)創(chuàng)新即將出現(xiàn)，但需要時(shí)間才能生效：2019年以后，我們將看到新的工藝技術(shù)（7nm）、新的計(jì)算架構(gòu)（芯片上的神經(jīng)網(wǎng)絡(luò)）、新的芯片互連（serdes56/112GBs）、新的存儲(chǔ)器方法（HBM3、片上SRAM等）和新的封裝技術(shù)相結(jié)合，可帶來對(duì)數(shù)級(jí)性能的提升。因?yàn)椴荒芴蕾嚬に嚨目s減而進(jìn)步，AI行業(yè)正在進(jìn)行全面的創(chuàng)新。但長(zhǎng)遠(yuǎn)來看，臺(tái)積電等主要DRAM制造商還是AI芯片產(chǎn)業(yè)的主要受益者。

本期的智能內(nèi)參，我們推薦來自Arete的研究報(bào)告，詳解AI硬件峰會(huì)對(duì)未來的預(yù)測(cè)，2大科技巨頭及創(chuàng)業(yè)公司的AI芯片布局。如果想收藏本文的報(bào)告全文（Arete:AI芯片：未來計(jì)算的曙光），可以在智東西公眾號(hào)回復(fù)關(guān)鍵詞“nc292”獲取。

以下為本期智能內(nèi)參整理呈現(xiàn)的干貨：

1、AI硬件峰會(huì)的5大結(jié)論

上個(gè)月加州山景城舉辦的AI硬件峰會(huì)是目前唯一專門致力于開發(fā)用于神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺硬件加速器生態(tài)系統(tǒng)的活動(dòng)。會(huì)上，來自AI芯片初創(chuàng)企業(yè)、半導(dǎo)體公司、系統(tǒng)供應(yīng)商/OEM、數(shù)據(jù)中心、企業(yè)、金融服務(wù)、投資者和基金經(jīng)理等250多位先進(jìn)技術(shù)領(lǐng)導(dǎo)者們，為新興的AI芯片市場(chǎng)構(gòu)建了一幅全面的架構(gòu)路線圖。

會(huì)上展示了許多AI芯片中另類創(chuàng)業(yè)者的狀態(tài)。其中有一件事是非常明確的：從未見過如此多的公司（無論大?。┻M(jìn)攻這個(gè)新興芯片市場(chǎng)。就像今天的AI一樣，毫無疑問在接下來的幾年中，將會(huì)出現(xiàn)一個(gè)成果井噴期。繼谷歌的TPU之后，每個(gè)創(chuàng)業(yè)者都有正在研發(fā)的內(nèi)部AI芯片程序。問題是這一切需要多長(zhǎng)時(shí)間才能影響到市場(chǎng)情緒？畢竟，谷歌的TPU芯片已經(jīng)到了第三代（在16年中期推出其第一個(gè)TPU之后），但仍然承載不了Tensorflow或其他框架的所有工作量。所以我們認(rèn)為，2020年是許多AI芯片問世和量產(chǎn)的開始。

AI硬件峰會(huì)的5個(gè)重要結(jié)論：

1、臺(tái)積電中幾乎所有的AI加速芯片都使用了7nm工藝。此外，我們還發(fā)現(xiàn)大量新的高速接口芯片（Serdes56/112GBs）將在19年擴(kuò)展。

2、英偉達(dá)仍然是機(jī)器學(xué)習(xí)之王，其新的T4卡將會(huì)被廣泛接受。它將在19年繼續(xù)占據(jù)主導(dǎo)地位。但長(zhǎng)遠(yuǎn)來看，我們?nèi)匀粨?dān)心AI會(huì)減少對(duì)CUDA和GPU的依賴。

3、英特爾有新的7nmAI芯片（由臺(tái)積電制造），我們認(rèn)為這個(gè)芯片支持112GB的Serdes和高速DRAM。它還應(yīng)該在明年的CascadeLake服務(wù)器中支持新的DLBoostINT8，并且速度增強(qiáng)11倍。

4、所有的云計(jì)算商都在開發(fā)內(nèi)部的芯片，但問題是時(shí)機(jī)的選擇，因?yàn)橛?jì)劃的增加是私密的。這種垂直推進(jìn)是芯片制造商面臨的主要威脅。

5、在最近的5年，我們見證了新的納米線取代了數(shù)字計(jì)算的模擬計(jì)算機(jī)的進(jìn)步；硅光子學(xué)取代了Serdes（超過112GB）和更高速內(nèi)存驅(qū)動(dòng)AI的性能提升。

新的AI芯片有兩種通用思路：

1、首先是擁有更快的I/O和外部存儲(chǔ)器接口的能夠擴(kuò)展性能的系統(tǒng)，如英偉達(dá)，英特爾等。

2、其次是將所有數(shù)據(jù)存儲(chǔ)在芯片上（芯片上的神經(jīng)網(wǎng)絡(luò)），使用大量的小內(nèi)核和片上存儲(chǔ)器來減少對(duì)外部DRAM的需求。

后一種方法將在未來六個(gè)月內(nèi)會(huì)看到第一批商品化的芯片，但我們認(rèn)為這需要7納米工藝真正推動(dòng)家用優(yōu)勢(shì)的時(shí)候（即2020年）。圍繞AI的軟件也在快速發(fā)展，云服務(wù)商也正在推出開源適配軟件，以支持在其框架中運(yùn)行的各種芯片（例如，TensorflowXLA、FacebookGlow）。隨著新神經(jīng)網(wǎng)絡(luò)的成熟，每個(gè)人都意識(shí)到了可編程性和靈活性的重要性。隱含的目標(biāo)是在7nm的FP16上達(dá)到每瓦特至少10TOPS（比現(xiàn)在好10倍），并且通過更好地支持稀疏性，更低的精度、更小的批量、更快的芯片互連（112GBSerdes）、更快的存儲(chǔ)器接口（遠(yuǎn)遠(yuǎn)超出HBM2）以及新的多芯片高級(jí)封裝真正提高效率和性能。

2、英特爾：AI芯片扮裝者

盡管人們普遍轉(zhuǎn)向依賴通用CPU，但對(duì)于英特爾計(jì)劃在未來幾年內(nèi)為AI引入的一些新優(yōu)化措施，大家并未給予足夠的信任。英特爾去年的AI收入大約為10億美元（2017年），至強(qiáng)CPU將繼續(xù)在AI推理和訓(xùn)練中發(fā)揮重要作用。例如，在CascadeLake中，英特爾在架構(gòu)中提供了大量新指令，以提高推理性能（聲稱在支持INT8精度的情況下性能提升11倍）。我們預(yù)計(jì)這些擴(kuò)展將與AMDEPYC2規(guī)格區(qū)別開來。

英特爾的下一代NervanaASIC芯片將在臺(tái)積電（7nm工藝）制造，并將擁有一些關(guān)鍵的專有接口，可顯著提升性能。雖然GPU現(xiàn)在以低速（PCIE-3）連接到CPU，預(yù)計(jì)新服務(wù)器將支持PCIE-4（16GB），但這仍然是數(shù)據(jù)輸入GPU的關(guān)鍵瓶頸。相比之下，英特爾或?qū)⒃谄鋁eonCPU和7nmNervana芯片之間構(gòu)建專有接口，速度高達(dá)112GB。英特爾可能計(jì)劃推出一種新的高帶寬存儲(chǔ)器接口（對(duì)云計(jì)算商而言是一個(gè)關(guān)鍵的關(guān)注點(diǎn)），并積極參與新的多芯片封裝。雖然向AI加速的轉(zhuǎn)變將導(dǎo)致更多的CPU被卸載，但英特爾希望通過在Xeon周圍構(gòu)建外圍解決方案來獲取價(jià)值。時(shí)間將證明這是否有效，但規(guī)格的突破顯然揭示了英特爾的目標(biāo)是在2020年取代英偉達(dá)的地位。

3、英偉達(dá)：暫時(shí)的旗艦

英偉達(dá)的GPU目前仍然是AI計(jì)算的王者，他們擁有真正的在位優(yōu)勢(shì)（支持所有框架、所有云服務(wù)商、所有OEM），并且其新產(chǎn)品具有顯著的性能提升，我們認(rèn)為T4將得到廣泛采用并且其新的DGX2服務(wù)器今年已售罄。雖然目前幾乎沒有令人信服的替代方案，而且我們也認(rèn)為NVIDIA將繼續(xù)占據(jù)主導(dǎo)地位（至少到2019年），但有兩個(gè)主要問題影響英偉達(dá)可以在多大程度上長(zhǎng)期維持其領(lǐng)導(dǎo)地位：

1、首先，我們認(rèn)為很明顯英偉達(dá)軟件壕溝（CUDA）將變得不那么重要，因?yàn)橄窆雀?、ONNX都努力推進(jìn)了他們的堆棧并建立了開發(fā)者生態(tài)系統(tǒng)。云服務(wù)商現(xiàn)在正在積極提供替代芯片解決方案的開源插件，以支持Tensorflow、Pytorch、CNTK、Caffe2等框架，降低了新AI處理器的入門軟件門檻。

2、其次，是英偉達(dá)訓(xùn)練和推理芯片的經(jīng)濟(jì)性，雖然它們可以為許多AI工作負(fù)載節(jié)省CPU，但是銷售的GPU卡的超高利潤(rùn)率與昂貴的內(nèi)存捆綁在一起（V100每卡10萬美元，P4可能每個(gè)2萬美元）只會(huì)讓云端用戶擁抱其他架構(gòu)。

也就是說，英偉達(dá)擁有大量資源來投資競(jìng)爭(zhēng)對(duì)手（尤其是初創(chuàng)公司），它致力于每年為AI推出一種新的架構(gòu)，它可能會(huì)在2019年下半年首先推出7nm解決方案。V100和T4都被視為英偉達(dá)首款用于AI的轉(zhuǎn)換芯片（遠(yuǎn)離通用型GPU），因?yàn)樗鼈兪堑谝豢钪С謴埩亢诵暮透屯评砭鹊男酒↖NT8）。

預(yù)計(jì)19年新品的功能將再次大幅提升英偉達(dá)7nmAI加速芯片，將會(huì)有很多明顯的效率改進(jìn)可以大幅提高吞吐量和延遲。我們預(yù)計(jì)它的下一代將更多地是以AI為中心的ASIC而不是GPU。云客戶告訴我們，他們從V100GPU獲得的利用率很低（低至15％），因?yàn)樗麄兠總€(gè)GPU只訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)。他們希望英偉達(dá)能夠虛擬化他們的GPU，盡管這可能會(huì)給英偉達(dá)的GPU增長(zhǎng)帶來壓力，甚至減少對(duì)AI計(jì)算芯片的需求。此外，今天英偉達(dá)擁有快速芯片到芯片接口（NVlink2），運(yùn)行速度為25Gbs（遠(yuǎn)遠(yuǎn)超過標(biāo)準(zhǔn)PCIE-3連接，僅8GB或PCIE-4，16GB），我們預(yù)計(jì)到19年年底英偉達(dá)將推出對(duì)56Gbs甚至112GBserdes的支持，因?yàn)橛行┨娲桨缚梢蕴嵘@些規(guī)格。我們認(rèn)為英偉達(dá)的下一代架構(gòu)將于2019年下半年發(fā)布（超越Volta/Turing），并將在很大程度上決定其在多大程度上可以繼續(xù)占領(lǐng)市場(chǎng)。

▲微軟在AI計(jì)算選擇上的章節(jié)迎合了我們的觀點(diǎn)，即gpu需要快速發(fā)展

4、另類AI芯片創(chuàng)業(yè)公司的時(shí)代到來

在谷歌TPU的帶頭下，每個(gè)云服務(wù)商都有內(nèi)部的AI芯片程序，我們認(rèn)為這可能會(huì)在未來18個(gè)月內(nèi)得到驗(yàn)證。有些已經(jīng)公開表達(dá)他們的意圖，微軟甚至在峰會(huì)上有一個(gè)招聘廣告，說明它渴望建立自己的團(tuán)隊(duì)。但這些項(xiàng)目所處的狀態(tài)還不清楚：云服務(wù)商不會(huì)分享任何他們的硬件計(jì)劃細(xì)節(jié)，所以我們不知道他們處于什么發(fā)展階段。我們認(rèn)為第一次轉(zhuǎn)換芯片將重點(diǎn)關(guān)注推理，就像谷歌兩年前對(duì)TPU所做的那樣。

來自谷歌大腦的演示展示了一種諷刺，即隨著芯片行業(yè)達(dá)到摩爾定律的極限，AI計(jì)算的增長(zhǎng)竟還能呈指數(shù)級(jí)增長(zhǎng)，因此架構(gòu)（和軟件協(xié)同設(shè)計(jì)）將成為關(guān)鍵的推動(dòng)者。谷歌不僅將TPU用于越來越多的工作負(fù)載，而且繼續(xù)使用GPU，并將測(cè)試大量新系統(tǒng)上市。50多家創(chuàng)業(yè)公司的工作已經(jīng)縮減，以便將他們的平臺(tái)商業(yè)化，我們預(yù)計(jì)未來12個(gè)月內(nèi)將有6家公司推出首款加速芯片，2020年開始推出第二款（7nm工藝）。一些AI初創(chuàng)公司在19年可能會(huì)達(dá)到1億美元的銷售額，但我們還看不到是否有人能在2020年之前突破這一點(diǎn)。有許多令人印象深刻的初創(chuàng)公司，但其中許多還沒有流片，因此很難對(duì)性能聲明進(jìn)行驗(yàn)證。

云服務(wù)商希望了解新的AI芯片的系統(tǒng)性能，因此他們建立了一個(gè)名為MLPerf的基準(zhǔn)測(cè)試標(biāo)準(zhǔn)。我們認(rèn)為這將是分析特定模型的訓(xùn)練時(shí)間的關(guān)鍵標(biāo)準(zhǔn)，并且有助于與當(dāng)前市場(chǎng)領(lǐng)導(dǎo)者英偉達(dá)（尚未加入MLPerf）的訓(xùn)練平臺(tái)進(jìn)行比較。很明顯，許多初創(chuàng)公司從未提供產(chǎn)品給主要的云數(shù)據(jù)中心，或者已經(jīng)建立了領(lǐng)先的芯片。此外，只有少數(shù)參與者具有詳細(xì)的云計(jì)算關(guān)系或在如何圍繞關(guān)鍵型任務(wù)云計(jì)算芯片建立工程團(tuán)隊(duì)方面擁有豐富經(jīng)驗(yàn)。

▲MLPerf將在一系列數(shù)據(jù)集和模型中獲得人工智能芯片訓(xùn)練時(shí)間

5、云加速：巨大的市場(chǎng)機(jī)會(huì)

今天看一下現(xiàn)在典型的云服務(wù)器配置（2插槽，10核XeonE5是最受歡迎的銷售平臺(tái)之一），它包含大約660平方毫米的硅芯片面積來處理主CPU計(jì)算（即兩個(gè)330平方毫米的CPU芯片，主要由英特爾提供）。但是用于AI的加速服務(wù)器（例如NVIDIADGX-1）通常具有多達(dá)10倍的硅面積來處理加速度計(jì)算，如下圖所示。加速芯片面積與CPU芯片面積的比率僅會(huì)增加我們看到每個(gè)CPU從四個(gè)加速卡上升到每個(gè)CPU的六個(gè)和八個(gè)卡隨著時(shí)間的推移。我們認(rèn)為谷歌計(jì)劃明年增加三倍的TPU芯片。

英偉達(dá)在訓(xùn)練方面可能會(huì)繼續(xù)大幅增長(zhǎng)，同時(shí)還有大量的AI創(chuàng)業(yè)公司。由于AI服務(wù)器目前在市場(chǎng)上的滲透率很低（今年購(gòu)買的云服務(wù)器不到1％支持加速），臺(tái)積電的長(zhǎng)期前景非常好。如果我們假設(shè)這種滲透率上升到100萬臺(tái)加速AI服務(wù)器（今年小于5萬），并且芯片面積保持不變（即每個(gè)AI服務(wù)器6,560平方毫米），這將轉(zhuǎn)化為大約每年20萬片晶圓，或30億美元的代工收入（假設(shè)每片晶15,000美元，收益率55％）。這就是為什么臺(tái)積電會(huì)作為AI芯片長(zhǎng)期的主要受益者之一。

▲AI加速訓(xùn)練服務(wù)器的芯片面積比大多數(shù)Xeon服務(wù)器大10倍

6、長(zhǎng)遠(yuǎn)的新技術(shù)

峰會(huì)期間還有許多其他新興技術(shù)，未來在3到5年的視野中看起來很有趣。AI的邊緣計(jì)算顯然正在智能手機(jī)中進(jìn)行，我們堅(jiān)信每部智能手機(jī)都將在未來2-3年內(nèi)擁有專用的計(jì)算機(jī)視覺AI處理器（在相機(jī)周圍）。谷歌的EdgeTPU和英偉達(dá)的DLA是早期可授權(quán)的例子，我們看到ARM現(xiàn)在提供專用的AI許可證解決方案，而Qualcomm、Hisilicon、Cambricon和MediaTek則提供一系列智能手機(jī)和物聯(lián)網(wǎng)解決方案。一系列具有增強(qiáng)AI規(guī)格的嵌入式SOC即將推出，適用于相機(jī)、機(jī)器人、汽車等。英偉達(dá)的Xavier就是一個(gè)例子。我們將在即將發(fā)布的報(bào)告中研究自動(dòng)駕駛汽車的汽車路線圖，其中AI加速將發(fā)揮核心作用。

從長(zhǎng)遠(yuǎn)來看，我們可以看到正在開發(fā)的一些擴(kuò)展計(jì)算性能新技術(shù)，以應(yīng)對(duì)摩爾定律的挑戰(zhàn)。其中一個(gè)更令人印象深刻的演講是來自RainNeuromorphics和Mythic，他們看到模擬計(jì)算在5年的時(shí)間內(nèi)商業(yè)化可能，使用松散的幾何形狀，圍繞芯片內(nèi)部的納米線（如人腦中的突觸）解決功率限制。此外，AyarLabs闡述了硅光子微型化方面的突破引起的更快的芯片互連（超過112GBSerdes）的解決方案。隨著Exascale計(jì)算機(jī)預(yù)計(jì)將在3-4年內(nèi)出現(xiàn)在我們面前，我們認(rèn)為AI正在全面推動(dòng)新思路研發(fā)，將實(shí)現(xiàn)性能的指數(shù)增長(zhǎng)。

智東西認(rèn)為，隨著摩爾定律的終結(jié)，AI的發(fā)展不能指望摩爾定律帶來的性能提升，尤其是AI芯片的發(fā)展。英偉達(dá)雖然目前處于行業(yè)領(lǐng)先地位，但很有可能被英特爾或新的創(chuàng)業(yè)公司超越。不遠(yuǎn)的未來AI芯片將是一個(gè)井噴的行業(yè)，而這個(gè)行業(yè)最大的受益者將是臺(tái)積電。希望內(nèi)地的相關(guān)企業(yè)也能在這一波浪潮中抓住機(jī)遇，改變我國(guó)缺芯的局面。