AI前線導(dǎo)讀：“2017年，AI芯片是半導(dǎo)體產(chǎn)業(yè)的亮點(diǎn)，而它受到的關(guān)注又遠(yuǎn)遠(yuǎn)超出半導(dǎo)體的圈子。這一年，從科技巨頭到初創(chuàng)公司，新老角色輪番登場，為我們上演了精彩好戲。若干年后，當(dāng)我們再回頭來看，一定可以把2017年作為AI芯片元年。”

GoolevsNvidia巨頭之間的“錯位戰(zhàn)爭”

四月初，Google公布了一篇即將在ISCA2017上發(fā)表的論文：“In-DatacenterPerformanceAnalysisofaTensorProcessingUnit”?？梢哉f正是這件“小事”，揭開了一部年度大戲的序幕，而它產(chǎn)生的深遠(yuǎn)影響甚至可能會持續(xù)到很多年之后。其實，在2016年6月的時候Google就透露了自己研發(fā)了一款在云端使用的專用AI芯片，TPU（TensorProcessingUnit）。Google做AI芯片當(dāng)然是吸引眼球的新聞，但苦于一直沒有公布細(xì)節(jié)，大家也只能猜測和等待。因此，這篇普通的學(xué)術(shù)論文，得到了媒體的極大關(guān)注。我也在第一時間寫了一篇評論文章：“GoogleTPU揭秘”，也是我的公眾號閱讀量最大的文章之一。對TPU高度關(guān)注的當(dāng)然不只我們這些吃瓜群眾，還有AI芯片領(lǐng)域絕對的統(tǒng)治者Nvidia。后面就發(fā)生了黃教主和Google間關(guān)于TPU的Benchmark結(jié)果是否合理的口水戰(zhàn)。而早在2016年Google透露TPU的時候，Nvidia就多次表示它對GPU在AI運(yùn)算上的統(tǒng)治地位沒有什么威脅。

5月11日，NvidiaGTC2017大會，黃教主在Keynote上拋出了最新的GPUVolta（GV100）。Nvidia股票應(yīng)聲大漲，媒體也是大肆報道。AI芯片的焦點(diǎn)似乎又回到了Nvidia這一邊。

除了公布了重量級的Volta，GTC上還有一個“小事件”，Nvidia宣布開源它的DeepLearningAccelerator（DLA），9月正式公開。這個發(fā)布，在黃教主的Keynote中是一句話帶過，但在業(yè)界引起的震動卻一點(diǎn)也不小。“Nvidia為什么要搞開源？會開源什么東西？這個開源會不會影響眾多初創(chuàng)公司的前景？”對這些問題的討論一直延續(xù)到NVDLA真正開源之后。

沒過多久，5月17日，在GoogleI/O大會上，Google公布了第二代TPU，用媒體的話說“…stoleNvidia’srecentVoltaGPUthunder…”。雖然TPU2的細(xì)節(jié)公布的并不多，但指標(biāo)確實看起來很不錯，而且具有非常好的可擴(kuò)展性。唯一的遺憾就是它并不對外銷售，只能以TPUCloud的方式供大家使用。

9月下旬，JeffDean這位Google的軟件大神參加了HotChip這個芯片界的重要會議，并在Keynote“RecentAdvancesinArtificialIntelligenceviaMachineLearningandtheImplicationsforComputerSystemDesign”也親自介紹了TPU和TPU2的情況，把它們作為新的計算生態(tài)中重要的一環(huán)。

9月底，NVDLA在承諾的最后期限之前開源了NVDLA的部分硬件代碼，同時公布了未來開源更多硬件和軟件的路線圖。這之后，大家對NVDLA也做了各種分析和討論，試圖把它玩起來。從目前來看，NVDLA的開源好像并沒有影響眾多初創(chuàng)公司的融資。這個話題我們后面再說。至于Nvidia開源DLA的原因，官方的說法是讓更多人可以更容易的實現(xiàn)Inference，促進(jìn)AI的推廣，特別是在眾多嵌入式設(shè)備上的應(yīng)用。但從整個開源的過程來看，這個開源的決定似乎是比較倉促的。DLA來自Nvidia自動駕駛SoC中的一個module，最初并不是以開源IP為目的而設(shè)計的。而且9月的開源也只公開了一部分硬件代碼和相應(yīng)的驗證環(huán)境，離真正能用起來也還是有較大差距。我們不好判斷這個開源的決定是否和GoogleTPU（在Inference上有比較大的優(yōu)勢）的強(qiáng)勢亮相有關(guān)系。但基本的推測是，在DeepLearning中Nvidia的核心利益應(yīng)該在于Training（目前GPU還是training的最好平臺）。讓Inference門檻更低，滲透到更多應(yīng)用，特別是Edge端，從而進(jìn)一步促進(jìn)Training的需求，應(yīng)該是符合它的最大利益的。而且NVDLA的軟件環(huán)境還是使用Nvidia的CUDA/TensorRT，還是由Nvidia掌控的。

這場從一篇論文開始，幾乎貫穿了2017年全年的Google和Nvidia的明爭暗斗，對業(yè)界的影響可能要遠(yuǎn)遠(yuǎn)超過這兩家公司本身。我之所以把它稱為“錯位”的戰(zhàn)爭，是因為它發(fā)生在Google這樣的傳統(tǒng)的軟件巨頭和Nvidia這樣的芯片巨頭之間。如果換成IntelvsNvidia，似乎是再正常不過的。Google的參戰(zhàn)，也許是開啟了新的時代。我們可以看到，不僅是TPU，Google在10月又公布了他們在“GooglePixel2”手機(jī)中使用的定制SoCIPU（ImageProcessingUnit）。和Apple越來越多的自己定制芯片一樣，Google這樣的科技巨頭同樣有應(yīng)用（明確知道自己要什么），技術(shù)（對相關(guān)技術(shù)的多年積累），資源（不缺錢，不缺人）上的優(yōu)勢，定制自己的硬件，甚至芯片會變得常態(tài)化。同時我們也看到，GoogleTPU的示范效應(yīng)已經(jīng)顯現(xiàn)，更多的科技巨頭加入AI加速硬件的競爭。Tesla宣布自己定制自動駕駛芯片；Amazon，Microsoft，以及國內(nèi)的BAT，華為都在Cloud中提供專門的FPGA加速的支持；據(jù)稱BigFive中還有在自己開發(fā)芯片的；BAT也都在組建芯片設(shè)計的團(tuán)隊，等等。雖然大家具體的架構(gòu)和實現(xiàn)方式不同，但都反映出對AI專用硬件的極大興趣。相信未來這一趨勢會越來越明顯。

同時，傳統(tǒng)的芯片巨頭當(dāng)然不會坐視這個巨大的市場被Nvidia主宰或者被Google們瓜分。Intel連續(xù)收購了Nervana（云），Movidius（端），Mobileye（自動駕駛），Altera（FPGA），又把AMD的RajaKudori（GPU）招至帳下，甚至還搞了Loihi（nueromorphic），可以說拿了一手好牌；雖然動作沒有大家想象的那么快，但后面的發(fā)力還是值得期待的。AMD也在努力追趕，畢竟他們的CPU+GPU有自己絕活，而整個公司也已經(jīng)逐漸走出了低谷。而且，不管Tesla和AMD合作自動駕駛芯片的消息到底是真是假，芯片公司這種輸出芯片設(shè)計能力的模式也是一種不錯（或者無奈）的選擇。

“以DeepLearning為代表的新型計算模式將引領(lǐng)未來芯片的發(fā)展方向”，這一觀點(diǎn)基本已經(jīng)是大家的一個共識。越來越多的玩家會關(guān)注能夠支持新型計算的芯片，其中很多可能之前完全不在半導(dǎo)體這個圈子，也完全不了解芯片是怎么回事。2017年我們不時能看到一些對比CPU，GPU，F(xiàn)PGA和ASIC架構(gòu)的科普文章，甚至有10W+的閱讀量，不難看出大家的熱情。

初創(chuàng)公司長長的list

2017的AI芯片大戲中，主角不僅是巨頭，初創(chuàng)公司也都粉墨登場，戲份一點(diǎn)兒都不遜色。更重要的，在初創(chuàng)公司的“表演”中，中國公司不僅毫不怯場，而且非常出彩。我從8月份開始在github上維護(hù)一個AI芯片的列表，既包括大公司的產(chǎn)品，又包括初創(chuàng)公司的情況。到12月，這個列表中的信息越來越多，世界范圍內(nèi)的初創(chuàng)公司有30多家。而且這個列表還只包含了公開信息，還有很多公司處在stealth狀態(tài)并沒有收錄。我也聽到一個說法，在AI芯片領(lǐng)域的初創(chuàng)公司可能超過了100家，在TSMC排隊投片也有30家。

不管在什么領(lǐng)域，初創(chuàng)公司都會面臨很多風(fēng)險和不確定性，也可能在成長過程中不斷調(diào)整和變化。AI芯片當(dāng)然也不例外。我們看到，在這一年中，很多公司在不斷成長，逐漸明確自己的方向和定位，走的越來越堅實。另一方面，從今年初創(chuàng)公司融資的情況來看，這個領(lǐng)域（也包括更大范圍的AI概念）也明顯出現(xiàn)一些泡沫。有些公司，在沒有任何實際東西的情況下，就可以實現(xiàn)“PPT融資”或者“Paper融資”。有些公司，重心放在了PR上面，功夫都是做給VC看的，人稱“2VC”公司。面對AI這個趨勢性機(jī)會，有泡沫當(dāng)然也是正?，F(xiàn)象，只是希望這些泡沫不要傷害整個市場的發(fā)展。

拋開各種煙霧和泡沫，我們逐漸在這個領(lǐng)域初創(chuàng)公司也看到一些“龍頭企業(yè)”。比如國內(nèi)的寒武紀(jì)、地平線、深鑒科技和比特大陸，都在2017年發(fā)布了自己的產(chǎn)品；美國的Cerebras、WaveComputing、Graphcore和Groq（前GoogleTPU主要設(shè)計者創(chuàng)立），或有雄厚的實力，或有自己特色的技術(shù)和比較清晰的產(chǎn)品。在2017年，國內(nèi)也出現(xiàn)一些依托應(yīng)用開發(fā)芯片的AI初創(chuàng)公司，這些公司大多以應(yīng)用牽頭研發(fā)芯片。我也預(yù)期在2018年會看到更多這樣的情況。當(dāng)然，很多初創(chuàng)公司并沒有公開自己的信息，不排除正在憋大招的可能性。

熟悉半導(dǎo)體產(chǎn)業(yè)的朋友可能比較清楚，半導(dǎo)體領(lǐng)域初創(chuàng)公司獲得VC投資在之前是非常困難的。主要原因是這個產(chǎn)業(yè)風(fēng)險大，門檻高，周期長。但2017年，AI芯片的初創(chuàng)企業(yè)卻受到了資金追捧。我們可以看看今年的一些公開的融資數(shù)據(jù)。寒武紀(jì)：1億美金（估值近10億美金）；深鑒科技：4000萬美金；地平線：近億美金；；Cerabras：6000萬美金（估值8.6億美金）；Graphcore：5000萬美金。在前面我也提到，當(dāng)Nvidia宣布要開源DLA的時候，大家感覺會對初創(chuàng)公司的融資和估值有一定影響。但從結(jié)果來看，這種情況并沒有出現(xiàn)。在9月之后，我們又看到很多初創(chuàng)公司成功融資。而投資者的熱情似乎一點(diǎn)都沒有減弱，只要有一個新的公司出現(xiàn)，立刻會有很多投資機(jī)構(gòu)蜂擁而至。

為什么傳統(tǒng)上不愿意碰半導(dǎo)體產(chǎn)業(yè)的投資者現(xiàn)在卻對AI芯片趨之若鶩呢？這是一個有趣的問題。具體的原因可能有很多方面，整個AI領(lǐng)域的投資熱潮應(yīng)該是一個主要原因。如果觀察這些投資背后的資本，可以看到很多本身就是AI領(lǐng)域很活躍的投資者，甚至本身就是把AI作為未來重點(diǎn)的科技巨頭，比如BAT。而傳統(tǒng)的投資半導(dǎo)體領(lǐng)域的資金倒是比較謹(jǐn)慎一些。從這個角度來說，這些沒有太多半導(dǎo)體背景的資本大量進(jìn)入芯片領(lǐng)域，是會給大家?guī)硇碌臋C(jī)會和視野，還是帶來風(fēng)險和不確定性，還是有待觀察的。另外，現(xiàn)在所說的AI芯片，一般是指DeepLearning加速芯片，相對來說，關(guān)鍵算法簡單清晰，優(yōu)化目標(biāo)非常明確，很多技術(shù)（比如矩陣運(yùn)算的硬件加速）已有多年的研究基礎(chǔ)。而對這種硬件加速器的驗證，測試和調(diào)試也相對容易。如果不進(jìn)行精細(xì)的優(yōu)化，硬件部分可以由一個較小團(tuán)隊在較短時間完成。這些技術(shù)上的特征比較適合初創(chuàng)公司快速嘗試。當(dāng)然，做一個加速芯片（或者IP）的硬件只是第一步。要真正做出能被市場接受的產(chǎn)品，則需要很多扎實的工作，產(chǎn)品定義，硬件效能，軟件工具，系統(tǒng)測試，現(xiàn)場支持等等，一個短板也不能有。雖然大家都很關(guān)心投片的時間，但樣片出來之后，臟活累活還多著呢。

2018關(guān)注什么

對于2018，我還是非常期待的。作為一名多年從事芯片架構(gòu)設(shè)計多年的工程師，我首先期待看到一些技術(shù)上的創(chuàng)新。2017年我寫了不少分析AI芯片相關(guān)技術(shù)的文章，到年末幾乎有點(diǎn)審美疲勞了（相信讀者也是一樣），似乎新鮮東西越來越少。在2017年底，有一個叫Vathys的初創(chuàng)公司，一下子開了好幾個腦洞，全定制的AsynchronousLogic，等效的時鐘可以到12GHz（28nm工藝）；High-densitySRAM（1T-SRAM），片上存儲容量可以達(dá)到1.5GB（28nm）；Wireless3DStacking，10,000GBit/S@~8fJ/bit。這幾項技術(shù)要么是目前還停留在學(xué)術(shù)研究階段，要么是曾經(jīng)曇花一現(xiàn)。一個初創(chuàng)公司一下就祭出這幾個大招，又是這么高的指標(biāo)，真有可能實現(xiàn)嗎？所以，當(dāng)Vathys的老板發(fā)郵件說應(yīng)該把他們公司加到我做的AI芯片List里的時候，我開始是婉拒的。不過，換一個角度來看，即使是他們完全在忽悠，也算是擊中了DeepLearning處理器的痛點(diǎn)。而且這幾項技術(shù)目前也都有人在研究，在AI的熱潮和巨大的資金支持下也許真能搞出來也說不定。所以，我還是希望看到他們或者是其它團(tuán)隊能夠在這幾項技術(shù)上取得突破，讓我們真正激動一把。說到技術(shù)的突破，我們未來（可能要比2018年更遠(yuǎn)）還可以期待看到在存儲技術(shù)上的突破，以及由新的存儲技術(shù)帶動的架構(gòu)上的創(chuàng)新，包括Neuromorphic這條技術(shù)路線。

接下來，當(dāng)然是巨頭們的下一步動作。Google的TPU是否會賣給自己之外的用戶，直接和Nvidia展開競爭？目前ONNX陣營已經(jīng)形成和Google的對峙，Google作為生態(tài)最完整的廠商，推廣TPU對鞏固自己的領(lǐng)先地位很有意義。BigFive和BAT哪個會學(xué)習(xí)Google榜樣直接自研芯片？阿里達(dá)摩院的芯片研究會不會從AI開始？Intel能不能如大家所期待的全面爆發(fā)？Nvidia會如何應(yīng)對來自各方的挑戰(zhàn)，是否會做更專用的加速芯片，而不是僅僅在GPU中加個TensorCore？高通什么時候在手機(jī)芯片中加上硬件加速器？ARM下一步會怎么走，會不會橫掃嵌入端？……隨便想想就會有很多值得期待的看點(diǎn)。最近我們也看到，為了對抗Nvidia，AMD和Intel竟然很罕見的宣布合作。而IBM在Power9上和Nvidia深度合作。2018年也許我們還能看到業(yè)界巨頭間更多的合縱連橫。

初創(chuàng)公司的命運(yùn)也是2018年最大的看點(diǎn)。我在之前的一篇文章中說過“對于AI芯片的startup來說，2018年就算不是畢業(yè)大考，也至少到了學(xué)期末考試了…”。2018年，大部分初創(chuàng)公司都將會交出第一次測驗的結(jié)果（芯片），也會開始小批量的試用。相信到時會有比較公平的Benchmarking結(jié)果出現(xiàn)，“理論上”的指標(biāo)會被實際的“跑分”結(jié)果取代。雖然對于初創(chuàng)公司來說，犯錯誤是可以容忍的，第一代芯片也不能完全代表公司未來的前景。但是，做芯片需要巨大資源的持續(xù)支持，這個階段掉隊可能非常危險。當(dāng)然，第一次的淘汰對于真正優(yōu)秀的企業(yè)也是最好的機(jī)會。我非常期待看到能夠在考試中脫穎而出，并跨上新的臺階（或者直接畢業(yè)）的同學(xué)；或者，會有我們不認(rèn)識的面孔，突然驚艷出場。另外，2018年，在Edge端會有更多的傳統(tǒng)芯片廠商加入競爭，三星，高通，MTK，展訊等等；而在嵌入端IP上有絕對優(yōu)勢的ARM應(yīng)該也會有更大的動作，這些都可能會對初創(chuàng)公司的命運(yùn)產(chǎn)生重大影響。

最后，是變局的可能。從整體上來講，AI整體上在2018年會怎么發(fā)展是一個大家都非常關(guān)注的問題。繼續(xù)高速增長，還是平穩(wěn)發(fā)展，又或者會遇到問題高開低走？不管是哪種情況，AI芯片必然會受到大勢的影響。比較特殊的是，芯片研發(fā)的周期大約在9到18個月左右，這比軟件應(yīng)用的開發(fā)和更新周期要長的多。再加上一些滯后效應(yīng)，芯片的發(fā)展很難和算法和應(yīng)用的發(fā)展節(jié)奏同步。芯片開發(fā)中一個比較可怕的問題就是未來的不確定性。相對來說，一個可預(yù)期的平穩(wěn)增長的環(huán)境是最有利于芯片研發(fā)的，可以讓芯片設(shè)計者能夠更好的規(guī)劃產(chǎn)品和協(xié)調(diào)資源。

另一種變局情況是，算法層面發(fā)生巨大的變化，也就是技術(shù)上的不確定性。這幾年最成功的AI算法就是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。這正是目前AI芯片在需求上的基礎(chǔ)，也決定了現(xiàn)在大部分AI芯片都是以加速這一類算法為目標(biāo)的。如果基本算法需求發(fā)生變化，會對AI芯片的設(shè)計產(chǎn)生很大的影響。比如，目前已經(jīng)有一定應(yīng)用基礎(chǔ)的低精度網(wǎng)絡(luò)，也就是在inference中使用非常低的精度，甚至直接使用二值網(wǎng)絡(luò)。如果這種Inference得到廣泛應(yīng)用，現(xiàn)在的芯片架構(gòu)則可能得要重新考慮。再比如，如果Hinton大神的capsulenetworks得到實用，也可能會需要新的芯片架構(gòu)來支持。畢竟AI領(lǐng)域現(xiàn)在發(fā)展很快，所以大家也都必須要時刻盯著應(yīng)用和算法層面最新的進(jìn)展。我們也要隨時問自己下面的問題（來自JeffDean在NIPS2017的演講）。

總結(jié)

2017年馬上就要過去，在這幾年相對“平淡”的半導(dǎo)體領(lǐng)域，AI芯片讓我們小激動了一下。其實可聊的事情很多，以上文字基本上是想到哪寫到哪，也都是個人一點(diǎn)點(diǎn)感想，準(zhǔn)確的地方，還請各位多多指正，多多包含。

祝各位讀者2018年萬事如意！更要祝各位奮戰(zhàn)在AI芯片第一線的各位同仁獲得成功！