在加速人工智能的競賽中，硅谷公司 Cerebras 采取了一個不同尋常的戰(zhàn)略：做大。

　　典型的計算機芯片只有指甲蓋那么大，Cerebras的芯片是餐盤大小。

　　深度學習是為語音助手、自動駕駛汽車和圍棋冠軍提供動力的一種人工智能技術，它依賴于分層排列的復雜“神經(jīng)網(wǎng)絡”軟件。深度學習系統(tǒng)可以在一臺計算機上運行，但最大的系統(tǒng)分布在連接在一起的數(shù)千臺機器上，這些機器有時位于大型數(shù)據(jù)中心，比如由谷歌操作的數(shù)據(jù)中心。在一個大集群中，多達48個披薩盒大小的服務器滑進一個人高的機架;這些貨架成排排列著，裝滿了倉庫那么大的建筑物。這些系統(tǒng)中的神經(jīng)網(wǎng)絡可以解決令人生畏的問題，但它們也面臨著明顯的挑戰(zhàn)。在一個集群中擴散的網(wǎng)絡就像一個分散在房間里并連接在一起的大腦。電子移動得很快，但即便如此，跨芯片通信還是很慢，并且消耗大量的能量。

　　舊金山風險投資公司Benchmark的普通合伙人埃里克·維什里亞(Eric Vishria)在2016年春天聽一家名為Cerebras Systems的新電腦芯片公司的演講時，第一次意識到這個問題。Benchmark以早期投資Twitter、優(yōu)步(Uber)和ebay等公司而聞名——也就是說，投資的是軟件，而不是硬件。該公司每年會考察大約200個創(chuàng)業(yè)項目，并投資其中一個?！拔覀冊谕孢@種吻一千只青蛙的游戲，” Vishria告訴我。演講一開始，他就決定把青蛙扔回去?！拔揖拖?，我為什么要同意這么做?”我們不會進行硬件投資，”他回憶當時的想法?！斑@太蠢了。”

　　Cerebras的聯(lián)合創(chuàng)始人安德魯·費爾德曼(Andrew Feldman)從幻燈片封面開始，到他的團隊幻燈片，引起了Vishria的注意:他的才華令人印象深刻。然后費爾德曼比較了兩種電腦芯片。首先，他研究了圖形處理單元或GPU——專為創(chuàng)建 3D 圖像而設計的芯片。由于各種原因，今天的機器學習系統(tǒng)依賴于這些圖形芯片。接下來，他研究了中央處理單元(簡稱CPU)——在典型計算機上完成大部分工作的通用芯片。“第三張幻燈片的主題是‘GPU’它實際上對深度學習來說很糟糕——只是碰巧比CPU好上一百倍?！盋erebras公司提出了一種新型芯片，這種芯片不是為圖像設計的，而是專門為人工智能設計的。

　　Vishria已經(jīng)習慣聽那些計劃將深度學習應用于網(wǎng)絡安全、醫(yī)療成像、聊天機器人和其他應用的公司的推銷。在Cerebras演講之后，他與Benchmark資助的一些公司的工程師進行了交談，包括Zillow、Uber和Stitch Fix;他們告訴他，他們在人工智能方面遇到了困難，因為“訓練”神經(jīng)網(wǎng)絡花費了太長時間。谷歌已經(jīng)開始使用超快的“張量處理單元”，即為人工智能設計的特殊芯片TPU。Vishria知道一場淘金熱正在進行，必須有人來制造鎬頭和鐵鍬。

　　那一年，Benchmark和另一家風險投資公司Foundation Capital領投了一輪對Cerebras的2700萬美元的投資，該公司已經(jīng)籌集了近5億美元。其他公司也在制造所謂的人工智能加速器;Cerebras的競爭對手groq、Graphcore和sambanova總共籌集了超過20億美元的資本。但Cerebras的方法是獨一無二的，該公司不是用通常的方法——在一塊大的硅片上印刷幾十個晶片，然后將它們從硅片上切下來，然后彼此連接，而是制造了一種巨大的“晶圓級”芯片。一個典型的計算機芯片只有指甲大小，Cerebras的大小和餐盤差不多，它是世界上最大的計算機芯片。

　　即使是競爭對手也覺得這一壯舉令人印象深刻。“這是全新的科學，”Graphcore的首席執(zhí)行官兼聯(lián)合創(chuàng)始人奈杰爾·圖恩(Nigel Toon)告訴我?！斑@是一項令人難以置信的工程，是一項杰作?！迸c此同時，另一位與我交談過的工程師把它描述為一個科學項目——為了大而大。過去，公司曾試圖制造巨型芯片，但以失敗告終;Cerebras的計劃相當于打賭克服工程挑戰(zhàn)是可能的，而且是值得的。“老實講，對我來說，無知是一種優(yōu)勢，” Vishria說?！拔也恢?，如果我知道做他們做的事情有多難，我就會有勇氣投資?！?/p>

　　計算機變得越來越快，這是一個很容易被認為是理所當然的事情。人們通常用摩爾定律來解釋這一現(xiàn)象:1965年，半導體先驅戈登摩爾在 1965 年確定的模式，根據(jù)該模式，芯片上的晶體管數(shù)量每年或每兩年翻一番。當然，摩爾定律并不是一個真正的定律，工程師們孜孜不倦地縮小晶體管，同時也改進每個芯片的“架構”，創(chuàng)造出更高效、更強大的設計。

　　芯片建筑師們一直想知道，單一的、大規(guī)模的計算機芯片是否可能比一堆較小的芯片更高效，就像一個資源集中、區(qū)塊密集的城市比郊區(qū)更高效一樣。這個想法在20世紀60年代首次嘗試，當時德州儀器有限地生產(chǎn)了幾英寸寬的芯片。但該公司的工程師遇到了良率的問題。在任何給定的硅片上，制造缺陷不可避免地危及一定數(shù)量的電路。如果晶圓片含有50個芯片，公司可以扔掉壞的，把其余好的賣掉。但是，如果每個成功的芯片都依賴于一個晶圓的工作電路，那么許多昂貴的晶圓將會被丟棄。德州儀器找到了解決辦法，但技術和需求都還沒有到位。

　　20世紀80年代，一位名叫吉恩·阿姆達爾(Gene Amdahl)的工程師又一次嘗試解決這個問題，他創(chuàng)立了一家名為Trilogy Systems的公司。它成為了硅谷有史以來最大的初創(chuàng)公司，獲得了大約2.5億美元的投資。為了解決成品率問題，Trilogy公司在芯片上印制了冗余組件。這種方法提高了產(chǎn)量，但降低了芯片的速度。與此同時，Trilogy在其他方面也舉步維艱。Amdahl 開著他的勞斯萊斯撞死了一名摩托車手，引發(fā)了法律糾紛;公司總裁患腦瘤去世;大雨延誤了工廠的建設，空調系統(tǒng)也生銹了，芯片上也積滿了灰塵。1984年，Trilogy 放棄了。Amdahl 的兒子告訴《泰晤士報》說:“當時根本沒有意識到這有多難?！?/p>

　　如果 Trilogy 的技術成功了，它現(xiàn)在可能會被用于深度學習。相反，GPU(用于視頻游戲的芯片)正在國家實驗室解決科學問題。將 GPU 重新用于 AI 取決于這樣一個事實，即神經(jīng)網(wǎng)絡雖然非常復雜，但依賴于大量的乘法和加法。當網(wǎng)絡中的“神經(jīng)元”相互激活時，它們會放大或減少彼此的信號，將它們乘以稱為連接權重的系數(shù)。一個高效的 AI 處理器將并行計算許多激活;它將它們組合成一系列的數(shù)字，稱為向量，或者是數(shù)字網(wǎng)格，稱為矩陣，或者是高維的塊，稱為張量。理想情況下，您想一下子將一個矩陣或張量乘以另一個矩陣或張量。GPU 旨在完成類似的工作：

　　“Trilogy的陰影如此之大，”費爾德曼最近告訴我，“人們停止思考，開始說，‘這是不可能的?！卑ㄓミ_在內(nèi)的GPU公司抓住了這個機會，為深度學習定制了芯片。2015年，費爾德曼和一些計算機架構師開始討論更大芯片的想法，他們之前共同創(chuàng)立了一家計算機服務器制造商seamicro，以3.34億美元的價格將這家公司賣給了芯片制造商AMD。他們在一間從風投公司借來的辦公室里研究了這個問題四個月。當他們有了一個可行的解決方案的大綱后，他們與8家公司進行了交談;獲得Benchmark、Foundation Capital和Eclipse的投資，并開始招聘。

　　Cerebras的第一個任務是解決困擾大型芯片的制造難題。芯片最初是一個圓柱形的結晶硅錠，直徑約為一英尺，鋼錠被切成不到一毫米厚的圓晶片。然后，通過一種光刻的工藝把電路“印”到晶圓上。對紫外線敏感的化學物質被小心地沉積在表面，然后紫外線光束通過稱為光罩(掩膜版)的詳細模板投射，這些化學物質發(fā)生反應，形成電路。

　　通常情況下，通過掩膜版投射的光線覆蓋的區(qū)域將成為一個芯片。然后晶片移動，光線再次投射。在數(shù)十個或數(shù)百個芯片被打印出來后，它們會從晶圓上進行激光切割?！白詈唵蔚姆椒ㄊ?，你的媽媽拿出一個圓的曲奇面團，”費爾德曼說， “她有一個餅干模子，她會小心翼翼地把餅干刻出來。”根據(jù)物理和光學定律，做一個更大的餅干切割機是不可能的。因此， “我們發(fā)明了一種技術，這樣你就可以通過兩塊餅干之間的小面團進行交流。”

　　在Cerebras與制造芯片的公司臺積電合作開發(fā)的打印系統(tǒng)中，餅干的邊緣會重疊，這樣它們的電線就會連起來。結果是一個單一的“晶圓片大小”的晶片，銅色的方形，邊長21厘米。(最大的GPU直徑略小于3厘米。)Cerebras公司于2019年生產(chǎn)了其首個芯片 Wafer-Scale Engine 1。今年推出的WSE-2采用了更密集的電路，包含2.6萬億個晶體管，這些晶體管被集中到85萬個處理單元(或稱“核心”)中。(頂級的GPU只有幾千個核心，而大多數(shù)的CPU不到10個。)

　　Synopsys公司董事長兼聯(lián)席首席執(zhí)行官Aart de Geus表示:“2.6萬億晶體管令人震驚?！盨ynopsys提供了一些軟件，Cerebras和其他芯片制造商用來制作和驗證他們的芯片設計。de Geus說，在設計芯片時，工程師首先要考慮兩個核心問題:“數(shù)據(jù)從哪里來?”在哪里處理?”當芯片還比較簡單的時候，設計師們可以在制圖桌上拿著鉛筆回答這些問題;在處理當今更加復雜的芯片時，輸入代碼來描述他們想要創(chuàng)建的架構，然后繼續(xù)使用可視化和編碼工具。de Geus說:“想想從屋頂看房子的感覺?！败噹炜拷鼜N房嗎?”還是離臥室很近?你想讓它靠近廚房——否則，你將不得不帶著食品雜貨經(jīng)過房子的每一個角落?！彼忉屨f，在設計了平面圖之后，“你可以用方程式來描述房間里發(fā)生的事情?！?/p>

　　芯片的設計復雜度令人難以置信。de Geus說:“這里有很多層，”電路縱橫交錯，層層疊疊，就像主要的高速公路立交橋一樣。對于“Cerebras”的工程師來說，在晶圓的規(guī)模上工作，復雜性被提高了。Synopsys的軟件以人工智能的形式提供幫助:模式匹配算法識別常見問題并提出解決方案;優(yōu)化程序將房間推向更快、更有效的安排。如果太多的車道試圖擠在兩個街區(qū)的建筑之間，該軟件可以讓工程師扮演羅伯特·摩西(Robert Moses)，移動街區(qū)。

　　最后，費爾德曼說，超大芯片設計有幾個優(yōu)點。當核心在同一個芯片上時，它們的通信速度更快:計算機的大腦現(xiàn)在集中在一個頭骨中，而不是分散在一個房間里。大芯片處理內(nèi)存的能力也更好。通常情況下，準備處理文件的小芯片必須首先從位于電路板上其他地方的共享內(nèi)存芯片獲取文件;只有最常用的數(shù)據(jù)才會被緩存到離家更近的地方。在描述晶圓級芯片的效率時，費爾德曼做了一個類比:他讓我想象一群室友(核心)住在一個宿舍(芯片)，他們想看足球比賽(做計算工作)。費爾德曼說，為了觀看比賽，室友們需要把啤酒儲存在冰箱里(數(shù)據(jù)存儲在內(nèi)存中);Cerebras在每個房間都放了一個冰箱，這樣室友們就不用冒險去宿舍的公共廚房或Safeway了。這樣做的額外好處，即允許每個核心更快地處理不同的數(shù)據(jù)?！八栽谖业乃奚崂镂铱梢杂邪偷?，”費爾德曼說?！霸谀愕乃奚崂?，你可以享用舒立茲?！?/p>

　　最后，Cerebras 必須克服產(chǎn)量問題。該公司的工程師使用 Trilogy 的技巧：冗余。但在這里，他們比他們的前輩有優(yōu)勢。Trilogy 試圖制造具有許多不同組件的通用芯片，因此圍繞單個故障元件的布線可能需要連接到遠處的替代品。在 Cerebras 的芯片上，所有內(nèi)核都是相同的。如果一塊餅干出問題了，它周圍的餅干也一樣好。

　　今年6月，在《自然》雜志上發(fā)表的一篇論文中，谷歌的開發(fā)人員報告說，他們第一次完全自動化了一個叫做“芯片布局規(guī)劃”的過程。一個典型的芯片可以包含數(shù)千個內(nèi)存塊、數(shù)千萬個邏輯門和數(shù)萬公里的微型線路。他們使用的技術與DeepMind的同事用來教神經(jīng)網(wǎng)絡贏得圍棋比賽的技術相同，他們訓練了一個人工智能來規(guī)劃張量處理單元，在安排這些元素的同時防止數(shù)據(jù)擁塞;當他們將人工智能的TPU與一組專家花了幾個月時間創(chuàng)造的TPU進行測試時，他們發(fā)現(xiàn)這臺電腦的設計只用了大約幾個小時就完成了，在對面積、電力和電線長度的有效利用方面，與人類不相上下，甚至超過了人類。谷歌目前正在使用該算法設計下一個TPU。

　　人工智能領域的人都在談論這個奇點——在這個點上，技術將開始以超出人類控制的速度自我改進。我問 de Geus，他的軟件是否幫助設計了他現(xiàn)在用來設計芯片的任何芯片。他說有，并給我看了他最近做的一個幻燈片; 最后以 MC Escher 的兩只手互相畫畫的插圖結束，de Geus 將其標記為“Silicon(硅)”和“Smarts(智慧)”。當我告訴費爾德曼我迫不及待地想看他用Cerebras芯片來設計Cerebras芯片時，他笑稱“這就像給雞喂雞塊。”

　　結果證明，設計和制造芯片只是挑戰(zhàn)的一半。大腦消耗大量的能量——人類的大腦占我們體重的2%，卻消耗了我們攝入的20%的熱量，而硅也是如此。一個典型的大型計算機芯片可能需要350瓦的功率，但Cerebras的巨型芯片需要15千瓦的功率——足夠運行一間小房子。費爾德曼說:“從來沒有人給芯片提供過這么大的能量?！薄皬膩頉]有人需要像這樣冷卻芯片?！?/p>

　　最后，由Cerebras公司圍繞其WSE-1芯片構建的CS-1計算機，有四分之三的部分致力于防止主板熔化。大多數(shù)計算機使用風扇將冷空氣吹過處理器，但CS-1使用水，導熱性更好;與管道相連的硅片頂部是一個水冷板，由定制的銅合金制成，加熱時不會膨脹太多，并拋光至完美，以免刮傷芯片。在大多數(shù)芯片上，數(shù)據(jù)和電力通過邊緣的電線流入，其方式大致與到達郊區(qū)住宅的方式相同;對于更城市化的晶圓引擎來說，它們需要垂直地從下面進入。工程師們必須發(fā)明一種新的連接材料，能夠承受超大芯片環(huán)境的高溫和壓力?！斑@花了我們一年多的時間，”Feldman說。

　　最終的結果是一個設計精美的盒子，正面是一個復雜的幾何網(wǎng)格，邊緣的剛性三角形鑲嵌在中心變成一種地質的，幾乎是生物的混亂，在那里它們與橙色的垂直條紋相交。這臺電腦看起來就像你在商店買的除濕機一樣;在數(shù)據(jù)中心的機架中,它占用的空間相當于十五個由GPU驅動的披薩盒。定制的機器學習軟件工程任務以最有效的方式分配給芯片,為了防止冷點分配工作，從而使晶片不會破裂。。

　　這個系統(tǒng)有多快?最接近全行業(yè)機器學習性能度量的是一組稱為MLPerf的基準測試，由一個名為MLCommons的工程聯(lián)盟組織。許多得分最高的系統(tǒng)都是由圖形公司英偉達(Nvidia)生產(chǎn)的使用GPU的系統(tǒng)。Cerebras還沒有參加比賽。費爾德曼說:“你絕對不想走到歌利亞面前，邀請他來一場劍戰(zhàn)。”“他們會分配比我們公司更多的人來調優(yōu)基準。”在任何情況下，基準測試只是系統(tǒng)的一部分。一臺計算機的性能可能優(yōu)于另一臺，但它也可能有更多的芯片，或使用更多的電力，或成本更高，或缺乏靈活性，或不能很好地擴展，或設置起來很麻煩。

　　費爾德曼認為，更好的表現(xiàn)來自于客戶滿意度?？紤]到CS-1約200萬美元的價格，顧客群相對較小。據(jù)Cerebras稱，CS-1已經(jīng)被一些世界級的實驗室使用，包括勞倫斯利弗莫爾國家實驗室、匹茲堡超級計算中心和愛丁堡大學的e.p.c.超級計算中心，也被制藥公司、工業(yè)公司和“軍事和情報客戶”使用。今年早些時候，制藥公司阿斯利康(AstraZeneca)的一名工程師在一篇博客文章中寫道，該公司使用CS-1訓練神經(jīng)網(wǎng)絡，可以從研究論文中提取信息;這臺計算機在兩天內(nèi)完成了“大型GPU”需要兩周的工作。美國國家能源技術實驗室(U.S. National Energy Technology Laboratory)報告稱，其CS-1系統(tǒng)解方程組的速度比其超級計算機快200多倍，而耗電量僅為超級計算機的“一小部分”。研究人員寫道:“據(jù)我們所知，這是有史以來第一個能夠在真實的流體動力學模型中實時模擬數(shù)百萬個細胞的系統(tǒng)?！彼麄兊慕Y論是，由于規(guī)模的低效率，他們的超級計算機不可能有一個版本大到足以擊敗CS-1。

　　勞倫斯·利弗莫爾運行著許多世界上最快的超級計算機。該實驗室已經(jīng)將CS-1集成到其中一個裝置中，以幫助進行包括模擬核聚變在內(nèi)的實驗。利弗莫爾計算機公司(Livermore Computing)的首席技術官布羅尼斯·德·蘇平斯基(Bronis de Supinski)告訴我，在最初的測試中，CS-1每個晶體管的神經(jīng)網(wǎng)絡運行速度是一組GPU的五倍，而且網(wǎng)絡訓練速度更快。

　　葛蘭素史克 AI 團隊負責人 Kim Branson 表示，作為與伯克利生物化學家 Jennifer Doudna 合作的一部分，該公司已經(jīng)使用 CS-1 完成了許多任務，包括分析 DNA 序列和預測突變結果。去年因其在crispr 方面的工作而獲得諾貝爾獎. 布蘭森發(fā)現(xiàn)，在 DNA 測序工作中，CS-1 的速度大約是他一直使用的 16 節(jié)點 GPU 集群的 80 倍。他還指出了其他優(yōu)勢，其中一個是，作為一臺單一的機器，它更容易安裝。他回憶起自己第一次拜訪Cerebras位于加州森尼維爾的辦公室的情景。他的團隊喜歡使用“銀翼殺手”命名的會議室。當費爾德曼啟動CS-1時，屏幕上出現(xiàn)了“我們來玩?zhèn)€游戲吧?”——指的是1983年的電影《戰(zhàn)爭游戲》，這部電影講述的是一臺智能電腦威脅要發(fā)動一場核戰(zhàn)爭。他告訴我，他很期待今年CS-2的發(fā)布，它將擁有兩倍的晶體管和內(nèi)存。

　　最近，摩爾定律開始放緩。隨著晶體管越來越小，它們開始觸及物理極限——很難構建比幾個原子更小的結構。芯片制造商開始拿摩爾第二定律開玩笑:芯片制造廠的成本似乎也在呈指數(shù)級增長。臺積電目前正計劃建造一座耗資超過100億美元的晶圓廠;為了用更小的晶體管制造芯片，該公司正在考慮建造一座成本可能高達250億美元的工廠。20年前，有25家公司可以制造尖端芯片。如今，這一領域已經(jīng)縮小到臺積電、三星(Samsung)和英特爾(Intel)。

　　像WSE-1和WSE-2這樣的加速器芯片填補了這一空白。它們并不需要每平方毫米包含更多的晶體管，但它們優(yōu)化了特定應用的排列?！霸O計芯片和設計汽車沒有什么不同，”Feldman說。你想要一輛運磚的小貨車嗎?一輛接送孩子的小貨車?周日開一輛跑車?“我們在芯片上放的都是人工智能的東西，” 目前，進展將通過專業(yè)化來實現(xiàn)。

　　風險投資家維什里亞(Vishria)用“工作量”來描述芯片行業(yè)的歷史。在他看來，到目前為止已經(jīng)有四次了。粗略地說，在20世紀80年代，個人電腦需要通用芯片，英特爾成為了這個市場的領導者。然后，在20世紀90年代，電子游戲和CGI的發(fā)展推動了具有并行處理功能的強大的GPU的發(fā)展，英偉達最終占據(jù)了主導地位?；ヂ?lián)網(wǎng)和計算機網(wǎng)絡的興起要求更快的響應時間，博通贏得了巨大的勝利。在2000年，移動需要電力效率，我們有高通和ARM。維什里亞說:“我認為第五項工作量是深度學習，它將與前四項工作量一樣大?！睋?jù)Synopsys說，“世界已經(jīng)明白，人工智能和人工智能芯片現(xiàn)在是基礎設施。它是使人類在未來20年發(fā)生根本變化的核心。”

　　Cerebras 的晶片級方法只是一種可能性。業(yè)內(nèi)人士描述了人工智能芯片設計的寒武紀大爆發(fā)。微處理器分析師林利·格溫納普(Linley Gwennap)表示，“人工智能帶走了所有的規(guī)則?！蓖ㄓ眯酒脑O計者必須考慮與舊軟件的兼容性?！皩τ谌斯ぶ悄軄碚f，這就像是把所有這些都拋棄了，因為人工智能的一切都是幾年前的事了，”格溫納普說。超過200家初創(chuàng)公司正在設計人工智能芯片，據(jù)估計，到2025年，這個市場的規(guī)模將接近1000億美元。并非所有的芯片都是為數(shù)據(jù)中心設計的，其中一些將被安裝在助聽器、門鈴攝像頭或自動駕駛汽車上。(特斯拉和大眾都在設計自己的汽車。)

　　地球上幾乎每一種生命形式，從鷹到珊瑚到大腸桿菌，都填補了自己的生態(tài)位，并經(jīng)過優(yōu)化在特定的條件下茁壯成長。同樣，芯片將繼續(xù)進化和多樣化，以滿足特定的需求。Cerebras Wafer-Scale engine可能不會取代Nvidia的GPU，即使是在數(shù)據(jù)中心，不是每個人都需要200萬美元的超級大腦。這里有容納多種神經(jīng)系統(tǒng)的空間，包括自然神經(jīng)系統(tǒng)和人工神經(jīng)系統(tǒng)。盡管如此，我們似乎已經(jīng)達到了一個里程碑。

　　“大腦瓜”來了。