AI 芯片也被稱為 AI 加速器或計算卡，即專門用于處理人工智能應用中的大量計算任務的模塊(其他非計算任務仍由CPU負責)，目前業(yè)內(nèi)將 AI 芯片分為 GPU 、FPGA 、ASIC。

　　AI 的許多數(shù)據(jù)處理涉及矩陣乘法和加法，大量并行工作的 GPU 提供了一種廉價的方法，但缺點是更高的功率。具有內(nèi)置 DSP 模塊和本地存儲器的 FPGA 更節(jié)能，但它們通常更昂貴。

　　業(yè)內(nèi)對于 AI 芯片的實現(xiàn)方式和原理仍眾說紛紜，這是新技術的特點，探索階段百花齊放，這也與深度學習等算法模型的研發(fā)并未成熟有關，換句話說也就是 AI 的基礎理論方面仍然存在很大空白，所以在集中在如何更好的適應已有的數(shù)據(jù)流式處理模式進行的芯片優(yōu)化設計。

　　技術手段方面 AI 市場的第一顆芯片包括現(xiàn)成的 CPU，GPU，F(xiàn)PGA 以及 DSP 的各種組合。雖然新設計正在由英特爾、谷歌、英偉達、高通，以及 IBM 等公司開發(fā)，但還不清楚哪家的方法會更有優(yōu)勢。

　　據(jù)悉，英偉達在使用大量數(shù)據(jù)訓練 AI 模型方面占據(jù)主導地位，但在這些 AI 模型經(jīng)過訓練后，它們會被更廣泛地用于所謂的智能邏輯推理，執(zhí)行生成對提示的文本響應以及判斷圖像等任務。

　　業(yè)內(nèi)的一些分析師認為，隨著企業(yè)將 AI 技術應用到他們的產(chǎn)品中，數(shù)據(jù)中心推理芯片市場將快速增長，但谷歌等公司已經(jīng)在探索如何控制這樣做會增加的額外成本。其中一項主要成本是電費，高通公司利用其為智能手機等電池供電設備設計芯片的歷史，打造了一款名為 Cloud AI 100 的芯片主打降低功耗。

　　在維護 AI 芯片行業(yè)廣泛使用的測試基準的工程聯(lián)盟 MLCommons 周三發(fā)布的測試數(shù)據(jù)中，高通的 AI 100 在圖像分類方面擊敗了英偉達的旗艦 H100 芯片，基于每個芯片單位功率可以運行多少數(shù)據(jù)中心服務器查詢。

　　高通公司的芯片達到 197.6 個服務器查詢/瓦，而英偉達達到 108.4 個查詢/瓦，令人意外的是，由資深臺灣芯片學者林永龍創(chuàng)立的初創(chuàng)公司 Neuchips 以 227 次查詢/瓦位居榜首。

　　高通還在對象檢測方面擊敗了英偉達，得分為 3.2 個查詢/瓦，而英偉達的每瓦查詢?yōu)?2.4 個，對象檢測可用于分析零售店鏡頭等應用，以查看購物者最常去的地方。然而在自然語言處理測試中，英偉達在絕對性能和能效方面均名列前茅，這是聊天機器人等系統(tǒng)中使用最廣泛的 AI 技術。英偉達達到每瓦 10.8 個樣本，而 Neuchips 以每瓦 8.9 個樣本排名第二，高通以每瓦 7.5 個樣本位居第三。