機(jī)器學(xué)習(xí)就是在巨量數(shù)據(jù)上執(zhí)行某類復(fù)雜運(yùn)算，并且效率越來(lái)越來(lái)高，成功的案例也越來(lái)越多。現(xiàn)在，機(jī)器學(xué)習(xí)已經(jīng)從一個(gè)相對(duì)晦澀的計(jì)算機(jī)科學(xué)概念快速發(fā)展成了一種可靠的方法，并且已經(jīng)被應(yīng)用在了從人臉識(shí)別技術(shù)到自動(dòng)駕駛汽車等各種應(yīng)用中。

機(jī)器學(xué)習(xí)可以應(yīng)用于每一種企業(yè)職能，并且會(huì)影響到經(jīng)濟(jì)體中每個(gè)部分的公司。所以無(wú)怪乎資金正在大量涌入這一行業(yè)。麥肯錫公司的一項(xiàng)調(diào)查表明：在2013年到2016年之間，對(duì)人工智能（AI）開(kāi)發(fā)的總投資額增長(zhǎng)了2倍，達(dá)到了200億到300億美元。其中大多數(shù)都來(lái)自科技巨頭。這些公司預(yù)計(jì)機(jī)器學(xué)習(xí)及其衍生的其它AI模型將成為它們未來(lái)客戶發(fā)展的關(guān)鍵，就像現(xiàn)在的移動(dòng)性和網(wǎng)絡(luò)化一樣。

機(jī)器學(xué)習(xí)技術(shù)為何如此吸引人？因?yàn)闄C(jī)器學(xué)習(xí)和其它形式的AI技術(shù)可以在很多領(lǐng)域得到廣泛的應(yīng)用，同時(shí)仍然還能產(chǎn)出顯著的利益。Gartner預(yù)計(jì)到2020年，AI技術(shù)將會(huì)在新的業(yè)務(wù)軟件中實(shí)現(xiàn)普及，并且將成為30%的CIO的前五大投資優(yōu)先選擇之一。

事實(shí)上，這一市場(chǎng)的主要發(fā)展推動(dòng)力來(lái)自那些已經(jīng)站穩(wěn)腳跟的公司，它們可以將它們的進(jìn)展應(yīng)用到其它領(lǐng)域，比如：

英偉達(dá)已經(jīng)成為了GPU領(lǐng)域的主導(dǎo)者，而GPU正是機(jī)器學(xué)習(xí)訓(xùn)練階段的最主要平臺(tái)。到目前為止，大多數(shù)已經(jīng)實(shí)現(xiàn)的機(jī)器學(xué)習(xí)開(kāi)發(fā)成果都基于GPU。

英特爾已經(jīng)推出的Nervana神經(jīng)處理器（NeuralProcessor），這是一種低延遲、高內(nèi)存帶寬的芯片，據(jù)說(shuō)是專為深度學(xué)習(xí)設(shè)計(jì)打造的。（英特爾在2016年收購(gòu)了Nervana。）

谷歌的張量處理單元（TPU/TensorProcessingUnit）已經(jīng)占據(jù)了機(jī)器學(xué)習(xí)加速器的部分市場(chǎng)。其第二個(gè)版本是CloudTPU，這是一種更加高性能的TPU集群。CloudTPU是為機(jī)器學(xué)習(xí)的訓(xùn)練階段設(shè)計(jì)的，可與英偉達(dá)的GPU平臺(tái)競(jìng)爭(zhēng)；而谷歌第一個(gè)版本的TPU則是該公司為了在自己的服務(wù)器上加速語(yǔ)音轉(zhuǎn)文本應(yīng)用的推理而開(kāi)發(fā)的一款A(yù)SIC。

機(jī)器學(xué)習(xí)分為兩個(gè)階段：訓(xùn)練階段和推理階段。其中大部分開(kāi)發(fā)工作都集中在第一個(gè)階段：訓(xùn)練階段。這篇文章主要限于數(shù)據(jù)中心和云計(jì)算方面，而且這本身就是一個(gè)巨大的市場(chǎng)。LinleyGroup的首席分析師LinleyGwennap預(yù)計(jì)數(shù)據(jù)中心方向的AI加速器市場(chǎng)將在2022年達(dá)到120億美元。

Gwennap說(shuō)：“在接下來(lái)的一兩年時(shí)間里，我們將開(kāi)始看到將會(huì)出現(xiàn)遠(yuǎn)遠(yuǎn)更多針對(duì)數(shù)據(jù)中心和其它設(shè)備的選擇。所以世界各地的谷歌和Facebook這樣的公司所面臨的問(wèn)題是：‘我應(yīng)該繼續(xù)設(shè)計(jì)自己的芯片嗎？或者，如果我能從公開(kāi)市場(chǎng)獲得同樣好的芯片，我還應(yīng)該自己設(shè)計(jì)嗎？’”

推理的發(fā)展機(jī)會(huì)

機(jī)器學(xué)習(xí)的第二個(gè)階段是推理，基本上就是將學(xué)習(xí)階段應(yīng)用于特定應(yīng)用和細(xì)分市場(chǎng)。也就是算法被投入實(shí)際應(yīng)用的階段，而人們預(yù)計(jì)這方面的發(fā)展機(jī)會(huì)甚至還更大。因此，VC支持的創(chuàng)業(yè)公司正在大量涌現(xiàn)，但其中只有很少一些已經(jīng)推出了或演示過(guò)任何產(chǎn)品；當(dāng)然，已有的公司也在這一領(lǐng)域大力推進(jìn)。

ARM的研究員JemDavies說(shuō)：“推理和訓(xùn)練是相當(dāng)不同的。推理是做各種古怪的事情（比如分揀黃瓜）或有用的事情的階段。這個(gè)階段離用戶更近，所以你能看到各種‘有趣的’用例。但也有在手機(jī)中執(zhí)行文本預(yù)測(cè)（這始于25年前）以及人臉檢測(cè)和識(shí)別的應(yīng)用?！?/P>

推理也是輔助駕駛和自動(dòng)駕駛的重要組成部分，其中傳感器收集到的數(shù)據(jù)需要基于機(jī)器學(xué)習(xí)進(jìn)行預(yù)處理。

Cadence的TensilicaDSP組的產(chǎn)品營(yíng)銷總監(jiān)PulinDesai說(shuō)：“推理需要在邊緣進(jìn)行。在汽車中，你可能會(huì)有20個(gè)圖像傳感器，另外還有雷達(dá)和激光雷達(dá)（LiDAR），以便提供360度的視野。但如果你將一個(gè)圖像傳感器放在汽車上，它可能就有180度的視野了。那就會(huì)需要畸變校正，這是一種圖像處理?！?/P>

訓(xùn)練和推理之間的一個(gè)關(guān)鍵差異是訓(xùn)練是以浮點(diǎn)形式完成的，而推理則使用定點(diǎn)形式。DSP和FPGA都是定點(diǎn)形式。

FlexLogix的CEOGeoffreyTate說(shuō)：“我們不再只使用x86處理器解算所有任務(wù)或?yàn)樘囟ǖ呢?fù)載對(duì)硬件進(jìn)行優(yōu)化。大多數(shù)計(jì)算都要在數(shù)據(jù)中心外完成，所以FPGA等器件的作用將不得不改變——盡管隨著音頻和視頻的支持需求擴(kuò)大，你可能仍將看到傳統(tǒng)架構(gòu)與新架構(gòu)的混合使用。我將這全部都看作是加速器?！?/P>

在機(jī)器學(xué)習(xí)領(lǐng)域，F(xiàn)PGA和eFPGA玩家正爭(zhēng)先恐后要在推理市場(chǎng)分一杯羹。Linley估計(jì)，在2022年總共將會(huì)有17億臺(tái)機(jī)器學(xué)習(xí)客戶端設(shè)備。

Achronix總裁兼CEORobertBlake說(shuō)：“GPU在機(jī)器學(xué)習(xí)的學(xué)習(xí)階段已經(jīng)得到了很大的重視。但推理方面的市場(chǎng)會(huì)更大，而這些產(chǎn)品的關(guān)鍵因素將會(huì)是成本和功耗。因此，嵌入式解決方案將會(huì)成為這些領(lǐng)域的矚目焦點(diǎn)?！?/P>

ARM的Davies同意這個(gè)觀點(diǎn)。他說(shuō)功率預(yù)算保持在2W到3W的范圍內(nèi)，而電池技術(shù)的發(fā)展一直以來(lái)都相對(duì)平穩(wěn)。鋰電池的改進(jìn)幅度一直都在每年4%到6%的范圍內(nèi)?？紤]到所有這些情況，計(jì)算性能將會(huì)需要幾個(gè)數(shù)量級(jí)的增長(zhǎng)。

那將需要不同的架構(gòu)，還要理解應(yīng)該在哪里完成哪些處理。

Rambus的杰出發(fā)明家StevenWoo說(shuō)：“我們看到有各種各樣的AI、神經(jīng)網(wǎng)絡(luò)芯片和內(nèi)核。在更高層面上看，它們是將信息融合在一起。這方面有很多探索正在進(jìn)行。你可以看到，現(xiàn)在有很多公司在尋找主要市場(chǎng)，以便圍繞其構(gòu)建基礎(chǔ)設(shè)施。你可以看到手機(jī)的數(shù)量達(dá)到了數(shù)十億。這些都在驅(qū)動(dòng)新的封裝基礎(chǔ)設(shè)施發(fā)展。你可以看到汽車領(lǐng)域背后有很多資金支持。物聯(lián)網(wǎng)（IoT）的潛力也很明顯，但難在尋找共同點(diǎn)。而在神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面，似乎每周都有新算法出現(xiàn)，這使得我們難以開(kāi)發(fā)出單個(gè)一個(gè)架構(gòu)。這就是人們對(duì)FPGA和DSP的興趣如此之大的原因?！?/P>

定義機(jī)器學(xué)習(xí)

公司交替地使用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能和神經(jīng)網(wǎng)絡(luò)這些術(shù)語(yǔ)并沒(méi)有什么幫助。盡管這些術(shù)語(yǔ)的差別很微妙，但共有的思想是：使用足夠多的實(shí)時(shí)數(shù)據(jù)，計(jì)算機(jī)可以給多種不同的場(chǎng)景加權(quán)，并根據(jù)這些預(yù)定義的權(quán)重響應(yīng)給出最好的選擇。這個(gè)加權(quán)過(guò)程是訓(xùn)練和推理過(guò)程的一部分，對(duì)機(jī)器學(xué)習(xí)而言至關(guān)重要。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種——具有更多的層，這些層執(zhí)行著不同類型的分析，并最終能得到更加完整的解決方案，但完成深度學(xué)習(xí)訓(xùn)練也需要更多計(jì)算資源。這兩者往往都涉及到神經(jīng)網(wǎng)絡(luò)，即圍繞信息節(jié)點(diǎn)創(chuàng)建網(wǎng)狀的連接，這種連接有一點(diǎn)類似于人腦中細(xì)胞之間的網(wǎng)狀連接。人工智能則是一個(gè)涵蓋性術(shù)語(yǔ)，很多人對(duì)此都有不同的看法：從IBM的Watson到電影《2001太空漫游》中的HAL。但主要是指無(wú)需明確編程就能自己學(xué)習(xí)不同行為的設(shè)備或程序。

誰(shuí)在使用機(jī)器學(xué)習(xí)

在以客戶為中心的應(yīng)用中，機(jī)器學(xué)習(xí)已經(jīng)非常常見(jiàn)，其中包括預(yù)測(cè)銷量、尋找客戶流失的跡象、通過(guò)交互式語(yǔ)音響應(yīng)或聊天機(jī)器人提供客戶服務(wù)、谷歌翻譯那樣的消費(fèi)者應(yīng)用等等。

Facebook使用了三種深度學(xué)習(xí)應(yīng)用來(lái)過(guò)濾上傳的內(nèi)容，比如：一種用于識(shí)別上傳的圖片中的人臉并進(jìn)行標(biāo)注，一種用于檢查帖子中的仇恨言論或其它客觀內(nèi)容，一種用于定向廣告。

英偉達(dá)首席科學(xué)家兼研究部門高級(jí)副總裁BillDally說(shuō)：“讓我驚訝的是深度學(xué)習(xí)革命的速度是如此之快。在過(guò)去三年中，各種應(yīng)用幾乎在一夜之間就完成了從傳統(tǒng)方法向深度學(xué)習(xí)方法的轉(zhuǎn)變。這不需要在軟件上進(jìn)行大量投入；你找到應(yīng)用，再訓(xùn)練網(wǎng)絡(luò)，然后就完成了。這在一些領(lǐng)域里已經(jīng)得到了普及，但對(duì)于每一個(gè)已經(jīng)轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)的應(yīng)用，還可能還會(huì)有多次轉(zhuǎn)變?！?/P>

據(jù)麥肯錫的研究：盡管科技行業(yè)內(nèi)已經(jīng)采用AI實(shí)現(xiàn)或改進(jìn)了其它服務(wù)或增加了新服務(wù)給客戶，但在科技行業(yè)之外，對(duì)AI技術(shù)的采用還大都是實(shí)驗(yàn)性的。在受調(diào)查的3000家公司中，僅有20%表示它們?cè)跇I(yè)務(wù)中的重要部分使用了與AI相關(guān)的技術(shù)。麥肯錫調(diào)查了160種AI用例，發(fā)現(xiàn)其中僅有12%實(shí)現(xiàn)了AI的商業(yè)部署。

換個(gè)角度看，也就是說(shuō)有88%的公司仍然還沒(méi)有實(shí)現(xiàn)AI的商業(yè)部署，所以其中還有巨大的機(jī)會(huì)。谷歌和百度等科技巨頭則相反，它們?cè)?016年中投入了200億到300億美元，其中90%投入了研發(fā)，10%用于收購(gòu)。

深度學(xué)習(xí)是下一個(gè)大事件

據(jù)西門子旗下Mentor的傳感器融合部門首席工程師NizarSallem說(shuō)，深度學(xué)習(xí)可能不僅在客戶服務(wù)和分析上表現(xiàn)優(yōu)良，而且也是用于自動(dòng)駕駛汽車所需的即時(shí)感知、決策和控制的主要候選系統(tǒng)。

Sallem說(shuō)：“機(jī)器學(xué)習(xí)最重要的應(yīng)用是基于交通規(guī)則和汽車當(dāng)時(shí)所在位置的預(yù)期理解汽車周圍的環(huán)境、道路上不同的行為者和背景。它必須確定你的行為應(yīng)該會(huì)怎樣，還要確定什么時(shí)候允許你打破規(guī)則以避開(kāi)危險(xiǎn)或保護(hù)汽車中的人類?！?/P>

市場(chǎng)預(yù)測(cè)

不管AI技術(shù)可能將會(huì)有多么能干，它目前仍還處于起步發(fā)展階段。據(jù)Tractica的一份報(bào)告，主要的服務(wù)提供商還仍然是已有的科技公司，最賺錢的還仍然是面向消費(fèi)者的服務(wù)。其中包括谷歌的語(yǔ)音轉(zhuǎn)文本和翻譯服務(wù)以及來(lái)自亞馬遜、Facebook、百度等公司的消費(fèi)者交互/客戶服務(wù)應(yīng)用。這份報(bào)告估計(jì)2016年AI驅(qū)動(dòng)的消費(fèi)者服務(wù)價(jià)值19億美元，并將在2017年年底增長(zhǎng)至27億美元。

圖1：不同AI技術(shù)的收入情況

Tractica估計(jì)AI的整個(gè)市場(chǎng)（包括硬件、軟件和服務(wù)）將會(huì)在2025年增長(zhǎng)至421億美元。

圖2：AI在不同方面（軟件、服務(wù)、硬件）的收入情況

機(jī)器學(xué)習(xí)即服務(wù)（MLaaS）是一個(gè)不同的類別——亞馬遜、IBM和微軟占據(jù)了其中73%。據(jù)TransparencyMarketResearch（TMR）在今年4月份的一份報(bào)告稱，這個(gè)市場(chǎng)將從2016年的10.7億美元增長(zhǎng)至2025年的199億美元。

據(jù)Tractica稱，目前大多數(shù)使用了機(jī)器學(xué)習(xí)的服務(wù)都是面向消費(fèi)者的——這個(gè)類別中包括谷歌的翻譯和語(yǔ)音轉(zhuǎn)文本應(yīng)用，這些應(yīng)用為其客戶級(jí)TPU提供了概念證明。

客戶變成競(jìng)爭(zhēng)對(duì)手

深度學(xué)習(xí)的出現(xiàn)也凸顯出了半導(dǎo)體行業(yè)與其最大的客戶之間的日益復(fù)雜的關(guān)系——尤其是谷歌等超大規(guī)模數(shù)據(jù)中心的所有者，這些公司的規(guī)模非常大，足以開(kāi)發(fā)設(shè)計(jì)它們自己的服務(wù)器和芯片。

多年以來(lái)，芯片公司一直都在開(kāi)發(fā)或定制滿足特定的云客戶的需求的芯片。以英特爾為例，它為微軟開(kāi)發(fā)了FPGA深度學(xué)習(xí)加速器，還為阿里巴巴的云客戶開(kāi)發(fā)了基于FPGA的應(yīng)用加速器。英特爾還邀請(qǐng)了Facebook來(lái)幫助設(shè)計(jì)英特爾推出的Nervana神經(jīng)處理器的封裝以及即將到來(lái)的用于深度學(xué)習(xí)的“LakeCrest”ASIC。

谷歌已經(jīng)宣布了其它芯片，比如新聞報(bào)道的該公司為其Pixel2手機(jī)開(kāi)發(fā)了一款機(jī)器學(xué)習(xí)協(xié)處理器，這也是其第一款移動(dòng)芯片。谷歌也已經(jīng)開(kāi)發(fā)出了Titan，這是一款連接到服務(wù)器的微控制器，可以確保服務(wù)器在板上出現(xiàn)故障、損壞或感染了惡意軟件時(shí)不會(huì)啟動(dòng)。

谷歌在解釋其對(duì)第一款TPU的投資時(shí)說(shuō)TPU可以“為機(jī)器學(xué)習(xí)在單位功耗下的性能帶來(lái)一個(gè)數(shù)量級(jí)的優(yōu)化”并能將谷歌的機(jī)器學(xué)習(xí)應(yīng)用向前推進(jìn)大概七年時(shí)間。第一款TPU的設(shè)計(jì)目的只是加速運(yùn)行機(jī)器學(xué)習(xí)模型的推理的普通服務(wù)器，而不是為了一開(kāi)始的模型訓(xùn)練。因此，它們不會(huì)與英偉達(dá)或英特爾的機(jī)器學(xué)習(xí)訓(xùn)練產(chǎn)品直接競(jìng)爭(zhēng)。

當(dāng)谷歌在5月份宣布了CloudTPU時(shí)，聽(tīng)起來(lái)似乎就將與英特爾和英偉達(dá)的產(chǎn)品進(jìn)行更加直接的競(jìng)爭(zhēng)了。

谷歌描述說(shuō)，每個(gè)CloudTPU都有180teraflops的浮點(diǎn)運(yùn)算性能，將4個(gè)TPU封裝成一個(gè)TPUPod可以實(shí)現(xiàn)總共11.5petaflops的性能。這種配置似乎是為了與英偉達(dá)備受關(guān)注的DGX-1“超級(jí)計(jì)算機(jī)”競(jìng)爭(zhēng)而設(shè)計(jì)的。DGX-1包含8個(gè)頂級(jí)的TeslaV100芯片，并聲稱總體最高吞吐量達(dá)1petaFLOP。

云上的競(jìng)爭(zhēng)

Dally說(shuō)：“谷歌和其它一些公司沒(méi)使用加速或只使用TPU取得了一些早期的成功，但有些網(wǎng)絡(luò)是很容易訓(xùn)練的；標(biāo)準(zhǔn)的圖像搜索就很簡(jiǎn)單。但對(duì)于需要處理越來(lái)越多信號(hào)的訓(xùn)練（處理圖像和視頻流）以及對(duì)于每周都要重新訓(xùn)練網(wǎng)絡(luò)的人或重點(diǎn)關(guān)注訓(xùn)練過(guò)程的人，GPU要高效得多。”

據(jù)Cadence的IP組的前CTOChrisRowen說(shuō)，問(wèn)題是來(lái)自谷歌的一款新處理器是否足以?shī)Z走其它公司的客戶，答案可能是“不能”。任何云提供商都必須支持不止一種架構(gòu)，所以使用了深度學(xué)習(xí)的數(shù)據(jù)中心將會(huì)是CPU、GPU、ASIC、FPGA和各種技術(shù)的IP的混合。Rowen現(xiàn)已創(chuàng)立了CogniteVentures公司，為神經(jīng)網(wǎng)絡(luò)、物聯(lián)網(wǎng)和自主式嵌入式系統(tǒng)領(lǐng)域的創(chuàng)業(yè)公司提供資金和建議。

Rowen說(shuō)，某些訓(xùn)練負(fù)載也可以轉(zhuǎn)移，從而讓客戶端設(shè)備也能具備數(shù)十億個(gè)推理引擎。在這一領(lǐng)域，很多公司肯定都有機(jī)會(huì)；但是對(duì)于在數(shù)據(jù)中心服務(wù)器上進(jìn)行的機(jī)器學(xué)習(xí)訓(xùn)練，新進(jìn)入的公司很難取代已經(jīng)站穩(wěn)腳跟的玩家。

圖3：認(rèn)知計(jì)算的演進(jìn)

Rowen說(shuō)：“我們希望有所選擇，理由很充分，但選擇也非常多，而且英特爾、高通和其它公司也都在關(guān)注。不能因?yàn)槟阌幸粋€(gè)用于智能手機(jī)的神經(jīng)網(wǎng)絡(luò)，就假設(shè)你的生產(chǎn)制造能超越三星，這種假設(shè)可不好?！?/P>