人工智能走向異質(zhì)化，邊緣運(yùn)算已經(jīng)成為現(xiàn)在主流趨勢(shì)，以臺(tái)北國(guó)際電腦展(Computex2019)為舞臺(tái)，各廠商大秀邊緣AI火力。

人工智能(AI)的技術(shù)日益成熟，須要處理的資料量也不斷增加，因此邊緣運(yùn)算(EdgeComputing)形成時(shí)下主流，大廠紛紛加速布局邊緣AI。于Computex2019可以看到Arm、NVIDIA、美光(Micron)等皆展現(xiàn)了各自在邊緣AI的實(shí)力。

TotalCompute大策略全力釋放AI潛力

現(xiàn)在人工智能核心平臺(tái)開始邁向異質(zhì)化時(shí)代。現(xiàn)在的智能手機(jī)已經(jīng)內(nèi)建許多人工智能和機(jī)器學(xué)習(xí)(ML)的基礎(chǔ)功能，包括即時(shí)影像擷取、人臉識(shí)別等，ArmIP產(chǎn)品事業(yè)群總裁ReneHaas(圖1)于Computex2019論壇中，發(fā)表“全面運(yùn)算引領(lǐng)AI成長(zhǎng)”(ScalingAIThroughTotalCompute)主題演說。探討AI運(yùn)算在各個(gè)市場(chǎng)所面臨的復(fù)雜挑戰(zhàn)，以及TotalCompute解決方案為何能夠同時(shí)滿足AI效能提升與應(yīng)用開發(fā)的需求。

ArmIP產(chǎn)品事業(yè)群總裁ReneHaas表示，全面運(yùn)算可以提升AI效能并滿足應(yīng)用開發(fā)需求。

目前在全球大約14億支的智能手機(jī)中，仍然約有85%的手機(jī)是將機(jī)器學(xué)習(xí)的工作負(fù)載交由CPU或者CPU+GPU執(zhí)行的。而根據(jù)Arm對(duì)AI處理器工作負(fù)載的研究，為達(dá)成更佳的應(yīng)用效能和使用體驗(yàn)，發(fā)揮AI和ML的優(yōu)勢(shì)，未來智能裝置的AI運(yùn)算核心，將以CPU為中心，再整合運(yùn)用GPU、類神經(jīng)網(wǎng)絡(luò)處理器(NPU)、資料流處理器(DPU)、現(xiàn)場(chǎng)可編程邏輯閘陣列(FPGA)等運(yùn)算資源。

從產(chǎn)業(yè)轉(zhuǎn)型方面來看，軟件也邁向碎片化，不論是自動(dòng)駕駛、5G引爆的邊緣伺服器需求、AI型穿戴裝置和虛擬實(shí)境(VR)、擴(kuò)增實(shí)境(AR)、高畫質(zhì)游戲體驗(yàn)、5G智能手機(jī)等，都帶來超高的運(yùn)算效能與智能功能要求。此外，安全也是一項(xiàng)極大的考驗(yàn)，前述各種市場(chǎng)領(lǐng)域的設(shè)備與裝置，都儲(chǔ)存了大量的個(gè)人資訊，沒有人希望竊取個(gè)人機(jī)密資料的事件再次發(fā)生。

Haas指出，這些大規(guī)模運(yùn)算流程、跨處理元件的運(yùn)用、安全保護(hù)要求，以及特定領(lǐng)域運(yùn)算vs通用運(yùn)算等，都將讓應(yīng)用開發(fā)變得越來越困難且成本越來越高，市面上太多不同軟件的選擇，造成開發(fā)人員/生態(tài)系統(tǒng)碎片化的擴(kuò)大，增加了推動(dòng)裝置AI化的困難。

針對(duì)上述的AI運(yùn)算與體驗(yàn)挑戰(zhàn)，Arm提供從系統(tǒng)整體出發(fā)，結(jié)合硬件矽智財(cái)(IP)、軟件架構(gòu)和最佳化工具，一次解決未來運(yùn)算復(fù)雜性的全面運(yùn)算解決方案。一方面，TotalCompute解決方案能以CPU為任務(wù)控制核心，再透過SystemIP確保AI運(yùn)算的工作負(fù)載能達(dá)到最佳分配。例如影像搜尋作業(yè)由NPU執(zhí)行，將比CPU更快、更有效率。再加上Arm的GPU、ML處理器、顯示處理器、ArmNN架構(gòu)等，將能協(xié)助開發(fā)人員全面釋放AI效能。

另一方面，TotalCompute為開發(fā)人員提供了一個(gè)更容易運(yùn)用的未來生態(tài)系統(tǒng)。碎片化的軟件和開發(fā)人員生態(tài)系統(tǒng)，除面臨需提升各種裝置的存取效能以推展AI應(yīng)用的挑戰(zhàn)外，復(fù)雜的運(yùn)算又進(jìn)一步提升效能的需求，因此為了能讓AI應(yīng)用輕松擴(kuò)展到不同的環(huán)境中，Arm借由快速、簡(jiǎn)單、成本更低的TotalCompute解決方案。提供一個(gè)統(tǒng)一的開發(fā)途徑。Arm所開發(fā)的軟件架構(gòu)充分運(yùn)用ArmIP以及ArmNN、ArmComputeLibrary、ArmDevelopmentStudios和ArmMobileStudios，有效加速產(chǎn)品開發(fā)的上市時(shí)程。

Haas總結(jié)未來新的工作負(fù)載是以使用案例為設(shè)計(jì)基礎(chǔ)的，要解決未來的復(fù)雜性挑戰(zhàn)，必須從根本上最佳化硬件、軟件、平臺(tái)安全性和工具。整個(gè)AI產(chǎn)業(yè)面臨著極大的挑戰(zhàn)，而CPU軟件生態(tài)系統(tǒng)將有助于開發(fā)人員拓展邊緣的AI體驗(yàn)，Arm透過TotalCompute策略涵蓋的軟硬件和生態(tài)系統(tǒng)，幫助開發(fā)者跨越各個(gè)市場(chǎng)領(lǐng)域，加速提供5G時(shí)代的全新體驗(yàn)。

NVIDIAEGX加速運(yùn)算平臺(tái)讓決策更即時(shí)

隨著人工智能技術(shù)逐漸成熟，相關(guān)企業(yè)積極布局AI邊緣運(yùn)算。因應(yīng)此潮流，NVIDIA在Computex2019發(fā)表了EGX加速運(yùn)算平臺(tái)，讓企業(yè)能在邊緣執(zhí)行低延遲的即時(shí)(Real-time)AI作業(yè)，能針對(duì)5G基地臺(tái)、倉(cāng)儲(chǔ)、零售商店、工廠與其他作業(yè)站間龐大且不間斷的資料串流進(jìn)行接收、分析并即時(shí)采取行動(dòng)。

NVIDIA產(chǎn)品行銷經(jīng)理PareshKharya表示，為了實(shí)現(xiàn)不同的工業(yè)應(yīng)用，如智能影像識(shí)別分析系統(tǒng)(IVA)、資料中心(DataCenter)、嵌入式系統(tǒng)(Embedded)和汽車等等，NVIDIA推出了EGX加速運(yùn)算平臺(tái)。現(xiàn)在的資料量越來越大，所有的分析必須是立即的，才能即時(shí)做出決策，因此即時(shí)邊緣AI的重要性也顯得更加重要。

Kharya舉例說明，在醫(yī)院，可以利用即時(shí)邊緣AI協(xié)助醫(yī)生做出醫(yī)療診斷;在智能城市(SmartCity)的應(yīng)用，也可以用來辨別車輛，進(jìn)行分析決策，借此控制車流，達(dá)到疏通壅塞的目標(biāo)。NVIDIAEGX平臺(tái)將加速AI運(yùn)算的力量帶到了邊緣，讓智能零售、醫(yī)療保健、制造業(yè)、運(yùn)輸和城市都具備更即時(shí)的AI運(yùn)算能力。

另外，EGX擁有強(qiáng)大的擴(kuò)充性，小至體積極小的NVIDIAJetsonNano，以僅僅幾瓦的耗能就能提供如影像識(shí)別等任務(wù)所需每秒五萬億兆次浮點(diǎn)的運(yùn)算(TOPS);規(guī)模亦可大至一整柜的NVIDIAT4伺服器，為即時(shí)語音識(shí)別和其他即時(shí)AI任務(wù)提供超過10,000兆次浮點(diǎn)運(yùn)算的效能(圖2)。同時(shí)NVIDIAEGX在架構(gòu)上支援云端提供的NVIDIAAI運(yùn)算。在云端開發(fā)的AI應(yīng)用程式可以在NVIDIAEGX上運(yùn)作，反之亦然。內(nèi)含EGX的NVIDIAEdgeStack可以連接到云端IoT服務(wù)，使客戶能從AWSIoTGreengrass和MicrosoftAzureIoTEdge遠(yuǎn)端管理他們的服務(wù)。NVIDIAEGX也具備了企業(yè)級(jí)的安全保障，NVIDIA的AI和運(yùn)算技術(shù)結(jié)合了Mellanox、Cisco等大廠的網(wǎng)絡(luò)、儲(chǔ)存和安全技術(shù)，進(jìn)而實(shí)現(xiàn)更高階的隔離和安全性，同時(shí)又不會(huì)影響CPU的效能。

NVIDIAEGX平臺(tái)可提供超過10,000兆次浮點(diǎn)運(yùn)算的效能

美光積極布局AI促進(jìn)強(qiáng)化邊緣運(yùn)算

預(yù)估全球傳輸、儲(chǔ)存、分析的數(shù)據(jù)量將于九年內(nèi)成長(zhǎng)十倍，至2023年時(shí)將達(dá)到103ZB。面對(duì)如此龐大的數(shù)據(jù)量，如何將其轉(zhuǎn)化為資訊并從中挖掘有用的洞見將是一項(xiàng)難題，而人工智能在數(shù)據(jù)分析的過程扮演要角。美光于Computex2019上，表示將積極布局人工智能領(lǐng)域，并讓運(yùn)算更靠近邊緣。

美光運(yùn)算與網(wǎng)絡(luò)業(yè)務(wù)部門資深副總裁暨總經(jīng)理ThomasT.Eby(圖3)表示，美光本身就是人工智能應(yīng)用的最佳案例。透過導(dǎo)入人工智能至生產(chǎn)廠區(qū)，美光得以增加生產(chǎn)良率、促進(jìn)工作環(huán)境安全與提升整體效能。美光導(dǎo)入人工智能打造智能制造，所得到的成果包括達(dá)到成熟良率的時(shí)間縮短25%、提升晶圓產(chǎn)出10%以及不良率減少35%，效果顯著。

美光運(yùn)算與網(wǎng)絡(luò)業(yè)務(wù)部門資深副總裁暨總經(jīng)理ThomasT.Eby表示，運(yùn)算越來越異質(zhì)化，AI在邊緣運(yùn)算的重要性也跟著提高。

同時(shí)，Eby也提到，隨著運(yùn)算越來越異質(zhì)化，人工智能在邊緣運(yùn)算的重要性就更高。以前的資料中心以CPU為中心，現(xiàn)在則趨向異質(zhì)化，有CPU、GPU、FPGA等，在邊緣運(yùn)算已經(jīng)是大勢(shì)所趨。美光提供全面的解決方案，讓運(yùn)算更靠近記憶體，甚至在記憶體中運(yùn)算，以配合現(xiàn)在資料中心的需求。

Eby進(jìn)一步指出，根據(jù)美光委托Forrester訪問建構(gòu)人工智能平臺(tái)的工程師和IT專家的結(jié)果顯示，開發(fā)人工智能系統(tǒng)時(shí)，首要考量并非運(yùn)算，而是如何打造記憶體與儲(chǔ)存架構(gòu)以滿足龐大運(yùn)算需求。報(bào)告中有超過九成的受訪者表示，記憶體與儲(chǔ)存架構(gòu)攸關(guān)開發(fā)人工智能系統(tǒng)的成敗，儲(chǔ)存與記憶體吞吐量的重要性更勝于運(yùn)算，且運(yùn)算與記憶體間的距離越來越近。

在自駕車的記憶體需求方面，Eby也表示，未來每輛L5級(jí)自駕車，將會(huì)配置8~12個(gè)解析度高達(dá)4K~8K的顯示熒幕，而為了支援V2X連結(jié)，記憶體每秒需處理0.5~1TB的數(shù)據(jù)量，在車內(nèi)娛樂系統(tǒng)方面，記憶體頻寬需求每秒也將達(dá)150~300GB。未來自駕車將會(huì)像飛機(jī)一樣有黑盒子，以每30秒持續(xù)錄制片段，紀(jì)錄車內(nèi)外狀況，因此記憶體頻寬需求每秒也達(dá)到1GB。此外，在車輛生命周期中，會(huì)重復(fù)寫入的數(shù)據(jù)加起來將有150PB(Petabyte)，所以對(duì)記憶體與儲(chǔ)存的效能與耐用性要求會(huì)特別高。