TinyML 或優(yōu)化機器學(xué)習(xí) (ML) 模型以在資源受限的設(shè)備上運行，是 ML 發(fā)展最快的子領(lǐng)域之一。為了實現(xiàn) TinyML(或有時稱為 TinyAI)所需的這種超低功耗、高性能計算，工程師們探索了許多令人興奮的新技術(shù)。

　　利用這一趨勢，以色列公司 Polyn 上周宣布其 最新的神經(jīng)形態(tài)模擬信號處理器 TinyML/TinyAI 處理器 已成功封裝和評估。

　　在本文中，我們將了解 Polyn 提供的技術(shù)，以了解它可能對整個 TinyML 產(chǎn)生的影響。

　　人工智能的神經(jīng)形態(tài)計算

　　在追求更低功耗、更高性能的人工智能計算硬件的過程中，令人興奮的新興技術(shù)之一是 神經(jīng)形態(tài)計算 。

　　神經(jīng)形態(tài)計算的概念是，人腦是人類已知的最節(jié)能的計算設(shè)備。在嘗試運行 AI 應(yīng)用程序時，創(chuàng)建盡可能模擬大腦生物過程的計算硬件將是有利的。雖然這聽起來是一項艱巨的任務(wù)，但工程師可以通過硬件和軟件的結(jié)合來嘗試這種娛樂方式。

　　從硬件的角度來看，神經(jīng)形態(tài)芯片試圖通過充當(dāng)神經(jīng)元、軸突的電路元件以及它們之間的加權(quán)連接來模仿大腦。

　　為了進一步模擬大腦，該硬件通常通過模擬電路實現(xiàn)，這也有助于提高性能和電源效率。然后，神經(jīng)形態(tài)計算依賴于專門的 神經(jīng)網(wǎng)絡(luò) ，例如尖峰神經(jīng)網(wǎng)絡(luò)和電信號調(diào)制來模擬大腦信號的變化。

　　有了這個基本的了解，我們來看看 Polyn 的新技術(shù)。

　　Polyn 的 NeuroSense 和 NASP 技術(shù)

　　本周，Polyn 宣布其專有的名為 NeuroSense 的神經(jīng)形態(tài)計算芯片已首次被封裝和評估，這受到高度關(guān)注。NASP 技術(shù)被稱為其 神經(jīng)形態(tài)模擬信號處理器 (NASP) 技術(shù)，旨在成為實時邊緣傳感器信號處理器。

　　根據(jù) Polyn 的說法，他們的技術(shù)利用了一個獨特的平臺，該平臺將經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為輸入，并使用數(shù)學(xué)建模將網(wǎng)絡(luò)合成為真正的神經(jīng)形態(tài)芯片。它的 NASP 芯片使用模擬電路，其中神經(jīng)元使用運算放大器實現(xiàn)，而軸突則由薄膜電阻器實現(xiàn)。

　　他們聲稱其平臺生產(chǎn)的合成芯片已經(jīng)完全布局并準(zhǔn)備好制造。

　　這種新封裝和評估的 NeurorSense 芯片采用 55 nm CMOS 技術(shù)實現(xiàn)。此外，據(jù)說它充當(dāng)邊緣信號傳感器，能夠使用神經(jīng)形態(tài)計算處理原始傳感器數(shù)據(jù)，而無需對模擬信號進行任何數(shù)字化。

　　出于這個原因，該公司將其稱為第一款無需模數(shù)轉(zhuǎn)換器 (ADC) 即可直接在傳感器旁邊使用的神經(jīng)形態(tài)模擬 TinyML 芯片。

　　雖然許多技術(shù)規(guī)格尚不清楚，但據(jù)稱，對于始終在線的應(yīng)用，Polyn 的 NASP 提供 100 uW 的功耗，具有傳統(tǒng)算法的“兩倍精度”。

　　將 TinyML 芯片帶入未來

　　目前，Polyn 對其發(fā)展感到鼓舞，稱其芯片的成功封裝和評估驗證了其技術(shù)和整個 NASP 系統(tǒng)。未來，Polyn 表示，它希望在 2023 年第一季度向客戶提供該芯片，作為一種集成了光電體積描記術(shù) (PPG) 和慣性測量單元 (IMU) 傳感器的可穿戴設(shè)備。

　　用于近傳感器 Tiny-AI 的 NASP 技術(shù)

　　按照Polyn所說，許多應(yīng)用程序可以從 AI 中受益，尤其是從神經(jīng)網(wǎng)絡(luò)范式中受益，但這種強大的數(shù)學(xué)方法的實際實現(xiàn)在以傳統(tǒng)方式在標(biāo)準(zhǔn) CPU 或 GPU 上執(zhí)行時會出現(xiàn)過多的功耗。如果應(yīng)用程序使用大量數(shù)據(jù)，并且經(jīng)常訪問內(nèi)存，則會導(dǎo)致馮諾依曼架構(gòu)出現(xiàn)瓶頸。對于具有連續(xù)信號流的情況，專用處理器效率更高。

　　一個很好的例子是具有心率 (HR) 跟蹤和人體活動識別 (HAR) 的可穿戴設(shè)備，其中 PPG/IMU 傳感器不斷生成數(shù)據(jù)，其處理會消耗大量電池電量。

　　對于執(zhí)行真正始終在線測量的設(shè)備，神經(jīng)形態(tài)模擬信號處理 (NASP) 是一個理想的解決方案，與傳統(tǒng)算法相比，它具有 100uW 的超低功耗和兩倍的精度。提高的精度還可以簡化整個系統(tǒng)，并降低相關(guān)成本。

　　另一個耗電的應(yīng)用是預(yù)測性維護 (PDM) 傳感器節(jié)點。工業(yè)物聯(lián)網(wǎng) (IIoT) 利用物聯(lián)網(wǎng)設(shè)備和傳感器來監(jiān)控機器和環(huán)境，以確保設(shè)備和流程的最佳性能。PDM 監(jiān)控機器的健康狀況以識別(也稱為預(yù)測)組件的可能故障是最近受到很多關(guān)注的物聯(lián)網(wǎng)技術(shù)。為了實現(xiàn)有效的 PDM，需要通過機器學(xué)習(xí) (ML) 算法收集、處理和分析大量數(shù)據(jù)。如果所有這些數(shù)據(jù)都必須發(fā)送到一個中心進行分析，那么數(shù)據(jù)通信和處理將比它的價值更麻煩。傳感器數(shù)據(jù)預(yù)處理可以顯著減少發(fā)送到云端的數(shù)據(jù)量，節(jié)省資金并改善延遲。

　　NASP 解決了所有這些情況，以及直接在傳感器上對原始數(shù)據(jù)進行智能優(yōu)化(預(yù)處理)的許多其他用途。它不僅可以解決現(xiàn)有應(yīng)用程序的問題，還可以為整個行業(yè)開辟新的機遇。

　　傳感器數(shù)據(jù)優(yōu)化

　　NASP 是一個真正的 Tiny AI 解決方案，旨在優(yōu)化原始數(shù)據(jù)并減少 CPU 負(fù)載和轉(zhuǎn)發(fā)到云的數(shù)據(jù)量。NASP 芯片位于傳感器旁邊，形成 Tiny AI 邏輯層。它是一種推理解決方案，使用已經(jīng)訓(xùn)練好的機器學(xué)習(xí)模型進行預(yù)測。

　　在 NASP 概念中，數(shù)據(jù)處理芯片是由 NASP 自動化工具從已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中合成的。

　　基于 POLYN 多年的專業(yè)知識，“僅推理”方法對于語音提取、聲音/振動處理、可穿戴設(shè)備測量等應(yīng)用非常有效。它在功率、準(zhǔn)確性和延遲方面提供了巨大的優(yōu)勢。

　　NASP 背后的神經(jīng)科學(xué)

　　神經(jīng)網(wǎng)絡(luò)計算的主要優(yōu)點是并行操作。最大的優(yōu)勢是神經(jīng)形態(tài)計算，特別是通過硬件和軟件設(shè)計實現(xiàn)最大并行性，努力模仿人腦并實現(xiàn)其計算到功耗的功效。除了低功耗和提高計算工作負(fù)載的性能外，神經(jīng)網(wǎng)絡(luò)還提供容錯能力，這意味著如果傳感器數(shù)據(jù)不一致，系統(tǒng)仍然可以產(chǎn)生結(jié)果。

　　同時進入 NASP 芯片輸入層的所有傳感器信號被并行傳輸?shù)胶罄m(xù)層。沒有執(zhí)行周期，也沒有指向/來自內(nèi)存的指令。

　　人腦不僅是一個超低功耗的并行操作系統(tǒng)，還是一個模擬系統(tǒng)，處理各種信號而不需要將它們轉(zhuǎn)換成二進制格式。對于信號感知等任務(wù)，模擬系統(tǒng)更可取。據(jù)半導(dǎo)體研究公司稱，預(yù)計未來十年將出現(xiàn)大量模擬信號，這需要硬件方面的根本性突破，以產(chǎn)生更智能的世界機器接口。

　　NASP 正是這些突破之一，旨在感知模擬信號和數(shù)字信號，最重要的是，為各種傳感器增加“智能”。

　　NASP 芯片包含人工神經(jīng)元(執(zhí)行計算的節(jié)點)和使用電路元件實現(xiàn)的軸突(節(jié)點之間的權(quán)重連接)：神經(jīng)元使用運算放大器實現(xiàn)，軸突使用薄膜電阻器實現(xiàn)。

　　NASP芯片設(shè)計體現(xiàn)了稀疏神經(jīng)網(wǎng)絡(luò)的方法，只有推理所需的神經(jīng)元之間的必要連接，這意味著該解決方案顯著有效地減少了神經(jīng)連接。與每個神經(jīng)元連接到每個相鄰神經(jīng)元的內(nèi)存設(shè)計相比，NASP 方法簡化了芯片布局。這種設(shè)計特別適用于連接非常稀疏的卷積神經(jīng)網(wǎng)絡(luò) ( CNN)，以及 RNN、Transformers和Autoencoders 。

　　對芯片設(shè)計進行神經(jīng)網(wǎng)絡(luò)調(diào)整是每個片上神經(jīng)網(wǎng)絡(luò)解決方案的重要組成部分。當(dāng)今市場上可用的可編程解決方案具有架構(gòu)限制，會對神經(jīng)網(wǎng)絡(luò)施加額外的轉(zhuǎn)換。有時，原始神經(jīng)網(wǎng)絡(luò)在移植過程中會經(jīng)歷幾乎 100% 的轉(zhuǎn)換，這是一種代價高昂的方法。

　　為了解決這個問題，NASP 模型包括芯片設(shè)計自動化工具，即 POLYN 的 T 編譯器和綜合工具，可將任何經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為最佳數(shù)學(xué)模型，以進一步生成芯片布局，同時完全符合 POLYN 的客戶神經(jīng)網(wǎng)絡(luò)，并節(jié)省相關(guān)的努力和成本。

　　出于多種原因，如果沒有模擬計算的復(fù)興，該行業(yè)將接受的數(shù)字化轉(zhuǎn)型將是不可能的。

　　一是節(jié)能理念。過多的功耗與感官系統(tǒng)中的數(shù)據(jù)計算不兼容。

　　下一個趨勢是人工智能越來越向邊緣移動，并在今天應(yīng)用于傳感器節(jié)點。需要優(yōu)化數(shù)十億物聯(lián)網(wǎng)設(shè)備之間的通信，并從云端卸載數(shù)據(jù)處理，從而提高 TCO 和效率。

　　與擅長處理復(fù)雜信息并隨時間動態(tài)變化的人腦一樣，神經(jīng)形態(tài)模擬信號處理器擅長實時計算，從而有助于數(shù)字和模擬技術(shù)世界的有益嚙合。