機器視覺系統(tǒng)這幾年發(fā)展迅速，然而這類系統(tǒng)一般采用CPU、GPU或DSP設(shè)計，功耗和體積較大，難以滿足嵌入式應(yīng)用需求。因此，Synopsys公司近日推出了面向嵌入式應(yīng)用的嵌入式視覺（EV）處理器IP——DesignWareEV視覺處理器產(chǎn)品系列。該EV處理器能夠滿足包括游戲手勢控制、電視機/家庭娛樂系統(tǒng)手勢控制、游戲虛擬現(xiàn)實/3D顯示以及監(jiān)控/面部識別等新型市場的設(shè)計需求。

據(jù)Synopsys公司DesignWareARC處理器高級產(chǎn)品營銷經(jīng)理MikeThompson介紹，嵌入式視覺是在嵌入式系統(tǒng)中使用計算機視覺來解釋圖像或視頻意義的技術(shù)。嵌入式視覺在汽車中可用來提升安全性，在攝像頭應(yīng)用中可用來對目標(biāo)進行檢測和追蹤，在游戲機中則可提升交互體驗。視覺處理市場將以35%的復(fù)合年均增長率增長，到2020年，出貨量將有望超過3000億美元。

EV處理器做視覺處理比CPU、GPU和DSP強在哪？

DesignWareEV處理器產(chǎn)品系列是完全可編程和可配置的視覺處理器IP核。該系列結(jié)合了軟件解決方案的靈活性與專用硬件的低成本和低功耗特性，可以提供比CPU、GPU和DSP等更高的視覺處理效率。

“現(xiàn)有的視覺處理應(yīng)用，包括智能監(jiān)控、生物識別和機器視覺和基于云處理的城市監(jiān)控技術(shù)，都是基于強大的CPU硬件和帶操作系統(tǒng)的軟件來實現(xiàn)的。這種解決方案盡管處理能力很強，但功耗很大，響應(yīng)速度較慢。而一些特別的應(yīng)用，如車載交通信號識別、人臉識別和手勢識別，則要求低功耗并能即時響應(yīng)。這些新應(yīng)用就需要市場提供新的處理器IP，來設(shè)計研發(fā)出新的SoC或處理器。”Mike表示。

雖然視覺算法可以在大多數(shù)處理器上運行，但是這類算法牽涉到許多的復(fù)雜數(shù)學(xué)運算和數(shù)據(jù)遷移。通用處理器（GPP）可以用來做視覺處理，但是這樣的處理器缺少復(fù)雜數(shù)學(xué)運算資源，運行起來速度會非常慢。在一些視覺應(yīng)用中，采用的圖形處理器（GPU）雖然具有許多的運算資源，但是卻缺乏高效移動視覺數(shù)據(jù)的能力，因此其視覺性能相對較低，并且其功耗也非常的高。視覺處理器是專為視覺處理而設(shè)計，因此它們擁有所需的復(fù)雜數(shù)學(xué)運算能力，并且它們還具有精密的數(shù)據(jù)遷移能力，能夠有效地處理視覺幀數(shù)據(jù)。此外，要能夠在嵌入式視覺應(yīng)用中得到使用，它們也需要滿足低功耗要求。DesignWareEV處理器的高運算處理能力、優(yōu)異的視覺數(shù)據(jù)遷移性能和非常低的功耗，使其成為了在SoC當(dāng)中實現(xiàn)視覺處理的極佳選擇。

EV處理器實現(xiàn)原理有何不同？

DesignWare嵌入式視覺處理器系列分為EV52和EV54兩個產(chǎn)品，內(nèi)部有2或4個高性能RISCCPU內(nèi)核和2到8個PE（處理單元）內(nèi)核。多個可并行獨立運算的PE可運行卷積神經(jīng)網(wǎng)絡(luò)（CNN）等算法，快速進行目標(biāo)檢測（如面部識別、面部跟蹤、手勢識別和汽車ADAS系統(tǒng)的限速或道路識別等），支持5級流水線，并且可編程和可動態(tài)配置。所有的RISCCPU和PE通過共享內(nèi)存和DMA進行連接。

那么，EV52和EV54之間有哪些不同？Mike介紹，EV52具有一個工作頻率高達1GHz的28nm雙核ARC處理器，而EV54帶有一個性能較EV52更高的四核ARC處理器實現(xiàn)。兩者都具有一個可編程的目標(biāo)監(jiān)測引擎，該引擎可配置并能以較競爭性解決方案低5倍的功耗等級提供快速、精確的目標(biāo)監(jiān)測。目標(biāo)監(jiān)測引擎運行一個CNN可執(zhí)行文件，并由2、4或8個處理單元（PE）組成。PE的個數(shù)由用戶在構(gòu)建時配置，PE之間的流互連網(wǎng)絡(luò)也是如此。該互連網(wǎng)絡(luò)在所有的PE之間具有靈活的點到點連接，可根據(jù)目標(biāo)監(jiān)測引擎上執(zhí)行的CNN圖形動態(tài)改變。

EV處理器以超過1000GOPS/W的性能實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)（CNN），從而能夠僅以其他視覺解決方案的一小部分功耗，實現(xiàn)對諸如面部、行人和手勢等多樣化的目標(biāo)快速而準(zhǔn)確的監(jiān)測。為了加速應(yīng)用軟件開發(fā)，EV處理器系列得到了基于OpenCV和OpenVX等等現(xiàn)有和新興的嵌入式視覺標(biāo)準(zhǔn)，以及Synopsys的MetaWare開發(fā)工具包的綜合性軟件編程環(huán)境的支持。通過把專為視覺數(shù)據(jù)處理而優(yōu)化的高性能硬件與高效編程工具結(jié)合在一起，EV處理器成為了各種嵌入式視覺應(yīng)用的一種理想解決方案，包括視頻監(jiān)控、手勢識別和目標(biāo)監(jiān)測等應(yīng)用。

EV處理器識別精度比服務(wù)器還能更高？

“Synopsys從2012年開發(fā)DesignWare嵌入式視覺處理器開始，其識別率就達到了85%。如果通過更好的CNN模型和不斷培訓(xùn)，準(zhǔn)確率還可以更高。”Mike介紹說，“2015年微軟和谷歌的CNN視覺識別精度是95%，但那是通過服務(wù)器云處理實現(xiàn)的。如果經(jīng)過更多的CNN培訓(xùn)，我們的解決方案的精度甚至可能更高。它就像是人的眼睛和大腦，剛開始看到一樣?xùn)|西時，你可能會認不出來，但如果你天天都去看，識別的準(zhǔn)確率就會很高。”

EV處理器系列包含多個高性能處理內(nèi)核，可在典型的28nm工藝技術(shù)中實現(xiàn)高達1GHz的運行速率。EV處理器系列也實現(xiàn)了一種前饋卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)構(gòu)，它支持一個可編程的點對點串流互連網(wǎng)絡(luò)，以用于快速和準(zhǔn)確的目標(biāo)監(jiān)測這一視覺處理的關(guān)鍵任務(wù)。執(zhí)行單元處理器的數(shù)量可配置，開發(fā)人員能夠在視覺應(yīng)用中利用通用的任務(wù)級和數(shù)據(jù)級并行處理功能，去執(zhí)行復(fù)雜的圖像和視頻識別算法，同時僅消耗市場上其它可用視覺處理器五分之一的功耗。

EV處理器專為無縫集成到SoC中而設(shè)計。其可與任何主處理器搭配使用和并行工作。EV系列通過信息傳遞和中斷來支持與主處理器的同步。此外，EV處理器的內(nèi)存可映射到主處理器。這些特點使得主處理器能夠保持控制，同時使所有的視覺處理都能夠被卸載到EV處理器上，這樣可降低功耗并且加速結(jié)果呈現(xiàn)。EV處理器可以存取儲存在SoC內(nèi)存映射區(qū)域內(nèi)的數(shù)據(jù)，或在需要的情況下，通過ARMAMBAAXIT標(biāo)準(zhǔn)系統(tǒng)接口獨立地存取芯片外數(shù)據(jù)源提供的圖像數(shù)據(jù)。

什么是卷積神經(jīng)網(wǎng)絡(luò)（CNN）？

卷積神經(jīng)網(wǎng)絡(luò)（CNN）模擬我們大腦處理視覺時的工作狀態(tài)。它們將圖像分解成若干部分，并逐步找到其被訓(xùn)練去識別的目標(biāo)。CNN已經(jīng)存在了20多年，但直到近年這些算法才有了實質(zhì)上的改進，并且目前在目標(biāo)識別方面較其他可用算法甚至是人類專家更好。CNN是一種深度學(xué)習(xí)算法，其訓(xùn)練方式與我們的大腦采用目標(biāo)的多幅圖像來進行訓(xùn)練差不多，它基于這些圖像歸納出能夠被算法利用、用以在圖片或視頻中找到目標(biāo)的一幅圖形。

Nvidia、CEVA、Microsoft以及其他公司近期的發(fā)布強調(diào)了嵌入式視覺向CNN的遷移。其實，Microsoft和Google最近都已在高端應(yīng)用中采用了CNN，其所得的精度超過了95%，較人類專家還要更高。CNN目前是獲取高質(zhì)量和高精度結(jié)果的最佳視覺算法，其性能比Viola-Jones、HOG、SIFT和SURF等其他算法更勝一籌。

嵌入式視覺處理器解決方案的編程環(huán)境

在開發(fā)方面，Synopsys提供了一個完整的、包括OpenVX和OpenCV庫、以及Synopsys的MetaWare開發(fā)工具包的軟件編程環(huán)境，簡化了SynopsysEV處理器系列的應(yīng)用軟件開發(fā)。

這些處理器都是可編程的，同時可以被訓(xùn)練從而支持任何監(jiān)測目標(biāo)圖形。OpenVX框架包括43個標(biāo)準(zhǔn)計算機視覺內(nèi)核，它們已專為運行在EV處理器上而進行了諸如邊緣監(jiān)測、圖像金字塔創(chuàng)建和光流估計等優(yōu)化。用戶也可定義新的OpenVX內(nèi)核，為其目前的視覺應(yīng)用帶來靈活性，同時滿足未來目標(biāo)監(jiān)測的需求。OpenVX內(nèi)核可以在運行時分配給EV處理器的多個單元執(zhí)行，從而簡化了處理器的編程。完整的工具套件和源程序庫、以及可提供的參考設(shè)計使得設(shè)計人員能夠高效的構(gòu)建、調(diào)試、評估和優(yōu)化其嵌入式視覺系統(tǒng)。

OpenCV（一個開源計算機視覺庫）是一種可與MetaWare一起使用的、包含2500個函數(shù)的軟件庫，它為嵌入式視覺應(yīng)用提供了一個軟件架構(gòu)。OpenCV可用于監(jiān)測和識別目標(biāo)，以及一系列完整的機器視覺功能。

OpenVX是一種針對嵌入式視覺算法加速的開源標(biāo)準(zhǔn)。DesignWareEV嵌入式視覺處理器由OpenVX框架和43種主內(nèi)核提供支持。對于DesignWareEV嵌入式視覺處理器而言，已可提供用于人臉監(jiān)測、速度標(biāo)志監(jiān)測和人臉跟蹤的內(nèi)核。用戶也可以創(chuàng)建其專有內(nèi)核用于DesignWareEV處理器。

OpenCV和OpenVX互為補充，并能夠同時用于視覺應(yīng)用中。

更多資訊請關(guān)注機器視覺頻道