現(xiàn)在路面上的很多汽車(chē)，甚至是展廳內(nèi)的很多新車(chē)，內(nèi)部都配備有基于攝像頭、雷達(dá)、超聲波或LIDAR等不同傳感器的先進(jìn)駕駛員輔助系統(tǒng)（ADAS）。

這些系統(tǒng)的數(shù)量將會(huì)隨著新法案的通過(guò)而不斷增加，例如在美國(guó)，就有強(qiáng)制要求安裝后視攝像頭的法案。此外，諸如車(chē)險(xiǎn)打折優(yōu)惠和美國(guó)公路交通安全管理局（NHTSA）、歐洲新車(chē)安全評(píng)鑒協(xié)會(huì)（Euro-NCAP）等機(jī)構(gòu)做出的汽車(chē)安全評(píng)級(jí)正在使某些系統(tǒng)成為汽車(chē)的強(qiáng)制功能；另一方面，這也助長(zhǎng)了消費(fèi)者對(duì)它們的需求。

諸如自動(dòng)泊車(chē)、公路巡航控制和自動(dòng)緊急制動(dòng)的自動(dòng)駕駛汽車(chē)功能也在很大程度上依靠傳感器來(lái)實(shí)現(xiàn)。重要的不僅僅是傳感器的數(shù)量或種類(lèi)，它們的使用方式也同樣重要。目前，大多數(shù)路面上行駛車(chē)輛內(nèi)的ADAS都是獨(dú)立工作的，這意味著它們彼此之間幾乎不交換信息。（沒(méi)錯(cuò)，某些高端車(chē)輛具有非常先進(jìn)的自動(dòng)駕駛功能，不過(guò)這些功能還未普及）。后視攝像頭、環(huán)視系統(tǒng)、雷達(dá)和前方攝像頭都有它們各自的用途。通過(guò)將這些獨(dú)立的系統(tǒng)添加到車(chē)輛當(dāng)中，可以為駕駛員提供更多信息，并且實(shí)現(xiàn)自動(dòng)駕駛功能。不過(guò)，你還可以突破限制，實(shí)現(xiàn)更多功能——參見(jiàn)圖1。

圖1：ADAS以汽車(chē)內(nèi)單個(gè)、獨(dú)立的功能存在。

傳感器融合

僅僅通過(guò)多次使用相同種類(lèi)的傳感器無(wú)法克服每種傳感器的缺點(diǎn)。反之，我們需要將來(lái)自不同種類(lèi)傳感器的信息組合在一起。工作在可見(jiàn)光譜范圍內(nèi)的攝像頭CMOS芯片在濃霧、下雨、刺眼陽(yáng)光和光照不足的情況下會(huì)遇到麻煩。而雷達(dá)缺少目前成像傳感器所具有的高分辨率。我們可以在每種傳感器中找到諸如此類(lèi)的優(yōu)缺點(diǎn)。

傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類(lèi)的輸入內(nèi)容，并且使用組合在一起的信息來(lái)更加準(zhǔn)確地感知周?chē)沫h(huán)境。相對(duì)于獨(dú)立系統(tǒng)，這樣可以做出更好、更安全的決策。雷達(dá)也許不具有光傳感器所具有的分辨率，不過(guò)它在測(cè)距和穿透雨、雪和濃霧方面具有很大優(yōu)勢(shì)。這些天氣條件或光照不足的惡劣情況不利于攝像頭發(fā)揮作用，不過(guò)攝像頭能夠分辨顏色（可以想一想街道指示牌和路標(biāo)），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經(jīng)達(dá)到1百萬(wàn)像素。在未來(lái)幾年內(nèi)，圖像傳感器的發(fā)展趨勢(shì)將是2百萬(wàn)，甚至4百萬(wàn)像素。

雷達(dá)和攝像頭是兩項(xiàng)傳感器技術(shù)完美融合、互為補(bǔ)充的典范。采用這種方法的融合系統(tǒng)所實(shí)現(xiàn)的功能要遠(yuǎn)超這些獨(dú)立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和。使用不同的傳感器種類(lèi)可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯(cuò)誤或故障可能是由自然原因（諸如一團(tuán)濃霧）或是人為現(xiàn)象（例如對(duì)攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致。即使是在一個(gè)傳感器失效的情況下，這樣的傳感器融合系統(tǒng)也可以保持某些基本或緊急的功能。完全借助報(bào)警功能，或者讓駕駛員時(shí)刻做好準(zhǔn)備，從而接管對(duì)車(chē)輛的控制，系統(tǒng)故障也許就不那么嚴(yán)重了。然而，高度和完全自動(dòng)駕駛功能必須提供充足的時(shí)間讓駕駛員重新獲得對(duì)車(chē)輛的控制。在這段駕駛員接管車(chē)輛控制之前的時(shí)間范圍內(nèi)，控制系統(tǒng)需要保持對(duì)車(chē)輛最低限度的控制。

傳感器融合系統(tǒng)示例

傳感器融合的復(fù)雜程度有所不同，并且數(shù)據(jù)的類(lèi)型也不一樣。兩個(gè)基本的傳感器融合示例是：a）后視攝像頭加上超聲波測(cè)距；b）前方攝像頭加上多模式前置雷達(dá)——參見(jiàn)圖2?，F(xiàn)在，我們可以通過(guò)對(duì)現(xiàn)有系統(tǒng)進(jìn)行輕微更改和/或通過(guò)增加一個(gè)單獨(dú)的傳感器融合控制單元來(lái)對(duì)其進(jìn)行實(shí)現(xiàn)。

圖2：將前方雷達(dá)與前方攝像頭融合在一起，以實(shí)現(xiàn)自適應(yīng)巡航控制加車(chē)道保持輔助，或者將后視攝像頭與超聲波測(cè)距報(bào)警組合在一起來(lái)實(shí)現(xiàn)自動(dòng)泊車(chē)。

?后視攝像頭+超聲波測(cè)距

超聲波泊車(chē)輔助技術(shù)在汽車(chē)市場(chǎng)內(nèi)被廣泛接受，并且已十分成熟；這項(xiàng)技術(shù)在泊車(chē)時(shí)能對(duì)鄰近物體給出聽(tīng)得見(jiàn)或看得見(jiàn)的報(bào)警。正如之前提到的那樣，到2018年，美國(guó)所有新出廠的車(chē)輛都必須安裝后視攝像頭。將來(lái)自二者的信息結(jié)合在一起，才能實(shí)現(xiàn)先進(jìn)的泊車(chē)輔助功能，而其靠單一系統(tǒng)是無(wú)法實(shí)現(xiàn)的。后視攝像頭使駕駛員能很清楚地看到車(chē)輛后方的情況，而機(jī)器視覺(jué)算法可以探測(cè)物體，以及路肩石和街道上的標(biāo)記。通過(guò)超聲波提供的補(bǔ)充功能，可以準(zhǔn)確確定識(shí)別物體的距離，并且在低光照或完全黑暗的情況下，也能確?；镜慕咏鼒?bào)警。

?前視攝像頭+多模前置雷達(dá)

另一種強(qiáng)大的組合是將前視攝像頭的功能與前置雷達(dá)組合在一起。前置雷達(dá)能夠在任何天氣條件下測(cè)量高達(dá)150米的物體的速度和距離。攝像頭在探測(cè)和區(qū)分物體方面（包括讀取街道指示牌和路標(biāo)）十分出色。通過(guò)使用具有不同視場(chǎng)角（FoV）和不同光學(xué)元件的多個(gè)攝像頭傳感器，系統(tǒng)可以識(shí)別車(chē)前通過(guò)的行人和自行車(chē)，以及150米甚至更遠(yuǎn)范圍內(nèi)的物體，同時(shí)，其還可以可靠實(shí)現(xiàn)自動(dòng)緊急制動(dòng)和城市啟停巡航控制等功能。

許多情況下，在特定的已知外部條件下，僅通過(guò)一種傳感器或單個(gè)系統(tǒng)，就能夠執(zhí)行ADAS功能。然而，考慮到路面上有很多不可預(yù)計(jì)的情況，這還不足實(shí)現(xiàn)可靠運(yùn)行。傳感器融合除了能實(shí)現(xiàn)更復(fù)雜和自主的功能外，還可以在現(xiàn)有功能中實(shí)現(xiàn)更少的誤報(bào)和漏報(bào)。說(shuō)服消費(fèi)者和立法者，使他們相信汽車(chē)可以由“一臺(tái)機(jī)器”自主駕駛，將會(huì)十分關(guān)鍵。

傳感器融合系統(tǒng)分割

與汽車(chē)內(nèi)每個(gè)系統(tǒng)單獨(dú)執(zhí)行各自的報(bào)警或控制功能不同，在一個(gè)融合系統(tǒng)中，最終采取哪種操作是由單個(gè)器件集中決定的。現(xiàn)在的關(guān)鍵問(wèn)題就是在哪里完成數(shù)據(jù)處理，以及如何將傳感器的數(shù)據(jù)發(fā)送到中央電子控制單元（ECU）。當(dāng)對(duì)不是集中在一起而是遍布車(chē)身的多個(gè)傳感器進(jìn)行融合時(shí)，我們就需要專(zhuān)門(mén)考慮傳感器和中央融合ECU之間的連接和電纜。對(duì)于數(shù)據(jù)處理的位置也是如此，因?yàn)樗矔?huì)影響整個(gè)系統(tǒng)的實(shí)現(xiàn)。讓我們來(lái)看一看可能的系統(tǒng)分割中的兩種極端情況。

·集中式處理

集中式處理的極端情況是，所有的數(shù)據(jù)處理和決策制定都是在同一個(gè)位置完成，數(shù)據(jù)是來(lái)自不同傳感器的“原始數(shù)據(jù)”——請(qǐng)見(jiàn)圖3。

圖3：具有“傳統(tǒng)”衛(wèi)星式傳感器模塊的集中處理。

優(yōu)點(diǎn)：

傳感器模塊——傳感器模塊體積小巧，成本低，功耗也低，這是因?yàn)槠渲恍枰獔?zhí)行檢測(cè)和數(shù)據(jù)傳輸任務(wù)。傳感器的安裝位置也很靈活，并且所需安裝空間很小。替換成本低。通常情況下，由于無(wú)需處理或做決策，傳感器模塊具有較低的功能安全要求。

處理ECU——中央處理ECU可以獲取全部數(shù)據(jù)，這是因?yàn)閿?shù)據(jù)不會(huì)因?yàn)閭鞲衅髂K內(nèi)的預(yù)處理或壓縮而丟失。由于傳感器成本較低，并且外形尺寸較小，因此可以部署更多的傳感器。

缺點(diǎn)：

傳感器模塊——實(shí)時(shí)處理傳感器數(shù)據(jù)需要提供寬帶通信（高達(dá)數(shù)Gb/s），因此可能出現(xiàn)較高電磁干擾（EMI）。

處理ECU——中央ECU需要有高處理能力和速度來(lái)處理所有輸入數(shù)據(jù)。對(duì)于很多高帶寬I/O和高端應(yīng)用處理器來(lái)說(shuō)，這意味著更高的電能需求和更大的散熱量。傳感器數(shù)量增加將大幅增加對(duì)中央ECU性能的需要。通過(guò)使用FPD-LinkIII等接口，在一根同軸電纜上傳送傳感器及功耗、控制和配置等多種數(shù)據(jù)（雙向反向通道），有些缺點(diǎn)可以被克服。這樣便可極大降低系統(tǒng)的接線要求。

·全分布式系統(tǒng)

另一種截然不同的極端情況是全分布式系統(tǒng)。這種情況是由本地傳感器模塊進(jìn)行高級(jí)數(shù)據(jù)處理，并在一定程度上進(jìn)行決策制定的。全分布式系統(tǒng)只將對(duì)象數(shù)據(jù)或元數(shù)據(jù)（描述對(duì)象特征和/或識(shí)別對(duì)象的數(shù)據(jù)）發(fā)回到中央融合ECU。ECU將數(shù)據(jù)組合在一起，并最終決定如何執(zhí)行或做出反應(yīng)——請(qǐng)見(jiàn)圖4。

圖4：傳感器數(shù)據(jù)由傳感器模塊處理、決策由中央ECU制定的分布式系統(tǒng)。

全分布式系統(tǒng)既有優(yōu)點(diǎn)又有缺點(diǎn)。

優(yōu)點(diǎn)：

傳感器模塊——傳感器模塊與中央ECU之間可以使用更低帶寬、更加簡(jiǎn)單且更加便宜的接口。在很多情況下，小于1Mb/s的CAN總線就足夠用了。

處理ECU——中央ECU只將對(duì)象數(shù)據(jù)融合在一起，因此其所需處理能力更低。對(duì)于某些系統(tǒng)來(lái)說(shuō)，用一個(gè)高級(jí)的安全微控制器就足夠了。模塊更小，所需功耗也就更低。由于很多處理都是在傳感器內(nèi)部完成的，傳感器數(shù)量增加不會(huì)大幅增加對(duì)中央ECU的性能需求。

缺點(diǎn)：

傳感器模塊——傳感器模塊需要有應(yīng)用處理器，這樣的話就會(huì)變得體積更大、價(jià)格更高且功耗更大。由于本地處理和決策制定，傳感器模塊的功能安全要求也就更高。當(dāng)然，增加更多的傳感器，成本也會(huì)大幅上升。

處理ECU——中央決策制定ECU只能獲取對(duì)象數(shù)據(jù)，而無(wú)法訪問(wèn)實(shí)際的傳感器數(shù)據(jù)。因此，想要“放大”感興趣的區(qū)域很難實(shí)現(xiàn)。

尋找黃金分割

根據(jù)系統(tǒng)中所使用傳感器的數(shù)量與種類(lèi)，以及針對(duì)不同車(chē)型和升級(jí)選項(xiàng)的可擴(kuò)展性要求，將兩個(gè)拓?fù)浠旌显谝黄鹁涂色@得一個(gè)優(yōu)化解決方案。目前很多融合系統(tǒng)使用帶本地處理的傳感器用于雷達(dá)和激光雷達(dá)（LIDAR），使用前置攝像頭用于機(jī)器視覺(jué)。一個(gè)全分布式系統(tǒng)可以使用現(xiàn)有的傳感器模塊與對(duì)象數(shù)據(jù)融合ECU組合在一起。諸如環(huán)視和后視攝像頭的系統(tǒng)中的“傳統(tǒng)”傳感器模塊可以讓駕駛員看到周?chē)沫h(huán)境情況——請(qǐng)見(jiàn)圖5?？梢詫⒏嗟腁DAS功能集成進(jìn)駕駛員監(jiān)測(cè)或攝像頭監(jiān)控系統(tǒng)等融合系統(tǒng)中，但是傳感器融合的原理還是一樣。

圖5：尋找分布式和集中式處理的完美結(jié)合

平臺(tái)管理、目標(biāo)汽車(chē)細(xì)分、靈活性和可擴(kuò)展性是重要的經(jīng)濟(jì)因素；這些因素也在分割和設(shè)計(jì)融合系統(tǒng)時(shí)發(fā)揮著重要作用。對(duì)于任一特定情況，所得系統(tǒng)也許不是最佳設(shè)計(jì)方案，但是從平臺(tái)和車(chē)隊(duì)的角度看，它卻可能是最佳方案。

誰(shuí)是所有這些傳感器數(shù)據(jù)的“觀看者”？

關(guān)于ADAS，我們還有兩個(gè)方面沒(méi)有討論到：信息ADAS對(duì)功能ADAS。前者就是當(dāng)駕駛員仍然對(duì)汽車(chē)完全掌控時(shí)，擴(kuò)大和延伸駕駛員的感官范圍（例如環(huán)視和夜視）。第二個(gè)是機(jī)器視覺(jué)，它使汽車(chē)能夠感知周?chē)h(huán)境，并做出自我決策以及執(zhí)行（自動(dòng)緊急制動(dòng)、車(chē)道保持輔助）。傳感器融合自然而然地將這兩個(gè)世界合而為一。

正因如此，我們才有可能將同一傳感器應(yīng)用于不同用途，不過(guò)這么做的代價(jià)就是在選擇最佳模塊間通信和處理位置方面受到了限制。以環(huán)視為例，這項(xiàng)功能最初的設(shè)計(jì)目的是，通過(guò)將視頻傳入到中央顯示屏上，為駕駛員提供360度視場(chǎng)角。為什么不使用同樣的攝像頭，并將機(jī)器視覺(jué)應(yīng)用到其上呢？后視攝像頭可用于實(shí)現(xiàn)倒車(chē)保護(hù)或自動(dòng)停車(chē)，而側(cè)視攝像頭可用于實(shí)現(xiàn)盲點(diǎn)檢測(cè)/報(bào)警，也包括自動(dòng)泊車(chē)。

單獨(dú)使用的機(jī)器視覺(jué)在傳感器模塊內(nèi)進(jìn)行本地處理，然后通過(guò)CAN總線等簡(jiǎn)單的低帶寬連接將對(duì)象數(shù)據(jù)甚至是命令傳送出去。然而，這種連接不足以傳送完整的視頻流。視頻壓縮當(dāng)然可以降低所需帶寬，但是還不足以將所需帶寬降到百兆位范圍內(nèi)，并且它本身也存在一些問(wèn)題。隨著高動(dòng)態(tài)范圍（HDR）分辨率、幀速率和曝光數(shù)增加，這變得更加困難。高帶寬連接和攝像頭模塊不參與數(shù)據(jù)處理解決了視頻的問(wèn)題，但是現(xiàn)在需要將處理添加到中央ECU，以便在其中運(yùn)行機(jī)器視覺(jué)。缺少中央處理能力或散熱控制會(huì)成為這種解決方案的瓶頸。

雖然在傳感器模塊中進(jìn)行處理并同時(shí)使用高帶寬通信在技術(shù)上并不是不可實(shí)現(xiàn)，但從總體系統(tǒng)成本、功耗和安裝空間角度來(lái)講并不十分有利。

傳感器融合配置的可靠運(yùn)行

由于很多融合系統(tǒng)能夠在沒(méi)有駕駛員的情況下執(zhí)行特定汽車(chē)功能（例如轉(zhuǎn)向、制動(dòng)和加速）的自主控制，我們需要對(duì)功能安全進(jìn)行認(rèn)真考慮，以確保在不同條件下和汽車(chē)的使用壽命內(nèi)系統(tǒng)能夠安全和可靠運(yùn)行。一旦做出決策，并隨后采取自主操作，那么對(duì)于功能安全的要求將會(huì)大幅提升。

若采用分布式的方法，每個(gè)處理關(guān)鍵數(shù)據(jù)或制定決策的模塊必須符合那些增加的標(biāo)準(zhǔn)。與只搜集和發(fā)送傳感器信息的模塊相比，這會(huì)增加物料清單（BOM）成本、尺寸、功耗和軟件。在安裝空間不足的環(huán)境中，器件很難冷卻，并且其損壞的風(fēng)險(xiǎn)和所需的更換也很高（一次簡(jiǎn)單的小事故有可能需要更換保險(xiǎn)杠和所有相連的傳感器），這可能抵消具有多個(gè)傳感器模塊的分布式系統(tǒng)的優(yōu)勢(shì)。

如果采用“傳統(tǒng)”傳感器模塊，則需進(jìn)行自檢和故障報(bào)告，以實(shí)現(xiàn)整個(gè)系統(tǒng)的安全運(yùn)轉(zhuǎn)，但是其還未達(dá)到智能傳感器模塊的程度。

雖然純粹的駕駛員信息系統(tǒng)可以在它們的功能受到損害時(shí)關(guān)閉并將其通報(bào)給駕駛員，但是高度自主駕駛功能就沒(méi)有那么自由了。想象一下一輛汽車(chē)正在執(zhí)行緊急制動(dòng)操作，然后又突然解除并松開(kāi)制動(dòng)器的情況?；蛘哒f(shuō)，汽車(chē)在公路上行駛時(shí)，整個(gè)系統(tǒng)關(guān)閉，而此時(shí)駕駛員正在汽車(chē)“全自動(dòng)駕駛”狀態(tài)下呼呼大睡（未來(lái)可能的一個(gè)場(chǎng)景）。在駕駛員能夠安全控制車(chē)輛之前，系統(tǒng)需要繼續(xù)保持工作一段時(shí)間，而這至少需要有幾秒到半分鐘。系統(tǒng)必須運(yùn)行到何種程度，以及如何確保在故障情況下運(yùn)轉(zhuǎn)，這些問(wèn)題在業(yè)內(nèi)似乎還未達(dá)成明確共識(shí)。具有自動(dòng)駕駛功能的飛機(jī)通常情況下使用冗余系統(tǒng)。雖然我們一般情況下認(rèn)為它們是安全的，不過(guò)它們?cè)靸r(jià)昂貴并且占用大量空間。

傳感器融合將會(huì)是邁向自動(dòng)駕駛及享受旅途時(shí)光和駕駛樂(lè)趣的關(guān)鍵一步。

多傳感信息融合算法

智能汽車(chē)的顯著特點(diǎn)在于智能，意思就是說(shuō)汽車(chē)自己能通過(guò)車(chē)載傳感系統(tǒng)感知道路環(huán)境，自動(dòng)規(guī)劃行車(chē)路線并控制車(chē)輛到達(dá)預(yù)定目標(biāo)。目前而言，車(chē)載感知模塊包括視覺(jué)感知模塊、毫米波雷達(dá)、超聲波雷達(dá)、360°環(huán)視系統(tǒng)等，多源傳感器的協(xié)同作用識(shí)別道路車(chē)道線、行人車(chē)輛等障礙物，為安全駕駛保駕護(hù)航。因此，感知信息也需要融合，感知信息也需要相互補(bǔ)充。

這里引出一個(gè)重要的概念：多傳感器信息融合（informationfusion）。各種不同的傳感器，對(duì)應(yīng)不同的工況環(huán)境和感知目標(biāo)。比方說(shuō)，毫米波雷達(dá)主要識(shí)別前向中遠(yuǎn)距離障礙物（0.5米-150米），如路面車(chē)輛、行人、路障等。超聲波雷達(dá)主要識(shí)別車(chē)身近距離障礙物（0.2米-5米），如泊車(chē)過(guò)程中的路沿、靜止的前后車(chē)輛、過(guò)往的行人等信息。兩者協(xié)同作用，互補(bǔ)不足，通過(guò)測(cè)量障礙物角度、距離、速度等數(shù)據(jù)融合，刻畫(huà)車(chē)身周邊環(huán)境和可達(dá)空間范圍。

圖6：智能汽車(chē)感知模塊

信息融合起初叫做數(shù)據(jù)融合（datafusion），起源于1973年美國(guó)國(guó)防部資助開(kāi)發(fā)的聲納信號(hào)處理系統(tǒng)，在20世紀(jì)90年代，隨著信息技術(shù)的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來(lái)，多傳感器數(shù)據(jù)融合MSDF(Multi-sensorDataFusion）技術(shù)也應(yīng)運(yùn)而生。

數(shù)據(jù)融合主要優(yōu)勢(shì)在于：充分利用不同時(shí)間與空間的多傳感器數(shù)據(jù)資源，采用計(jì)算機(jī)技術(shù)按時(shí)間序列獲得多傳感器的觀測(cè)數(shù)據(jù)，在一定準(zhǔn)則下進(jìn)行分析、綜合、支配和使用。獲得對(duì)被測(cè)對(duì)象的一致性解釋與描述，進(jìn)而實(shí)現(xiàn)相應(yīng)的決策和估計(jì)，使系統(tǒng)獲得比它各組成部分更為充分的信息。

一般地，多源傳感器數(shù)據(jù)融合處理過(guò)程包括六個(gè)步驟，如下圖所示。首先是多源傳感系統(tǒng)搭建與定標(biāo)，進(jìn)而采集數(shù)據(jù)并進(jìn)行數(shù)字信號(hào)轉(zhuǎn)換，再進(jìn)行數(shù)據(jù)預(yù)處理和特征提取，接著是融合算法的計(jì)算分析，最后輸出穩(wěn)定的、更為充分的、一致性的目標(biāo)特征信息。

圖7：多源數(shù)據(jù)融合過(guò)程

利用多個(gè)傳感器所獲取的關(guān)于對(duì)象和環(huán)境全面、完整信息，主要體現(xiàn)在融合算法上。因此，多傳感器系統(tǒng)的核心問(wèn)題是選擇合適的融合算法。對(duì)于多傳感器系統(tǒng)來(lái)說(shuō)，信息具有多樣性和復(fù)雜性，因此，對(duì)信息融合方法的基本要求是具有魯棒性和并行處理能力,以及方法的運(yùn)算速度和精度。以下簡(jiǎn)要介紹三種種常用的數(shù)據(jù)融合算法，包括貝葉斯統(tǒng)計(jì)理論，神經(jīng)網(wǎng)絡(luò)技術(shù)，以及卡爾曼濾波方法。

貝葉斯統(tǒng)計(jì)理論

圖8：文氏圖

英國(guó)數(shù)學(xué)家托馬斯·貝葉斯（ThomasBayes）在1763年發(fā)表的一篇論文中，首先提出了這個(gè)定理。貝葉斯統(tǒng)計(jì)理論是一種統(tǒng)計(jì)學(xué)方法，用來(lái)估計(jì)統(tǒng)計(jì)量的某種特性，是關(guān)于隨機(jī)事件A和B的條件概率的一則定理。所謂"條件概率"（Conditionalprobability），就是指在事件B發(fā)生的情況下，事件A發(fā)生的概率，用P(A|B)來(lái)表示。根據(jù)上述文氏圖，容易推導(dǎo)得到：P(A∩B)=P(A|B)*P(B)=P(B|A)*P(A)，由此可以推導(dǎo)出條件概率的公式，其中我們把P(A)稱(chēng)為先驗(yàn)概率(Priorprobability)，即在事件B發(fā)生之前，我們對(duì)事件A發(fā)生概率有一個(gè)認(rèn)識(shí)。

舉個(gè)簡(jiǎn)單的例子，視覺(jué)感知模塊中圖像檢測(cè)識(shí)別交通限速標(biāo)志（TrafficSignRecognition,TSR）是智能駕駛的重要一環(huán)。TSR識(shí)別過(guò)程中，交通限速標(biāo)志牌被樹(shù)木，燈桿等遮擋是影響識(shí)別的主要干擾。那么我們關(guān)心的，是交通限速標(biāo)志被遮擋的情況下，檢出率有多少呢？這里我們定義事件A為交通信號(hào)標(biāo)志正確識(shí)別，事件為交通信號(hào)標(biāo)志未能識(shí)別；B為限速標(biāo)志被遮擋，事件為限速標(biāo)志未被遮擋。

圖9：被遮擋的交通限速標(biāo)志

根據(jù)現(xiàn)有算法，可以統(tǒng)計(jì)出事件A正確識(shí)別交通限速標(biāo)志的概率，此處事件A的概率稱(chēng)為先驗(yàn)概率。通過(guò)查看視覺(jué)感知模塊的檢測(cè)視頻錄像，我們可以統(tǒng)計(jì)檢測(cè)出來(lái)的交通限速標(biāo)志中有多少被遮擋，有多少是沒(méi)被遮擋的，還可以統(tǒng)計(jì)漏檢的交通限速標(biāo)志中，有多少是被遮擋的，有多少是沒(méi)被遮擋的。因此，我們可以得到下面值：

由此，可以推算出被遮擋的情況下，正確識(shí)別限速標(biāo)志的概率：

那么，也有人可能會(huì)問(wèn)，如果限速標(biāo)志沒(méi)有被遮擋，識(shí)別率有多高呢？同理，我們這里也可以一并計(jì)算：

從以上計(jì)算我們可以看到，限速標(biāo)志未被遮擋完全暴露出來(lái)，識(shí)別率是相當(dāng)高的，但如果限速標(biāo)記牌被阻擋住，識(shí)別率是比未遮擋的低很多。這兩個(gè)指標(biāo)的融合使用，可以用于作為評(píng)價(jià)目前圖像處理算法識(shí)別限速標(biāo)志性能的重要參考。當(dāng)然，實(shí)際的融合過(guò)程比這復(fù)雜得多，小鵬汽車(chē)工程師們正努力不斷優(yōu)化，提高各種工況下的識(shí)別率，提供更為舒適的智能駕駛輔助。

神經(jīng)網(wǎng)絡(luò)理論

圖10：神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）是機(jī)器學(xué)習(xí)（MachineLearning，ML）的其中一種方式，是人工智能、認(rèn)知科學(xué)、神經(jīng)生理學(xué)、非線性動(dòng)力學(xué)、信息科學(xué)、和數(shù)理科學(xué)的“熱點(diǎn)”。

ANN的發(fā)展經(jīng)歷了三個(gè)階段

第一個(gè)階段是起步階段，從20世紀(jì)40年代開(kāi)始逐漸形成了一個(gè)新興的邊緣性交叉學(xué)科。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作，融匯了生物物理學(xué)和數(shù)學(xué)，提出了第一個(gè)神經(jīng)計(jì)算模型:MP模型。1949年,心理學(xué)家Hebb通過(guò)對(duì)大腦神經(jīng)細(xì)胞、學(xué)習(xí)和條件反射的觀察與研究,提出了改變神經(jīng)元連接強(qiáng)度的、至今仍有重要意義的Hebb規(guī)則。

第二階段是發(fā)展階段，1957年，Rosenblatt發(fā)展了MP模型,提出了感知器模型：PerceptionModel，給出了兩層感知器的收斂定理，并提出了引入隱層處理元件的三層感知器這一重要的研究方向。1960年，Widrow提出自適應(yīng)線性元件模型：Ada-linemodel以及一種有效的網(wǎng)絡(luò)學(xué)習(xí)方法：Widrow-Hoff學(xué)習(xí)規(guī)則。

第三階段是成熟階段，1982年美國(guó)加州工學(xué)院的物理學(xué)家Hopfield提出了一個(gè)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑——Hopfield網(wǎng)絡(luò),使得神經(jīng)網(wǎng)絡(luò)的研究有了突破性進(jìn)展。1984年在Hopfield的一篇論文中，指出Hopfield網(wǎng)絡(luò)可以用集成電路實(shí)現(xiàn)，很容易被工程技術(shù)人員和計(jì)算機(jī)科技工作者理解，引起工程技術(shù)界的普遍關(guān)注。

上世紀(jì)八十年代后期，神經(jīng)網(wǎng)絡(luò)的光芒被計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)掩蓋了，但這幾年計(jì)算機(jī)技術(shù)的發(fā)展，恰恰給神經(jīng)網(wǎng)絡(luò)更大的機(jī)會(huì)。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多，就越深，所謂深度學(xué)習(xí)（DeepLearning）就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達(dá)到機(jī)器學(xué)習(xí)的功能。辛頓是深度學(xué)習(xí)的提出者，2006年，基于深度置信網(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。目前，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)技術(shù)廣泛用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理識(shí)別上。

關(guān)于神經(jīng)網(wǎng)絡(luò)的研究包含眾多學(xué)科領(lǐng)域，涉及數(shù)學(xué)、計(jì)算機(jī)、人工智能、微電子學(xué)、自動(dòng)化、生物學(xué)、生理學(xué)、解剖學(xué)、認(rèn)知科學(xué)等學(xué)科，這些領(lǐng)域彼此結(jié)合、滲透，相互推動(dòng)神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的發(fā)展。

圖11：一個(gè)人工神經(jīng)細(xì)胞

接著，簡(jiǎn)單介紹下神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。生物的大腦是由許多神經(jīng)細(xì)胞組成，同樣，模擬大腦的人工神經(jīng)網(wǎng)絡(luò)ANN是由許多叫做人工神經(jīng)細(xì)胞（Artificialneuron，也稱(chēng)人工神經(jīng)原，或人工神經(jīng)元）的細(xì)小結(jié)構(gòu)模塊組成。人工神經(jīng)細(xì)胞就像真實(shí)神經(jīng)細(xì)胞的一個(gè)簡(jiǎn)化版，如圖所示，左邊幾個(gè)藍(lán)色圓中所標(biāo)字母w代表浮點(diǎn)數(shù)，稱(chēng)為權(quán)重（weight，或權(quán)值，權(quán)數(shù)）。進(jìn)入人工神經(jīng)細(xì)胞的每一個(gè)input(輸入)都與一個(gè)權(quán)重w相聯(lián)系，正是這些權(quán)重將決定神經(jīng)網(wǎng)絡(luò)的整體活躍性。你現(xiàn)在暫時(shí)可以設(shè)想所有這些權(quán)重都被設(shè)置到了-１和１之間的一個(gè)隨機(jī)小數(shù)。因?yàn)闄?quán)重可正可負(fù)，故能對(duì)與它關(guān)聯(lián)的輸入施加不同的影響，如果權(quán)重為正，就會(huì)有激發(fā)（excitory）作用，權(quán)重為負(fù)，則會(huì)有抑制（inhibitory）作用。當(dāng)輸入信號(hào)進(jìn)入神經(jīng)細(xì)胞時(shí)，它們的值將與它們對(duì)應(yīng)的權(quán)重相乘，作為圖中大圓的輸入。大圓的‘核’是一個(gè)函數(shù)，叫激勵(lì)函數(shù)(activationfunction)，它把所有這些新的、經(jīng)過(guò)權(quán)重調(diào)整后的輸入全部加起來(lái)，形成單個(gè)的激勵(lì)值(activationvalue)。激勵(lì)值也是一浮點(diǎn)數(shù)，且同樣可正可負(fù)。然后，再根據(jù)激勵(lì)值來(lái)產(chǎn)生函數(shù)的輸出也即神經(jīng)細(xì)胞的輸出：如果激勵(lì)值超過(guò)某個(gè)閥值（作為例子我們假設(shè)閥值為1.0），就會(huì)產(chǎn)生一個(gè)值為1的信號(hào)輸出；如果激勵(lì)值小于閥值1.0，則輸出一個(gè)0。這是人工神經(jīng)細(xì)胞激勵(lì)函數(shù)的一種最簡(jiǎn)單的類(lèi)型。

圖12：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

大腦里的生物神經(jīng)細(xì)胞和其他的神經(jīng)細(xì)胞是相互連接在一起的。為了創(chuàng)建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)細(xì)胞也要以同樣方式相互連接在一起。為此可以有許多不同的連接方式，其中最容易理解并且也是最廣泛地使用的，就是如圖所示那樣，把神經(jīng)細(xì)胞一層一層地連結(jié)在一起。這一種類(lèi)型的神經(jīng)網(wǎng)絡(luò)就叫前饋網(wǎng)絡(luò)（feedforwardnetwork）。這一名稱(chēng)的由來(lái)，就是因?yàn)榫W(wǎng)絡(luò)的每一層神經(jīng)細(xì)胞的輸出都向前饋送（feed）到了它們的下一層（在圖中是畫(huà)在它的上面的那一層)，直到獲得整個(gè)網(wǎng)絡(luò)的輸出為止。

神經(jīng)細(xì)胞通過(guò)輸入層、隱含層和輸出層的鏈接，形成一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，通過(guò)有效的學(xué)習(xí)訓(xùn)練，使輸出層的結(jié)果與現(xiàn)實(shí)越來(lái)越靠近，誤差越來(lái)越小，當(dāng)其精度滿足一定的功能需求時(shí)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練完畢，此刻構(gòu)建的神經(jīng)網(wǎng)絡(luò)系統(tǒng)即能為我們解決眾多機(jī)器學(xué)習(xí)上的圖像識(shí)別、語(yǔ)音識(shí)別、文字識(shí)別上的問(wèn)題。

在智能駕駛目前的發(fā)展歷程上看，人工神經(jīng)網(wǎng)絡(luò)技術(shù)，乃至現(xiàn)在最新的深度學(xué)習(xí)技術(shù)，廣泛用于視覺(jué)感知模塊的車(chē)輛識(shí)別、車(chē)道線識(shí)別、交通標(biāo)志識(shí)別上。通過(guò)對(duì)中國(guó)路況工況的數(shù)據(jù)采集和處理，廣泛獲取國(guó)內(nèi)不同天氣狀況（雨天、雪天、晴天等），不同路況（城市道路、鄉(xiāng)村道路、高速公路等）的真實(shí)的環(huán)境數(shù)據(jù)，為深度學(xué)習(xí)提供了可靠的數(shù)據(jù)基礎(chǔ)。此處神經(jīng)網(wǎng)絡(luò)的輸入層數(shù)據(jù)，也即是傳感器獲取的數(shù)據(jù)，是多源多向的，可以是前擋風(fēng)玻璃片上視覺(jué)感知模塊的障礙物位置、形狀、顏色等信息，也可以是毫米波雷達(dá)、超聲波雷達(dá)檢測(cè)的障礙物距離、角度、速度、加速度等信息，還可以是360°環(huán)視系統(tǒng)上采集的車(chē)位數(shù)據(jù)、地面減速帶數(shù)據(jù)。

卡爾曼濾波

卡爾曼濾波（Kalmanfiltering）一種利用線性系統(tǒng)狀態(tài)方程，通過(guò)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法。簡(jiǎn)單來(lái)說(shuō)，卡爾曼濾波器是一個(gè)“optimalrecursivedataprocessingalgorithm（最優(yōu)化自回歸數(shù)據(jù)處理算法）”。對(duì)于解決很大部分的問(wèn)題，它是最優(yōu)，效率最高甚至是最有用的。Kalman濾波在測(cè)量方差已知的情況下能夠從一系列存在測(cè)量噪聲的數(shù)據(jù)中，估計(jì)動(dòng)態(tài)系統(tǒng)的狀態(tài)。由于，它便于計(jì)算機(jī)編程實(shí)現(xiàn)，并能夠?qū)ΜF(xiàn)場(chǎng)采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)的更新和處理，Kalman濾波是目前應(yīng)用最為廣泛的濾波方法，在通信、導(dǎo)航、制導(dǎo)與控制等多領(lǐng)域得到了較好的應(yīng)用。

卡爾曼濾波是多源傳感數(shù)據(jù)融合應(yīng)用的重要手段之一，為了扼要地介紹卡爾曼濾波的原理，此處形象地用毫米波雷達(dá)與視覺(jué)感知模塊融合目標(biāo)位置的過(guò)程描述。舉一個(gè)簡(jiǎn)單的例子，目前高級(jí)輔助駕駛系統(tǒng)（AdvancedDriverAssistanceSystem，ADAS）上，搭載有毫米波雷達(dá)和超聲波雷達(dá)模塊，兩者均能對(duì)障礙物車(chē)輛進(jìn)行有效的位置估計(jì)判別。雷達(dá)利用主動(dòng)傳感原理，發(fā)射毫米波，接收障礙物回波，根據(jù)波傳播時(shí)間計(jì)算角度距離。兩者均能識(shí)別出車(chē)輛位置，那么我們?cè)撊绾稳诤闲畔?，如何取舍，?jì)算出具體的車(chē)輛位置呢？卡爾曼正是解決這個(gè)問(wèn)題的方法之一。我們獲取的車(chē)輛位置在任何時(shí)刻都是有噪聲的，卡爾曼濾波利用目標(biāo)的動(dòng)態(tài)信息，設(shè)法去掉噪聲的影響，得到一個(gè)關(guān)于目標(biāo)位置的好的估計(jì)。這個(gè)估計(jì)可以是對(duì)當(dāng)前目標(biāo)位置的估計(jì)(濾波)，也可以是對(duì)于將來(lái)位置的估計(jì)(預(yù)測(cè))，還可以是對(duì)過(guò)去位置的估計(jì)(插值或平滑)?？柭鼮V波就是這樣一個(gè)根據(jù)當(dāng)前時(shí)刻目標(biāo)的檢測(cè)狀態(tài)，預(yù)測(cè)估計(jì)目標(biāo)下一時(shí)刻目標(biāo)檢測(cè)狀態(tài)的一個(gè)動(dòng)態(tài)迭代循環(huán)過(guò)程。

高級(jí)輔助駕駛系統(tǒng)ADAS是目前智能汽車(chē)發(fā)展的重要方向，其手段是通過(guò)多源傳感器信息融合，為用戶打造穩(wěn)定、舒適、可靠可依賴的輔助駕駛功能，如車(chē)道保持系統(tǒng)（LaneKeepingAssist，LKA），前碰預(yù)警（ForwardCollisionWarning，F(xiàn)CW），行人碰撞警告（PedestrianCollisionWarning，PCW），交通標(biāo)記識(shí)別（TrafficSignRecognition，TSR），車(chē)距監(jiān)測(cè)報(bào)告（HeadMonitoringandWarning，HMW）等。多源信息的融合，目的在于數(shù)據(jù)信息的冗余為數(shù)據(jù)信息的可靠分析提供依據(jù)，從而提高準(zhǔn)確率，降低虛警率和漏檢率，實(shí)現(xiàn)輔助駕駛系統(tǒng)的自檢和自學(xué)習(xí)，最終實(shí)現(xiàn)智能駕駛、安全駕駛的最終目標(biāo)。