自動(dòng)駕駛技術(shù)涉及的環(huán)境感知傳感器主要包括視覺(jué)類(lèi)攝像機(jī)（包括單目、雙目立體視覺(jué)、全景視覺(jué)及紅外相機(jī)）和雷達(dá)類(lèi)測(cè)距傳感器（激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等），如圖1所示。這些傳感器目前都可以找到開(kāi)源的SDK快速開(kāi)發(fā)。小可根據(jù)這幾年的開(kāi)發(fā)經(jīng)驗(yàn)，特此整理了目前常用傳感器的一些API，方便初學(xué)者節(jié)省開(kāi)發(fā)時(shí)間。

當(dāng)然，對(duì)于可以根據(jù)需求自主定制傳感器的土豪公司而言，本篇顯得多余，請(qǐng)繞行。本篇主要適用于自動(dòng)駕駛初級(jí)開(kāi)發(fā)者，主要面向高校和科研院所的研究人員，以性能為主，較少考慮成本問(wèn)題。筆者主要基于Linux系統(tǒng)進(jìn)行開(kāi)發(fā)，所介紹的API均以Ubuntu14.04及以上版本為準(zhǔn)（4月份要出Ubuntu18.04了，2年一個(gè)穩(wěn)定版本，值得期待）。

圖1自動(dòng)駕駛主流傳感器

單目攝像機(jī)

首推AVT工業(yè)相機(jī)，國(guó)內(nèi)代理商較多，比如大恒。包含的相機(jī)種類(lèi)較為齊全，接口包括1394火線接口、網(wǎng)口接口等，價(jià)格從幾千元到幾萬(wàn)元不等。SDK可以在官網(wǎng)（https://www.alliedvision.com/cn.html）上找到，推薦使用最新的Vimba_v2.0開(kāi)發(fā)套件，安裝過(guò)程較為簡(jiǎn)單，且SDK中包含QT、OpenCV在內(nèi)的多個(gè)開(kāi)發(fā)示例，上手較快。

應(yīng)用：?jiǎn)文肯鄼C(jī)的應(yīng)用開(kāi)發(fā)主要包括特征類(lèi)符號(hào)的檢測(cè)與識(shí)別，如車(chē)道線檢測(cè)、交通標(biāo)志識(shí)別、交通燈識(shí)別、行人和車(chē)輛檢測(cè)等，基于機(jī)器學(xué)習(xí)的視覺(jué)計(jì)算在自動(dòng)駕駛普及之日一定會(huì)是必不可少的部分，盡管目前來(lái)說(shuō)視覺(jué)檢測(cè)可靠性并不是很高，在以激光雷達(dá)為主要感知手段的自動(dòng)駕駛車(chē)輛中應(yīng)用并未達(dá)到預(yù)期。

圖2路面及車(chē)輛識(shí)別

雙目攝像機(jī)

應(yīng)用于室外場(chǎng)景的雙目視覺(jué)確實(shí)不多見(jiàn)，筆者之前用過(guò)的bumblebee雙目也是應(yīng)用于室內(nèi)場(chǎng)景，之后接觸了ZED相機(jī)也是室內(nèi)比較好用（畢竟基線長(zhǎng)度固定了，就那么短?。?。建議用于室外做視覺(jué)里程計(jì)或者識(shí)別類(lèi)算法的，自行搭建雙目傳感器，在保證同步觸發(fā)的情況下，根據(jù)具體需求確定基線長(zhǎng)度。雙目視覺(jué)繞不開(kāi)視差圖和雙目標(biāo)定，目前比較通用的雙目標(biāo)定做法是采用張正友法，利用CameraCalibrationToolbox進(jìn)行標(biāo)定（網(wǎng)址：http://www.vision.caltech.edu/bouguetj/calib_doc/），當(dāng)然，openCV中也集成了該方法，習(xí)慣C編程的可以看下，OpenCV經(jīng)典教材《學(xué)習(xí)OpenCV》中文版464頁(yè)至492頁(yè)有詳細(xì)內(nèi)容，更有代碼，不多說(shuō)。

圖3雙目立體視覺(jué)標(biāo)定

應(yīng)用：障礙物檢測(cè)可以，限于室內(nèi)，結(jié)構(gòu)光，近距離；視覺(jué)里程計(jì)確實(shí)是目前比較好的應(yīng)用領(lǐng)域，用于路口定位等，各種開(kāi)源SLAM技術(shù)中也都有應(yīng)用，如ORBSLAM2（https://github.com/raulmur/ORB_SLAM2），《視覺(jué)SLAM十四講》有詳細(xì)介紹和應(yīng)用，好書(shū)，推薦一下。

全景相機(jī)

分為單鏡頭全景相機(jī)和多鏡頭拼接全景相機(jī)。筆者基于全景視覺(jué)的開(kāi)發(fā)應(yīng)用不多（當(dāng)多目鏡頭使用，未完全發(fā)揮其全景優(yōu)勢(shì)），2015年騰訊做街景地圖的時(shí)候貌似見(jiàn)過(guò)他們車(chē)上裝著一個(gè)。

應(yīng)用：比較推薦用全景相機(jī)做視覺(jué)里程計(jì)，視野范圍大，特征點(diǎn)關(guān)聯(lián)度高，個(gè)人始終覺(jué)得用全景視覺(jué)配合組合導(dǎo)航做高精度地圖重建是個(gè)不錯(cuò)的選擇，實(shí)現(xiàn)自動(dòng)駕駛汽車(chē)車(chē)道級(jí)別定位，其他的沒(méi)有深入研究。

紅外相機(jī)

紅外相機(jī)應(yīng)該屬于視覺(jué)的另外一個(gè)門(mén)類(lèi)，夜視效果比白晝效果好，可應(yīng)用于行人、車(chē)輛檢測(cè)等。以前覺(jué)得在激光雷達(dá)出現(xiàn)以后，紅外相機(jī)在自動(dòng)駕駛應(yīng)用中處于一個(gè)比較尷尬的地位，價(jià)格不菲且沒(méi)有激光雷達(dá)結(jié)果來(lái)的直接，使用之后發(fā)現(xiàn)，在障礙物（如人）識(shí)別上，激光離散點(diǎn)云還是比不上空間上連續(xù)的圖像。另外，測(cè)試中驚奇的發(fā)現(xiàn)，紅外相機(jī)具體可以捕捉玻璃上的人影！細(xì)思極恐！紅外相機(jī)在一定程度上可以對(duì)發(fā)熱體進(jìn)行區(qū)分，如路面、行人等，但畢竟需要后處理，沒(méi)有激光雷達(dá)利用絕對(duì)高度或者梯度進(jìn)行障礙物檢測(cè)來(lái)的直接。夜晚?xiàng)l件下可以替代彩色相機(jī)，進(jìn)行前視障礙物檢測(cè)與監(jiān)控。

圖4紅外視覺(jué)成像

毫米波雷達(dá)

適用于高速環(huán)境和編隊(duì)行駛，其他場(chǎng)景貌似沒(méi)有必要安裝。單買(mǎi)貴，批發(fā)便宜。使用過(guò)delphi的一款，應(yīng)該也是國(guó)內(nèi)應(yīng)用的比較多的，距離上最遠(yuǎn)到150米，分為單點(diǎn)跟蹤和多目標(biāo)檢測(cè)兩種工作模式，前者適用于編隊(duì)行駛過(guò)程中前車(chē)檢測(cè)，后者適用于高速環(huán)境下的遠(yuǎn)距離目標(biāo)檢測(cè)。由于毫米波雷達(dá)的成像原理為錐面成像（相當(dāng)于從一點(diǎn)往外發(fā)散成一個(gè)錐面），依據(jù)錐面中障礙物的面積來(lái)推算障礙物，因而對(duì)于復(fù)雜場(chǎng)景，障礙物較為雜亂。而高速公路場(chǎng)景較為理想，道路環(huán)境好，車(chē)輛相對(duì)較少，適用于前方車(chē)輛的提前預(yù)警。（Tesla認(rèn)為視覺(jué)+毫米足夠支撐自動(dòng)駕駛系統(tǒng)，個(gè)人相當(dāng)認(rèn)同，但是貌似算法上還需要推進(jìn)一步）

開(kāi)發(fā)：通過(guò)can收發(fā)數(shù)據(jù)，數(shù)據(jù)格式較為簡(jiǎn)單，一般協(xié)議文件中都有定義，對(duì)can口開(kāi)發(fā)沒(méi)有基礎(chǔ)也不要恐慌，相當(dāng)簡(jiǎn)單，買(mǎi)一個(gè)USBCAN轉(zhuǎn)換器，網(wǎng)址（http://www.pudn.com/Download/item/id/3353963.html）有Ubuntu系統(tǒng)下can接收數(shù)據(jù)的依賴庫(kù)，之后的數(shù)據(jù)解析按照協(xié)議來(lái)即可。

激光雷達(dá)

2018年絕對(duì)會(huì)是激光雷達(dá)井噴式發(fā)展的一年，行業(yè)巨頭Velodyne推出了128線、VLP-32C等嶄新系列，同時(shí)原有型號(hào)也都一定程度上降價(jià)（具體價(jià)格跟國(guó)內(nèi)各大代理咨詢），圖1中那一溜都是Velodyne榮譽(yù)出品的。ROS中有可用的數(shù)據(jù)接口（https://github.com/ros-drivers/velodyne）。Sick單線雷達(dá)個(gè)人感覺(jué)已經(jīng)完成了歷史使命了，畢竟隨著VLP-16的降價(jià)，價(jià)格優(yōu)勢(shì)已經(jīng)沒(méi)有了，估計(jì)供貨周期的優(yōu)勢(shì)也不會(huì)持續(xù)太久（目前Velodyne各個(gè)型號(hào)都存在供貨緊張的情況）。同時(shí)，國(guó)內(nèi)像速騰聚創(chuàng)、北科天繪、禾賽科技也都推出了各自的產(chǎn)品，其中，價(jià)格優(yōu)勢(shì)和供貨優(yōu)勢(shì)絕對(duì)明顯，實(shí)測(cè)效果八個(gè)字：耳聽(tīng)為虛，眼見(jiàn)為實(shí)，建議實(shí)際應(yīng)用一下，不多說(shuō)。

應(yīng)用：障礙物檢測(cè)主流，waymo、百度、各大傳統(tǒng)汽車(chē)廠商、各大創(chuàng)業(yè)公司、各大高校、研究院所……那么多自動(dòng)駕駛汽車(chē)頂上裝著的幾乎都是激光雷達(dá)（Tesla除外）；高精度地圖重建與環(huán)境建模；SLAM等。

圖多雷達(dá)融合