摘 要：本文提出了以雙目立體機(jī)器視覺為主要道路環(huán)境感知手段的汽車智能駕駛系統(tǒng)，并分析了基于機(jī)器視覺的智能駕駛的可行性，指出急待研究的相關(guān)技術(shù)難點(diǎn)。 Abstracts: This paper presents an automobile intelligence steer system’s framework, which takes a 2-CCD machine vision system as the chief measurement of road environment recognition. This paper also analyzes the feasibility of automobile intelligence steer system base on machine vision and points out the key technologic difficulties to be solved. 關(guān)鍵詞：機(jī)器視覺 智能駕駛 立體配對 三維重建 Key Words: Machine Vision, Intelligence Steer, Stereo Matching, 3-Dimision Reconstruction 1、引言 　　隨著社會的發(fā)展和人口的增長，汽車越來越多的進(jìn)入我們的日常生活，交通也日益擁擠。駕駛汽車是一項(xiàng)復(fù)雜的活動，長時間的駕駛很容易使人感到疲勞，從而容易導(dǎo)致交通事故。此外一些工程車輛在作業(yè)時環(huán)境惡劣、勞動強(qiáng)度大，這些車輛的駕駛自動化是非常有必要的。為了使汽車駕駛操作簡單、安全、舒適，把人從繁重枯燥的汽車駕駛中解脫出來，當(dāng)今世界各國都在積極研究開發(fā)自動駕駛技術(shù)。 　　德國、美國和日本等國在汽車自動駕駛領(lǐng)域開展了積極的研究并取得了很大的成績。我國國防科技大學(xué)機(jī)電工程學(xué)院一直在進(jìn)行汽車自動駕駛技術(shù)的研究，其與第一汽車集團(tuán)公司聯(lián)合研制的無人駕駛型“紅旗”CA7460于2003年6月在湖南長沙試車成功，穩(wěn)定行駛時速達(dá)130KM/h（美國最高水平100KM/h、德國120 KM/h），最高時速達(dá)170 KM/h，具備安全超車能力。但他們的系統(tǒng)主要是依靠車載雷達(dá)、紅外測距儀和圖像傳感器來識別測量路面環(huán)境狀況，所得到的路面環(huán)境信息不豐富，不能滿足汽車智能駕駛的要求，所以這些系統(tǒng)都還只能在路況良好的高速公路上應(yīng)用，無法適應(yīng)道路環(huán)境惡劣的低級公路和城市公路。 　　視覺是人類觀察世界、認(rèn)識世界的重要功能手段,人類從外界獲得的信息約有75%來自視覺系統(tǒng),特別是駕駛員駕駛需要的信息90%來自視覺。在目前汽車輔助駕駛所采用的環(huán)境感知手段中，視覺傳感器比超聲、激光雷達(dá)等可獲得更高、更精確、更豐富的道路結(jié)構(gòu)環(huán)境信息[5]。隨著計(jì)算機(jī)技術(shù)的發(fā)展和圖像處理/識別技術(shù)的成熟，機(jī)器視覺技術(shù)獲得長足的發(fā)展，目前廣泛的應(yīng)用在三維測量、三維重建、虛擬現(xiàn)實(shí)、運(yùn)動目標(biāo)檢測和目標(biāo)識別等方面。在汽車的自動駕駛發(fā)面，一個前提性的問題就是路況識別和車輛、障礙物的距離、速度檢測，解決了這個問題才可能去控制汽車的駕駛。而機(jī)器視覺技術(shù)融合三維測量和圖像識別技術(shù)于一身。 　　目前，機(jī)器視覺在智能機(jī)器人領(lǐng)域的研究熱火朝天：Klaus Fleischer等人提出的基于機(jī)器視覺的城外公路基礎(chǔ)設(shè)施固定對象的檢測與跟蹤（Machine-Vision-Based Detection and Tracking of Stationary Infrastructural Objects Beside Inner-city Roads）[3];D. Brzakovie等人提出道路邊緣檢測在移動機(jī)器人導(dǎo)航中應(yīng)用（Road edge detection for mobile robot navigation） [2] ; O.Djekoune等人提出基于神經(jīng)網(wǎng)絡(luò)的視覺引導(dǎo)機(jī)器人導(dǎo)航（Vision-guided mobile robot navigation using neural network ） [4]。這些研究成果對機(jī)器視覺在智能駕駛中應(yīng)用有著重要的啟迪。 　　本文把機(jī)器視覺技術(shù)為主要的路況感知手段應(yīng)用到車輛自動駕駛中去，為實(shí)現(xiàn)車輛智能化駕駛提供一個不同的思考角度。 2、機(jī)器視覺技術(shù) 　　自從MARR視覺計(jì)算理論提出以來，機(jī)器視覺技術(shù)迅速發(fā)展，是目前智能駕駛領(lǐng)域發(fā)展最快的技術(shù)之一，也是智能駕駛領(lǐng)域研究的主要方向之一。 　　2.1機(jī)器視覺基本原理 　　獲取場景中各點(diǎn)相對于攝像機(jī)的距離是立體視覺系統(tǒng)的重要任務(wù)之一，場景中各點(diǎn)相對于攝像機(jī)的距離可以用深度圖（depth map）來表示。機(jī)器視覺系統(tǒng)主要是依靠雙（多）目CCD在不同的空間位置上上獲取兩（多）幅圖像，通過這兩（多）幅圖像的深度信息和成像幾何來生成深度圖[1]（圖1所示）。 　　本文以比較簡單常用的雙目CCD視覺系統(tǒng)為例，它的幾何關(guān)系如圖所示。它由兩個完全相同的CCD攝像機(jī)（攝像頭）構(gòu)成，兩個圖像平面位于同一個平面上，兩個攝像機(jī)（攝像頭）的坐標(biāo)軸相互平行，且x軸重合，攝像機(jī)之間在下x方向上的間距為極限距離B。 [align=center] 圖1 雙目立體視覺幾何模型[/align] 　　在圖中，場景點(diǎn)P在左右圖像平面中的投影點(diǎn)分別為P左和P右，假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合，比較相似三角形PMC[sub]l[/sub]和P[sub]l[/sub]LC[sub]l[/sub]得到： 　　 （1） 　　同理，從相似三角形PNCr和PlRCr，得到： 　　 （2） 　　合并上面兩式： 　　 （3） 　　其中F是焦距。 　　由上面推導(dǎo)可知各種場景中的深度信息可以通過計(jì)算視差來實(shí)現(xiàn)。在機(jī)器視覺系中統(tǒng)要能準(zhǔn)確的計(jì)算視差，一個重要的前提就是能夠找到左右圖像對中投影點(diǎn)的共軛對（場景中同一點(diǎn)在不同的圖像中的投影點(diǎn)稱作共軛對），即立體匹配。匹配的方法主要有邊緣特征匹配、區(qū)域特征匹配和相位匹配三類。立體配對是機(jī)器視覺里面研究的一個重要方向，在這方面有很多有用的研究成果，O.Djekoune等人在[4]文中提出了應(yīng)用神經(jīng)網(wǎng)絡(luò)的方法提高立體像對的匹配速度和準(zhǔn)確度的新算法。 　　2.2 機(jī)器視覺技術(shù)在智能駕駛中應(yīng)用 　　在智能駕駛中應(yīng)用機(jī)器視覺技術(shù),機(jī)器視覺技術(shù)必須具備實(shí)時性、魯棒性、實(shí)用性這三個特點(diǎn)[7]。實(shí)時性要求機(jī)器視覺系統(tǒng)的數(shù)據(jù)處理必須與車輛的高速行駛同步進(jìn)行;魯棒性是要求智能車輛對不同的道路環(huán)境如高速公路、市內(nèi)公路、普通公路等,復(fù)雜的路面環(huán)境如路面的寬度、顏色、紋理、彎道、坡度、坑洼、障礙與車流等,各種天氣晴、陰、雨、雪、霧等均具有良好的適應(yīng)性;實(shí)用性指智能車輛能夠?yàn)槠胀ㄓ脩羲邮躘7]。 　　目前,機(jī)器視覺主要用于路徑的識別與跟蹤[7]。與其它傳感器相比,機(jī)器視覺具有檢測信息量豐富、無接觸測量和能實(shí)現(xiàn)道路環(huán)境三維建模等優(yōu)點(diǎn)，但數(shù)據(jù)處理量極大,存在系統(tǒng)實(shí)時性和穩(wěn)定性問題，要靠開發(fā)高性能的計(jì)算機(jī)硬件，研究新算法來解決。隨著計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的飛速發(fā)展,三維重建道路環(huán)境為車輛高速智能駕駛提供強(qiáng)大的信息,在不遠(yuǎn)的將來具有現(xiàn)實(shí)可行性。 　　機(jī)器視覺的道路識別基本原理為,公路路面的環(huán)境（白色路標(biāo)、邊緣、路面顏色、坑洼、障礙物等）的CCD圖像灰度值和圖像紋理、光流有差異。根據(jù)這種差異,經(jīng)圖像處理后可以獲得需要的路徑圖像信息,如方位偏差、側(cè)向偏差、車輛在道路中的位置等信息。將這些信息與車輛的動力學(xué)方程相結(jié)合,可構(gòu)成車輛控制系統(tǒng)數(shù)學(xué)模型。 3、智能駕駛系統(tǒng)的結(jié)構(gòu)設(shè)計(jì) 　　（1） 機(jī)器視覺系統(tǒng) 　　機(jī)器視覺系統(tǒng)的硬件構(gòu)成：主要由參數(shù)、型號、性能一樣的兩個CCD攝像頭、兩片同樣的視頻采集卡和計(jì)算機(jī)上的視頻處理軟件構(gòu)成。我們利用左右兩路CCD攝像頭攝取的照片對進(jìn)行圖像處理而得到相關(guān)的深度信息，必須保證左右兩路CCD攝像頭信號是同步的，否則攝取的圖片不對應(yīng)，就無法正確的提取相關(guān)深度信息。因此我們左右兩路CCD攝像頭是經(jīng)過同步處理的攝像頭，就是從左路攝像頭的幀同步電路里引出幀同步信號到右路CCD攝像頭的幀同步電路里，從而保證左右兩路的圖像總是同步的。 　　機(jī)器視覺處理軟件系統(tǒng)主要是擔(dān)負(fù)著障礙物檢測識別、交通信號檢測識別、交通圖案識別檢測、公路邊緣識別檢測、彎道弧度識別檢測和前方車輛距離速度檢測和路面坑洼坡度識別檢測這些主要信息的提取，在這些信息數(shù)據(jù)的基礎(chǔ)上進(jìn)行道路環(huán)境的三維重建。機(jī)器視覺處理軟件系統(tǒng)處理得到的道路環(huán)境信息和輔助系統(tǒng)的多傳感器的信息進(jìn)行融合，結(jié)合車輛動力學(xué)模型（已經(jīng)有很多科學(xué)家在研究模糊控制技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)在車輛動力學(xué)模型上的應(yīng)用）和車輛行駛狀態(tài)參數(shù)，由車輛行為決策調(diào)度系統(tǒng)做出合理的決策調(diào)度，然后由路徑規(guī)劃系統(tǒng)生成合理的路徑規(guī)劃和車輛控制命令，對汽車進(jìn)行控制。 　　公路邊緣識別檢測關(guān)系著汽車能否正確識別公路，尤其是缺乏交通圖案的低等級公路。我們機(jī)器視覺檢測公路的邊緣信息和公路的寬度信息。公路的邊緣檢測，對CCD攝取的圖像進(jìn)行二值化處理，就可以提取出公路邊緣;公路寬度信息檢測，利用左右兩路CCD攝取的公路圖像進(jìn)行立體匹配，提取里面的深度信息，依據(jù)機(jī)器視覺理論計(jì)算出公路的寬度。依據(jù)其他傳感器的數(shù)據(jù)確定汽車在公路中的位置和汽車的行駛狀態(tài)參數(shù)，做出合理的路徑規(guī)劃，優(yōu)化控制汽車在公路中的位置，做好路徑跟蹤，不至于行駛中偏離公路路面。 　　交通圖案、道路標(biāo)識、交通信號的識別檢測。交通圖案包括常見的斑馬線、車道線、箭頭等。這些交通圖案都是有固定的顏色（比如斑馬線都是白色的）和固定的形狀，因此對他們的識別只要使用簡單的圖像處理，然后對照我們預(yù)先建立的交通圖案模型就可以快速的識別。交通標(biāo)識識別就要相對麻煩一些。有些交通標(biāo)識上面有文字，我們不僅需要利用圖像處理技術(shù)提取這些文字信息，而且需要分析這些文字蘊(yùn)含的交通信息。交通信號包括交通信號燈和交警旗語，他們都有固定的運(yùn)行模式，可以預(yù)先建模，然后根據(jù)圖像處理結(jié)合其他傳感器的信息，進(jìn)行檢測識別。 　　前方汽車、障礙物的距離、速度的檢測和識別。能否安全準(zhǔn)確的識別檢測出前方汽車、障礙物對汽車智能駕駛是十分關(guān)鍵的。不僅要識別出前方汽車、障礙物，而且要檢測出它們的運(yùn)動速度、運(yùn)動方向和離本車的距離，要能依據(jù)連續(xù)幾次測定的它們離本車的距離和運(yùn)動速度、運(yùn)動方向預(yù)測出它們的可能運(yùn)動軌跡，為本車超車、減速、規(guī)避障礙物、降低危險風(fēng)險提供可靠的數(shù)據(jù)。利用機(jī)器視覺技術(shù)，可以使用基于成像模型的對應(yīng)點(diǎn)估計(jì)三維運(yùn)動檢測方法和基于光流的估計(jì)的三維運(yùn)動檢測方法。模型法、光流法有很多成熟的算法可以選擇，有利于系統(tǒng)程序的實(shí)現(xiàn)。 　　機(jī)器視覺系統(tǒng)中攝像機(jī)標(biāo)定：攝像機(jī)標(biāo)定的目的是確定攝像機(jī)的內(nèi)外部屬性參數(shù)并建立空間成像模型，以便確定空間坐標(biāo)系中物體點(diǎn)與它在圖像平上像點(diǎn)之間的相應(yīng)關(guān)系。攝像機(jī)的標(biāo)定分為攝像機(jī)內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)確定了攝像機(jī)內(nèi)部的幾何和光學(xué)特征，不隨攝像機(jī)的移動而改變;外部參數(shù)是確定攝像機(jī)像平面相對于客觀世界坐標(biāo)系統(tǒng)的三維位置和朝向，攝像機(jī)移動后，需重新校正。本文中攝像機(jī)隨車運(yùn)動，但我們所需要的參數(shù)都是內(nèi)部參數(shù)，只需預(yù)先標(biāo)定攝像機(jī)的內(nèi)部參數(shù)就可以。 [align=center] 圖2 智能駕駛系統(tǒng)結(jié)構(gòu)框圖[/align] 　　（2） 主控制系統(tǒng) 　　整個智能駕駛系統(tǒng)的核心是主控制系統(tǒng)，它負(fù)責(zé)各種傳感器的信息采集、識別，然后進(jìn)行處理，最后依據(jù)處理后的信息進(jìn)行車輛行為決策調(diào)度，規(guī)劃路徑并生成汽車控制命令。本文整個智能駕駛系統(tǒng)的設(shè)計(jì)思想也是基于模擬人工駕駛來進(jìn)行的，主控制系統(tǒng)是汽車的大腦，機(jī)器視覺系統(tǒng)好比人的雙眼。主控制系統(tǒng)一旦出現(xiàn)系統(tǒng)死機(jī)或者控制軟件運(yùn)行不穩(wěn)定，則會帶來車毀人亡的重大交通事故。而主控制系統(tǒng)計(jì)算機(jī)工作環(huán)境惡劣，汽車在高速行駛的時候震動很大，靠近汽車引擎的部位溫度較高，為了保證主控制系統(tǒng)的安全穩(wěn)定的運(yùn)行，主控制系統(tǒng)計(jì)算機(jī)應(yīng)該選用高性能高穩(wěn)定的工控機(jī)。 　?。?） 輔助測距定位系統(tǒng) 　　主要包括車載GPS定位系統(tǒng)、測距雷達(dá)、電子地圖等。隨著交通信息化的發(fā)展，基于GIS的電子地圖已經(jīng)開始應(yīng)用在日常汽車駕駛中?；贕IS的電子地圖它包括了大范圍層次的地理位置信息，可以利用它來設(shè)定大的方向上的汽車駕駛的宏觀路徑。然后通過車載GPS全球定位系統(tǒng)來確定汽車當(dāng)時位置點(diǎn)的地理位置信息，把它跟電子地圖上該點(diǎn)的地理位置信息比較，就可以知道汽車現(xiàn)在處于我們設(shè)定的宏觀路徑中的什么位置，可以防止汽車在自動駕駛的時候走錯路口，走錯方向，偏離預(yù)先設(shè)定的宏觀路徑?；贕IS的電子地圖和車載GPS全球定位系統(tǒng)的綜合運(yùn)用，保證了汽車能在宏觀上按照我們預(yù)先設(shè)定的宏觀路徑進(jìn)行自動駕駛而不偏離我們預(yù)先設(shè)定的路徑。 　　車載測距雷達(dá)主要是輔助機(jī)器視覺系統(tǒng)在一些特殊的環(huán)境下測定前方車輛的速度和距離，以及路面障礙物的距離。因?yàn)楦艘粯樱呻pCCD構(gòu)成的立體視覺系統(tǒng)在天陰、大霧、暴雨等能見度不好的條件下，對前方車輛障礙物的識別效果會有很大的降低，測定車輛（障礙物）速度和距離更存在精度上的誤差，不能測定能見度外的前方車輛和障礙物。而車載測距雷達(dá)可以在天氣晴好的時候輔助立體視覺系統(tǒng)提高測量車輛（障礙物）的距離精度和測量車輛（障礙物）速度的精度，在惡劣天氣可以彌補(bǔ)立體視覺測量效果不好的缺點(diǎn)，提高系統(tǒng)的可靠性。 　?。?） 車輛行駛參數(shù)檢測系統(tǒng) 　　車輛行駛參數(shù)檢測系統(tǒng)的主要作用是檢測汽車的前輪轉(zhuǎn)角、后輪速度、油門大小等車輛行駛狀態(tài)的關(guān)鍵參數(shù)，為主控制系統(tǒng)進(jìn)行車輛決策調(diào)度和路徑規(guī)劃提供參數(shù)。這個系統(tǒng)相對簡單，車輛行駛狀態(tài)參數(shù)都被車輛儀表檢測出，只要想把這些參數(shù)讀取到主控制系統(tǒng)就可以。 　?。?） 執(zhí)行機(jī)構(gòu) 　　整個車輛的自動駕駛執(zhí)行機(jī)構(gòu)主要是電液壓伺服系統(tǒng)，由多個伺服油缸來完成各種駕駛汽車的動作，它模仿人類駕駛汽車的動作，推拉各操縱桿，完成汽車換檔、加速、減速、轉(zhuǎn)向、停車、熄火等一系列工作。控制電液壓伺服系統(tǒng)的核心部件是離合器ECU（electronic control unit），檔位ECU，轉(zhuǎn)向ECU，油門ECU，剎車ECU這五個各司其職的電子控制器（ECU）來接收并執(zhí)行主控制計(jì)算機(jī)經(jīng)過決策調(diào)度計(jì)算后發(fā)出的控制命令，命令的執(zhí)行主要是靠ECU把命令信號放大然后送達(dá)電液壓伺服系統(tǒng)進(jìn)行機(jī)械執(zhí)行。 4、結(jié)語 　　智能駕駛中的機(jī)器視覺技術(shù)是一項(xiàng)很復(fù)雜的技術(shù)，它需要進(jìn)行更多更細(xì)致的研究。目前的難點(diǎn)和重點(diǎn)主要集中在快速有效的立體配對、道路環(huán)境的快速三維重建和機(jī)器視覺處理的實(shí)時性上，有很多科學(xué)家已經(jīng)在這方面進(jìn)行了深入的研究，新的研究成果無疑講推動機(jī)器視覺技術(shù)在智能駕駛中引用。 參考文獻(xiàn) 　　[1] 賈云得，機(jī)器視覺，科學(xué)出版社，2000. 　　[2] D. Brzakovie, L. Hong, Road edge detection for mobile robot navigation, Robotics and Automation, 1989 IEEE International Conference on 14-19 May 1989, P1143 –1147, vol.2. 　　[3] Klaus Fleischer, Hans-Hellmut Nagel, Machine-vision-based detection and tracking of stationary infrastructural objects beside inner-city roads, Intelligent Transportation Systems, IEEE 2001,25-29 Aug, P 525 –530. 　　[4] O.Djekoune, K.Achour, Vision-guided mobile robot navigation using neural network, Image and Signal Processing and Analysis, 19-21 June 2001, P 355 –361. 　　[5] 王榮本，李　斌，儲江偉，紀(jì)壽文，公路上基于車載單目機(jī)器視覺的前方車距測量方法的研究 公路交通科技，2001年12月Vol.18，No.6. 　　[6] 秦貴和，葛安林，雷雨龍，智能交通系統(tǒng)及其車輛控制技術(shù)，汽車工程，2001，Vol.23，No.1. 　　[7] 顧柏園，王榮本，儲江偉，實(shí)驗(yàn)型高速智能汽車導(dǎo)航技術(shù),機(jī)器人技術(shù)與應(yīng)用，2002，No.5.