摘要：利用FPGA和USB控制芯片實(shí)現(xiàn)了實(shí)時(shí)視頻監(jiān)視采集系統(tǒng)，根據(jù)視頻監(jiān)視和傳輸特點(diǎn)，將采集得到的圖像數(shù)據(jù)先做背景重建，然后利用重建得到的背景進(jìn)行視頻對(duì)象分割，最后將重建的背景、視頻對(duì)象以及視頻對(duì)象在視頻圖像中的位置保存，作為后續(xù)視頻檢測(cè)分析的依據(jù)。實(shí)驗(yàn)結(jié)果表明本文給出的背景重建算法能夠較好地重建背景，得到較精確的運(yùn)動(dòng)目標(biāo)，同時(shí)能夠大幅度的提高實(shí)時(shí)視頻對(duì)象分割速率。 關(guān)鍵字：視頻監(jiān)視 背景重建 視頻對(duì)象 視頻對(duì)象分割 視頻對(duì)象運(yùn)動(dòng)檢測(cè)是從視頻序列中提取出有意義的運(yùn)動(dòng)對(duì)象，它是視頻檢索、多媒體內(nèi)容描述以及基于內(nèi)容的視頻編碼的基礎(chǔ)。連續(xù)幀間差分法 [1]、背景差分法[2]和光流法是視頻對(duì)象分割的常用方法。連續(xù)幀間差分法對(duì)于動(dòng)態(tài)環(huán)境有很好的適應(yīng)性，但不能完全提取出視頻對(duì)象的所有相關(guān)點(diǎn)；背景差分法能夠較完整地提取對(duì)象點(diǎn)，卻又對(duì)光照和外部條件造成的動(dòng)態(tài)場(chǎng)景變化過(guò)于敏感；光流法雖然能夠直接用于攝像機(jī)運(yùn)動(dòng)下的視頻對(duì)象檢測(cè)，但是大多數(shù)光流方法的計(jì)算復(fù)雜，不適于實(shí)時(shí)處理。將時(shí)域和空域信息進(jìn)行有效的融合就能夠得到更有效的結(jié)果[3]，但還存在著目標(biāo)輪廓檢測(cè)的不完整性和目標(biāo)相關(guān)點(diǎn)保留較少的問(wèn)題。本文在應(yīng)用FPGA采樣得到視頻圖像的基礎(chǔ)上，提出了一種對(duì)Pan方法[4]改進(jìn)的背景重建方法，進(jìn)一步的提高了視頻對(duì)象分割的效果。 1 硬件系統(tǒng) 1.1 系統(tǒng)原理圖 整個(gè)系統(tǒng)以FPGA和TUSB3210為核心，負(fù)責(zé)視頻數(shù)據(jù)的接收處理，啟動(dòng)A/D轉(zhuǎn)換，控制FIFO的讀寫及采樣頻率的設(shè)定，與主機(jī)之間的通信及數(shù)據(jù)傳輸。 1.2 A/D、FIFO和USB控制芯片 視頻采集部分選用了Philips公司的視頻A/D轉(zhuǎn)換芯片SAA711A（EVIP），通過(guò)USB控制芯片提供的一對(duì)I2C引腳SDA和SCL進(jìn)行控制；FIFO采用采用TI公司SN74V293芯片,它的容量為65536×18bit 或131072×9bit，最快讀寫周期為6ns，可以滿足100MHz采樣數(shù)據(jù)的存儲(chǔ)。 SN74V293有獨(dú)立的讀寫時(shí)鐘控制電路，允許讀寫操作同時(shí)進(jìn)行。SN74V293內(nèi)部有滿、空、半滿輸出信號(hào)以及可編程設(shè)定的幾乎滿和幾乎空輸出信號(hào)，通過(guò)這些信號(hào)控制器可以靈活控制FIFO的讀寫操作。 USB控制芯片采用TI公司的TUSB3210，它是TI公司推出的內(nèi)嵌8052內(nèi)核并帶有USB接口的微控制器芯片。TUSB3210有256字節(jié)的內(nèi)部RAM，8K字節(jié)的程序RAM，512字節(jié)的USB數(shù)據(jù)緩沖和端點(diǎn)描述塊EDB（Endpoint Descriptor Blocks），4個(gè)通用的GPIO端口P0、P1、P2、P3，I2C接口電路，看門狗電路等。當(dāng)主機(jī)與芯片進(jìn)行USB通信時(shí)，會(huì)產(chǎn)生外部中斷0，通過(guò)中斷矢量寄存器判斷。通過(guò)定義Setup_packed_Int、Input_endpoint0_Int、Output_endpoint0_Int這三個(gè)中斷，用于與主機(jī)建立連接、進(jìn)行控制傳輸或中斷傳輸；Input_endpoint1_Int、Output_endpoint1_Int這兩個(gè)中斷主要在批量傳輸時(shí)使用。而在固件中分別執(zhí)行不同的中斷程序來(lái)實(shí)現(xiàn)USB的數(shù)據(jù)傳輸。 1.3 FPGA控制的實(shí)現(xiàn) FPGA采用XINLINX公司的XC3142，PC終端通過(guò)USB口向視頻采集卡傳送start信號(hào)，通知視頻采集卡開(kāi)始工作。視頻信號(hào)通過(guò)CCD攝像頭進(jìn)入A/D轉(zhuǎn)換芯片SAA711A,SAA711A產(chǎn)生的數(shù)字視頻信號(hào)、控制信號(hào)和狀態(tài)信號(hào)送入控制處理芯片XC3142，以供XC3142獲得各種采樣信息，并對(duì)得到的數(shù)據(jù)與背景數(shù)據(jù)做差，然后將數(shù)字視頻信號(hào)寫入到FIFO里面，當(dāng)FIFO里面的數(shù)據(jù)達(dá)到半滿（此處半滿狀態(tài)對(duì)應(yīng)視頻一幀的數(shù)據(jù)），F(xiàn)IFO半滿標(biāo)志為0（低電平），XC3142檢測(cè)到FIFO半滿標(biāo)志為0時(shí)，向USB控制芯片發(fā)送中斷（Interrupt）信號(hào)，PC終端獲得中斷請(qǐng)求后開(kāi)始從FIFO里面讀取數(shù)據(jù)。 2 USB接口的驅(qū)動(dòng)程序與應(yīng)用軟件開(kāi)發(fā) USB應(yīng)用系統(tǒng)軟件開(kāi)發(fā)分為兩部分：主機(jī)操作系統(tǒng)上的客戶驅(qū)動(dòng)程序以及主機(jī)應(yīng)用軟件。主機(jī)應(yīng)用軟件通過(guò)客戶驅(qū)動(dòng)程序與系統(tǒng)USBI（USB Device Interface）進(jìn)行通信，由系統(tǒng)產(chǎn)生USB數(shù)據(jù)的傳送動(dòng)作；固件則響應(yīng)各種來(lái)自系統(tǒng)的USB標(biāo)準(zhǔn)請(qǐng)求，完成各種數(shù)據(jù)的交換工作和事件處理。 首先開(kāi)發(fā)TUSB3210在主機(jī)中的驅(qū)動(dòng)程序。利用WinDDK3.0開(kāi)發(fā)了Win2000下的驅(qū)動(dòng)程序，實(shí)現(xiàn)了控制傳輸、中斷傳輸和批傳輸?shù)臉?biāo)準(zhǔn)接口函數(shù)。在應(yīng)用程序開(kāi)發(fā)中，用VC++編制實(shí)現(xiàn)應(yīng)用程序。在編成實(shí)現(xiàn)中把USB設(shè)備當(dāng)成文件來(lái)操作，利用CreateFile得到USB句柄，用DeviceIoControl來(lái)進(jìn)行控制傳輸，用ReadFile、WriteFile進(jìn)行批量傳輸。 應(yīng)用軟件的結(jié)構(gòu)如圖2所示： 應(yīng)用軟件程序的基本流程如下： 1）打開(kāi)通信通道，即確定一個(gè)應(yīng)用對(duì)象，并對(duì)每個(gè)應(yīng)用對(duì)象創(chuàng)建一個(gè)系統(tǒng)對(duì)象。2）初始化硬件資源，即為每個(gè)系統(tǒng)對(duì)象分配數(shù)據(jù)緩存、數(shù)據(jù)采集器和數(shù)據(jù)顯示對(duì)象。3）啟動(dòng)采集過(guò)程，即將圖像讀入數(shù)據(jù)緩存，并將緩存賦值給數(shù)組，通過(guò)對(duì)數(shù)組的處理實(shí)現(xiàn)對(duì)圖像的處理，圖像數(shù)據(jù)與數(shù)據(jù)顯示相關(guān)聯(lián)后就可以通過(guò)顯示控件或窗體顯示預(yù)處理后的結(jié)果。 3 視頻對(duì)象分割算法在FPGA中的實(shí)現(xiàn) 視頻監(jiān)視系統(tǒng)的主要目的是跟蹤人們感興趣的視頻對(duì)象，一般情況下攝像機(jī)固定在室內(nèi)或者建筑物的高處，為此可認(rèn)為背景在一定時(shí)間內(nèi)靜止不動(dòng)。Pan 提出了一種基于背景信息的運(yùn)動(dòng)對(duì)象檢測(cè)方法[4]，使用高階統(tǒng)計(jì)量來(lái)重建背景，該方法能夠較好的檢測(cè)到運(yùn)動(dòng)對(duì)象，但是背景重建速度較慢，使得難以應(yīng)用于實(shí)際視頻監(jiān)視系統(tǒng)，為此本文提出了一種新的背景重建方法，并應(yīng)用VHDL語(yǔ)言在FPGA中實(shí)現(xiàn)了該算法，提高了背景重建速度。 3.1 背景圖像重建 在背景重建中，引入背景置信度圖像為C（x1,x2），它的掩膜圖像為MC（x1,x2），重建背景圖像為B（x1,x2），背景標(biāo)示圖像為BL（x1,x2）。如果C（x1,x2）大于預(yù)定的一個(gè)門限，則在視頻幀中像素（x1,x2）為背景的概率更大，如果小于該門限則像素（x1,x2）為運(yùn)動(dòng)對(duì)象的概率相對(duì)較大。BL（x1,x2）是一個(gè)二值圖像，用于標(biāo)示對(duì)應(yīng)像素的背景是否能重建，即：BL（x1,x2）＝1，表示（x1,x2） 像素背景成功重建，否則失敗。 考慮連續(xù)N幀圖像s（x1,x2,k），s（x1,x2,k-1），…，s（x1,x2,k-N），對(duì)應(yīng)的N-1個(gè)相鄰幀差圖像分別為d（x1,x2,k,k-1），d（x1,x2,k-1,k-2），…，d（x1,x2,k+1-N,k-N），則C（x1,x2），MC（x1,x2），B（x1,x2）和BL（x1,x2）的生成過(guò)程如下： 1） 初始化： 對(duì)每一個(gè)（x1,x2），C（x1,x2）=0 ，MC（x1,x2）=0，B（x1,x2）=0，BL（x1,x2）=0，n=0； 2） 考慮（x1,x2），如果MC（x1,x2）=1，至2）考慮下一個(gè)像素；否則至3）； 3） 對(duì)于（x1,x2），如果d（x1,x2,k-n,k-n-1）Th1，則C（x1,x2）=0； 4） 如果C（x1,x2）>Th2，則MC（x1,x2）=1，到5）；否則至6）； 5） B（x1,x2）=[ s（x1,x2,k-n）+…+ s（x1,x2,k-n+Th2）]/Th2，BL（x1,x2）=1； 6） 如果n3.2 視頻對(duì)象分割 在視頻分割中本系統(tǒng)采用類間方差閾值分割[5]法，這種方法是由最小二乘法推導(dǎo)得到的，此方法具有簡(jiǎn)單易于實(shí)現(xiàn)的優(yōu)點(diǎn)。 假設(shè)有兩類K1和K2，則它們的方差是

（1）

其中：f為閾值；ω1，ω2，μ1，μ2分別是K1和K2 類的出現(xiàn)概率和均值；L為灰度級(jí)。 f的等價(jià)判決準(zhǔn)為 分別為K1和K2類的類間和類內(nèi)方差，則最佳閾值

（2）

在后處理過(guò)程中，為了去除孤立點(diǎn)和填充空洞，在對(duì)視頻圖像幀差圖像閾值分割完成后，進(jìn)行數(shù)學(xué)形態(tài)學(xué)的開(kāi)、閉和區(qū)域標(biāo)示運(yùn)算。視頻對(duì)象分割試驗(yàn)結(jié)果如圖3所示。

圖3　視頻對(duì)象分割結(jié)果 圖3中a是一段視頻圖像列中的兩幀圖像；c是使用Pan方法的視頻對(duì)象實(shí)時(shí)分割結(jié)果；b是使用本文的方法的對(duì)象分割結(jié)果。比較圖3中 b、c可看出，本方法較Pan方法有更好的目標(biāo)輪廓完整性和目標(biāo)輪廓內(nèi)目標(biāo)相關(guān)點(diǎn)的連通性。本算法在普通PC機(jī)（Pentium3 800M CPU ，256M DDRAM）上運(yùn)行，視頻圖像為標(biāo)準(zhǔn)的CIF（288＊384），256級(jí)灰度黑白圖像，利用本文算法其采集檢測(cè)速率為24幀/s，利用Pan方法的速率為10幀/s。 4 結(jié)論 利用FPGA和USB控制芯片實(shí)現(xiàn)了實(shí)時(shí)視頻監(jiān)視采集系統(tǒng)，結(jié)合背景重建的方法可以實(shí)現(xiàn)視頻圖像的實(shí)時(shí)連續(xù)采集（每秒采集24幀視頻圖像）和視頻對(duì)象分割的要求；改進(jìn)后的背景重建和視頻對(duì)象分割算法，較Pan方法有更好的檢測(cè)效果和更快的分割速度。