本文提出了基于區(qū)分性稀疏編碼的圖像去雨模型和算法，將圖像去雨問(wèn)題看成是圖像信號(hào)分離問(wèn)題，在分離過(guò)程中利用清晰圖像層和雨層之間的內(nèi)在屬性差異，對(duì)兩者進(jìn)行互斥性的稀疏編碼，以達(dá)到清晰圖像與雨層分離的效果。本文在合成數(shù)據(jù)集上驗(yàn)證了其有效性。

背景介紹

近年來(lái)隨著計(jì)算機(jī)軟硬件技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺(jué)系統(tǒng)在現(xiàn)實(shí)世界中有著越來(lái)越廣泛的應(yīng)用。大多數(shù)的戶外計(jì)算機(jī)視覺(jué)系統(tǒng)都需要清晰準(zhǔn)確地提取圖像的特征，從而對(duì)圖像進(jìn)行進(jìn)一步的分析處理。然而天氣條件的各種各樣的不確定性對(duì)圖像的特征有著不可估計(jì)的損壞，如大霧天氣下圖像的可見(jiàn)度和對(duì)比度都會(huì)受到嚴(yán)重影響，而雨雪天氣下可能會(huì)引起部分圖像被遮擋。為了能夠讓這些室外視覺(jué)系統(tǒng)在惡劣天氣下依舊有好的性能，我們需要對(duì)各種各樣的天氣狀況影響下的圖像進(jìn)行退化過(guò)程的建模，并消除相應(yīng)的不良天氣所造成的影響。

由于雨滴在圖像位置和灰度空間上表現(xiàn)出的種種不確定性，其尺度大小的復(fù)雜多變，成像過(guò)程的難以刻畫(huà)，使得如何有效的從雨圖中得到清晰的非雨圖成為了一個(gè)非常有挑戰(zhàn)的課題。現(xiàn)有的文獻(xiàn)多是對(duì)雨天視頻的處理，視頻中相鄰幀的冗余特性有助于雨滴的檢測(cè)，也能夠提供豐富的信息對(duì)檢測(cè)到的有雨區(qū)域進(jìn)行修補(bǔ)復(fù)原。然而這種相鄰幀的冗余特性可能會(huì)因?yàn)橐曨l中高速運(yùn)動(dòng)的物體所破壞掉，而且有時(shí)候一些智能機(jī)器任務(wù)也需要單幅圖像來(lái)進(jìn)行識(shí)別任務(wù)，因此考慮如何從單幅雨圖像中消除雨對(duì)圖像特征的損壞也是非常有意義的。本文從單幅雨圖出發(fā)，建立了一個(gè)簡(jiǎn)單有效的優(yōu)化模型，通過(guò)約束稀疏編碼的互斥性，在不斷的迭代學(xué)習(xí)中得到一個(gè)有區(qū)分性的字典，雨圖中的雨層與圖像層也在迭代中逐漸分離。

相關(guān)工作

Kang等人[1]是最先對(duì)單幅圖像進(jìn)行雨消除的，其主要是利用了字典學(xué)習(xí)來(lái)去雨，其主要過(guò)程如下：1)預(yù)處理，首先對(duì)輸入圖像進(jìn)行雙邊濾波，濾波后得到的圖像，這部分被稱為低頻圖像，低頻圖像保留了原始圖像的大致信息，這部分中不含雨，因此保留不變；2)字典學(xué)習(xí)，對(duì)高頻圖像進(jìn)行稀疏編碼和字典學(xué)習(xí)，這里的字典包括了雨的字典與圖像邊界的字典，需要進(jìn)一步區(qū)分；3)字典的劃分，雨所在的塊的梯度方向一般比較一致，圖像邊界所在的塊表現(xiàn)出來(lái)的梯度就比較雜亂，對(duì)每個(gè)字典元素提取其梯度方向直方圖作為特征，使用k-means進(jìn)行聚類，得到的兩類中，方差比較大的則為圖像邊界的子字典，另外一類則為雨的字字典；4)雨的消除，利用3)中的稀疏編碼，將雨的子字典所對(duì)應(yīng)的稀疏系數(shù)設(shè)為0，將塊利用稀疏系數(shù)和字典重構(gòu)回圖像，得到高頻圖像中的圖像細(xì)節(jié)，再與低頻圖像相加，即為去雨過(guò)后的處理圖像。該方法偏向于對(duì)圖像細(xì)節(jié)較少，區(qū)域偏光滑的圖像，對(duì)于細(xì)節(jié)較多的圖像，一則雙邊濾波可能會(huì)抹掉很多細(xì)節(jié)信息，此細(xì)節(jié)信息在接下來(lái)的后續(xù)處理中與雨混雜在一起，且是通過(guò)一個(gè)脆弱的聚類方法去區(qū)分開(kāi)兩類的字典，因此難以分離。實(shí)驗(yàn)表明，該方法對(duì)雨圖的處理后得到的效果圖多數(shù)是偏光滑的，很多細(xì)節(jié)都會(huì)失去。

Kim等人[2]采用的單幅圖像去雨方法與視頻去雨處理方法相似，都是采取了先檢測(cè)后修復(fù)的策略。具體步驟如下：1)雨滴檢測(cè)：文中檢測(cè)雨滴是使用核回歸的方法去確定像素點(diǎn)所在區(qū)域的主要梯度方向，長(zhǎng)短軸之比，隨后再對(duì)這些得到的特征進(jìn)行閾值選擇，其中在使用核回歸方法時(shí)根據(jù)雨的一些先驗(yàn)知識(shí)對(duì)核回歸中的協(xié)方差矩陣進(jìn)行修正加權(quán)。對(duì)修正之后的協(xié)方差矩陣進(jìn)行SVD分解，則可以得到該像素點(diǎn)所在區(qū)域雨的主要方向信息，所在區(qū)域的長(zhǎng)寬之比，對(duì)方向與長(zhǎng)寬之比進(jìn)行閾值篩選，滿足條件的點(diǎn)即標(biāo)識(shí)為雨。2)雨點(diǎn)所在區(qū)域修復(fù)：雨點(diǎn)所在區(qū)域的修復(fù)是通過(guò)非局部均值濾波來(lái)實(shí)現(xiàn)的，因?yàn)橛甑拇嬖冢@其中每個(gè)塊對(duì)所處理塊貢獻(xiàn)的權(quán)重也需要進(jìn)行相應(yīng)的修正，因?yàn)橛晁谙袼攸c(diǎn)的灰度信息是不準(zhǔn)確的，因此計(jì)算權(quán)值的時(shí)候需要去掉不準(zhǔn)確點(diǎn)。Kim等人的方法很大程度上取決于檢測(cè)雨滴的準(zhǔn)確度，然而此方法中雨滴的檢測(cè)主要只取決于該區(qū)域的梯度方向有關(guān)，雨的一些先驗(yàn)知識(shí)的修正作用其實(shí)非常微弱，實(shí)驗(yàn)中常常會(huì)出現(xiàn)檢測(cè)出來(lái)的區(qū)域是與雨的方向一致的一些圖像邊界。此外，圖像修補(bǔ)本身就是一件非常有挑戰(zhàn)的事情，采用的非局部均值濾波可能會(huì)因?yàn)橛甑拇嬖趶亩捎貌幌嗨频膲K提供修復(fù)信息，因此這種方法也是非常局限的。

除此之外，還有Pei等人[3]首先將雨圖從其他顏色通道轉(zhuǎn)換到HSV通道，在HSV通道利用飽和度和明度對(duì)雨的存在感進(jìn)行視覺(jué)上的增強(qiáng)，之后先后采用高通濾波和方向?yàn)V波的方式進(jìn)一步對(duì)雨滴的呈現(xiàn)形態(tài)進(jìn)行增強(qiáng)，增強(qiáng)之后再選取所處理后的圖像中亮度值最大的一定百分比作為檢測(cè)到的雨所在區(qū)域，對(duì)檢測(cè)到雨滴的所在區(qū)域的修復(fù)是通過(guò)領(lǐng)域附近像素點(diǎn)的均值填補(bǔ)所完成。該方法與Kim等人[2]的方法都是先檢測(cè)雨滴再修復(fù)雨滴所在位置，兩者成功的關(guān)鍵要取決于雨滴檢測(cè)的準(zhǔn)確度與圖像修補(bǔ)的質(zhì)量高低，且此方法采用的圖像修補(bǔ)方式比較適用于修補(bǔ)細(xì)長(zhǎng)的雨滴，而對(duì)區(qū)域較大的檢測(cè)塊來(lái)說(shuō)，人為的填補(bǔ)檢測(cè)區(qū)域邊界附近的像素均值會(huì)使得處理后的圖像極不真實(shí)，會(huì)有大量的人工修補(bǔ)痕跡。

Fergus等人[4]也嘗試對(duì)單幅圖像進(jìn)行去雨的處理，整個(gè)去雨算法采用卷積神經(jīng)網(wǎng)絡(luò)的方式，采用了大量的數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練出的卷積網(wǎng)絡(luò)是從帶雨點(diǎn)或泥點(diǎn)的圖像塊到干凈圖像塊的一個(gè)映射，對(duì)需要處理的雨圖圖像，只需要將其切成圖像子塊，輸入到這個(gè)卷積網(wǎng)絡(luò)映射即可得到對(duì)應(yīng)的干凈輸出子塊，之后再對(duì)這些輸出子塊進(jìn)行重新排列得到整張去雨后的圖像。該方法需要大量的訓(xùn)練數(shù)據(jù)，所需要訓(xùn)練的參數(shù)也十分多，時(shí)間成本太高。

對(duì)比視頻去雨方法而已，單幅圖像的去雨過(guò)程中由于缺失了視頻序列中相鄰幀的冗余信息，處理起來(lái)難度增大，現(xiàn)有的幾種去雨方法的效果也并不是太好，都有各自的局限所在。

圖像雨化模型及其合成方式

背景圖像與雨之間如何組合在一起，展現(xiàn)出雨圖的效果，這個(gè)過(guò)程對(duì)應(yīng)的模型是非常復(fù)雜的，因此現(xiàn)有的研究去雨的相關(guān)工作中一般對(duì)雨圖的生成模型進(jìn)行相應(yīng)的簡(jiǎn)化處理，這種簡(jiǎn)化處理大致可以分成兩種，一種處理方式是簡(jiǎn)單的加法模型[5]，另一種處理方式是α混合模型[6,7]。本小節(jié)我們提出了新的濾色模型。

濾色模型：該模型為本文算法中所采用的雨圖的生成模型，是經(jīng)典的圖像處理軟件PHOTOSHOP中圖層混合模式的一種。假設(shè)原始圖像為I(x)，雨層圖像為R(x)，兩層圖像混合之后所得到的雨圖圖像為J（x），這里我們假設(shè)灰度值都標(biāo)準(zhǔn)化到[0,1]，X為圖像中像素點(diǎn)所在的位置。其模型如下：

可以看出，濾色模型相比于加法模型，增加了最后一個(gè)非線性項(xiàng)，在此模型中，雨對(duì)圖像的改變不僅僅取決于R(x)，而是與背景圖像相關(guān)，雨對(duì)圖像的影響變成了R(x)(1-I(x))，由此可以看出，當(dāng)背景圖像I(x)比較明亮，接近于1時(shí)，雨對(duì)圖像的影響接近于0，而當(dāng)背景偏暗時(shí)，則雨對(duì)圖像的影響接近R(x)，也就是說(shuō)背景偏暗時(shí)，比較明顯的能看到雨的存在，而背景偏亮?xí)r，雨的存在感減弱，這與現(xiàn)實(shí)生活中我們所拍攝到的雨的照片也比較相符。

基于區(qū)分性稀疏編碼的圖像去雨方法

1.基于區(qū)分性稀疏編碼的圖像去雨最優(yōu)化模型

給定雨圖，想要得到的是原始的清晰圖像層I與雨層R，由單一圖像分離出兩層圖像，一個(gè)方程兩個(gè)未知數(shù)，這是一個(gè)比較有挑戰(zhàn)的病態(tài)的逆問(wèn)題求解問(wèn)題，需要增加額外的假設(shè)約束。在增加先驗(yàn)假設(shè)之前，首先我們要回答以下兩個(gè)問(wèn)題，第一個(gè)是這兩層圖像是如何的融合在一起，正確的模擬兩層圖像的合成模型，是取得良好分離效果的關(guān)鍵，如果一開(kāi)始的模型假設(shè)就陷入了誤區(qū)，那么就很難正確的分離圖像。第二個(gè)問(wèn)題是清晰的圖像層與雨層圖像之間的區(qū)分性的屬性是什么，如何正確的刻畫(huà)這個(gè)區(qū)分性屬性。這兩個(gè)問(wèn)題都非常關(guān)鍵，即使找到了正確的合成模型，如果沒(méi)有一個(gè)好的正則化約束使得兩層圖像相分離，那么所得到的兩層圖像將有無(wú)限種可能性，如果有一個(gè)好的正則化約束，而圖像層之間的融合方式?jīng)]有良好的定義，那么就有可能走向正則化約束的某種極端情況，而達(dá)不到我們想要的分離方式。因此，為了得到好的分離效果，合理的分離出清晰圖像層與雨層，我們要謹(jǐn)慎的處理以上兩個(gè)問(wèn)題。

前面已經(jīng)提到，本文中所采用的雨圖生成模型，是取自圖像編輯軟件PHOTOSHOP中圖像混合模式中的濾色模型，該模型通過(guò)將兩層圖像求逆之后做點(diǎn)乘再求逆而得到新的混合圖像，這里假設(shè)理想狀態(tài)下的清晰圖像層為I，雨層為R，那么兩者融合之后得到的雨圖為：

其中*為兩個(gè)向量之間的點(diǎn)乘。

在得到雨圖的生成模型之后，接下來(lái)要考慮的一個(gè)問(wèn)題就是如何分別對(duì)雨層圖像與清晰圖像進(jìn)行正則化約束。近年來(lái)，基于稀疏先驗(yàn)的算法已廣泛的應(yīng)用在圖像恢復(fù)等任務(wù)上，并且有著優(yōu)異的表現(xiàn)。在本文中，我們也將考慮把稀疏先驗(yàn)融入到圖像層與雨層的約束中，這里的稀疏先驗(yàn)指的是將圖像層(或雨層)切成塊狀之后，通過(guò)學(xué)習(xí)一個(gè)冗余的字典，那么所有圖像層(或雨層)切成的圖像塊將會(huì)在一個(gè)冗余的字典下稀疏表示，即每一個(gè)圖像塊都可以通過(guò)字典中的區(qū)區(qū)幾項(xiàng)元素的線性組合來(lái)表示。假設(shè)P為操作算子，其將圖像層變成堆疊的圖像塊矩陣，矩陣的每一列分別代表一個(gè)圖像塊：

這里Y₁為清晰圖像層I經(jīng)過(guò)算子P后堆疊成的矩陣塊，Y_R為清晰圖像層R經(jīng)過(guò)算子P后堆疊成的矩陣塊，這些矩陣塊在某個(gè)字典D下能夠稀疏表示，即：

其中C₁和C_R分別為圖像塊與雨塊在字典D下的表示系數(shù)，其每一列對(duì)應(yīng)著相應(yīng)矩陣塊中的每一塊的表達(dá)系數(shù)，如果字典學(xué)習(xí)得足夠好，那么每一列的非零系數(shù)個(gè)數(shù)應(yīng)該非常小，也就是說(shuō)是稀疏的。

想要將兩層圖像準(zhǔn)確的分離開(kāi)來(lái)，簡(jiǎn)單的稀疏性是不夠的，還需要額外的具有區(qū)分性的約束來(lái)將兩層圖像分離。由于兩層圖像的相應(yīng)字典很難直接學(xué)習(xí)到，在本文中，我們繞開(kāi)了對(duì)雨層和圖像層的兩種字典的學(xué)習(xí)，而是通過(guò)一個(gè)公共的字典的方式統(tǒng)一對(duì)雨層和圖像層編碼，雨層和圖像層的分離不是通過(guò)對(duì)字典的約束，而是通過(guò)對(duì)稀疏編碼系數(shù)的約束來(lái)完成的。由于雨層和圖像層的差異，在同一個(gè)字典上其表示系數(shù)也會(huì)有所差異，那么根據(jù)這個(gè)差異，我們就可以將雨層和圖像層分離開(kāi)來(lái)。為了對(duì)編碼系數(shù)進(jìn)行描述，我們先定義系數(shù)的權(quán)向量，假設(shè)某矩陣塊在字典下的表示系數(shù)為C，那么該系數(shù)的權(quán)向量定義如下：

權(quán)向量B(C)的第k項(xiàng)代表的是編碼系數(shù)C對(duì)字典第k項(xiàng)元素的使用情況，其值越大，代表的是該字典元素對(duì)該矩陣塊越重要，當(dāng)其為0的時(shí)候，說(shuō)明這個(gè)矩陣塊沒(méi)有利用到該字典的第k項(xiàng)元素。定義完系數(shù)的權(quán)向量之后，我們根據(jù)前面的分析可以知道，由于雨層和圖像層的差異，其在某一個(gè)字典上的編碼系數(shù)也會(huì)有所差異，這個(gè)差異就體現(xiàn)在這個(gè)權(quán)向量上，在最理想的情況下，雨層的編碼系數(shù)C_R 和圖像層的編碼系數(shù)C₁的權(quán)向量的相關(guān)性應(yīng)該很小，甚至為0。即：

兩者的權(quán)向量的相關(guān)性為0意味著用來(lái)產(chǎn)生雨層的字典元素不會(huì)用來(lái)產(chǎn)生圖像層，反過(guò)來(lái)，用來(lái)產(chǎn)生圖像層的字典元素也不會(huì)用來(lái)表達(dá)雨層，我們把這個(gè)性質(zhì)稱之為互斥性。也就是說(shuō)，在接下來(lái)的工作里，我們將通過(guò)學(xué)習(xí)一個(gè)具有互斥性質(zhì)的字典來(lái)實(shí)現(xiàn)對(duì)雨層和圖像層的分離，基于上述討論，我們可以得到以下最優(yōu)化模型用于雨層和圖像層的分離，我們稱之為區(qū)分性稀疏編碼去雨模型：

其中T₁和T_R分別為圖像塊和雨塊的編碼系數(shù)所對(duì)應(yīng)的稀疏度，為一個(gè)相關(guān)性閾值，最優(yōu)化模型（4-13）的目標(biāo)函數(shù)是為了讓字典D能夠最優(yōu)的表示雨層和圖像層所對(duì)應(yīng)的矩陣塊，模型的約束項(xiàng)中的第一項(xiàng)為雨圖的生成模型，第二項(xiàng)是為了確保雨層和圖像層的亮度都在合理的范圍內(nèi)，第三項(xiàng)為稀疏性約束，第四項(xiàng)為互斥性約束。

2.區(qū)分性稀疏編碼模型求解

上述基于區(qū)分性稀疏編碼的模型是一個(gè)非常有挑戰(zhàn)性的非凸優(yōu)化問(wèn)題，一種常用的解決這類問(wèn)題的方法是通過(guò)逐個(gè)變量迭代的方式對(duì)變量進(jìn)行求解，然而本模型中涉及到的基本變量一共有五個(gè)，分別為圖像層和雨層圖像所對(duì)應(yīng)的亮度I和R，字典D，以及圖像塊和雨塊在此字典下的編碼系數(shù)C₁和C_R，傳統(tǒng)的多變量迭代將收斂得很慢。因此，在本節(jié)中，我們將提出一種貪心迭代算法來(lái)替換掉傳統(tǒng)的多變量迭代法，主要的思想如下：在每一次的迭代過(guò)程中，首先對(duì)圖像塊和雨塊分別進(jìn)行稀疏逼近，圖像塊采用通常的稀疏逼近方式，而雨塊在稀疏逼近過(guò)程中先計(jì)算圖像塊中可能殘留的雨成分，之后將這部分累加到先前計(jì)算得到的雨塊矩陣上再進(jìn)行稀疏編碼，得到稀疏編碼系數(shù)后，根據(jù)稀疏編碼系數(shù)和字典對(duì)雨塊進(jìn)行重構(gòu)，再轉(zhuǎn)化到雨層，根據(jù)雨層的亮度和雨圖的生成模型計(jì)算出圖像層，之后再將圖像層和雨層轉(zhuǎn)化為塊結(jié)構(gòu)，對(duì)字典進(jìn)行更新，之后再進(jìn)行下一輪的稀疏編碼。

在上述思想中，可以看到，除去前面提到的五個(gè)基本變量外，還提到了圖像中殘留的雨成分，為了刻畫(huà)這一成分，在詳細(xì)介紹算法前，我們先引入額外的兩個(gè)輔助變量ω和r，其中是一個(gè)與字典的元素個(gè)數(shù)相同維數(shù)的指示向量，其值可取1或0，其取1時(shí)表明該字典元素將會(huì)參與雨塊的稀疏表示中，如果為0則表示該字典元素是用作圖像塊的稀疏表示。變量是殘余量，代表的是在圖像層中可能留有的雨的分量，在理想情況下，算法在迭代過(guò)程中，這個(gè)殘余量將會(huì)趨近于0，也就是說(shuō)雨塊與圖像塊的編碼系數(shù)的相關(guān)性趨近于0。

接下來(lái)，我們將詳細(xì)介紹本文中提出的區(qū)分性稀疏編碼模型的求解算法，按照前面提過(guò)的基本思想，我們將算法的每一次迭代分為稀疏逼近，圖像更新，字典更新，指示變量更新這四個(gè)步驟，具體的操作如下：

稀疏逼近：在算法的第(l+1）次迭代時(shí)，此階段的當(dāng)前輸入為上一步迭代得到的字典D¹，雨塊與圖像塊的堆疊矩陣Y^I_R和Y^I_I，輔助指示變量ω^I，需要得到的是雨塊與圖像塊對(duì)應(yīng)的新的編碼系數(shù)C^I+1_R和C^I+1_I，對(duì)于圖像塊來(lái)說(shuō)，其編碼系數(shù)C^I+1_I是以下最優(yōu)化模型的最優(yōu)解：

而雨塊的編碼系數(shù)則是通過(guò)對(duì)上一步的雨塊矩陣與殘余量的累加來(lái)進(jìn)行稀疏逼近，殘余量的計(jì)算方式如下：

其中diag是將一個(gè)向量拉成一個(gè)對(duì)角化矩陣的操作，該向量為矩陣的對(duì)角元素，其余元素為0，在得到殘余量之后，新的編碼系數(shù)C^I+1_R通過(guò)求解以下最優(yōu)化模型得到：

上面兩個(gè)稀疏逼近的優(yōu)化模型都可以通過(guò)OMP算法進(jìn)行求解。

圖像更新：這里的圖像更新包括了雨層與清晰圖像層的圖像亮度更新，在上一步稀疏逼近中，我們已經(jīng)得到了雨塊與圖像塊所對(duì)應(yīng)的編碼系數(shù)，合理的想法是通過(guò)編碼系數(shù)和字典對(duì)雨塊和圖像塊進(jìn)行重構(gòu)，然而為了加快算法的收斂程度，我們對(duì)雨層是采取系數(shù)與字典重構(gòu)的方式，而對(duì)圖像層，這里采用貪心的算法利用雨圖的生成模型直接獲取圖像層的亮度，具體的做法如下：

首先根據(jù)上一步中計(jì)算得到的雨塊的編碼系數(shù)C^I+1_R和上一輪迭代得到的字典D^l得到新的雨塊矩陣Y^l+1_R：

然后根據(jù)新的雨塊矩陣重構(gòu)回雨層R^l+1，這次操作算子為算子P的逆操作，我們記為P^T，注意這里需要對(duì)重構(gòu)回的雨層進(jìn)行一個(gè)[0,1]標(biāo)準(zhǔn)化，具體操作如下：

最后再根據(jù)雨層圖像與雨圖的生成模型對(duì)圖像層亮度進(jìn)行更新：

字典更新：在字典更新階段，現(xiàn)有的輸入變量為圖像更新步驟得到的雨層和清晰圖層亮度，以及稀疏逼近步驟中得到的相應(yīng)的稀疏編碼系數(shù)，這里想要得到的是更新后的字典，首先，我們需要將雨層和圖像層通過(guò)操作算子P轉(zhuǎn)換為堆疊的矩陣塊：

之后的字典更新則是通過(guò)求解以下最優(yōu)化模型得到：

上述字典的更新可以通過(guò)K-SVD算法進(jìn)行求解。

指示變量更新：這一步驟主要是為了下一迭代中殘余量的生成服務(wù)的，輸入的變量有上一輪的指示變量ω^l以及這一輪所得到的雨塊的編碼系數(shù)C^l+1_R，首先根據(jù)雨塊的編碼系數(shù)生成新的指示變量：

此外，我們認(rèn)為該指示變量應(yīng)該是上一輪指示變量的一個(gè)子集，這樣可以有效的避免算法的發(fā)散。

3.實(shí)驗(yàn)對(duì)比與分析

對(duì)比方法選擇：為了驗(yàn)證上述區(qū)分性稀疏編碼模型及算法的有效性，我們?cè)诤铣傻挠陥D上進(jìn)行了驗(yàn)證，且選取了如下兩種方法進(jìn)行對(duì)比實(shí)驗(yàn)，第一種是Kang等人[1]在2012年提出的，其采用雙邊濾波的方式首先抽取出圖像的低頻部分，再?gòu)母哳l部分通過(guò)字典學(xué)習(xí)和聚類的方式抽取出雨層，另外一種則是Kim等人[2]在2013年提出的對(duì)雨圖首先進(jìn)行雨點(diǎn)檢測(cè)，再對(duì)檢測(cè)到的區(qū)域進(jìn)行圖像修補(bǔ)。

實(shí)驗(yàn)配置與初始化：在整個(gè)實(shí)驗(yàn)中，算法的參數(shù)都是固定的，圖像層切成的局部圖像塊的尺寸大小為16X16，字典D的元素個(gè)數(shù)為640，也就是說(shuō)字典D的大小為256X640，算法中雨塊和圖像塊的稀疏度T_R和T_Z分別為5和8，也就是說(shuō)每一個(gè)雨塊(圖像塊)最多能用5個(gè)(8個(gè))字典元素。在整個(gè)實(shí)驗(yàn)中，需要進(jìn)行初始化的變量主要包括字典D與指示向量W，字典D的的初始化分為兩個(gè)成分，第一部分為雨成分的子字典，第二部分為清晰的圖成分子字典，第二部分處理起來(lái)可以相對(duì)比較隨意，這里我們直接對(duì)原始的輸入雨圖進(jìn)行字典學(xué)習(xí)得到的字典作為清晰圖像的子字典，字典學(xué)習(xí)方式采用的是經(jīng)典的KSVD。第一部分雨字典的初始化我們根據(jù)前文中的雨的形態(tài)學(xué)分析對(duì)雨字典進(jìn)行一個(gè)比較好的初始化，首先根據(jù)輸入的雨圖的梯度方向統(tǒng)計(jì)出雨的大致方向，生成沿該方向的運(yùn)動(dòng)模糊核，再對(duì)該模糊核疊加一個(gè)高斯濾波，這樣我們就得到了初始的雨字典，雨字典與圖像字典元素個(gè)數(shù)的比例我們?cè)O(shè)為1:4。指示向量W的初始化也根據(jù)初始化的字典成分來(lái)決定，初始為雨字典的我們將W對(duì)應(yīng)位置上的值設(shè)為1，其余設(shè)為0。此外，算法輸入中還有初始的雨塊與圖像塊矩陣及對(duì)應(yīng)的編碼系數(shù)，這些我們都采用經(jīng)典的OMP算法進(jìn)行初始化。

算法時(shí)間評(píng)估：為了在公平的環(huán)境下進(jìn)行效率比較，所有比較方法的運(yùn)行環(huán)境都是統(tǒng)一的，都是在Windows10操作系統(tǒng)中的Matlab2015a運(yùn)算平臺(tái)，并且硬件環(huán)境都是有著因特爾酷睿雙核i7-37703.4GHz型號(hào)的CPU以及32GB內(nèi)存的個(gè)人臺(tái)式電腦。經(jīng)過(guò)多次測(cè)試求取的平均運(yùn)行時(shí)間，對(duì)于一個(gè)尺寸大小為256X256的彩色圖像，本節(jié)所提出的算法所用時(shí)間為140秒，而Kang等人的方法與Kim等人的方法所用的時(shí)間分別為358秒與252秒，可見(jiàn)我們的算法所用的時(shí)間是最少的。

為了對(duì)現(xiàn)有的各種去雨方法的效果有一個(gè)客觀的評(píng)價(jià)，需要建立一個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)，包含原始的帶雨圖像用作算法的輸入，以及原始的不含雨的圖像用作對(duì)算法輸出的評(píng)價(jià)。由于現(xiàn)實(shí)生活中人們很難得到同一環(huán)境下的雨圖和非雨圖，因?yàn)榕臄z過(guò)程中外在的光線明暗變化，可見(jiàn)度高低，空氣質(zhì)量等因素都會(huì)使得兩者的差別不僅僅只是雨的差別。因此，我們暫且對(duì)基準(zhǔn)數(shù)據(jù)庫(kù)的建立采用人工合成的方式，清晰的圖像我們從一些標(biāo)準(zhǔn)圖像庫(kù)里面選取其中室外場(chǎng)景部分，再人工合成雨圖。

清晰圖像的選取：本文所選取的圖像數(shù)據(jù)庫(kù)為UCID[8]無(wú)壓縮彩色圖像數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)的設(shè)計(jì)初衷是用來(lái)評(píng)估基于內(nèi)容的圖像檢索算法，其包含了1338張無(wú)壓縮的彩色圖像，在實(shí)驗(yàn)過(guò)程中我們?nèi)藶榈貙D像中的室內(nèi)場(chǎng)景和物體的相關(guān)圖片去除，剩下一些戶外場(chǎng)景照片，再隨機(jī)的選取其中200張作為清晰的圖像源數(shù)據(jù)，包括建筑物，山水場(chǎng)景，雕像，草地等。

人工雨圖的合成：現(xiàn)有的雨圖合成方式都是通過(guò)圖像編輯軟件PHOTOSHOP來(lái)完成的，而想要批量生成雨圖來(lái)用作客觀評(píng)價(jià)，繼續(xù)人工的使用該軟件需要耗費(fèi)大量的時(shí)間成本，因此，我們采用MATLAB來(lái)近似模擬PHOTOSHOP中的每一步，以此來(lái)批量的生成雨圖。為了確保雨圖的多樣性，避免算法的偏向性帶來(lái)的不公平，在雨圖的生成過(guò)程中將雨的方向在和之間進(jìn)行隨機(jī)選擇。圖1顯示了人工合成后的部分雨圖圖像。

圖1部分圖像對(duì)應(yīng)的雨圖

客觀評(píng)價(jià)標(biāo)準(zhǔn)：這里我們采用兩種經(jīng)典的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)對(duì)算法恢復(fù)的圖像進(jìn)行客觀的評(píng)估，分別為峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)。

為了驗(yàn)證本文所提出的算法的有效性，我們對(duì)200張合成雨圖進(jìn)行了去雨測(cè)試，相關(guān)結(jié)果如表格1所示，表格中的數(shù)據(jù)為多幅圖像求得的平均值。可以看出，本文所提出的算法能夠很大程度的提高雨圖的圖像質(zhì)量。

表1區(qū)分式稀疏編碼模型去雨結(jié)果

表格2列出了本文所提出的去雨算法與另外兩種算法(Kim和Kang)在200幅雨圖上的去雨結(jié)果對(duì)比，表格里的數(shù)據(jù)為所有圖像得出的平均數(shù)據(jù)，可以看出，不管是用PSNR還是SSIM作為客觀評(píng)價(jià)度量，本文所提出的算法在合成數(shù)據(jù)上都比另外兩種算法要好。

表2三種去雨算法在合成數(shù)據(jù)上的對(duì)比

小結(jié)

本文針對(duì)雨這種現(xiàn)實(shí)世界中很常見(jiàn)的一種惡劣天氣下圖像的質(zhì)量的損壞現(xiàn)象，提出了一種有效的去除雨的方法。本文通過(guò)字典學(xué)習(xí)的方式，研究分析雨圖和清晰圖像之間的屬性差異，通過(guò)這種屬性差異在稀疏編碼系數(shù)上體現(xiàn)的差異性，直接以圖像信號(hào)分離的方式來(lái)將雨圖中的雨圖和清晰圖像進(jìn)行分離。實(shí)驗(yàn)結(jié)果表明了在合成數(shù)據(jù)上本文所提出的算法模型的有效性。

此外本文所提出的去雨方法也有一定的局限性，首先，該方法不適合于當(dāng)圖像中的雨不是線性規(guī)則狀時(shí)，當(dāng)圖像中出現(xiàn)的雨的形狀是較大塊的雨滴時(shí)，所提出的方法并不能有效地處理消除這種情況下的雨滴，其次，當(dāng)圖像中有很多與雨的形狀類似的結(jié)構(gòu)存在時(shí)，所提出的方法可能會(huì)將其錯(cuò)分至雨層。在將來(lái)的研究工作中，需要更進(jìn)一步將該算法完善，將該區(qū)分式稀疏編碼模型用到其他視覺(jué)信號(hào)分離問(wèn)題上。

參考文獻(xiàn)

L.W.Kang,C.W.Lin,andY.H.Fu.Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition.IEEETransactionsonImageProcessing,

2012.21(4):p.1742-1755.

J.H.Kim,C.Lee,J.Y.Sim,etal.Single-imagederainingusinganadaptivenonlocalmeansfilter.ICIP.2013.p.914-917.

S.C.Pei,Y.T.Tsai,andC.Y.Lee.Removingrainandsnowinasingleimageusingsaturationandvisibilityfeatures.

IEEEInternationalConferenceonMultimediaandExpoWorkshops.2014.p.1-6.

D.Eigen,D.Krishnan,andR.Fergus.Restoringanimagetakenthroughawindowcoveredwithdirtorrain

.ICCV.2013.p.633-640.

P.C.Barnum,S.Narasimhan,andT.Kanade.Analysisofrainandsnowinfrequencyspace.Internationa

lJournalofComputerVision,2010.86(2-3):p.256-274.

V.SanthaseelanandV.K.Asari.Utilizinglocalphaseinformationtoremoverainfromvideo.

InternationalJournalofComputerVision,2014.112(1):p.71-89.

S.You,R.T.Tan,R.Kawakami,etal.Raindropdetectionandremovalfromlongrangetrajectories.2014:

SpringerInternationalPublishing.569-585.

G.SchaeferandM.Stich.UCID:anuncompressedcolorimagedatabase.ElectronicImaging.2003.

InternationalSocietyforOpticsandPhotonics.p.472-480.