現(xiàn)有的超分辨應(yīng)用中，深度學(xué)習(xí)已成為實(shí)現(xiàn)超分辨率重構(gòu)的一個(gè)主流。往往基于深度學(xué)習(xí)超分辨率生成的圖像給人帶來的主觀感知較差，主要原因是深度學(xué)習(xí)學(xué)習(xí)到的更多是圖像的低頻成分，而圖像的特征主要集中在高頻成分，怎樣利用圖像高頻成分的特征是急需解決的問題。

1.引言

作為表達(dá)信息的一種載體，圖片在生活中被廣泛使用，特別是超分辨率圖片的表達(dá)信息能力較低分辨率圖片的強(qiáng)大很多。隨著圖像技術(shù)的發(fā)展，人們對(duì)超分辨率圖像的需求越來越大，在機(jī)器視覺方面，圖像超分辨率重構(gòu)的應(yīng)用甚為廣泛。從上個(gè)世紀(jì)70年代起，從低分辨率圖片生成超分辨率圖片的應(yīng)用就一直在被研究。隨著深度學(xué)習(xí)、硬件的飛速發(fā)展以及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的實(shí)現(xiàn)，在過去10年間從低分辨率圖像重構(gòu)超分辨率圖像得到了飛速的發(fā)展。

超分辨應(yīng)用主要包括軍事領(lǐng)域、氣象遙感領(lǐng)域和醫(yī)學(xué)影像處理等等十分需要卻又難以獲取超分辨率圖像的場(chǎng)景。在軍事領(lǐng)域主要運(yùn)用在高空觀察、夜間觀測(cè)以及戰(zhàn)場(chǎng)監(jiān)控等，在氣象遙感領(lǐng)常常受限于天氣、成像系統(tǒng)，難以獲得超分辨圖像，在醫(yī)學(xué)影像方面需要大量的高清圖片來了解病人的身體狀況，如各種醫(yī)學(xué)成像、內(nèi)窺鏡圖像等都需要運(yùn)用到超分辨重構(gòu)。

超分辨率重構(gòu)的方法主要分為傳統(tǒng)法和基于深度學(xué)習(xí)的方法，傳統(tǒng)法主要包括插值法、非局部均值算法、凸集投影法以及基于機(jī)器學(xué)習(xí)的重構(gòu)方法等。隨著Chao等人將深度學(xué)習(xí)的方法運(yùn)用到超分辨重構(gòu)上，提出了超分辨卷積神經(jīng)網(wǎng)絡(luò)(SuperResolutionConvolutionalNeruralNetwork,SRCNN),該方法取得了顯著超越幾乎所有傳統(tǒng)方法的效果，由此深度學(xué)習(xí)在超分辨重構(gòu)占領(lǐng)了統(tǒng)治地位。如圖1，同樣圖片通過雙三次插值法和SRCNN法重構(gòu)的效果完全不同。隨后，Ledig等人又提出了在深度學(xué)習(xí)中引入GAN模型以提高生成圖片的主觀感知，取得了不錯(cuò)的效果。但是，其損失函數(shù)度量依然是基于MSE，而MSE損失度量并不能有效度量主觀感知能力。本文基于GAN模型的深度學(xué)習(xí)基礎(chǔ)上對(duì)損失函數(shù)度量改進(jìn)使超分辨重構(gòu)圖像有更好的主觀感知。

圖1超分辨率重構(gòu)圖片

在單圖象超象素重構(gòu)(SingleImageSuper-resolutionReconstruction,SISR)研究中，基于深度學(xué)習(xí)的方法逐漸成為主流，并取得了非常好的效果。在這些算法中，損失函數(shù)是最為關(guān)鍵和重要的，大部分利用的PSNR或者SSIM等度量方式，雖然這些方式能夠較好地得到結(jié)果，但是，由于是像素級(jí)的，造成最終得到的圖像雖然在PSNR等指標(biāo)上較好，但是，其得到的高清重構(gòu)圖片的主觀感知較差。

針對(duì)這一問題，文獻(xiàn)[3]提出SRGAN算法，該算法利用了GAN模型生成圖像的能力，通過引入對(duì)抗損失來提高SR圖像的主觀感知質(zhì)量。在對(duì)抗生成階段，利用的是預(yù)訓(xùn)練以后的VGG19網(wǎng)絡(luò)提取的特征計(jì)算對(duì)應(yīng)的內(nèi)容和對(duì)抗的損失來替代PSNR度量，并取得了很好的主觀感覺質(zhì)量。

但是，SRGAN在計(jì)算對(duì)應(yīng)的損失函數(shù)時(shí)，利用的是預(yù)訓(xùn)練的VGG19模型，因此，一方面并沒有很好地利用生成網(wǎng)絡(luò)的生成能力，因?yàn)榕袥Q網(wǎng)絡(luò)并沒有根據(jù)；另一方面，VGG19網(wǎng)絡(luò)雖然在目標(biāo)分類和識(shí)別上，提取的特征具有很好的區(qū)分性，但是，在超分辨應(yīng)用中，其對(duì)應(yīng)的區(qū)分性并不是很好。

超分辨生成網(wǎng)絡(luò)的損失函數(shù)一般采用最小均方誤差(MSE)度量，最新研究(文獻(xiàn)[1])表明MSE度量無法有效度量人們的主觀感知，雖然利用MSE度量作為損失度量能夠獲得好高的PSNR以及其他的質(zhì)量評(píng)價(jià)指標(biāo)，但是對(duì)人的主觀感知并不是最好的。

針對(duì)以上問題，本文提出了一種改進(jìn)的損失函數(shù)度量的對(duì)抗網(wǎng)絡(luò)的超分辨生成模型，如圖2所示，在SRGAN模型基礎(chǔ)上對(duì)損失函數(shù)度量進(jìn)行改進(jìn)加入對(duì)抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)的目標(biāo)通過兩個(gè)網(wǎng)絡(luò)損失度量之間的對(duì)抗，保證能夠生成超分辨率圖像的同時(shí)也有很好的主觀感知，通過全新的對(duì)抗模型，保證生成的圖像盡可能的利用圖像的高頻成分，進(jìn)而保證最好的生成圖片的所有高、低頻部分，提高圖像的精確度以及主觀感知。

2.基于對(duì)抗損失的超分辨生成算法

2.1算法原理

算法原理如圖2所示：

圖2基于對(duì)抗損失的超分辨生成算法結(jié)構(gòu)圖

如上圖所示，在原始的超分辨生成網(wǎng)絡(luò)的基礎(chǔ)上增加了權(quán)重計(jì)算網(wǎng)絡(luò)，單純的超分辨網(wǎng)絡(luò)對(duì)原始圖片的低頻部分容易訓(xùn)練生成，高頻部分難以生成。增加權(quán)重計(jì)算網(wǎng)絡(luò)，讓高頻部分權(quán)重變大，平衡圖像中高、低頻成分的生成。

損失函數(shù)的選擇對(duì)結(jié)果具有非常重要的影響，傳統(tǒng)的超分辨生成網(wǎng)絡(luò)損失函數(shù)度量選擇的是MSE度量；如下：

MSE度量的實(shí)質(zhì)是累加圖像各個(gè)像素對(duì)應(yīng)的權(quán)重，而在實(shí)際的應(yīng)用中，由于圖片中大部分為平滑區(qū)域，這使得訓(xùn)練學(xué)習(xí)的過程中，更多會(huì)偏向于圖像的平滑區(qū)域。

在圖像中，大部分是平滑區(qū)域，只有少量是高頻的邊緣區(qū)域，但是邊緣區(qū)域?qū)θ藗兊闹饔^感知影響最大，因此，造成MSE算法一方面學(xué)習(xí)到的大部分屬于對(duì)圖像平滑區(qū)域的重構(gòu)，而對(duì)于高頻區(qū)域的重構(gòu)沒那么理想。

本文模型提出的雙層網(wǎng)絡(luò)，改變了超分辨生成網(wǎng)絡(luò)中損失函數(shù)的度量，超分辨率生成網(wǎng)絡(luò)損失度量函數(shù)如下：

公式中TH表示原始圖片對(duì)象的像素點(diǎn)，SH表示超分辨生成網(wǎng)絡(luò)重構(gòu)圖片的像素點(diǎn)，這里，可以看出，兩個(gè)網(wǎng)絡(luò)的權(quán)重都與權(quán)重計(jì)算網(wǎng)絡(luò)生成的權(quán)重w相關(guān)，在前向傳播中，兩個(gè)網(wǎng)絡(luò)均進(jìn)行計(jì)算，權(quán)重計(jì)算網(wǎng)絡(luò)生成的權(quán)重w的維度與超分表生成網(wǎng)絡(luò)生成的高清圖片S的維度相同，保證在計(jì)算損失函數(shù)度量的時(shí)候有相同的維度。在反向傳播的過程中，每次只對(duì)一個(gè)網(wǎng)絡(luò)權(quán)值更新，在一次前向傳播完成后，交替更新兩個(gè)網(wǎng)絡(luò)的參數(shù)，即在公式中對(duì)應(yīng)lossa反向傳播的時(shí)候，wa不更新，lossb反向傳播的時(shí)候SH不更新。根據(jù)兩個(gè)網(wǎng)絡(luò)的損失對(duì)抗，增加原始圖片難以生成部分的權(quán)重。這里起主要作用的是兩個(gè)網(wǎng)絡(luò)損失度量函數(shù)中的wa和wb，更新超分辨網(wǎng)絡(luò)的權(quán)重，超分辨生成網(wǎng)絡(luò)中權(quán)重較大的部分會(huì)由于權(quán)重計(jì)算網(wǎng)絡(luò)的存在而減小，較小的權(quán)重會(huì)有所增加，經(jīng)過權(quán)重計(jì)算網(wǎng)絡(luò)后再次反向傳播，這樣不停的利用兩個(gè)網(wǎng)絡(luò)的對(duì)抗更新超分辨生成網(wǎng)絡(luò)的參數(shù)，提升圖片較難生成部分的權(quán)重。

當(dāng)誤差損失度量降到所設(shè)值或者迭代次數(shù)達(dá)到后，網(wǎng)絡(luò)訓(xùn)練完成，超分辨生成網(wǎng)絡(luò)參數(shù)更新完成。測(cè)試的過程，只使用超分辨生成網(wǎng)絡(luò)生成圖片，計(jì)算生成圖片和原始真實(shí)圖片的SSIM、PSNR值。

通過以上兩個(gè)網(wǎng)絡(luò)的參數(shù)wa和wb的表達(dá)形式可以看出，即使w取最大值1時(shí)(歸一化處理)，此時(shí)的網(wǎng)絡(luò)性能和沒有加損失對(duì)抗的超分辨生成網(wǎng)絡(luò)性能一樣，也就是說本文算法最差也能能達(dá)到超分辨生成網(wǎng)絡(luò)模型的效果。

3.算法實(shí)現(xiàn)步驟：

3.1權(quán)重計(jì)算網(wǎng)絡(luò)

圖3權(quán)重計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖3所示，權(quán)重計(jì)算網(wǎng)絡(luò)主要由三個(gè)卷積層和激活函數(shù)組成。網(wǎng)絡(luò)每經(jīng)過一個(gè)卷積層后跟隨一個(gè)激活層，卷積層1卷積核有64個(gè)，大小為5x5，卷積層2卷積核128個(gè)，大小為3x3，卷積層3卷積核3個(gè)，大小3x3，且每層卷積后圖片大小保持不變。激活函數(shù)前兩層選用的是LeakyReLU函數(shù)，在最后一層卷積后激活函數(shù)選用了Tanh函數(shù)，網(wǎng)絡(luò)采用Adam優(yōu)化，學(xué)習(xí)率隨著迭代次數(shù)的增加而變小。可以防止較小的梯度變?yōu)?。最后網(wǎng)絡(luò)輸出為權(quán)重w，權(quán)重計(jì)算網(wǎng)絡(luò)主要是通過產(chǎn)生的w對(duì)超分辨網(wǎng)絡(luò)進(jìn)行調(diào)控，平衡超分辨網(wǎng)絡(luò)中的權(quán)重。

訓(xùn)練權(quán)重生成網(wǎng)絡(luò)時(shí)直接使用真實(shí)高清圖像，既能夠最大限度的利用好圖片特征，也能幫助網(wǎng)絡(luò)更快的收斂，生成w的維度與真實(shí)高清圖片維度相同。

3.2超分辨生成網(wǎng)絡(luò)

圖4超分辨生成網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖4所示，超分辨生成網(wǎng)絡(luò)也是由三個(gè)卷積層和對(duì)應(yīng)激活函數(shù)組成。卷積層1卷積核有192個(gè)，卷積核大小5x5，卷積層2卷積核有96個(gè)，卷積核大小為3*3，卷積層3卷積核的個(gè)數(shù)為Dim，卷積核大小為3x3,這里:

其中upscale_factor是生成超分辨圖像放大的倍數(shù)，因子3表示訓(xùn)練圖片通道數(shù)為3。同樣激活層的函數(shù)與權(quán)重計(jì)算網(wǎng)絡(luò)相同，經(jīng)過卷幾層和激活層后最后經(jīng)過一個(gè)上采樣處理，生成與原始真實(shí)圖片對(duì)應(yīng)的矩陣維度相同的圖片。

超分辨生成網(wǎng)絡(luò)的損失函數(shù)與權(quán)重計(jì)算網(wǎng)絡(luò)生成的權(quán)重w相關(guān)，每次更新超分辨生成網(wǎng)絡(luò)權(quán)重時(shí)候，權(quán)重計(jì)算網(wǎng)絡(luò)權(quán)重暫時(shí)不更新。

網(wǎng)絡(luò)中設(shè)。超分辨生成網(wǎng)絡(luò)的損失函數(shù)與權(quán)重生成網(wǎng)絡(luò)的損失函數(shù)訓(xùn)練速度相當(dāng)，因此，兩個(gè)網(wǎng)絡(luò)的學(xué)習(xí)率變化程度應(yīng)為相同，以免造成算法難以收斂。

4.實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)訓(xùn)練了1000低分辨率及與之對(duì)應(yīng)的超分辨率圖片，最后得到訓(xùn)練好的模型，經(jīng)過測(cè)試后表現(xiàn)良好。訓(xùn)練部分結(jié)果如圖4所示，以comic、baboon、lenna、zebra為例，進(jìn)行全面測(cè)試與比較。

權(quán)重生成網(wǎng)絡(luò)生成權(quán)重如圖5，代表該算法生成圖片的高頻信息部分，從圖可以看出，算法充分提取了高頻信息，lenna的高頻區(qū)域相對(duì)較少，其他三張圖高頻信息都較多，在生成超分辨圖片時(shí)，lenna更容易生成，生成圖片與原始圖片的PSNR值高，comic、baboon、zebra為了平衡主觀感知，與原始圖片的PSNR值相對(duì)較低。

圖5權(quán)重計(jì)算網(wǎng)絡(luò)生成權(quán)重圖

從圖6、圖7的細(xì)節(jié)圖可以看出，SRGAN算法和本文算法在添加了對(duì)抗網(wǎng)絡(luò)后，生成圖片的清晰度都有明顯提升，對(duì)于高頻部分，如圖7的毛發(fā)部分，本文算法顯得更加細(xì)膩，相較于SRCNN在圖像高頻部分的生成有了加強(qiáng)，在圖像高頻部分的生成更為出色，主觀感知性能較好。

模型測(cè)試結(jié)果與SRCNN模型相比情況如表1：

表1算法與SRCNN、SRGAN算法質(zhì)量分析對(duì)比

主要考查了PSNR和SSIM兩個(gè)評(píng)價(jià)指標(biāo)，從上表和圖可以看出，本文提出的基于對(duì)抗損失的超分辨生成算法在超分辨率重構(gòu)方面與深度學(xué)習(xí)模型SRCNN大部分性能都有了一定的提高，同時(shí)具有很好的主觀感知性能。

5.結(jié)論

本文算法最大的改進(jìn)是增加了對(duì)抗網(wǎng)絡(luò)，對(duì)抗網(wǎng)絡(luò)的關(guān)鍵在于損失函數(shù)的選擇，本算法采用了層數(shù)較淺的網(wǎng)絡(luò)，針對(duì)機(jī)器視覺，尤其是嵌入式設(shè)備而言，層數(shù)較淺的網(wǎng)絡(luò)能夠更好的實(shí)現(xiàn)。主要是都通過兩個(gè)損失函數(shù)度量的對(duì)抗增加了圖片高頻部分這一重要指標(biāo)的生成能力，實(shí)現(xiàn)較好的主觀感知。本算法采用的權(quán)重計(jì)算網(wǎng)絡(luò)和超分辨生成網(wǎng)絡(luò)深度在采用更深的網(wǎng)絡(luò)時(shí)，相較于其他基于深度學(xué)習(xí)的深層網(wǎng)絡(luò)性能沒有明顯提升，后續(xù)工作，可以在選擇損失函數(shù)度量方面進(jìn)行更深的改進(jìn)，如損失函數(shù)權(quán)重的進(jìn)一步優(yōu)化等。