投影儀攝像機系統(tǒng)的研究在當(dāng)前的人機交互領(lǐng)域中備受關(guān)注，由于攝像機和投影儀系統(tǒng)硬件設(shè)備的便攜性，該技術(shù)給互動投影在嵌入式移動設(shè)備上的應(yīng)用帶來了很大的機遇。本文提出了基于單目攝像機與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng)，包括前景區(qū)域分割、指尖點的定位以及觸摸檢測三個部分。結(jié)合投影圖像與攝像機圖像反射率對比的顯著性檢測方法，并融合均值漂移實現(xiàn)了圖像前景手臂區(qū)域的分割；對前景輪廓的邊緣進行檢測，并對邊緣點序列進行曲率計算，根據(jù)曲率極值與輪廓重心的距離約束條件來定位指尖點位置；基于空間結(jié)構(gòu)光編碼測量技術(shù)的思想提出了自適應(yīng)編碼的方法，通過嵌入在幀間投影圖像中的自適應(yīng)編碼，判斷指尖點與投影平面的空間距離，實現(xiàn)觸摸檢測。

系統(tǒng)框架與算法原理

本文采用基于DLP（DigitalLightProcession）技術(shù)的便攜式投影儀與單個普通可見光攝像機固定在一起組成的互動投影系統(tǒng)，通過投影儀將背景畫面投射在任意的規(guī)則平面上，如白紙、墻壁、桌面等，由攝像機捕捉用戶在投影屏幕上的交互手勢圖像，經(jīng)數(shù)據(jù)接口傳輸給計算機進行處理，對前景手臂區(qū)域分割提取并檢測指尖點的位置，最后采用自適應(yīng)結(jié)構(gòu)光編碼的方法檢測指尖觸摸投影平面的操作，并由計算機執(zhí)行相應(yīng)的操控，實現(xiàn)觸控的投影交互方式。

基于指尖觸控的互動投影系統(tǒng)算法原理框架流程如圖1所示。通過計算機視覺的方法對指尖觸摸進行檢測，主要可以分為前景手臂區(qū)域檢測、指尖點定位以及觸摸檢測三大部分。

圖1 系統(tǒng)算法流程圖

為了檢測指尖點觸摸的位置，系統(tǒng)需要對投影背景上的前景手臂區(qū)域進行提取分割。在互動投影人機交互系統(tǒng)中，由于投影背景畫面的多樣性，傳統(tǒng)的圖像分割方法比較難以準確實現(xiàn)前景的手臂區(qū)域提取。本文根據(jù)手臂皮膚對光照的反射率與投影屏幕物體表面的反射率差異性來檢測前景區(qū)域的顯著性特征。假設(shè)周圍環(huán)境光的影響為Q，投影平面物體的表面反射率為A，攝像機在像素級的顏色轉(zhuǎn)換函數(shù)為C，視覺回饋圖像的亮度值為E，則有：

經(jīng)過mean-shift的圖像分割抽象后，攝像機采集圖像的前景與背景的細節(jié)紋理均已被消除，圖像的像素點分類成M個不同的圖像區(qū)域。系統(tǒng)算法通過融合顯著性特征圖以及mean-shift分割平滑細節(jié)后的圖像來實現(xiàn)前景手臂區(qū)域的提取。

(a)投影背景圖像；(b)攝像機采集圖像；(c)基于反射率對比的顯著性檢測結(jié)果；(d)均值漂移圖像分割結(jié)果；(e)顯著性圖與均值漂移分割的融合結(jié)果；(f)最終前景分割結(jié)果

圖2 基于顯著性檢測的前景提取

觸摸檢測

基于指尖觸摸的互動投影系統(tǒng)需要對用戶在投影儀平面上交互的指尖觸摸進行檢測，指尖點的定位是準確判斷觸摸位置的基礎(chǔ)。如圖3所示，本文的指尖點定位檢測是基于曲率極值的方法來實現(xiàn)。首先，對手臂區(qū)域分割后的前景基于Canny算子檢測邊緣輪廓點；其次，對所有的邊緣序列點計算對應(yīng)的曲率，通過尋找曲率的極大值可以獲取指尖位置的候選點；再次，在對前景輪廓提取完曲率的極大值點后，我們發(fā)現(xiàn)手掌的輪廓曲率較大的不僅包含指尖點的位置，還有手指之間夾縫的峰谷點，但可以根據(jù)候選點與手掌區(qū)域輪廓的重心距離來排除；最后，將每個候選點距離較近的點分類成一個組合，稱為同一個手指上的候選點，而距離較大的分類在不同的組，一個手掌區(qū)域總共可以分成五個組，每個組的點取平均值作為最終的指尖點返回。

觸摸檢測的實現(xiàn)是基于一種自適應(yīng)結(jié)構(gòu)光編碼，系統(tǒng)根據(jù)前面檢測到的用戶前景指尖點位置后，將結(jié)構(gòu)光的圖案編碼投射在指尖點附近的小領(lǐng)域范圍內(nèi)，并且該結(jié)構(gòu)光圖案的顏色通道會隨著投影背景畫面中相應(yīng)位置的像素值而自適應(yīng)的改變。在投影儀前后兩幀投影圖像嵌入自適應(yīng)結(jié)構(gòu)光編碼，彩色編碼圖案通過對背景像素點的亮度值添加或減少一個固定編碼值，從而減少本身對背景畫面的視覺干擾。

本文采用的自適應(yīng)結(jié)構(gòu)光編碼主要由三種不同形狀的幾何圖案組成，分別為條形、方形和方框。三種幾何圖案在紅、綠、藍、黑四種顏色通道隨機生成彩色結(jié)構(gòu)光編碼。如圖3所示，圖像上每個像素點的碼字是以該點為中心的鄰近3×3的子窗口幾何圖案構(gòu)成的特征向量。

圖3自適應(yīng)結(jié)構(gòu)光編碼圖案

三種不同的幾何結(jié)構(gòu)圖案與四種顏色通道可以組成12個不同的特征基元。具體每個基元圖案的編碼如表1所示，系統(tǒng)定義圖像上任意點以其為中心的3×3鄰近的圖案構(gòu)成的子窗口作為該點的碼字，不同的子窗口碼字具有獨特性，而且與鄰域窗口的碼字差異很大。圖3為自適應(yīng)編碼的碼字定義方式，每個窗口的碼字編碼為子窗口中從左至右，從上至下的9個基元圖案組成的特征向量。一般來說，子窗口與鄰域之間的碼字的漢明距離差異越大，解碼恢復(fù)物體三維深度信息出錯概率越小，抗噪性能越強。本文提出的自適應(yīng)編碼任意兩個子窗口之間碼字的平均漢明距離達到8.2551，均大于偽隨機編碼、M-陣列的空間編碼以及幾何圖形編碼等方案，相比于目前空間結(jié)構(gòu)編碼的方案，不容易受到圖像噪聲的干擾，穩(wěn)定性更高。

在編碼過程，當(dāng)系統(tǒng)檢測到某一幀圖像上的指尖點位置后，在以指尖點為中心附近的鄰域窗口進行自適應(yīng)結(jié)構(gòu)光編碼，采用如下的公式：

圖4 觸摸檢測原理

更多資訊請關(guān)注人機界面頻道