“車載攝像頭”本身是指代并不算明確的詞，因為如今的汽車搭載越來越多的攝像頭，而不同作用的攝像頭，其規(guī)格和標準又是不盡相同的。

　　車載攝像頭大致分成了ADAS攝像頭、視覺攝像頭、車艙內(nèi)攝像頭、CMS、A V自動駕駛。

　　這個分類似乎是有些交疊的，但大方向上車內(nèi)與車外的攝像頭有差別，而讓人看的攝像頭與純粹用于數(shù)據(jù)分析的攝像頭又有差別。打個比方，手機攝像頭拍的照片要求拍得好看，是要發(fā)朋友圈的;而車載攝像頭要以“拍得到”為最高準則。

　　汽車上的攝像頭按照是否給人看，也可以分成兩大類。文首提到視覺攝像頭即視覺應(yīng)用是需要給人看的，像是電子后視鏡、某些環(huán)視系統(tǒng)。還有一類是計算機視覺(機器視覺)，應(yīng)用于自動駕駛、自動泊車，這種攝像頭所攝畫面價值更不在于給人看，而是做數(shù)據(jù)分析。

　　自2012年機器學習成為新的熱門，AI如今的發(fā)展變得如火如荼。機器學習是計算機視覺可應(yīng)用的一種解決問題的方法。越來越多的神經(jīng)網(wǎng)絡(luò)把一些傳統(tǒng)的計算機視覺方法按在地上摩擦。在計算機視覺領(lǐng)域，AI成為一個不得不談的話題：計算機視覺因此能夠?qū)崿F(xiàn)更快速和準確的圖像分類、目標檢測、目標跟蹤、語義分割等。

　　車規(guī)級圖像質(zhì)量規(guī)范

　　如今的車載圖像傳感器，到底有哪些技術(shù)要求。ISO16505針對的主要是人眼視覺相關(guān)系統(tǒng)質(zhì)量的規(guī)范，比如說電子后視鏡、環(huán)視系統(tǒng)等;不對人眼可見的機器視覺部分是非強制的。

　　IEEE P2020對于人眼視覺和機器視覺應(yīng)用都有對應(yīng)的規(guī)范，但這類規(guī)范推進的速度似乎還是比較緩慢。2018年9月發(fā)布的IEEE P2020 Automotive Imaging White Paper白皮書提到汽車攝像頭圖像質(zhì)量尚未被完全定義好，諸多關(guān)鍵指標不明確。

　　與此同時，P2020明確包含7個工作組，還是多少能夠看到未來的趨勢。歐陽堅在此前的演講中也提過，“交通領(lǐng)域會遇到LED燈，紅綠燈時高頻閃爍的LED燈，如果不對高頻閃爍的頻率做處理，抓拍的信息就是殘缺不全的?！比搜蹖τ陬l率高于90Hz的閃爍不會有所察覺，但對圖像傳感器而言，曝光時長與LED光源調(diào)制信號產(chǎn)生一些錯位時，就產(chǎn)生了頻閃信息捕捉不全的問題。

　　這一點實則也是思特威、OmniVision這類圖像傳感器廠商研究的重要課題之一，雖然可能并非單純面向車載領(lǐng)域。而P2020工作組1針對這種頻閃，所做的工作包括闡明flicker產(chǎn)生的原因和細節(jié);列舉flicker出現(xiàn)的情況和潛在影響;定義flicker的測試方法和關(guān)鍵測試指標;定義flicker對人類視覺/機器視覺影響的客觀測試指標。

　　其二，P2020明確的工作組3研究針對計算機視覺的圖像質(zhì)量(Image quality for computer vision)。其方向主要更偏系統(tǒng)級測試。相比EMVA1288這種更偏單個組件的測試，系統(tǒng)級測試對于實際應(yīng)用是更有價值的。前面提到許多圖像質(zhì)量規(guī)范，比如其中的一些光學偽像、多攝像頭系統(tǒng)就不只是攝像頭乃至后端計算，其中一個組件的問題。

　　車載圖像傳感器有哪些技術(shù)需求?

　　要將所有標準規(guī)范中提及的測試項悉數(shù)列出還是不現(xiàn)實的，所以我們根據(jù)圖像傳感器企業(yè)目前著力的宣傳點、新標準中針對車載攝像頭新出現(xiàn)的部分來嘗試總結(jié)ADAS/A V機器視覺對于圖像傳感器而言，提出了哪些要求，又有哪些新的發(fā)展方向。這里只討論圖像質(zhì)量，不探討車規(guī)級本身對于電子元器件在溫度、天氣等方面的嚴苛要求。

　　除了未來全自動駕駛將變得更依托于機器視覺，面向人類視覺的圖像增強要求越來越低之外，還提到了幾個趨勢：

　　(1)達到140dB的動態(tài)范圍，800萬像素單目分辨率、200萬像素立體視覺相機，超過60fps的幀率，高靈敏度;

　　(2)在0.001lux照度下，曝光時間不大于1/30秒的情況下，信噪比大于1;

　　(3)HDR高動態(tài)范圍的同時，要求運動偽像更少;

　　(4)LED flickering問題消除。

　　這幾點實則都不出意外，也是當代圖像傳感器廠商普遍在努力的方向，包括圖像傳感器自身的高動態(tài)范圍、更高的分辨率、幀率，以及低照度下的靈敏度和低噪聲。雖然報告中列舉的部分參數(shù)還有些超前，現(xiàn)在的圖像傳感器制造商在這些目標的實現(xiàn)上，卻都有自己的特長。比如針對低光照環(huán)境，不少廠商在變革像素結(jié)構(gòu)，同時開始采用雙增益轉(zhuǎn)換來兼顧白天和夜間場景。

　　這里比較值得一提的是趨勢中提到的后兩點。首先是HDR高動態(tài)范圍，以及要求更低的運動偽像。其中HDR是車載攝像頭所需實現(xiàn)的基本特性。畢竟當場景光比很大時，如果攝像頭拍攝的畫面有部分區(qū)域過曝或欠曝，計算機視覺分析工作A V就無法拿到對應(yīng)的數(shù)據(jù)。從圖像傳感器的角度，實現(xiàn)HDR有多重曝光、雙增益、大小像素分離，以及提高像素阱容等方法。

　　時域多重曝光的HDR方案在成像領(lǐng)域很常見，但在ADAS/方向上的適用度正逐步降低——因為車載攝像頭要求畫面不能有運動偽像，且必須抑制LED頻閃。所以像思特威這樣的廠商，開始傾向于采用單幀空間域多曝光的方案，典型的方法像是隔行多曝光：圖像傳感器上每兩行為長曝光，兩行為短曝光。ISSCC曾收錄過思特威有關(guān)單幀HDR技術(shù)的論文。

　　另外抑制運動偽像一個重點就是全局曝光(或全局快門)。全局曝光也是現(xiàn)在幾乎所有圖像傳感器制造商都在爭奪的技術(shù)高地。傳統(tǒng)卷簾快門(rolling shutter)因為采用逐行曝光的方式，拍攝高速運動物體時會有果凍效應(yīng)(圖1)。全局快門是讓所有像素同時開始和結(jié)束曝光，也就規(guī)避了這種形式的影像失真。

　　索尼的Pregius全局快門傳感器比較知名——ISSCC曾收錄過索尼一篇每個像素都應(yīng)用獨立ADC的論文(像素級互聯(lián))，這是快速讀出實現(xiàn)全局快門的技術(shù)之一;OmniVision也有類似的技術(shù)介紹。索尼今年發(fā)布的第四代全局快門圖像傳感器終于也用上了BSI背照式技術(shù)，減小了像素尺寸。此前思特威在宣傳中也提到，思特威是“全球為數(shù)不多率先將全局曝光和BSI技術(shù)融合的公司之一”。

　　至于前文就提到的LED頻閃消除(圖2)，這兩年思特威、OmniVision都在不遺余力地宣傳自家的圖像傳感器LED閃爍抑制技術(shù)。畢竟在自動駕駛、智慧交通領(lǐng)域，LED頻閃導(dǎo)致攝像頭捕捉到的交通標志、紅綠燈讀秒信息不全，會導(dǎo)致后端AI系統(tǒng)的誤判。

　　一般來說，LED頻閃抑制可以通過保持LED頻閃與圖像傳感器快門同步的方式，問題是不同LED規(guī)格不一致，所以這種理論上的方案是不可行的。另外也可以通過HDR，在捕捉LED燈的畫面時，確保能夠用更長的曝光時間來捕捉更全面的信息。圖像傳感器廠商應(yīng)用的都是這個大思路，雖然在具體實施上存在差別，例如OmniVision應(yīng)用的是大小分離像素。

　　機器視覺感知的未來

　　從更偏系統(tǒng)的角度來看，大概還有一些技術(shù)趨勢是值得一談的。比如在傳感器角度，車載領(lǐng)域各種傳感器的融合會是個趨勢，不僅是多攝系統(tǒng)，還可能是不同類別視覺傳感器的融合，比如LiDAR與攝像頭融合的傳感器;還有RGB-IR傳感器，為圖像傳感器融入紅外感知能力(如果把傳感器探討范圍擴展到IR傳感器，可能還涉及到近紅外響應(yīng)增強等技術(shù)趨勢，SWIR紅外攝像頭等)。

　　從整個成像/視覺系統(tǒng)的角度看，圖像傳感器將融合部分邊緣算力，可能也會成為一個趨勢。比如索尼就將AI邊緣計算與圖像傳感器做了結(jié)合(IMX500);SK hynix去年也在新聞稿中提到，基于先進半導(dǎo)體制造工藝，堆棧式傳感器中，將一個簡單的AI硬件引擎加入到傳感器下層的ISP中，已經(jīng)是可行的了……雖然這些暫時還不是面向汽車市場的。

　　思特威前兩年推出AISENS傳感器芯片平臺，就是“感知與計算一體的通用AI傳感器芯片平臺”，此前思特威也提及以3D堆疊的方式將數(shù)據(jù)處理die與傳感器die封裝到一起。這個平臺如今似乎正趨于進一步的商用化。

　　在機器視覺領(lǐng)域，基于事件的視覺傳感器是可以替代傳統(tǒng)基于幀的圖像傳感器技術(shù)的。而在成像領(lǐng)域，傳統(tǒng)圖像傳感技術(shù)本身是沒有問題的。機器視覺領(lǐng)域的變革，大概還會有一波全新的浪潮。