根據(jù) MarketsandMarkets 公司 2018 年發(fā)布的《安全市場中人工智能》報告，全球人工智能賦能安全市場規(guī)模在 2017 年已達 39.2 億美元，預(yù)計 2025 年將達到 348.1 億美元，平均每年增長率超過 30%。人工智能(AI)在網(wǎng)絡(luò)安全、內(nèi)容安全、數(shù)據(jù)安全、業(yè)務(wù)安全、終端安全等細分領(lǐng)域，給安全行業(yè)帶來了新思路新方法，同時，也在對抗樣本、深度偽造等方面給安全行業(yè)帶來了新的挑戰(zhàn)。

　　一、AI 帶來的安全應(yīng)用場景

　　1. 內(nèi)容安全

　　隨著 5G 和移動互聯(lián)網(wǎng)相關(guān)技術(shù)和產(chǎn)品的日漸成熟，互聯(lián)網(wǎng)內(nèi)容正在以更多載體形式和更快生產(chǎn)速度滲透到人民日常生活的方方面面，對于涉黃、涉暴、涉恐、圖文違規(guī)等內(nèi)容的識別、審核和攔截成為各大內(nèi)容生產(chǎn)和交流平臺的必備社會責(zé)任。2021 年，全國“掃黃打非”辦公室開展“新風(fēng) 2021”集中行動，從 3 月到 11 月，幾近貫穿2021 整年。從內(nèi)容安全風(fēng)險角度，行動涵蓋音視頻、直播、社區(qū)、新聞門戶、游戲、網(wǎng)絡(luò)文學(xué)、自媒體、電商等全品類互聯(lián)網(wǎng)平臺。監(jiān)管層面對平臺方的高要求和強管控力度可見一斑。

　　在有害文本內(nèi)容的檢測上，核心難點就是提升模型的準(zhǔn)召率(Precision and Recall)以及如何應(yīng)對語言的變種(互聯(lián)網(wǎng)黑話)。傳統(tǒng)的文本分類方法可稱作淺層學(xué)習(xí)模型，通常需要通過人工方法獲得良好的樣本特征，然后使用經(jīng)典的分類算法進行識別，此類方法的有效性在很大程度上受到特征提取的限制。但得益于深度學(xué)習(xí)在近年的蓬勃發(fā)展，深度學(xué)習(xí)能夠通過神經(jīng)網(wǎng)絡(luò)模擬人腦，以自動從數(shù)據(jù)中學(xué)習(xí)高階特征并進行分類，例如單詞依賴關(guān)系、文本結(jié)構(gòu)以及文本中的關(guān)鍵短語，然后，將特征工程集成到模型擬合過程中，往往能夠獲得更優(yōu)的效果，例如 Word2Vec 和 TextCNN模型。

　　在基于深度學(xué)習(xí)的文本分類模型里，不得不提的是 BERT 模型。BERT 由谷歌在 2018 年提出，當(dāng)年首次將 GLUE 基準(zhǔn)(用于評估通用自然語言處理模型的基準(zhǔn))推至 80.4%，是 NLP(自然語言處理)歷史上里程碑式的改變。BERT 是第一個無監(jiān)督的、基于雙向深度神經(jīng)網(wǎng)絡(luò)的自然語言預(yù)處理模型，它可以在一個大型文本語料庫(例如維基百科)上訓(xùn)練一個通用的語言表示模型，充分利用上下文信息，然后將該模型用于下游自然語言處理任務(wù)(如智能問答和文本分類)進行精調(diào)。也是從 BERT 開始，“預(yù)訓(xùn)練模型+精調(diào)”的方式被工業(yè)界廣泛應(yīng)用，同時也出現(xiàn)了大量改進的預(yù)訓(xùn)練模型，例如 XLNe、RoBERTa 和 ALBERT 等，至 2021 年，最新的 GLUE 基準(zhǔn)已推進至 90.6%。

　　然而，內(nèi)容安全問題往往不能僅靠深度模型來解決，地下黑產(chǎn)從業(yè)者和惡意用戶往往會通過創(chuàng)造新詞和同音/同義詞替換等對抗方法來達到逃避檢測的效果。2017 年，安全研究團隊首次用自動化的方法大規(guī)模提取并理解不斷演化的黑話。通過分析黑帽搜索引擎優(yōu)化產(chǎn)業(yè)所推廣的網(wǎng)頁，從中提取候選詞，利用現(xiàn)有搜索引擎對惡意頁面的識別功能判斷是否為黑話。然后，利用搜索引擎匯聚用戶的搜索行為而提供的相關(guān)搜索功能，擴展這些黑話，最后形成黑話檢測與擴展系統(tǒng) KDES模型。2020 年，研究團隊提出了 TextShield 框架，引入對抗學(xué)習(xí)、機器翻譯和多模態(tài)嵌入/融合來解決分類模型在內(nèi)容安全領(lǐng)域的魯棒性問題。研究人員將每個文本輸入一個機器模型，該模型使用大量的對抗性文本和良性文本進行對抗性訓(xùn)練修正。然后，將修正后的文本輸入到深度學(xué)習(xí)分類模型中進行多模態(tài)嵌入，提取語義級、字形級和語音級特征。最后，使用多模態(tài)融合特征來進行分類。

　　2. 入侵檢測

　　入侵檢測和AI/機器學(xué)習(xí)的結(jié)合已經(jīng)不是什么新鮮的話題。深度學(xué)習(xí)從 2010 年開始崛起，有幾個關(guān)鍵的時間節(jié)點：2010 年，ImageNet 大規(guī)模視覺識別挑戰(zhàn)(ILSVRC)開始舉辦;2013 年和2014 年， NLP 問題開始引入神經(jīng)網(wǎng)絡(luò)模型;2017年 Transformer 的提出和 2018 年 BERT 的提出，使安全研究員們第一時間想到如何把 AI 和網(wǎng)絡(luò)安全/入侵檢測相結(jié)合，相關(guān)關(guān)鍵詞的搜索熱度也隨之升高。尤其是在 BERT 這種能夠從無監(jiān)督學(xué)習(xí)中學(xué)習(xí)到更多語義知識的方法出現(xiàn)后，AI 與安全結(jié)合的關(guān)注度更為持續(xù)。

　　從 2010 年開始，AI 和大數(shù)據(jù)等概念就開始刺激著安全行業(yè)，甚至有不少文章表示 AI 是安全行業(yè)的最后的希望。但實踐發(fā)現(xiàn)，AI 并不是安全的“銀彈”，原因有很多。機器學(xué)習(xí)擅長檢測正常模式的行為，而入侵是一種偏離正常模式的行為，且并不是所有環(huán)境里的正常行為都是穩(wěn)定而相似的;同時，威脅檢測是一個開放式的問題，損失函數(shù)很難明晰定義。當(dāng)人們對 AI 在安全中應(yīng)用的期望回歸理性的時候，就會發(fā)現(xiàn)，對入侵檢測而言，AI 并不具備全場景的適用性，而是作為一個實用工具，在特定場景下替代規(guī)則檢測或者在海量數(shù)據(jù)下歸納特征和排除噪音，提升安全運營的投資回報率。

　　AI 在入侵檢測領(lǐng)域的一個成功應(yīng)用就是加密流量檢測，通過機器學(xué)習(xí)模型來代替?zhèn)鹘y(tǒng)的規(guī)則檢測。根據(jù)思科公司的數(shù)據(jù)，2020 年，70% 的惡意軟件都會采用加密流量，同時 60% 的企業(yè)都不能成功解密 HTTPS 流量，導(dǎo)致威脅難以發(fā)現(xiàn)。思科在 2016 年提到，通過構(gòu)建加密流量特征集，其中包括通用流統(tǒng)計特征集(22 維)和由安全專家開發(fā)的更具表達性的特征集(319 維)，例如分組數(shù)據(jù)包長度、數(shù)據(jù)包長度形成的轉(zhuǎn)移矩陣，以及TLS 握手元數(shù)據(jù)相關(guān)維度，使用多種分類器在不同的時段和不同的企業(yè)網(wǎng)絡(luò)中驗證其有效性。同時，思科還開源了他們的網(wǎng)絡(luò)流量特征提取工具 Joy 供研究者使用。

　　2019 年，安全研究團隊提出了基于注意力機制的深度神經(jīng)網(wǎng)絡(luò)在 Web 攻擊檢測中的應(yīng)用，稱之為 Locate-Then-Detect(LTD)。LTD 模 型結(jié)合了目標(biāo)檢測和注意力機制的思想，創(chuàng)造性地提出了攻擊載荷靶向定位網(wǎng)絡(luò)(Payload LocatingNetwork，PLN)與攻擊載荷分類網(wǎng)絡(luò)(PayloadClassification Network，PCN)，通過兩個深度神經(jīng)網(wǎng)絡(luò)的結(jié)合，可以準(zhǔn)確地定位惡意攻擊所在的位置，并對其類型進行精準(zhǔn)識別。PLN 用來定位攻擊向量的可疑位置，PCN 再對識別出的可疑向量進行分類，通過靶位識別網(wǎng)絡(luò)的提取能力，能夠使得檢測系統(tǒng)更加關(guān)注真正有害的攻擊，從而規(guī)避掉整個請求內(nèi)容中正常部分對模型預(yù)測結(jié)果的影響。LTD 首次解決了深度學(xué)習(xí)在 Web 攻擊檢測領(lǐng)域的結(jié)果可解釋性問題，同時在與其他傳統(tǒng)方式的對比中，LTD 也表現(xiàn)出超出了基于規(guī)則、符號特征和傳統(tǒng)機器學(xué)習(xí)方法的效果。

　　3. 欺詐檢測

　　欺詐檢測是電子商務(wù)平臺中的一項關(guān)鍵技術(shù)，早期的研究主要集中在基于規(guī)則的專家系統(tǒng)。這些欺詐場景包括信用卡欺詐、電話欺詐、保險欺詐等。隨著欺詐模式的迅速演變，當(dāng)前規(guī)則或?qū)＜抑R不足以滿足當(dāng)今實時檢測欺詐行為的需求，因此一些研究人員嘗試使用基于機器學(xué)習(xí)的方法以檢測欺詐。之前的研究者專注于卷積神經(jīng)網(wǎng)絡(luò)(CNN)、 遞 歸 神 經(jīng) 網(wǎng) 絡(luò)(RNN) 用 于 基 于 序列的欺詐檢測。后來也有研究者利用圖神經(jīng)網(wǎng)絡(luò)(GNN)發(fā)現(xiàn)欺詐。然而，這些方法中的大多數(shù)都面臨著同樣的問題：缺少可解釋性，這對于欺詐檢測任務(wù)至關(guān)重要。安全研究人員提出，通過構(gòu)建行為序列深度學(xué)習(xí)模型來解決交易風(fēng)險評估的問題。它不僅能從雙重視角更有效地利用事件間的內(nèi)部信息，同時也對預(yù)測結(jié)果進行了深入的解釋。

　　基于行為時序信息的深度學(xué)習(xí)模型在智能風(fēng)控場景中的應(yīng)用變得越來越廣泛，傳統(tǒng)的建模方案大多基于單一的串聯(lián)維度構(gòu)建時序信息。隨著風(fēng)險對抗的加強，單一維度的時序刻畫在風(fēng)險識別覆蓋上已經(jīng)遇到了一定的瓶頸。研究人員通過雙維度時序建?？蚣?Dual ImportanceawareFactorization Machines，DIFM)，增加行為內(nèi)屬性時序信息刻畫模塊來提升模型的識別性能。在卡支付風(fēng)險交易的識別能力上，DIFM 相較傳統(tǒng)方案 有 4% 到 6% 的提升。同時，由于 Attention 機制的引入，DIFM 可以同時輸出和風(fēng)險強關(guān)聯(lián)的維度屬性，在模型可解釋性上也有很大提升。

　　二、AI 自身安全風(fēng)險所帶來的挑戰(zhàn)

　　AI 系統(tǒng)作為一個非常復(fù)雜的軟件系統(tǒng)，同樣會面對各種黑客攻擊。黑客通過攻擊 AI 系統(tǒng)，也可以威脅到財產(chǎn)安全、個人隱私、交通安全和公共安全。在深度偽造、對抗樣本等方面，AI 給安全行業(yè)帶來了新的挑戰(zhàn)。針對 AI 系統(tǒng)的攻擊，通常包括以下幾種。

　　1. 模型竊取

　　各大公司通過高薪聘請 AI 專家設(shè)計模型，花費大量資金人力搜集訓(xùn)練數(shù)據(jù)，又花費大量資金購買設(shè)備用于訓(xùn)練模型，最后得到深度學(xué)習(xí)模型。深度學(xué)習(xí)模型最終形式是從幾百字節(jié)到幾百兆字節(jié)大小不等的一個模型文件。

　　深度學(xué)習(xí)模型對外提供服務(wù)的形式主要分為云模式的應(yīng)用程序編程接口(API)，或者是以私有形式部署到用戶的移動設(shè)備或數(shù)據(jù)中心的服務(wù)器上。針對云模式的 API，黑客通過一定的遍歷算法，在調(diào)用云模式的 API 后，可以在本地還原出一個與原始模型功能相同或者類似的模型。針對私有部署到用戶的移動設(shè)備或數(shù)據(jù)中心的服務(wù)器上的模型，黑客通過逆向等傳統(tǒng)安全技術(shù)，可以把模型文件直接還原出來使用。

　　2. 數(shù)據(jù)投毒

　　針對深度學(xué)習(xí)的數(shù)據(jù)投毒主要指給深度學(xué)習(xí)的訓(xùn)練樣本中加入異常數(shù)據(jù)，導(dǎo)致模型在某些條件下會產(chǎn)生分類錯誤。

　　早期的數(shù)據(jù)投毒都發(fā)生在實驗室環(huán)境，其實驗假設(shè)是可以通過在離線訓(xùn)練數(shù)據(jù)中添加精心構(gòu)造的異常數(shù)據(jù)從而產(chǎn)生攻擊。這一攻擊方式需要攻擊者能接觸到模型的訓(xùn)練數(shù)據(jù)，而在實際環(huán)境中，絕大多數(shù)情況都是在公司里的離線數(shù)據(jù)中訓(xùn)練好模型再打包對外發(fā)布服務(wù)，攻擊者難以接觸到訓(xùn)練數(shù)據(jù)，攻擊難以發(fā)生。于是，攻擊者把重點放到了在線學(xué)習(xí)的場景，即模型利用在線的數(shù)據(jù)，幾乎是實時學(xué)習(xí)，比較典型的場景就是推薦系統(tǒng)。推薦系統(tǒng)會結(jié)合用戶的歷史數(shù)據(jù)以及實時的訪問數(shù)據(jù)，共同進行學(xué)習(xí)和判斷，最終得到推薦結(jié)果。黑客正是利用這一可以接觸到訓(xùn)練數(shù)據(jù)的機會，通過一定的算法策略，發(fā)起訪問行為，從而導(dǎo)致推薦系統(tǒng)產(chǎn)生錯誤。

　　3. 對抗樣本

　　對抗樣本由谷歌的科學(xué)家 Christian Szegedy等人提出，是指在數(shù)據(jù)集中通過故意添加細微的干擾所形成的輸入樣本，導(dǎo)致模型以高置信度給出一個錯誤的輸出。

　　簡單來講，對抗樣本通過在原始數(shù)據(jù)上疊加精心構(gòu)造的人類難以察覺的擾動，使深度學(xué)習(xí)模型產(chǎn)生分類錯誤。以圖片分類模型為例，通過在原始圖片上疊加擾動，對肉眼來說，擾動非常細微，圖片看起來還是原來的樣子，但是對于圖像分類模型而言，卻會以很大的概率識別為另一種圖像。

　　對抗樣本是 AI 安全研究的一個熱點，最新的攻擊算法和加固方法層出不窮。與此同時，攻擊場景從實驗室中的簡單圖像分類，迅速擴展到智能音箱、無人駕駛等領(lǐng)域。在 BlackHat Europe2018 上，Zhenyu Zhong 和 Yunhan Jia 的《感知欺騙：基于深度神經(jīng)網(wǎng)絡(luò)(DNN)下物理性對抗攻擊與策略》展現(xiàn)了如何讓物體在深度學(xué)習(xí)系統(tǒng)的“眼睛”中憑空消失。例如用擾動后的圖片，讓深度學(xué)習(xí)系統(tǒng) YOLOv3 模型無法正確辨識目標(biāo)車輛。這是首次針對車輛的物理攻擊的成功展示，從攻擊目標(biāo)的大小、分辨率的高低和物理環(huán)境對攻擊效果的影響和難度來說，和以往的學(xué)術(shù)文章所針對交通標(biāo)識的攻擊相比是一個新的提升。

　　安全研究人員 Takami Sato 等揭示了如何通過在路面上鋪設(shè)印有對抗樣本的貼紙，攻擊無人車的車道保持系統(tǒng)(Lane Keeping System)，讓無人車偏離正常行駛路線。

　　圖 在路面上鋪設(shè)了對抗樣本

　　Kan Yuan 和 Di Tang 等人介紹了黑產(chǎn)如何通過單色化、加噪音、增加文字、仿射變化、濾波模糊化和遮蓋等方式讓違規(guī)圖片繞過目前主流的圖片內(nèi)容檢測服務(wù)。這也標(biāo)志著對抗樣本技術(shù)已經(jīng)從實驗室環(huán)境真正進入了網(wǎng)絡(luò)對抗實戰(zhàn)。

　　4. 深度偽造

　　深度偽造(DeepFake)是英文“Deep learning”(深度學(xué)習(xí))和“Fake”(偽造)的混合詞，即利用深度學(xué)習(xí)算法，實現(xiàn)音視頻的模擬和偽造。2017 年底橫空出世的 DeepFake 技術(shù)，將 AI 假視頻帶入大眾視野的先驅(qū)。如圖所示，美國演員 JordanPeele 用 DeepFake 技術(shù)“扮演”奧巴馬講話。

　　圖 美國演員 Jordan Peele 用 DeepFake 技術(shù)“扮演” 奧巴馬講話

　　在 CanSecWest 2021 上，安全研究人員進行了《AI 被濫用的風(fēng)險：小心您的聲音安全》的內(nèi)容分享。他們的最新研究成果表明，VoIP 電話劫持與 AI 語音模擬技術(shù)的結(jié)合將帶來潛在風(fēng)險。在分享中，安全研究人員展示了如何用 AI 進行聲音克隆并劫持電話的攻擊場景。區(qū)別于此前腳本類的電信詐騙，這一新技術(shù)可實現(xiàn)從電話號碼到聲音音色的全鏈路偽造，攻擊者可以利用漏洞劫持 VoIP 電話，實現(xiàn)虛假電話的撥打，并基于深度偽造 AI 變聲技術(shù)生成特定人物的聲音進行詐騙。

　　針對此類風(fēng)險，2021 年 3 月 18 日，國家互聯(lián)網(wǎng)信息辦公室、公安部針對近期未履行安全評估程序的語音社交軟件和涉“深度偽造”技術(shù)的應(yīng)用，指導(dǎo)部分地方網(wǎng)信部門、公安機關(guān)依法約談 11 家企業(yè)。

　　三、總結(jié)

　　綜上所述，AI 在當(dāng)前階段更大程度上是一種類人的機器智能，基于概率學(xué)迭代式地改進決策效能。

　　AI 可以和知識圖譜等技術(shù)，以及知識標(biāo)準(zhǔn)如ATT&CK、MAPEC、STIX 等相結(jié)合，吸收領(lǐng)域知識，但不能代替領(lǐng)域?qū)＜?。AI 更像是一個堅定策略的執(zhí)行者，而非運籌帷幄的將軍。隨著安全行業(yè)逐步往安全運營和安全服務(wù)方向發(fā)展，以及 AI可解釋性和 AI 即服務(wù)(AI as a Service ，AIaaS)的長足進步，AI 可以很好地成為安全從業(yè)者的“瑞士軍刀”。

　　與此同時，AI 組件的引入也會隨之?dāng)U大脆弱性的暴露面，包含模型的代碼漏洞和模型的決策魯棒性等帶來的安全問題，同樣需要在模型設(shè)計、實現(xiàn)和部署階段引起足夠的關(guān)注。