人工智能 (AI) 的進(jìn)步促進(jìn)了各種自動(dòng)化服務(wù)和自主系統(tǒng)；與此同時(shí)，針對(duì)人工智能的安全威脅也在迅速演變。為了幫助開(kāi)發(fā)基于 AI 的安全服務(wù)和系統(tǒng)，歐洲電信標(biāo)準(zhǔn)協(xié)會(huì) (ETSI) 保護(hù)人工智能行業(yè)規(guī)范組 (ISG SAI) 分析了保護(hù) AI的問(wèn)題和相應(yīng)的緩解措施；最近發(fā)布了兩個(gè)小組報(bào)告。

ML 的生命周期在 ETSI ISG SAI GR-004報(bào)告中捕獲，如圖 1 所示。積極研究實(shí)施和部署的安全影響。該報(bào)告還確定并描述了四種攻擊類型，以提高人們對(duì)潛在安全威脅的認(rèn)識(shí)。ETSI ISG SAI GR-005報(bào)告中也對(duì)現(xiàn)有緩解措施進(jìn)行了分析和總結(jié)。根據(jù)所解決的 AI 模型是否被部署的緩解措施修改，它們被分類為模型增強(qiáng)和模型無(wú)關(guān)。因此，服務(wù)開(kāi)發(fā)者或系統(tǒng)部署者可以根據(jù)具體的應(yīng)用場(chǎng)景來(lái)定義他們的緩解策略。

圖 1：典型的機(jī)器學(xué)習(xí)生命周期，ETSI SAI GR-004。（來(lái)源：ETSI）

中毒攻擊

一種特定類型的已識(shí)別攻擊稱為中毒攻擊，它會(huì)操縱訓(xùn)練數(shù)據(jù)以降低基于 AI 的服務(wù)的性能。此外，此類攻擊可能會(huì)降低系統(tǒng)的整體性能或允許某些預(yù)期的錯(cuò)誤分類。中毒攻擊的歷史可以追溯到早期的垃圾郵件過(guò)濾服務(wù)。啟用人工智能的反垃圾郵件過(guò)濾器不斷從電子郵件收件人的反應(yīng)中學(xué)習(xí)，以改進(jìn)過(guò)濾功能。電子郵件收件人可以將正常電子郵件標(biāo)記為垃圾郵件或?qū)㈠e(cuò)誤分類的垃圾郵件恢復(fù)正常。

攻擊者通過(guò)修改電子郵件內(nèi)容來(lái)利用學(xué)習(xí)過(guò)程。例如，在垃圾郵件中小心添加一些精心制作的正常內(nèi)容會(huì)誤導(dǎo)反垃圾郵件過(guò)濾器將這些正常內(nèi)容誤認(rèn)為是潛在的垃圾郵件。稍后，帶有這些精心制作內(nèi)容的電子郵件可能會(huì)被歸類為垃圾郵件。過(guò)濾性能會(huì)下降到用戶禁用反垃圾郵件過(guò)濾服務(wù)的程度。

為了減輕這種攻擊，數(shù)據(jù)質(zhì)量是關(guān)鍵。如圖 2 所示（來(lái)自 ETSI ISG SAI GR-005報(bào)告），針對(duì)中毒攻擊的可用緩解方法包括提高數(shù)據(jù)供應(yīng)鏈的數(shù)據(jù)質(zhì)量、訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)清理以及在訓(xùn)練過(guò)程中通過(guò)使用以下技術(shù)阻止中毒作為漸變整形。

點(diǎn)擊查看完整大小的圖片

圖 2：針對(duì)中毒攻擊的緩解方法，ETSI ISG GR-005。（來(lái)源：ETSI）

在垃圾郵件過(guò)濾服務(wù)的例子中，兩種緩解方法，數(shù)據(jù)清理和塊中毒，可以一起應(yīng)用來(lái)緩解中毒攻擊。收到的電子郵件和收件人的反應(yīng)，不是在到達(dá)時(shí)輸入到學(xué)習(xí)過(guò)程中，而是被保存并定期批量輸入到學(xué)習(xí)過(guò)程中。它是通過(guò)減慢過(guò)程來(lái)阻止中毒的一種變體。同時(shí)，對(duì)于每個(gè)時(shí)期收到的一批郵件，可以采用數(shù)據(jù)清理技術(shù)，將可疑內(nèi)容從學(xué)習(xí)中過(guò)濾掉。

閃避攻擊

在另一種類型的攻擊中，逃避攻擊，惡意軟件混淆是網(wǎng)絡(luò)安全社區(qū)眾所周知的。在這種類型的攻擊中，對(duì)手在推理時(shí)使用操縱的輸入來(lái)逃避部署的模型，從而導(dǎo)致模型產(chǎn)生錯(cuò)誤的分類。

多年來(lái)，惡意軟件作者一直試圖通過(guò)主要通過(guò)使用加密來(lái)混淆他們的惡意軟件來(lái)避免基于簽名的病毒引擎的檢測(cè)。由于基于靜態(tài)分析的自動(dòng)惡意軟件檢測(cè)器已經(jīng)從簡(jiǎn)單的基于簽名的方法發(fā)展到使用機(jī)器學(xué)習(xí)的更復(fù)雜的啟發(fā)式技術(shù)，因此對(duì)檢測(cè)器的魯棒性混淆的需求從未如此強(qiáng)烈。

谷歌的 Android 使用統(tǒng)計(jì)數(shù)據(jù)顯示，全球每月有超過(guò) 20 億臺(tái)活躍設(shè)備在使用，每年下載 820 億次應(yīng)用和游戲。隨著其在物聯(lián)網(wǎng)連接設(shè)備和車輛中的使用勢(shì)頭不斷增強(qiáng)，Android 實(shí)施成為惡意軟件攻擊的常見(jiàn)目標(biāo)，并且越來(lái)越多。

對(duì)于當(dāng)前的檢測(cè)系統(tǒng)來(lái)說(shuō)，混淆是一個(gè)具有挑戰(zhàn)性的問(wèn)題，Android 惡意軟件作者經(jīng)常使用加密、反射和引用重命名等技術(shù)。這些旨在偽裝和偽裝應(yīng)用程序中的惡意功能，誘使模型將其歸類為良性。例如，混淆幾乎普遍用于隱藏 API 的使用，惡意應(yīng)用程序中加密算法的使用率是良性應(yīng)用程序的五倍。此外，對(duì) 76 個(gè)惡意軟件家族的分析發(fā)現(xiàn)，幾乎 80% 的應(yīng)用程序使用至少一種混淆技術(shù)。

許多良性應(yīng)用程序被混淆以保護(hù)知識(shí)產(chǎn)權(quán)，這一事實(shí)進(jìn)一步加劇了這個(gè)問(wèn)題。最近，越來(lái)越多的研究關(guān)注使用對(duì)抗性學(xué)習(xí)來(lái)創(chuàng)建更復(fù)雜的混淆技術(shù)，例如變形混淆，其中被混淆的惡意軟件的功能與原始惡意軟件的功能相同。

有幾種方法可以減輕混淆攻擊。首先，可以通過(guò)使用相同惡意和良性應(yīng)用程序的混淆版本來(lái)增強(qiáng)原始訓(xùn)練數(shù)據(jù)，使用兩個(gè)標(biāo)簽來(lái)注釋每個(gè)樣本來(lái)進(jìn)行對(duì)抗訓(xùn)練；惡意或良性，混淆或未混淆。對(duì)抗性訓(xùn)練的一個(gè)問(wèn)題是模型在部署期間泛化到看不見(jiàn)的未混淆樣本的能力降低了?？朔@個(gè)問(wèn)題的一種方法是使用包含兩個(gè)具有不同成本函數(shù)的分類分支的判別對(duì)抗網(wǎng)絡(luò) (DAN)，如圖 3 所示。

圖 3：在上層分類分支上進(jìn)行常規(guī)學(xué)習(xí)的判別對(duì)抗架構(gòu)，用于惡意軟件檢測(cè)和對(duì)抗性學(xué)習(xí)混淆。（來(lái)源：第十屆 ACM 數(shù)據(jù)和應(yīng)用程序安全和隱私會(huì)議論文集，第 353-364 頁(yè)）。

DAN 采用生成對(duì)抗網(wǎng)絡(luò) (GAN) 的對(duì)抗學(xué)習(xí)方面，但不是訓(xùn)練生成模型，而是訓(xùn)練兩個(gè)鑒別器，一個(gè)用于惡意軟件，另一個(gè)用于混淆。使用標(biāo)準(zhǔn)梯度下降算法最小化惡意軟件檢測(cè)的成本函數(shù)，以最大限度地提高分類精度。然而，相比之下，混淆分支使用隨機(jī)梯度上升使成本函數(shù)最小化，從而導(dǎo)致分類器的分類準(zhǔn)確度是偶然的。這樣做的動(dòng)機(jī)是 DAN 確保學(xué)習(xí)對(duì)惡意軟件檢測(cè)固有有用的特征，同時(shí)不知道混淆。這樣的特征可以導(dǎo)致看不見(jiàn)的未混淆樣本的更大泛化。

最后，盡管最近對(duì)對(duì)抗性攻擊和緩解措施進(jìn)行了大量研究，但實(shí)際用例的數(shù)量很少，許多人將該領(lǐng)域視為一項(xiàng)學(xué)術(shù)活動(dòng)，可以更深入地了解深度學(xué)習(xí)的工作原理（或休息）。另一方面，機(jī)器學(xué)習(xí)在反病毒引擎、軟件和 Web 應(yīng)用程序漏洞檢測(cè)以及主機(jī)和網(wǎng)絡(luò)入侵檢測(cè)等網(wǎng)絡(luò)安全工具中的使用越來(lái)越多，這將網(wǎng)絡(luò)安全置于人工智能的敵對(duì)攻擊者和防御者的前線.

由于保護(hù) AI 是確保基于 AI 的服務(wù)和系統(tǒng)開(kāi)發(fā)和部署的重要課題，因此需要做更多的研究。作為第一步，ETSI ISG SAI 于 2019 年開(kāi)始工作，并提交了兩份關(guān)于保護(hù) AI 問(wèn)題陳述和緩解策略報(bào)告的小組報(bào)告。ETSI ISG SAI 有望在不久的將來(lái)獲得更多結(jié)果。

審核編輯 黃昊宇