以下文章來源于谷歌云服務(wù)，作者 Google Cloud

楊鵬

Google Cloud 安全專家

大模型就像神通廣大的 "哪吒"，能寫文章、畫畫、編程，無所不能。但如果哪吒被惡意操控，后果不堪設(shè)想！而且，培養(yǎng)這樣的大模型需要大量投入，如果被 "黑化"，損失也是巨大的。

這樣看，大模型的安全關(guān)系到每個人，Google Cloud 提供了安全工具和服務(wù)，能保護大模型不被壞人利用，避免 "黑化"。

想了解更多關(guān)于大模型安全和 Google Cloud 的相關(guān)知識？請繼續(xù)關(guān)注我們的系列文章！

大模型安全概要

生成式 AI 發(fā)展迅速，但也面臨安全風(fēng)險。MITRE ATLAS、NIST AI RMF 和 OWASP AI Top 10 等安全標(biāo)準(zhǔn)組織，總結(jié)了生成式 AI 的主要安全威脅，主要包括:

●對抗性攻擊:攻擊者擾亂模型輸入或竊取模型信息，導(dǎo)致錯誤輸出或信息泄露。

●數(shù)據(jù)投毒:攻擊者污染訓(xùn)練數(shù)據(jù)，使模型產(chǎn)生偏差或后門。

●模型竊取:攻擊者竊取模型結(jié)構(gòu)和參數(shù)，用于復(fù)制或攻擊。

●濫用和惡意使用:模型被用于生成虛假信息、垃圾郵件等。

●隱私和安全:模型可能泄露用戶隱私或存在安全漏洞。

●模型篡改:攻擊者修改模型參數(shù)、邏輯或數(shù)據(jù)，改變模型行為。

此外，公眾還關(guān)注生成式 AI 的法律合規(guī)、治理、偏差、透明度、環(huán)境影響等問題。解決這些問題，才能確保生成式 AI 安全、可靠、負責(zé)任地發(fā)展。

在這當(dāng)中，模型篡改 (Model Tampering，也可稱為模型投毒-Model Poisoning) 這類的威脅涵蓋了對模型的任何未經(jīng)授權(quán)的修改，包括但不限于對模型訓(xùn)練或者微調(diào)注入后門或降低性能，修改模型參數(shù)或代碼導(dǎo)致模型無法正常工作或產(chǎn)生錯誤結(jié)果。這類威脅對應(yīng)的漏洞一般被認為利用難度比較高，因為攻擊者不僅要突破層層基礎(chǔ)安全縱深防御，還需要熟悉大模型訓(xùn)練和優(yōu)化，了解如何繞過代碼審計和各類監(jiān)控且可以有效地影響到模型訓(xùn)練工作。

但是，近期發(fā)生的一些模型投毒事故證明，熟悉流程和相關(guān)大模型技術(shù)的內(nèi)部攻擊者可以放大這類風(fēng)險，甚至可以使得投入數(shù)千萬美元的訓(xùn)練工作毀于一旦。同時，隨著黑產(chǎn)灰產(chǎn)的不斷演進，未來這類威脅帶來的影響可能還會增大，上面說的讓模型 "黑化" 的風(fēng)險并不是危言聳聽。

理解大模型訓(xùn)練的安全風(fēng)險

下圖是在 Google Cloud 上進行生成式 AI 訓(xùn)練，部署和推理的典型架構(gòu)。圖中畫紅框的部分是大模型訓(xùn)練的范疇。

首先讓我們從基礎(chǔ)設(shè)施、工具鏈、供應(yīng)鏈、模型代碼和配置等方面，拆解一下模型篡改可能面臨的風(fēng)險類別:

基礎(chǔ)設(shè)施

● 未經(jīng)授權(quán)的訪問:攻擊者可能入侵模型訓(xùn)練或部署的服務(wù)器、云平臺等基礎(chǔ)設(shè)施，直接篡改模型文件或運行環(huán)境。這包括利用系統(tǒng)漏洞、弱口令、社會工程學(xué)等手段獲取訪問權(quán)限。

●惡意代碼注入:攻擊者可能在基礎(chǔ)設(shè)施中植入惡意代碼，例如后門程序、rootkit 等，用于監(jiān)控模型行為、竊取數(shù)據(jù)或篡改模型輸出。

●拒絕服務(wù)攻擊:攻擊者可能對基礎(chǔ)設(shè)施發(fā)起 DDoS 攻擊，導(dǎo)致模型無法正常提供服務(wù)，影響用戶體驗和業(yè)務(wù)運營。

模型訓(xùn)練工具鏈

●投毒的訓(xùn)練框架:攻擊者可能篡改模型訓(xùn)練所使用的框架或庫，例如 TensorFlow、PyTorch 等，注入惡意代碼或后門，影響模型訓(xùn)練過程和結(jié)果。

●惡意的模型評估工具:攻擊者可能篡改模型評估工具，例如指標(biāo)計算腳本、可視化工具等，導(dǎo)致模型評估結(jié)果失真，掩蓋模型存在的安全問題。

●不安全的模型部署工具:攻擊者可能利用模型部署工具中的漏洞，例如未經(jīng)身份驗證的 API 接口、不安全的配置文件等，篡改模型參數(shù)或邏輯。

模型供應(yīng)鏈

● 預(yù)訓(xùn)練模型的風(fēng)險:使用來自不可信來源的預(yù)訓(xùn)練模型，可能存在被篡改的風(fēng)險，例如模型中可能被植入后門或惡意代碼。

●第三方數(shù)據(jù)的風(fēng)險:使用來自不可信來源的第三方數(shù)據(jù)進行模型訓(xùn)練，可能存在數(shù)據(jù)投毒的風(fēng)險，導(dǎo)致模型學(xué)習(xí)到錯誤的模式或產(chǎn)生偏差。

●依賴庫的風(fēng)險:模型訓(xùn)練和部署過程中使用的各種依賴庫，可能存在安全漏洞，攻擊者可能利用這些漏洞篡改模型或竊取數(shù)據(jù)。

模型代碼和配置

● 代碼注入:攻擊者可能直接修改模型代碼，注入惡意代碼或后門，改變模型的行為。

●配置錯誤:錯誤的模型配置可能導(dǎo)致安全漏洞，例如過低的訪問權(quán)限、未加密的敏感信息等，攻擊者可能利用這些漏洞篡改模型。

●版本控制問題:缺乏有效的版本控制機制，可能導(dǎo)致模型被意外修改或回滾到存在安全問題的版本。

發(fā)揮云原生的力量一起應(yīng)對風(fēng)險

經(jīng)過多年的積累，Google 既是一個 AI 專家，又是一個安全專家，在應(yīng)對類似的風(fēng)險方面有豐富的經(jīng)驗。在 Google Cloud 平臺上，有多種云原生的手段來幫助大家應(yīng)對上面提到的大模型投毒的威脅。

要保護模型安全，需要多管齊下:加強基礎(chǔ)設(shè)施安全，例如做好訪問控制和入侵檢測；使用可信的工具鏈，并對預(yù)訓(xùn)練模型、數(shù)據(jù)和依賴庫進行安全審查；同時，還要保護好模型代碼和配置，并進行持續(xù)的監(jiān)控和檢測。

Ray on Vertex AI 提供了一個強大的平臺，可以幫助您更好地進行 LLMOps，在提高模型訓(xùn)練的效率和有效性的同時，保護模型代碼和配置:

安全的環(huán)境

Vertex AI 提供了安全可靠的運行環(huán)境，并與 Google Cloud 的安全工具集成，例如 IAM 和 VPC Service Controls，可以有效地控制訪問權(quán)限和保護敏感數(shù)據(jù)。

可復(fù)現(xiàn)的流程

Ray 和 Vertex AI 的結(jié)合可以幫助您構(gòu)建可復(fù)現(xiàn)的模型訓(xùn)練和部署流程，通過版本控制和跟蹤實驗參數(shù)，確保模型代碼和配置的一致性。

持續(xù)監(jiān)控和集成

您可以利用 Vertex AI 的監(jiān)控工具和 Ray 的可擴展性，對模型進行持續(xù)監(jiān)控和性能分析，及時發(fā)現(xiàn)異常情況并進行調(diào)整。

通過 Ray on Vertex AI，結(jié)合 Google Cloud 的權(quán)限管理、網(wǎng)絡(luò)隔離、威脅監(jiān)控等手段，可以將模型代碼和配置納入到一個安全、可控、可復(fù)現(xiàn)的環(huán)境中，從而更好地保護模型的安全性和完整性。

Jupyter Notebook、Kubeflow 和 Ray 之類的大模型訓(xùn)練工具也是需要保護的重點。需要從漏洞評估、用戶訪問控制、加密和網(wǎng)絡(luò)隔離等多個方面入手，確保訓(xùn)練開發(fā)和測試工具的安全可靠。

漏洞評估

●使用 Artifact Analysis 掃描鏡像中的漏洞，并使用 Binary Authorization 根據(jù)掃描結(jié)果限制部署。

●對于運行中的工作負載，考慮使用 Advanced Vulnerability Insights 進行更深入的漏洞分析。

用戶訪問控制

● 通過 Cloud Load Balancer 和 Identity-Aware Proxy 對 Cloud Console 環(huán)境訪問進行代理、Kubeflow Central Dashboard 和 Ray dashboard UI 進行用戶身份驗證和授權(quán)。

加密

●使用 CMEK 對啟動磁盤和永久磁盤進行靜態(tài)加密。

●使用 HTTPS Load Balancing 對前端通信進行傳輸加密。

●可選: 支持 Ray TLS，但會影響性能。

網(wǎng)絡(luò)隔離

●根據(jù) Jupyter Notebook、Kubeflow 和 Ray 的要求配置網(wǎng)絡(luò)策略和 Cloud Firewall 規(guī)則。

●Kubeflow 集成了 Istio 來控制集群內(nèi)流量和用戶交互，還可以使用 Cloud Service Mesh 補充 AI/ML 運營環(huán)境的網(wǎng)絡(luò)安全。

Vertex AI Colab Enterprise 將 Colab 的易用性與 Google Cloud 的安全性和強大功能相結(jié)合，為數(shù)據(jù)科學(xué)家提供了一個理想的平臺，在安全、可擴展的環(huán)境中運行 Jupyter Notebook，同時輕松訪問 Google Cloud 的各種資源。

保障大模型訓(xùn)練安全，需審查預(yù)訓(xùn)練模型、第三方數(shù)據(jù)和依賴庫。選擇 Google Cloud 提供的預(yù)訓(xùn)練模型，并使用 Artifact Analysis 等工具進行漏洞掃描和依賴分析，確保模型來源可靠且安全。

在管理依賴庫的安全風(fēng)險方面，Google Cloud Assured OSS 可以發(fā)揮重要作用。它提供了一系列經(jīng)過 Google 安全審查和維護的開源軟件包，例如 TensorFlow、Pandas 和 Scikit-learn 等常用的大模型訓(xùn)練庫。

●可信來源:Assured OSS 的軟件包來自 Google 管理的安全可靠的 Artifact Registry，確保來源可信。

●漏洞修復(fù):Google 會積極掃描和修復(fù) Assured OSS 軟件包中的漏洞，并及時提供安全更新。

●軟件物料清單 (SBOM):Assured OSS 提供了標(biāo)準(zhǔn)格式的 SBOM，幫助您了解軟件包的組成成分和依賴關(guān)系，方便進行安全評估。

目前，業(yè)內(nèi)大模型訓(xùn)練使用最多的基礎(chǔ)設(shè)施平臺是 Kubernetes。Google Cloud 托管的 Kubernetes 平臺 GKE，提供高度安全、可擴展且易于管理的 Kubernetes 環(huán)境，讓開發(fā)者專注于模型開發(fā)和部署，無需擔(dān)心底層基礎(chǔ)設(shè)施的運維。下面是一些面向大模型訓(xùn)練風(fēng)險的 GKE 安全加固建議。

基礎(chǔ)的云原生安全加固和管控在 Google Cloud 上可以非常方便地使用，可以利用其提供的 Identity and Access Management (IAM) 服務(wù)精細化地控制對模型和數(shù)據(jù)的訪問權(quán)限，并使用 Security Command Center 進行入侵檢測和安全監(jiān)控，及時發(fā)現(xiàn)并應(yīng)對潛在威脅。此外，Google Cloud 還提供了一系列安全加固工具和服務(wù)，例如虛擬機安全、網(wǎng)絡(luò)安全、數(shù)據(jù)加密等，幫助您構(gòu)建更加安全的生成式 AI 基礎(chǔ)設(shè)施。

生成式 AI 的安全及合規(guī)治理

不容忽視

生成式 AI 技術(shù)日新月異，其安全風(fēng)險也隨之不斷演變。長期的生成式 AI 安全治理能夠幫助我們持續(xù)應(yīng)對新的威脅，確保 AI 系統(tǒng)始終安全可靠，并適應(yīng)不斷變化的法律法規(guī)和社會倫理要求，最終促進生成式 AI 技術(shù)的健康發(fā)展和應(yīng)用。Google Cloud SAIF (Security AI Framework) 是一個旨在保障 AI 系統(tǒng)安全的概念框架。它借鑒了軟件開發(fā)中的安全最佳實踐，并結(jié)合了 Google 對 AI 系統(tǒng) specific 的安全趨勢和風(fēng)險的理解。

SAIF 的主要內(nèi)容可以概括為以下四個方面:

安全開發(fā) (Secure Development)

威脅建模:在 AI 系統(tǒng)的開發(fā)初期就進行威脅建模，識別潛在的安全風(fēng)險。

安全編碼:采用安全的編碼實踐，防止代碼漏洞和安全缺陷。

供應(yīng)鏈安全:確保 AI 系統(tǒng)的供應(yīng)鏈安全，例如使用可信的第三方庫和數(shù)據(jù)。

安全部署 (Secure Deployment)

訪問控制:對 AI 系統(tǒng)進行訪問控制，防止未經(jīng)授權(quán)的訪問和修改。

安全配置:對 AI 系統(tǒng)進行安全配置，例如配置防火墻規(guī)則和加密通信。

漏洞掃描:對 AI 系統(tǒng)進行漏洞掃描，及時發(fā)現(xiàn)和修復(fù)安全漏洞。

安全執(zhí)行 (Secure Execution)

輸入驗證:對 AI 系統(tǒng)的輸入進行驗證，防止惡意輸入和攻擊。

異常檢測:對 AI 系統(tǒng)的運行狀態(tài)進行監(jiān)控，及時發(fā)現(xiàn)異常行為。

模型保護:保護 AI 模型不被竊取或篡改。

安全監(jiān)控 (Secure Monitoring)

日志記錄:記錄 AI 系統(tǒng)的運行日志，方便安全審計和事件調(diào)查。

安全評估:定期對 AI 系統(tǒng)進行安全評估，識別新的安全風(fēng)險。

事件響應(yīng):建立事件響應(yīng)機制，及時應(yīng)對安全事件。

SAIF 的目標(biāo)是幫助組織將安全措施融入到 AI 系統(tǒng)的整個生命周期中，確保 AI 系統(tǒng)的安全性和可靠性。它強調(diào)了以下幾個關(guān)鍵原則:

●默認安全:AI 系統(tǒng)應(yīng)該默認安全，而不是事后補救。

●縱深防御:采用多層次的安全措施，防止單點故障。

●持續(xù)監(jiān)控:持續(xù)監(jiān)控 AI 系統(tǒng)的運行狀態(tài)，及時發(fā)現(xiàn)和應(yīng)對安全威脅。

●持續(xù)改進:不斷改進 AI 系統(tǒng)的安全措施，以適應(yīng)不斷變化的威脅環(huán)境。

行動從今天開始

我們深入探討了大模型安全的重要性、面臨的風(fēng)險以及 Google Cloud 提供的安全工具和服務(wù)，涵蓋了基礎(chǔ)設(shè)施安全、模型安全、數(shù)據(jù)安全和供應(yīng)鏈安全等方面。未來，就像我們一起努力保護 "小哪吒" 一樣，Google Cloud 會和大家一起，利用強大的安全工具和豐富的經(jīng)驗，把大模型訓(xùn)練的每個環(huán)節(jié)都保護好，讓 AI 技術(shù)安全可靠地為我們服務(wù)！