近日，信通院發(fā)布《人工智能數(shù)據(jù)安全白皮書（2019）》，其中提到“數(shù)據(jù)投毒”，這是人工智能自身數(shù)據(jù)安全風險，即通過在訓練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等行為可破壞數(shù)據(jù)的完整性，進而導致訓練的算法模型決策出現(xiàn)偏差。

隨著人工智能技術(shù)的不斷發(fā)展，尤其是各類人工智能應用在各行各業(yè)落地，人工智能的安全風險問題也開始受到全社會的關(guān)注。人工智能究竟會帶來哪些安全風險？中國信息通信研究院近日發(fā)布了《人工智能數(shù)據(jù)安全白皮書（2019）》（以下簡稱“白皮書”），指出了人工智能面臨的幾大數(shù)據(jù)安全風險。

“數(shù)據(jù)投毒”不容忽視

白皮書認為，人工智能訓練數(shù)據(jù)污染可導致人工智能決策錯誤?！皵?shù)據(jù)投毒”通過在訓練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等行為可破壞數(shù)據(jù)的完整性，進而導致訓練的算法模型決策出現(xiàn)偏差。

“數(shù)據(jù)投毒”主要有兩種攻擊方式：

一種是采用模型偏斜方式，主要攻擊目標是訓練數(shù)據(jù)樣本，通過污染訓練數(shù)據(jù)達到改變分類器分類邊界的目的;

另一種則是采用反饋誤導方式，主要攻擊目標是人工智能的學習模型本身，利用模型的用戶反饋機制發(fā)起攻擊，直接向模型“注入”偽裝的數(shù)據(jù)或信息，誤導人工智能做出錯誤判斷。

“數(shù)據(jù)投毒”危害巨大。在自動駕駛領(lǐng)域，“數(shù)據(jù)投毒”可導致車輛違反交通規(guī)則甚至造成交通事故;在軍事領(lǐng)域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，從而帶來毀滅性風險。

運行階段的數(shù)據(jù)異?？蓪е轮悄芟到y(tǒng)運行錯誤。

指出，運行階段的數(shù)據(jù)異常可導致智能系統(tǒng)運行錯誤，同時，模型竊取攻擊可對算法模型的數(shù)據(jù)進行逆向還原。此外，開源學習框架存在安全風險，也可導致人工智能系統(tǒng)數(shù)據(jù)泄露。

AI應用催生新風險

在分析了人工智能自身數(shù)據(jù)安全風險之后，白皮書對于人工智能應用導致的數(shù)據(jù)安全風險也進行了解讀。

白皮書指出，人工智能應用可導致個人數(shù)據(jù)過度采集，加劇隱私泄露風險。隨著各類智能設備（如智能手環(huán)、智能音箱）和智能系統(tǒng)（如生物特征識別系統(tǒng)、智能醫(yī)療系統(tǒng)）的應用普及，人工智能設備和系統(tǒng)對個人信息采集更加直接與全面。相較于互聯(lián)網(wǎng)對用戶上網(wǎng)習慣、消費記錄等信息采集，人工智能應用可采集用戶人臉、指紋、聲紋、虹膜、心跳、基因等具有強個人屬性的生物特征信息。這些信息具有唯一性和不變性，一旦被泄露或者濫用會對公民權(quán)益將造成嚴重影響。

雖然人工智能的普及，給人們帶來了更多的便利;但是白皮書認為，人工智能放大數(shù)據(jù)偏見歧視影響，威脅社會公平正義，人工智能技術(shù)的數(shù)據(jù)深度挖掘分析也將加劇數(shù)據(jù)資源濫用現(xiàn)象的發(fā)生，將加大社會治理和國家安全挑戰(zhàn)。具體而言，一是在社會消費領(lǐng)域，可帶來差異化定價;二是在信息傳播領(lǐng)域，可引發(fā)“信息繭房”效應。

與此同時，人工智能技術(shù)也能夠提升網(wǎng)絡攻擊的智能化水平，進而進行數(shù)據(jù)智能竊取。白皮書認為，一是人工智能可用來自動鎖定目標，進行數(shù)據(jù)勒索攻擊。人工智能技術(shù)可通過對特征庫學習自動查找系統(tǒng)漏洞和識別關(guān)鍵目標，提高攻擊效率。二是人工智能可自動生成大量虛假威脅情報，對分析系統(tǒng)實施攻擊。人工智能通過使用機器學習、數(shù)據(jù)挖掘和自然語言處理等技術(shù)處理安全大數(shù)據(jù)，能自動生產(chǎn)威脅性情報，攻擊者也可利用相關(guān)技術(shù)生成大量錯誤情報以混淆判斷。三是人工智能可自動識別圖像驗證碼，能夠竊取系統(tǒng)數(shù)據(jù)。圖像驗證碼是一種防止機器人賬戶濫用網(wǎng)站或服務的常用驗證措施，通過解決視覺難題來驗證人類用戶，以有效區(qū)分攔截惡意程序，保護系統(tǒng)數(shù)據(jù)安全。

數(shù)據(jù)治理挑戰(zhàn)加劇

白皮書指出，人工智能提升了數(shù)據(jù)資源價值，使得數(shù)據(jù)權(quán)屬問題更為突出。從個人層面上看，數(shù)據(jù)權(quán)屬體現(xiàn)為公民的數(shù)據(jù)權(quán)利，個人隱私保護面臨挑戰(zhàn)。用戶個人隱私信息含金量高，是人工智能技術(shù)與產(chǎn)業(yè)發(fā)展的重要驅(qū)動，然而相關(guān)機構(gòu)在利用用戶數(shù)據(jù)時往往忽視用戶個人隱私權(quán)益。從行業(yè)層面上看，數(shù)據(jù)權(quán)屬體現(xiàn)為企業(yè)的數(shù)據(jù)產(chǎn)權(quán)，數(shù)據(jù)壟斷損害行業(yè)整體發(fā)展。人工智能技術(shù)使數(shù)據(jù)經(jīng)濟價值越發(fā)凸顯，數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)，相關(guān)企業(yè)積極儲備數(shù)據(jù)資源，并阻止競爭對手獲得數(shù)據(jù)，力圖壟斷數(shù)據(jù)資源來使企業(yè)利益最大化。

白皮書認為，數(shù)據(jù)產(chǎn)權(quán)之爭將加劇數(shù)據(jù)壟斷。一方面，科技巨頭依托網(wǎng)絡覆蓋和用戶規(guī)模，加強數(shù)據(jù)匯聚;另一方面，人工智能中小企業(yè)獲取數(shù)據(jù)的渠道受限，數(shù)據(jù)資源匱乏。企業(yè)在數(shù)據(jù)產(chǎn)權(quán)沒有被廣泛認可、以及數(shù)據(jù)流動環(huán)節(jié)存在安全風險的前提下，無論是從維護自身利益角度還是從遵守法律法規(guī)角度出發(fā)，都不愿將自身數(shù)據(jù)進行共享，這將導致初創(chuàng)企業(yè)和研究機構(gòu)在算法設計和優(yōu)化過程中無數(shù)據(jù)可用，損害我國人工智能行業(yè)整體發(fā)展。

當前，隨著人工智能在科技競爭中的戰(zhàn)略地位日漸凸顯，數(shù)據(jù)的違規(guī)跨境將直接影響國家安全。白皮書顯示，目前，世界主要國家都制定了人工智能發(fā)展戰(zhàn)略，對數(shù)據(jù)的依賴度快速提升，數(shù)據(jù)作為國家基礎(chǔ)性戰(zhàn)略資源的地位更加突出。為快速積累數(shù)據(jù)，科技企業(yè)通過向消費者提供特定領(lǐng)域免費應用、使用政府公開數(shù)據(jù)以及進行產(chǎn)業(yè)上下游數(shù)據(jù)協(xié)同等方式獲取盡可能多的數(shù)據(jù)。以Facebook、谷歌為代表的美國科技巨頭，依托其龐大用戶規(guī)模和強大數(shù)據(jù)抓取工具，在全球范圍內(nèi)進行數(shù)據(jù)收集，強化數(shù)據(jù)資源優(yōu)勢，推進自身人工智能發(fā)展，這無疑將加劇數(shù)據(jù)違規(guī)跨境流動風險。

來源：人民郵電報