“但是在現實世界，攻擊者可以利用對抗樣本來實施針對AI系統的攻擊和惡意侵擾，從而演變成令人頭疼的‘AI病毒’。”閆懷志表示，對抗樣本攻擊可逃避檢測，例如在生物特征識別應用場景中，對抗樣本攻擊可欺騙基於人工智能技術的身份鑒別、活體檢測系統。2019年4月，比利時魯汶大學研究人員發現，借助一張設計的打印圖案就可以避開人工智能視頻監控系統。
在現實世界中，很多AI系統在對抗樣本攻擊面前不堪一擊。閆懷志介紹，一方面，這是由於AI系統重應用、輕安全的現象普遍存在，很多AI系統根本沒有考慮對抗樣本攻擊問題；另一方面，雖然有些AI系統經過了對抗訓練，但由於對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。
對訓練數據投毒 與傳統網絡攻擊存在明顯不同
360公司董事長兼CEO周鴻禕曾表示，人工智能是大數據訓練出來的，訓練的數據可以被污染，也叫“數據投毒”——通過在訓練數據裡加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。
中國信息通信研究院安全研究所發布的《人工智能數據安全白皮書（2019年）》（以下簡稱白皮書）也提到了這一點。白皮書指出，人工智能自身面臨的數據安全風險包括：訓練數據污染導致人工智能決策錯誤；運行階段的數據異常導致智能系統運行錯誤（如對抗樣本攻擊）；模型竊取攻擊對算法模型的數據進行逆向還原等。
值得警惕的是，隨著人工智能與實體經濟深度融合，醫療、交通、金融等行業對於數據集建設的迫切需求，使得在訓練樣本環節發動網絡攻擊成為最直接有效的方法，潛在危害巨大。比如在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，帶來毀滅性風險。
白皮書還提到，人工智能算法模型主要反映的是數據關聯性和其特征統計，沒有真正獲取數據之間的因果關係。所以，針對算法模型這一缺陷，對抗樣本通過對數據輸入樣例，添加難以察覺的擾動，使算法模型輸出錯誤結果。
如此一來，發生文章開頭所談到的一類事故就不足為奇了。 |
