機器學習算法已成為一項重要的網(wǎng)絡安全技術，目前它主要用于識別惡意軟件、將經(jīng)過篩選的警告呈現(xiàn)在安全分析員面前，以及確定漏洞優(yōu)先級以打上補丁。研究機器學習和人工智能系統(tǒng)安全的專家警告稱，未來這類系統(tǒng)可能被專業(yè)的攻擊者所利用。

研究人員在去年發(fā)表的一篇研究論文中表示，神經(jīng)網(wǎng)絡的冗余特性可以讓攻擊者將數(shù)據(jù)隱藏在常見的神經(jīng)網(wǎng)絡文件中，占文件20%的大小，而不顯著影響模型的性能。2019年的另一篇論文表明，受感染的訓練服務可能會在神經(jīng)網(wǎng)絡中植入實際持續(xù)存在的后門，即使該網(wǎng)絡接受訓練以處理其他任務。

圖1 《對抗性機器學習威脅矩陣》

來源：MITRE

貝里維爾機器學習研究所（BIML）聯(lián)合創(chuàng)始人兼首席執(zhí)行官Gary McGraw表示，這兩篇研究論文表明了機器學習存在的潛在威脅，但最直接的風險還是竊取或篡改數(shù)據(jù)的攻擊。他表示：“如果將機密信息放入機器中，并讓機器學習該數(shù)據(jù)，人們會忘了機器中仍然存在機密信息，忘了會有一些更高明的手法可以取出信息。開發(fā)人員通常只專注于為該技術創(chuàng)造新用途，而忽略了其開發(fā)產(chǎn)品的安全性時，這種潛在威脅有時會更嚴重?！?/p>

2020年，微軟、MITRE等公司聯(lián)合發(fā)布了一份列出潛在攻擊清單的報告——《對抗性機器學習威脅矩陣》（Adversarial ML Threat Matrix）。報告稱，企業(yè)需要評估依賴人工智能或機器學習技術的系統(tǒng)是否存在潛在風險。一些風險（比如將數(shù)據(jù)隱藏在機器學習文件中）與日常風險沒多大不同。除非企業(yè)測試系統(tǒng)具有彈性，否則更多針對機器學習的風險會大獲成功，比如有可能創(chuàng)建這樣的模型：攻擊者觸發(fā)后，能夠以特定的方式行動。

軟件安全公司Sophos的首席科學家Joshua Saxe表示，造成這種后果的原因是防御者只專注于眼前的攻擊，而不是專注于那些未來且難以實施的復雜攻擊。隨著更多的安全專業(yè)人員依賴機器學習系統(tǒng)來完成工作，能夠意識到這種威脅形勢將變得更重要。研究人員創(chuàng)建的對抗性攻擊矩陣包括規(guī)避檢測惡意軟件和控制流量、僵尸網(wǎng)絡域生成算法（DGA）以及惡意軟件二進制文件的工具。

McGraw指出，隨著機器學習的應用，數(shù)據(jù)面臨更大的風險。因為敏感數(shù)據(jù)常?？梢詮臋C器學習系統(tǒng)中恢復，同時，通過機器學習生成的系統(tǒng)又常常以不安全的方式運行。如果對機器學習系統(tǒng)執(zhí)行的查詢被暴露后，數(shù)據(jù)在操作過程中也會暴露，這突顯了機器學習一個至關重要但未予以強調(diào)的方面，即確保數(shù)據(jù)安全非常重要。

Saxe表示，機器學習威脅有別于攻擊者使用人工智能/機器學習技術來策劃更有效的攻擊。機器學習攻擊可能會更多地在機器人和自動駕駛汽車領域發(fā)生，因為它們不僅依賴算法來操作，還將人工智能決策轉(zhuǎn)化成實際動作，安全人員需要阻止和防范破壞這些算法的行為。

雖然研究人員表明了多種類型機器學習攻擊的可能性比較大，但大多數(shù)仍在數(shù)年后才會出現(xiàn)，因為攻擊者的工具箱中仍有簡單得多的工具照樣可以幫助其實現(xiàn)攻擊目的。

參考鏈接：

https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-