隨著人工智能技術(shù)的發(fā)展，人工智能已廣泛應(yīng)用到各行各業(yè)，推動(dòng)人類社會(huì)發(fā)生廣泛而深刻的變革。然而，人工智能技術(shù)是把“雙刃劍”，人工智能也可能帶來意想不到的安全問題。從無(wú)人駕駛汽車撞人到自主武器殺人，從腦機(jī)接口打造超級(jí)人類到人工智能自我復(fù)制，人工智能真的安全嗎？特別是人工智能應(yīng)用到軍事領(lǐng)域，世界是否會(huì)陷入可怕的“人工智能軍備競(jìng)賽”，而導(dǎo)致人工智能失控？

人工智能安全風(fēng)險(xiǎn)的根源

人工智能之所以給人類帶來安全風(fēng)險(xiǎn)，一方面是人工智能技術(shù)不成熟造成的，包括算法不可解釋性、數(shù)據(jù)強(qiáng)依賴性等技術(shù)局限性；另一方面是人工智能技術(shù)在應(yīng)用和濫用過程中對(duì)不同領(lǐng)域造成的影響和沖擊，包括對(duì)政治、經(jīng)濟(jì)、軍事、社會(huì)倫理道德等的沖擊和挑戰(zhàn)。具體到軍事領(lǐng)域，人工智能帶來的風(fēng)險(xiǎn)和挑戰(zhàn)，除了技術(shù)局限性和不成熟性帶來的風(fēng)險(xiǎn)，還包括對(duì)現(xiàn)有戰(zhàn)爭(zhēng)機(jī)理的改變，對(duì)戰(zhàn)略穩(wěn)定性的沖擊，對(duì)戰(zhàn)爭(zhēng)倫理道德的挑戰(zhàn)等。本文僅選取智能情報(bào)系統(tǒng)的誤判風(fēng)險(xiǎn)、輔助決策系統(tǒng)的安全風(fēng)險(xiǎn)、自主武器系統(tǒng)的安全風(fēng)險(xiǎn)三個(gè)方面進(jìn)行分析。

智能情報(bào)系統(tǒng)的誤判風(fēng)險(xiǎn)

基于人工智能技術(shù)的感知系統(tǒng)可廣泛用于情報(bào)、監(jiān)視和偵察任務(wù)，但是這種智能情報(bào)系統(tǒng)存在誤判的風(fēng)險(xiǎn)。

首先，智能情報(bào)系統(tǒng)的視覺感知是基于已有的圖象數(shù)據(jù)集進(jìn)行訓(xùn)練，數(shù)據(jù)的數(shù)量和質(zhì)量都會(huì)影響人工智能的情報(bào)判斷的準(zhǔn)確性。其次，人工智能的計(jì)算機(jī)視覺與人類的認(rèn)知方法是不同的。人工智能系統(tǒng)在接受訓(xùn)練后能夠?qū)ξ矬w或人物圖像進(jìn)行識(shí)別和分類，但卻并不能像人類一樣理解對(duì)象的含義或概念。當(dāng)面臨新的圖像數(shù)據(jù)集時(shí)就會(huì)做出錯(cuò)誤的判斷。再次，智能情報(bào)系統(tǒng)還可能被欺騙做出錯(cuò)誤判斷，即對(duì)抗樣本攻擊。例如，將一小塊精心挑選的膠布粘貼到交通信號(hào)燈上能夠使人工智能系統(tǒng)判斷失誤，把紅燈判斷為綠燈。2019年8月，來自莫斯科國(guó)立大學(xué)和華為莫斯科研究中心的兩位研究人員公布了一項(xiàng)研究結(jié)果，只需要用普通打印機(jī)打印一張彩色貼紙貼到帽子上，就能使ArcFace等業(yè)內(nèi)領(lǐng)先的人臉識(shí)別系統(tǒng)做出錯(cuò)誤判斷。在作戰(zhàn)中，這種錯(cuò)誤有可能導(dǎo)致對(duì)攻擊目標(biāo)的錯(cuò)誤判斷，誤傷平民或者己方人員和設(shè)施。

思考：在戰(zhàn)爭(zhēng)中，如果采用對(duì)抗樣本攻擊故意使對(duì)方的人工智能系統(tǒng)無(wú)法分辨軍人與平民，軍事設(shè)施和民用設(shè)施，導(dǎo)致錯(cuò)誤的攻擊，誰(shuí)承擔(dān)責(zé)任？

輔助決策系統(tǒng)的安全風(fēng)險(xiǎn)

人工智能輔助決策系統(tǒng)在軍事上的應(yīng)用可加快數(shù)據(jù)處理速度，提高對(duì)象識(shí)別能力，提高人機(jī)交互水平。DARPA于2007年啟動(dòng)“深綠”（Deep Green）項(xiàng)目，將人工智能引入作戰(zhàn)輔助決策，它通過對(duì)OODA環(huán)中的觀察和判斷環(huán)節(jié)進(jìn)行多次計(jì)算機(jī)模擬，提前演示不同作戰(zhàn)方案可能產(chǎn)生的各種結(jié)果，對(duì)敵方行動(dòng)進(jìn)行預(yù)判，協(xié)助指揮官做出正確決策。但是，輔助決策系統(tǒng)的安全風(fēng)險(xiǎn)也同樣不可忽視。首先，戰(zhàn)場(chǎng)環(huán)境的改變和戰(zhàn)場(chǎng)的復(fù)雜性可能使人工智能系統(tǒng)做出錯(cuò)誤判斷，從而影響指揮官的決策。其次，如果戰(zhàn)爭(zhēng)雙方均采用人工智能輔助決策系統(tǒng)，在戰(zhàn)場(chǎng)上對(duì)抗雙方部署的人工智能系統(tǒng)會(huì)使環(huán)境復(fù)雜化，超出一個(gè)或多個(gè)系統(tǒng)的解析力，進(jìn)一步加劇了系統(tǒng)的脆弱性，并增加了事故和失誤的可能性。第三，人工智能使決策流程和時(shí)間被大大縮短，國(guó)家之間因意外事件導(dǎo)致的沖突升級(jí)風(fēng)險(xiǎn)便大大提升。如果人工智能參與核打擊的決策，后果將更加嚴(yán)重。美國(guó)國(guó)防部前副部長(zhǎng)羅伯特·沃克曾以俄羅斯的“周長(zhǎng)”核武控制系統(tǒng)為例說明人工智能不應(yīng)參與管控核武器，因?yàn)樗鼈儠?huì)根據(jù)某些指標(biāo)或數(shù)據(jù)做出錯(cuò)誤判斷，啟動(dòng)核武。在特殊情況下，人工智能可能會(huì)誤判一些潛在威脅，從而更輕易地引發(fā)核戰(zhàn)爭(zhēng)。

思考：如果輔助決策系統(tǒng)顯示敵人馬上要對(duì)我進(jìn)行核打擊的概率是60%，我們應(yīng)該如何抉擇？先發(fā)制人，還是靜觀其變？

自主武器系統(tǒng)的安全風(fēng)險(xiǎn)

自主武器系統(tǒng)可以實(shí)現(xiàn)“非接觸、零傷亡、低成本”的戰(zhàn)爭(zhēng)，降低了戰(zhàn)爭(zhēng)的門檻，很可能會(huì)導(dǎo)致武力的濫用。同時(shí)，自主武器系統(tǒng)無(wú)需人類干預(yù)自行決策的特點(diǎn)，割斷了戰(zhàn)場(chǎng)上人與人的情感關(guān)聯(lián)，減少了攻擊方的負(fù)罪感，有可能引發(fā)人道主義危機(jī)。由于缺乏價(jià)值判斷和主觀考量，自主武器系統(tǒng)或者無(wú)法合理評(píng)估對(duì)平民或民用物體的傷害，做出錯(cuò)誤的攻擊行為，違反相稱性規(guī)則。如果自主武器無(wú)法適應(yīng)戰(zhàn)爭(zhēng)態(tài)勢(shì)和環(huán)境的變化，自主武器系統(tǒng)還可能違反區(qū)分原則，誤傷平民。而如果允許自主武器適應(yīng)環(huán)境變化，實(shí)現(xiàn)自我進(jìn)化，則有可能失去人類控制。

自主武器系統(tǒng)迫使人類重新思考戰(zhàn)爭(zhēng)法的主體界定、適用范圍和基本原則等多內(nèi)容，使現(xiàn)有的戰(zhàn)爭(zhēng)法面臨嚴(yán)重的考驗(yàn)。

思考：在各利益相關(guān)方都事先認(rèn)可人工智能具有“自我進(jìn)化”可能性的情形下，程序“自我進(jìn)化”導(dǎo)致的后果，該由誰(shuí)負(fù)責(zé)？“誰(shuí)制造誰(shuí)負(fù)責(zé)”、“誰(shuí)擁有誰(shuí)負(fù)責(zé)”？還是“誰(shuí)使用誰(shuí)負(fù)責(zé)”？

人工智能安全治理

目前，人工智能正逐步應(yīng)用到軍事領(lǐng)域，人工智能帶來的風(fēng)險(xiǎn)和挑戰(zhàn)也越來越嚴(yán)峻。如果不對(duì)其進(jìn)行有效限制，人工智能一旦脫離人類期望的發(fā)展方向，其帶來的危害也將是巨大的，甚至是毀滅性的。在武器開發(fā)過程中，要堅(jiān)持有效人類控制的原則。包括開發(fā)和使用過程中的控制。因此，應(yīng)當(dāng)給人工智能打造一套“規(guī)則”的牢籠，使其更好地服務(wù)人類。目前，社會(huì)各界已開始采取行動(dòng)，包括加強(qiáng)人工智能安全監(jiān)管，制定人工智能原則，制定人工智能安全標(biāo)準(zhǔn)，發(fā)展可解釋的人工智能技術(shù)等。