近日，來自30個國家和地區(qū)的50多名人工智能和機器人專家稱，由于韓國科學技術(shù)院大學與軍工企業(yè)“韓華Systems”合作研發(fā)的自主武器，可在無人控制的情況下搜索并消除目標，如果研發(fā)成功，“可能使戰(zhàn)爭惡化并造成無法挽回的后果”?？茖W家們表示：韓方如果不停止此項研發(fā)，即與之斷絕任何合作。4月，聯(lián)合國《特定常規(guī)武器公約》專家小組在日內(nèi)瓦召開會議，專項討論“殺人機器人”可能帶來的影響，涉及韓國科學技術(shù)院大學計劃開發(fā)的“殺人機器人”。

 

　　2017年2月，韓國科學技術(shù)院大學成立國防人工智能融合研究中心，開發(fā)用于飛機訓練、物體追蹤、識別、大型無人潛艇等項目的軍事人工智能技術(shù)。2017年10月，韓國國防部表示，韓國軍方計劃在2025年將這些技術(shù)投入到野戰(zhàn)部隊和實戰(zhàn)中。

 

　　無獨有偶。2017年4月，美國軍方提出Maven項目，要完成的任務是幫助美國國防部處理來自全球各地的海量視頻資料。美國國防部每天收集到不同來源、數(shù)量龐大的視頻資料，而人類圖像分析師遠遠不能完成判讀，國防部希望能利用人工智能技術(shù)來分析這些視頻。由于僅靠軍方無力完成，國防部于是轉(zhuǎn)向?qū)で笈c學界和業(yè)界人工智能專家合作，組成所謂“算法戰(zhàn)爭跨功能團隊”，其中就包括在人工智能研發(fā)方面具有頂級水平的谷歌公司。

 

　　盡管美國國防部強調(diào)，Maven項目只作為人類情報分析的合作伙伴，項目完全遵守并且受制于美國的法律和戰(zhàn)爭法，在部署武器系統(tǒng)的過程中確保人類的參與度最大化。但研究人員認為，人工智能技術(shù)可能會以難以察覺的方式產(chǎn)生重大疏失，并造成致命性后果。2018年4月4日，3100名谷歌員工聯(lián)名發(fā)出公開信，要求谷歌退出由美國國防部主導的Maven計劃，并向所有員工承諾，永遠不參與任何打造類似戰(zhàn)爭科技的計劃或者項目。

 

　　隨著人工智能技術(shù)不斷進步，它在軍事領(lǐng)域的運用也越來越廣泛。無人機、無人戰(zhàn)車、無人艦船、無人潛艇等大量涌現(xiàn)，而且智能化程度和自主性水平越來越高。有人斷言，機器人戰(zhàn)爭、智能化戰(zhàn)爭的大幕已經(jīng)拉開，這引發(fā)了科學家和研發(fā)人員的高度憂慮。

 

　　自主武器系統(tǒng)的發(fā)展現(xiàn)狀和未來預期

 

　　也許有人會疑惑，美軍不是很早就在戰(zhàn)場上使用機器人了嗎？的確如此。但是，無論是阿富汗戰(zhàn)爭中美軍用“捕食者”無人機摧毀撤退中的塔利班指揮機構(gòu)，還是此后用無人機在阿富汗、伊拉克、也門、巴基斯坦等地對恐怖分子頭目進行定點清除，無人機都只是用作偵察搜索和導彈發(fā)射平臺，“開火”指令始終操控在后方控制人員手中。美軍在伊拉克戰(zhàn)場上投入的陸上機器人有近5000個，但只是用作巡邏隊行進前探路、引爆路邊炸彈、危險區(qū)域作業(yè)等。

 

　　非軍事類自主智能系統(tǒng)事實上早已實現(xiàn)，IBM研制的戰(zhàn)勝國際象棋大師的“深藍”、谷歌研制的戰(zhàn)勝國際一流圍棋高手李世石和柯潔的“阿法狗”，他們在對弈過程中都脫離了人的控制，行棋思考、決策完全是機器自主完成的。

 

　　而自主武器或軍用自主智能系統(tǒng)包括兩類：一是具有自主決策權(quán)的指揮控制系統(tǒng)，即“自主指揮控制系統(tǒng)”；二是自主武器系統(tǒng)，即具有戰(zhàn)場“射殺權(quán)”的智能機器人，也就是科學家所稱的“殺人機器人”。

 

　　目前，智能指揮控制系統(tǒng)的發(fā)展，處于輔助人工決策階段，即利用人工智能技術(shù)，提高情報偵察、預警探測、通信聯(lián)絡(luò)、戰(zhàn)場管理等系統(tǒng)的智能水平，替代指揮員某些常規(guī)性思維，最高級形式是為指揮員提供輔助決策方案，供指揮員決策參考，但最后的決策權(quán)仍然在指揮員手中。

 

　　在自主武器系統(tǒng)方面，目前并沒有達到可以將“射殺權(quán)”或“開火權(quán)”交托給智能武器系統(tǒng)的程度。韓國國防部的“韓華Systems”項目，只是預計在2025年將自主武器系統(tǒng)投入實戰(zhàn)之中。美國國防部的Maven項目，則完全回避了將“射殺權(quán)”交給武器系統(tǒng)這一實質(zhì)問題，信誓旦旦地保證只會將人工智能技術(shù)用于情報分析與融合。

 

　　對比發(fā)現(xiàn)，美國軍方在這一問題上的態(tài)度相對謹慎。雖然這并不能證明美國軍方?jīng)]有朝這一方面發(fā)展，甚至其實際發(fā)展可能處于世界前列。但這樣的謹慎仍然非常必要。著名科學家霍金就對人工智能的軍事運用前景保持高度警惕：“除非我們事先做好準備并避免潛在風險，否則人工智能可能成為人類文明史上最糟的事件，它會給整個人類帶來危險，例如致命的自主武器的出現(xiàn)。”

 

　　霍金所說的“致命的自主武器”，就是具有自主“射殺權(quán)”的智能武器系統(tǒng)，即科學家們所說的“殺人機器人”。而“避免潛在風險”最有效的辦法實際上并不取決于技術(shù)發(fā)展，而取決于人類的決定。

 

　　自主武器系統(tǒng)面臨無法解決的技術(shù)難題

 

　　智能機器人作為情報收集、處理、融合和信息傳遞、武器運載平臺的功能，已非常成熟。伊拉克戰(zhàn)爭和后續(xù)反恐作戰(zhàn)中，無人機的上述能力已經(jīng)表現(xiàn)得非常出色。之所以不能將“射殺權(quán)”交給智能機器人，是因為這一權(quán)利事關(guān)生死，同時它還面臨諸多技術(shù)難題。

 

　　在伊拉克反恐作戰(zhàn)的后續(xù)地面穩(wěn)定作戰(zhàn)階段，2007年10月，美軍第三機步師的一個小分隊執(zhí)行進攻一個反美武裝據(jù)點的任務。為了應對恐怖分子可能的極端反擊手段和執(zhí)行危險區(qū)域排險任務，小分隊攜帶了3臺裝載了武器的“利劍”智能機器人，以便在危急和需要的情況下，通過遙控下令“利劍”開火摧毀目標。

 

　　但不知是遙控指令受到干擾還是“利劍”的程序運行紊亂所致，一臺“利劍”竟然調(diào)轉(zhuǎn)槍口指向操作者，操作者反復發(fā)出“行動取消”的指令，失控的“利劍”仍是置若罔聞。為了避免傷及己方，分隊指揮員只得當機立斷，下令隊友用火箭筒將失控的“利劍”摧毀才化險為夷。這一事例說明，不僅將“射殺權(quán)”交給智能機器人是危險的，甚至將其裝備武器而不授權(quán)其自主開火，都有可能導致意想不到的危險。

 

　　也許有人會疑惑，“深藍”戰(zhàn)勝國際象棋大師和“阿法狗”戰(zhàn)勝世界一流棋手李世石和柯潔，不是說明智能機器人已經(jīng)在思維上超越人類了嗎？事實并非如此。要說在某一方面超過人類，石頭的殺傷力就超過了人的拳頭。人工智能在國際象棋和圍棋上戰(zhàn)勝人類，是因為此類游戲的競賽規(guī)則簡單明確，易于用數(shù)學模型和計算機程序語言描述，而計算機的計算速度和能力又遠超人腦，還不會出現(xiàn)疲勞現(xiàn)象和受到情緒化波動的影響。

 

　　迄今為止，現(xiàn)有智能機器人所具有的任何能力，都是人類程序員用計算機語言寫就的程序賦予的。人能夠用計算機程序語言表達某一能力的前提，是人類對這一能力已經(jīng)研究透徹并準確地描述。而人類對于自己大腦和思維的認識，除了某些特定領(lǐng)域，整體上還處于起步階段。

 

　　在戰(zhàn)場上作出“開火”的決定，是綜合衡量大量復雜因素的結(jié)果。現(xiàn)有技術(shù)甚至連作出這個決定時人的思維所要考慮的因素，都無法全面羅列出來，更不用說構(gòu)建相應的數(shù)學模型，進行邏輯嚴謹?shù)哪M演示。例如，《日內(nèi)瓦公約》規(guī)定，不得射殺傷兵、醫(yī)護兵、跳傘飛行員及失去抵抗能力的士兵，智能機器人怎樣分辨出這些人，以及怎樣判斷對方是否已經(jīng)失去抵抗能力，這些至少在當前還是難以逾越的技術(shù)障礙。

 

　　“殺人機器人”的最終出現(xiàn)或難避免

 

　　盡管如此，自主武器系統(tǒng)的出現(xiàn)可能很難被阻止。2016年美國空軍舉行的一次模擬空中對抗賽中，人工智能系統(tǒng)以其靈活、迅捷的動作，擊敗了具備更強武器系統(tǒng)的退役戰(zhàn)斗機飛行員。這和國際象棋大師輸給“深藍”，李世石、柯潔輸給“阿法狗”一樣，顯示了人工智能在特定軍事領(lǐng)域具有超過優(yōu)秀軍事人員的潛力。在軍事強權(quán)依然具有國際主導作用的時代，這樣的誘惑，對于具備科研條件的國家和軍隊是難以抵御的。韓國國防部的“韓華Systems”項目和美國國防部的Maven項目就是明證。

 

　　目前，在武器裝備和指揮控制方面，人工智能的主要研發(fā)應用包括陸地、海洋、太空等各類作戰(zhàn)機器人以及各類智能炸彈。隨著人工智能技術(shù)的不斷完善并在軍事上廣泛應用，情報、決策與作戰(zhàn)一體化將取得快速進展。也就是說，韓國科研機構(gòu)研制在無人控制的情況下搜索并消除目標的自主武器，已是當前人工智能軍事化進展的代表方向。自主武器系統(tǒng)加入未來戰(zhàn)爭不會有太大懸念。但到底是人與機器人之間作戰(zhàn)，還是機器人與機器人之間作戰(zhàn)，取決于一定的戰(zhàn)爭主體在這場人工智能軍事機器人研制賽跑中是領(lǐng)先還是落后。

 

　　也就是說，在是否將射殺權(quán)交給智能機器人問題上，關(guān)鍵不在“能不能”，而在“該不該”。在2017年人工智能國際會議上，特斯拉首席執(zhí)行官馬斯克、蘋果聯(lián)合創(chuàng)始人沃茲、研發(fā)“阿法狗”的深度思維公司哈薩比斯等人簽署公開信，呼吁聯(lián)合國像禁止生化武器一樣，禁止在戰(zhàn)爭中使用致命的自主武器即“殺手機器人”。“殺人機器人”的研發(fā)招致眾多科學家的反對和抵制，也許，“避免潛在風險”的唯一辦法就是永遠不將“射殺權(quán)”交給智能機器人。（吳敏文 作者單位：國防科技大學信息通信學院）