深度 | 正本溯源：每一位決策者必須知道有關AI的17個問題

當前，人工智能（AI）在全球發展如火如荼，研發界不斷突破“技術關”，通過推動深度學習、神經網絡、強化學習等的發展推動AI的發展；產業界不斷突破“運用關”，加快將人工智能運用于醫療、自動駕駛、股市預測等方面，并不斷向軍事和安全方面延展。相比之下，AI目前發展的短板出現在了“政策關”，存在執政者對于AI的認識誤區，對于AI安全隱患的不重視等問題，以致造成對AI仍處于觀望的狀態，貽誤發展良機。對此，長期致力于研究AI發展對于國家安全影響的新美國安全中心（CNAS），在6月19日發表報告《人工智能：決策者需知》，解釋AI基本概念與誤區，梳理當前AI發展大勢，探討在國家安全維度下的AI發展運用與戰略優勢保持,以幫助決策者提高認識，研判風險、抓住時機，趨利避害。報告主要內容有：

01

如何正確看待AI？

新美國安全中心（CNAS）首席執行官、美國國防部前副部長羅伯特·沃克（Robert?O.?Work）在序言中認為，AI與機器學習的不斷加速擴展，使得人類處于前所未有的全球革命中，這將對未來的經濟、軍事競爭力以及國家安全產生巨大影響。但是公眾對于未來AI利用的想象多由科幻小說和電影塑造，形成了“AI要么奴役我們，要么殺害我們”的判斷，現在又帶來了第三種擔憂，即關于AI的發展將會剝奪我們的工作機會。麥肯錫最近一項調查顯示，美國近45%的工作崗位可以被自動化所取代。這種基于反烏托邦的公眾想象不是有效探討AI的基礎，我們應該認識到智能機器對于我們社會的發展也會產生積極的影響。AI和機器學習將會提高經濟競爭力，創造新的財富來源，并可能會帶來一場新的工業革命。

02

AI革命是否已經到來？

目前AI在醫療、金融、交通等方面成效顯著，而這些運用也將會對全球經濟與安全環境產生巨大影響。從馬斯克到普京的全球商業領袖與國家領導人都在思考AI是否會觸發一場新的工業革命。正如蒸汽機、電力以及內燃機一樣，AI屬于一項賦能技術，并存在廣闊的運用前景。第一次和第二次工業革命中的技術是創造出可以代替人類體力勞動的機器。當今，AI正創造出可代替人類認知勞動的機器。因此，AI革命正在發生。

03

AI對于國家安全的意義？

目前AI已經運用到國防、情報、國土安全、外交、監控、網絡安全、經濟調控手段等方面，可以說，AI已經重塑國家安全的每一個方面。同時，國家安全具有高對抗性，因此對于國家安全決策者來說，為AI革命做準備是一項艱巨而又重要的任務。僅僅將AI運用于實現國家安全目標還不夠，第一次和第二次工業革命開啟了一種廣義的工業化模式，帶來了社會、經濟與政治的全面改變。AI革命也將會改變國家實力對比以及全球經濟的根基。同時，類似于工業化帶來的變革，AI技術在人類社會的應用也存在一個認知過程，自動化將會轉換甚至取代工作，改變勞動者與資本之間的平衡，并改變國家政治與外交政策。正如煤之于蒸汽機，油料之于內燃機，數據是機器學習的“燃料”。因此那些掌握數據、計算能力、人力資本以及創新能力的國家將會在AI時代實現躍升。

04

什么是AI？

AI是致力于使機器智能化的研究領域，這里的智能即測量在各種環境中實現目標的最佳行動方案的能力，AI擁有許多用于創造智能行為的子學科，其中最為突出的就是機器學習。AI與機器學習使得創造有效行使認知任務的機器成為可能，甚至在某些情況下還優于人類。早期的人工智能系統主要是基于規則的“專家系統”，即計算機程序簡單地遵循一些在特定情況下如何行動的特定指令。當前的人工智能則帶來了更復雜更先進的系統。機器學習允許算法從數據中學習并開發解決問題的方法，這些越來越智能的機器可以被廣泛應用，包括分析數據以發現規律和異常，預測趨勢，執行自動化任務，以及為自主控制的機器人系統提供“大腦”。

05

當前AI的局限性與進步有哪些？

雖然AI系統具備很多優點，但是仍然具有明顯的局限性，包括（1）缺乏理解其行為背景的能力，或者理解人們所認為的“常識”。如AI系統可以準確地識別人的面部和情緒，并精確地跟蹤身體動作，但無法解釋人的行為動機；（2）不能靈活地適應設計參數之外的新環境，即在執行運用超出設計范圍的任務時即會失敗；（3）AI系統也不能隨意從一項任務轉移到另一項相關任務，經常出現“災難性遺忘”，正如不同版本的AlphaZero無法將學習從一場比賽轉移到另一場比賽，而需要重新為新比賽進行訓練。目前，AI研究人員正在多任務學習中取得進展，2018年2月，DeepMind使用深度強化學習訓練了一個AI系統在模擬環境中執行30種不同的任務。

06

什么是機器學習？

機器學習已被證明是一種產生智能行為的有效方法，在給定目標的情況下，學習的機器可調整他們的行為以優化表現。數據是為機器學習提供動力的“燃料”。在機器學習領域，主要有以下5種方式：一是監督學習(Supervised?learning)，即由訓練資料中學到或建立一個模式，并依此模式推測新的實例。訓練資料是由輸入物件（通常是向量）和預期輸出所組成。函數的輸出可以是一個連續的值（稱為回歸分析），或是預測一個分類標簽（稱作分類）。二是非監督式學習（Unsupervised?learning），同樣是基于對原始資料的分類，以便了解資料內部結構，但有別于監督式學習網絡，非監督式學習網絡在學習時并不知道其分類結果是否正確，亦即沒有受到監督式增強(告訴它何種學習是正確的)。非監督學習的典型的例子是聚類。三是強化學習（Reinforcement?Learning），主要是利用環境中的反饋以訓練機器，強調如何基于環境而行動，以取得最大化的預期利益。四是深度學習（Deep?learning），是一種使用神經網絡的機器學習，主要是基于對數據進行表征學習的算法。深度學習的好處是用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。五是生成對抗網絡（Generative?Adversarial?Network），由一個生成網絡與一個判別網絡組成，生成網絡從潛在空間中隨機采樣作為輸入，判別網絡的輸入則為真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來，而生成網絡則要盡可能地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。

07

機器學習方法的改進有哪些？

成功的機器學習應用一般需要大量的數據來訓練算法，因此數據也成為了機器學習突破的主要障礙，在這種情況下，AI研究人員越來越傾向于通過計算機模擬創建“合成數據”，如新版AlphaGo?Zero就不再使用和人類對弈所獲得的數據，而是使用由自我對弈（self-play）產生的合成數據。AI研究員也在提高他們使用“稀疏數據”來訓練機器的能力，例如基于神經網絡的谷歌多語種翻譯，可實現任意兩種語言之間的零數據（Zero-Shot）翻譯，同時能自動把之前的學習成果轉化到翻譯任意一門語言，即在完成語言?A?到語言?B?的翻譯訓練之后，語言?A?到語言?C?的翻譯不需要再經過任何學習。

08

AI的益處有哪些？

基于規則的人工智能系統已有數十年的歷史，但大數據、計算能力和算法改進方面取得的進展已經顯著改善了AI的能力。因此，更高級的AI系統正在走出實驗室進入現實世界，并在圖像識別等方面的基準測試中擊敗了人類。在語言翻譯方面，目前的AI系統雖不如最好的人工翻譯，但卻因其更便宜、更快速以及相對于人類專業知識更容易規模部署的特性而更具有適用性。目前AI的優勢主要體現在：一是數據分類，從圖像識別到醫學圖像診斷，AI系統可以比人類更準確地進行數據分類。二是異常檢測，?AI系統可以通過分析常規行為模式(金融、網絡)，幫助檢測異常行為，如欺詐性金融交易或新的惡意軟件，然后識別新的非規范行為來發現尚未被發現的異常。這可用于大規模和實時地監控大型數據流，其方式對人類來說是不可能的。三是預測，通過集中大量數據查找規律，AI系統可以對未來行為進行統計預測，如機器學習在提高天氣預報準確度方面顯示出了價值。四是優化，?AI系統具有用于優化復雜系統和任務的性能。如DeepMind使用機器學習來優化Google數據中心以提高能源效率，從而使冷卻所需能源量節省40％，整體能效提高15％。

09

什么是自動化？

AI還允許創建具有更大自主性和自由度的機器來自行執行任務。隨著機器變得越來越有能力，人類可以放心地在更廣泛的環境中授予他們更大的自主權。自動化的優點主要體現在：（1）內嵌專業知識，通過自動化技術在機器中嵌入專業知識，低技能人員可以達到高技能工人相同的水平；（2）大規模復制操作，由于軟件可以以接近零成本的方式進行復制，且自動化可實現大規模專業知識部署，因此通常人類只能小規模完成的任務在自動化下可在較大規模實現；（3）快于人類的反應時間，自動化能以超人的速度完成任務，對事件的反應要比人類速度快得多，這在股票的高頻交易中已經體現出來了；（4）超人的精確性和可靠性，自動化可用于執行多任務，其精度和可靠性遠超人類的表現，如在小型手術中可完成人類不能完成的操作；（5）超人的耐心和警覺性，自動化系統可以監測數據而不會感到疲勞或失去注意力，這在核電站監測或觀察計算機網絡活動是否存在惡意軟件上非常有用。（6）獨立完成操作，自動化使機器人可在無需與人類通信的環境下能夠獨立執行任務，如對在海上運行幾個月的自動水下滑翔機進行海洋調查。

10

AI的安全問題與漏洞有哪些？

除了狹義的一般局限之外，目前的AI系統還存在一些決策者應該考慮的漏洞和安全問題，這些對于國家安全應用尤其重要，如果被對手國或黑客利用，后果將不堪設想。主要包括：（1）脆弱性，當前AI系統與生俱來的局限將會使智能變得“脆弱”。這主要是AI缺乏理解它們行為的更廣泛背景的能力，這意味著如果AI系統的使用環境發生變化，它可能會突然失靈，瞬間從超級聰明變為超級愚蠢。因此，人為監督和判斷在人工智能系統部署中是非常必要的。如果環境發生變化，監督人員可以立即介入，及時暫停或更改系統的運行。（2）可預測性，由于AI系統的復雜性，用戶并不總能提前預測AI系統的行為，特別是當AI系統是基于目標或與真實世界的環境交互時，這種情況可能會加劇。如用戶可能無法準確預測自動駕駛汽車何時將改變車道或進行其他操縱。（3）可解釋性，基于規則的AI系統是可以追溯其行為選擇的原因，但是對于基于先前經驗和訓練數據的學習型AI系統，即使在事件發生之后也很難解釋他們行為選擇的原因。這主要是深層神經網絡用來識別圖像的信息不是一組可解釋的規則。即AI圖像識別系統可能能夠正確識別校車的圖像，但不能解釋圖像的哪些特征使其得出圖像是公共汽車的結論。AI系統的這種“黑盒子”特性可能會給一些應用（如醫療）帶來風險。因此，研究更多可解釋的AI方法對于擴展AI系統的潛在應用至關重要。

11

機器學習安全問題與漏洞有哪些？

機器學習的目標或目標函數若被不恰當地設定，學習系統就會產生有缺陷的結果。這主要以兩種方式發生：一是如果目標設定沒有將一些重要因素考慮在內，那么追求目標就會產生負面影響。如在YouTube視頻推薦算法中，YouTube為了讓觀看者留在YouTube上的時間最大化而設計的算法將會讓觀眾更容易接觸到極端內容，因為該算法自行了解到更具煽動性的內容會讓觀看者看得更久，這就是一個只顧追求目標(最大化廣告收入)帶來負面影響(增加對極端內容的曝光)的典型例子。二是學習系統的算法涉及對獎賞函數的破壞，即系統學習了一些技術上滿足目標但事實上不符合設計者意圖的行為，從而破壞了獎賞函數，譬如俄羅斯方塊電子游戲機器人學會在（導致失敗的）最后一個方塊掉落前停止游戲，這樣就永遠輸不了。此外，機器學習的安全問題也可能來源于機器學習的數據。人工智能系統也會遇到統計模型中通常會遇到的過擬合問題，即當人工智能系統學會極其精確地模擬其訓練數據、而不是這些數據背后所代表的概念時，其在訓練數據以外的應用中反而會失敗。

12

AI設定的偏差是什么？

偏差在AI系統中以各種方式出現，其中最為突出的是目標函數或目標存在設計者初衷與現實情況的偏差。如果人工智能系統的目標能夠準確地反映設計者的初衷，那么從某種意義上說，它就是一個設計良好的系統。但是，如果這些目標在現實中并不是一直適用，那么使用這個系統就可能會產生有害的后果。如一輛自動駕駛汽車被設計成總是遵守限速，即使在超過限速可能更安全的交通狀況中，它仍會表現出遵守設定、而非乘客安全的偏好。

13

AI的系統事故是什么？

由于AI系統各要素之間的復雜交互作用，因此AI容易受到系統故障的影響，特別是在競爭環境中，參與者不被鼓勵彼此共享他們的算法，這就加劇了系統事故。在AI系統中，不同算法之間的相互作用會導致奇怪的行為，如股票交易閃電崩盤。在國家安全的環境中，AI系統試圖在彼此之間獲得競爭優勢，并采取可能具有破壞性或適得其反的行動，如在網絡戰或電子戰等機器以超人速度交互的環境中，AI的事故可能導致嚴重的后果。

14

什么是人機交互失敗？

即使AI系統運行良好，如果用戶不完全了解系統的局限或其提供的反饋則會發生事故。當這些事故發生時，觀察者經常責怪使用者，但真正的原因是人與機器之間的故障。例如，2009年的法航447墜機事故造成車上所有乘客死亡，2016年的特斯拉交通事故導致駕駛員死亡等,這些情況均是操作人員未能理解系統回饋給他們的信息，最終導致悲劇。對于國家安全應用來說也是如此，在諸如軍事、邊境安全、運輸安全、執法和其他應用領域的廣泛國家安全環境中，系統的用戶并不是系統設計者，因此可能不完全理解系統發送的信號。

15

利用AI漏洞的危害有多大？

惡意行為者通過操縱AI安全漏洞以蓄意破壞AI系統，從而產生新的風險,如金融交易員通過改變交易算法人為地操縱股價。惡意行為者還可以通過在學習過程中改變數據來破壞學習系統，從而使對手學到錯誤的行為。深層神經網絡易受到虛假數據輸入(欺騙攻擊)的影響，使得這些存在于廣泛的人工智能和機器學習技術中的安全問題變得更加嚴重。這些漏洞給國家安全應用中的AI帶來了巨大挑戰，國家和非國家行為者都在尋求利用AI系統的弱點并操縱它們的行為。盡管研究人員在對抗性數據問題上進行了大量研究，但還是沒有找到一個可行的解決方案來防范這種形式的攻擊。由于AI的脆弱性，圖像識別系統可能被反AI偽裝所迷惑，導致圖像識別系統錯誤識別物體，對手可以使坦克看起來像校車，反之亦然。更糟的是，這些模式可能以人類無法察覺的方式隱藏起來。

16

如何權衡AI的能力與漏洞？

雖然計算機容易受到黑客攻擊，數據泄露已經造成了嚴重后果，但這并沒有阻止計算機在整個社會和國家安全環境中的使用，這是因為使用計算機網絡技術的好處太多太大，不容忽視，AI系統同樣如此。AI系統強大且有許多優點，但它們容易受到黑客攻擊，其學習、處理數據和決策的漏洞經常被利用，這種風險在具有對抗性、高后果和難以在培訓環境中復制的國家安全環境中更加嚴峻。決策者必須意識到這些風險，并在設計和使用AI系統時盡可能減少這些漏洞。

17

AI未來展望如何？

AI和機器學習在過去幾年中取得了顯著進步，并將繼續向前跨越式發展。人工智能的未來具有非常大的不確定性，一個關鍵變量是在多領域創建更多通用AI系統的進展；另一個重要變量是AI系統中尚未解決的安全問題和漏洞方面的進展。如果各國競相投入發展可能會發生事故或顛覆（例如欺騙攻擊）的AI系統，將AI的性能置身于安全性之上，那么世界也將會非常危險。但反過來，AI安全性的進展可以減輕AI在國家安全應用中所帶來的一些風險。目前，AI領域的大部分創新都來自商業部門的推動，但政府確實有能力通過研究投資來影響進展的方向。美國政府應加大對AI安全的投資，以改善在國家安全環境中建立健全、可靠和可解釋的AI系統的前景。

?

?