ChatGPT爆火出圈帶來的AI網絡安全的思考

人工智能與智能安全

01.?人工智能發展軌跡

人工智能(Aritificial Intelligene)的概念在1956年，約翰·麥卡錫在達茅斯學院夏季學術研討會上首次提出之前，人類已經在機器替代人類從事繁重、重復勞動的道路上不斷地探索。

1882年2月，尼古拉·特斯拉完成了困擾其5年的交流電發電機設想，欣喜若狂地感嘆道“從此之后人類不再是重體力勞動的奴役，我的機器將解放他們，全世界都將如此”。

1936年，為證明數學中存在不可判定命題，艾倫·圖靈提出“圖靈機”的設想，1948年在論文《 INTELLIGENT MACHINERY》中描繪了聯結主義的大部分內容，緊接著在1950年發表《COMPUTING MACHINERY AND INTELLIGENCE》，提出了著名的“圖靈測試”。同年，馬文·明斯基與其同學鄧恩·埃德蒙建造了世界上第一臺神經網絡計算機。

1955年馮·諾伊曼接受了耶魯大學西里曼講座的邀請，講稿內容后來匯總成書《THE COMPUTER AND THE BRAIN》。

人工智能自1956年提出到今天，經歷了三次發展高潮。

第一次發展高潮：1956年~1980年，以專家系統、經典機器學習為代表的符號主義(Symbolism)占據統治地位。也被稱之為第一代人工智能，符號主義提出基于知識和經驗的推理模型來模擬人類的理性智能行為，像推理、規劃、決策等。因此在機器里建立知識庫和推理機制來模擬人類的推理和思考行為。

符號主義最具有代表性的成果是1997年5月IBM國際象棋程序深藍打敗世界冠軍卡斯帕羅夫，成功要素有三個：第一個要素是知識和經驗，深藍分析700000盤人類大師下過的棋局及全部的5-6只殘局，總結成為下棋的規則。

然后通過大師和機器之間的對弈，調試評價函數中的參數，充分吸收大師的經驗。第二個要素是算法，深藍使用阿爾法-貝塔剪枝算法，速度很快。第三個要素是算力，IBM當時用RS/6000SP2機器，每秒能夠分析2億步，平均每秒鐘能夠往前預測8-12步。

符號主義的優勢是能夠模仿人類的推理和思考的過程，與人類思考問題過程一致，且可以舉一反三，因此具有可解釋性。但符號主義也存在著非常嚴重的缺陷，一是專家知識十分稀缺和昂貴，二是專家知識需要通過人工編程輸入到機器里面，費時費力，三是有很多知識是很難表達，比如中醫專家號脈等經驗很難表達，因此符號主義的應用范圍非常有限。

第二次發展高潮：1980年~1993年，以符號主義和連接主義(Connectionism)為代表;

第三次發展高潮：1993年~1996年，深度學習借助算力和數據大獲成功，連接主義變得炙手可熱;

深度學習通過深度神經網絡的模型模擬人類的感知，如視覺、聽覺、觸覺等。深度學習有兩個優點：第一個優點是不需要領域專家知識，技術門檻低;第二個優點是升級網絡規模越大，能夠處理的數據越大。

深度學習一個最典型的例子是圍棋程序。在2015年10月之前，用符號主義的方法，即知識驅動的方法做出來的圍棋程序，最高達到業余5段的水平。到了2015年10月份，圍棋程序打敗了歐洲的冠軍，到2016年3月份打敗了世界冠軍。到2017年10月份，AlphaGo元打敗了AlphaGo，AlphaGo元利用了深度學習，使得圍棋程序的水平實現了三級跳，從業余跳到專業水平，又從專業水平到世界冠軍，又從世界冠軍到超過世界冠軍。

AlphaGo兩年實現了三級跳，成功主要來自于三個方面：大數據，算法，算力。AlphaGo學習了3000萬盤已有的棋局，自己與自己又下了3000萬盤，一共6000萬盤棋局，采用蒙特卡羅樹搜索、強化學習、深度學習等算法，一共用了1202個CPU和280個GPU來計算。

深度學習也有很大的局限性，如不可解釋、不安全、不易泛化、需要大量的樣本等。比如一張人臉的圖片加一點修改后可能被識別成狗，為什么會出現這種情況，人類無法理解，這就是不可解釋性。

2016年，以強化學習為代表的行為主義(Actionism)在AlphaZero橫空出世之后大獲關注，更是被譽為通向通用人工智能的必經之路。

以邏輯推理為代表的符號主義以知識驅動智能，以深度學習為代表的連接主義以數據驅動智能，都存在很大的缺陷，應用范圍受限。

以強化學習為代表的行為主義綜合利用知識、數據、算法和算力四個要素，將人腦的反饋、橫向連接、稀疏放電、注意力機制、多模態、記憶等機制引入，有望克服前兩代人工智能的缺陷，獲得更廣泛的應用。

02.?人腦工作的幾個機制

【預測與反饋機制】

大腦通過一段時間的生活，觀察世界并建立記憶模型;日常生活中，大腦都會自動地在潛意識中對照之前的記憶模型并且預測下一步將發生什么。當察覺到了一個和預測的情況不符合的時候就會引起大腦的反饋。

腦細胞之所以能夠進行信息傳遞，是因為它們擁有神奇的觸手——樹突和軸突。憑借著短短的樹突，腦細胞可以接受由其他腦細胞傳遞過來的信息，而憑借著長長的軸突，腦細胞又會把信息傳遞給其他腦細胞(如下圖所示)。

信息在腦細胞之間不斷地傳遞，便形成了人類的感覺和想法。而整個大腦，就是由腦細胞相互連接而成的一張大網，如下圖所示：

在機器學習領域中，為了得到這樣一個人工神經網絡，首先，要規定一個神經網絡的結構，該網絡中有多少個神經元，神經元之間如何連接。接下來，需要定義一個誤差函數(error function)。誤差函數用來評估這個網絡目前表現如何以及應該如何調整其中的神經元連接來減少誤差。突觸強度決定神經活動，神經活動決定網絡輸出，網絡輸出決定網絡誤差。

當前，“反向傳播”(back propagation)是機器學習領域最常用、最成功的深度神經網絡訓練算法。用反向傳播訓練的網絡在最近的機器學習浪潮中占據著中流砥柱的地位，在語音和圖像識別、語言翻譯等方面取得不錯的效果。

同時也推動了無監督學習(unsupervised learning)的進步，在圖像和語音生成、語言建模和一些高階預測任務中已不可或缺。與強化學習互相配合，反向傳播能完成許多諸如精通雅達利游戲，在圍棋和撲克牌上戰勝人類頂尖選手等控制任務(control problems)。

反向傳播算法將誤差信號(error signals)送入反饋連接(feedback connections)，幫助神經網絡調節突觸強度，在監督學習(supervised learning)領域用得非常普遍。但大腦中的反饋連接似乎有著不同的作用，且大腦的學習大部分都是無監督學習。因此，反向傳播算法能否解釋大腦的反饋機制?當前還沒有確定性答案。

【腦內連接】

人腦神經元間特殊的連接方式是研究人腦與眾不同的重要方向。核磁共振成象是這個研究的一種關鍵的工具，這種技術可以在不開顱骨的前提下，將神經元延伸出的連接不同腦區的長纖維可視化。這些連接像電線一樣在神經元間傳遞電信號。所有這些連接合在一起被稱為連接組，它能為我們研究大腦如何處理信息這個問題提供線索。

假設每個神經細胞與其他所有神經細胞相連，這種一對多的方式構成的連接組是最高效的。但這種模式需要大量的空間和能量來容納所有的連接并維持其正常運轉，因此是肯定行不通的。另一種模式為一對一的連接，即每個神經元僅與其它單個神經元相連。這種連接難度更小，但同時效率也更低：信息必須像踩著一塊一塊的墊腳石一樣穿過大量的神經細胞才能從A點到達B點。

“現實中的生命處于二者之間，”特拉維夫大學的Yaniv Assaf說道，他在《自然·神經科學》上發表了一項關于123種哺乳動物連接組的調查。此團隊發現不同物種的大腦中，信息從一個位置到達另一個位置所需要的墊腳石的數量是大致相等的，而且采用的連接方式是相似的。但不同物種間腦內連接布局實現的方式卻存在差異。對于有著少數連通大腦兩個半球的長距離連接的物種，每一個腦半球中往往會有更多較短的連接，腦半球中鄰近的腦區會頻繁交流。

【記憶】

人類大腦內在數十億個神經細胞，它們相互之間通過神經突觸相互影響，形成極其復雜的相互聯系。記憶就是腦神經細胞之間的相互呼叫作用，其中有些相互呼叫作用所維持時間是短暫的，有些是持久的，而還有一些介于兩者之間。

● 腦神經元之間存在四種基本相互作用形式：

● 單純激發：一個神經元興奮，激發相接的另一神經元興奮。

●?單純抑制：一個神經元興奮，提高相接的另一神經元的感受閾。

●?正反饋：一個神經元興奮，激發相接的另一神經元興奮，后者反過來直接或間接地降低前者的興奮閾，或回輸信號給前者的感受突觸。

●?負反饋：一個神經元興奮，激發相接的另一神經元興奮，后者反過來直接或間接地提高前者的興奮閾，使前者興奮度下降。

人腦內存在多種不同活性的神經元細胞，分別負責短期、中期、長期記憶。

活潑神經元細胞負責短期記憶，數量較少，決定人的短期反應能力 。這種細胞在受到神經信號刺激時，會短暫地出現感應閾下降的現象，但其突觸一般不會發生增生，而且感應閾下降只能維持數秒至數分鐘，然后就會回復到正常水平。

中性神經元細胞負責中期記憶，數量居中，決定人的學習適應能力 。這種細胞在受到適量的神經信號刺激時，就會發生突觸增生，但這種突觸增生較緩慢，需要多次刺激才能形成顯著的改變，而且增生狀態只能維持數天至數周，較容易發生退化。

惰性神經元細胞負責長期記憶，數量較多，決定人的知識積累能力。這種細胞在受到大量反復的神經信號刺激時，才會發生突觸增生，這種突觸增生極緩慢，需要很多次反復刺激才能形成顯著的改變，但增生狀態能維持數月至數十年，不易退化。

當一個腦神經元細胞受到刺激發生興奮時，它的突觸就會發生增生或感應閾下降，經常受到刺激而反復興奮的腦神經元細胞，它的突觸會比其它較少受到刺激和興奮的腦神經元細胞具有更強的信號發放和信號接受能力。

當兩個相互間有突觸鄰接的神經元細胞同時受到刺激而同時發生興奮時，兩個神經元細胞的突觸就會同時發生增生，以至它們之間鄰接的突觸對的相互作用得到增強，當這種同步刺激反復多次后，兩個神經元細胞的鄰接突觸對的相互作用達到一定的強度(達到或超過一定的閾值)，則它們之間就會發生興奮的傳播現象，就是當其中任何一個神經元細胞受到刺激發生興奮時，都會引起另一個神經元細胞發生興奮，從而形成神經元細胞之間的相互呼應聯系，這就是即記憶聯系。

因此記憶指可回憶，可回憶決定于神經元細胞之間聯系的通暢程度，即神經元細胞之間的聯系強度大于感應閾，形成神經元細胞之間的顯性聯系，這就是大腦記憶的本質。

【注意力機制】

人腦在進行閱讀時，并不是嚴格的解碼過程，而是接近于一種模式識別。大腦會自動忽略低可能、低價值的信息，也會自動地基于上下文的信息，將閱讀的內容更正為“大腦認為正確的版本”，這就是所謂的人腦注意力。

“注意力機制”(Attention Mechanism)是機器學習中仿生人腦注意力的一種數據處理方法，廣泛應用在自然語言處理、圖像識別及語音識別等各種不同類型的機器學習任務中。比如機器翻譯經常采用“LSTM+注意力”模型，LSTM(Long Short Term Memory)是RNN(循環神經網絡)的一種應用。可以簡單理解為，每一個神經元都具有輸入門、輸出門、遺忘門。輸入門、輸出門將LSTM神經元首尾連接在一起，而遺忘門將無意義內容弱化或遺忘?！白⒁饬C制”就應用在LSTM的遺忘門，使得機器閱讀更加貼近于人類閱讀的習慣，也使得翻譯結果具有上下文聯系。

【多模態神經元】

十五年前，Quiroga等人發現人類大腦中擁有多模態神經元。這些神經元會對圍繞著一個高級主題的抽象概念(而不是對特定視覺特征的抽象概念)做出反應。其中，最著名的當屬“Halle Berry”神經元，只對美國女演員“Halle Berry”的相片、草圖、文字做出反應，在《科學美國人》和《紐約時報》都使用過此例子[11]。

OpenAI發布的CLIP，采用多模態神經元，達到了可與ResNet-50表現力相比肩的通用視覺系統，在一些具有挑戰性的數據集上，CLIP的表現超過了現有的視覺系統。

機器學習引入多模態神經元，指對文字、聲音、圖片、視頻等多模態的數據和信息進行深層次多維度的語義理解，包括數據語義、知識語義、視覺語義、語音語義一體化和自然語言語義等多方面的語義理解技術。比如視覺語義化可以讓機器從看清到看懂視頻，并提煉出結構化語義知識。

03.?智能系統的基本構成

自動駕駛系統是一個典型的智能系統，美國SAE自動駕駛分級標準將自動駕駛系統按照自動化程度分為五個等級：

我們從車輛自動駕駛系統的分級可以看出，智能系統L0級完全是人類決策，L1~L2級是機器基于全量數據做數據整理與分析，人類做推理判斷和決策，即所謂的數據驅動模式，L3~L4是機器基于全量數據做數據整理、分析、邏輯推理、判斷與決策，但需要人類在適當的時候干預，L5是完全的智能機器，無需人類干預，即所謂的智能驅動模式。

機器要具有智能，也就是讓機器成為一個智能系統，至少需要具備如下圖所示的組成部分：感知、認知、理解、決策、行動。

感知組件的作用是對環境進行數據監測與采集，產出的是數據。本質是將物理空間數據化，將物理空間完全映射到數據空間。

認知組件的作用是對數據進行整理與總結歸納，提煉出有用的信息。

理解組件的作用是對提煉出來的信息進一步提煉與總結歸納，得到知識。人類理解的知識是用自然語言表達，對于機器來說，用基于代表問題空間的數據集進行訓練而得到的“模型”來表達。

決策組件的作用是基于知識進行推理與判斷。對于機器來說，就是用訓練好的模型來在新的數據空間中進行推理與判斷，生成對目標任務的策略。

行動組件的作用是基于策略對環境進行互動，對環境產生影響。

反饋組件的作用是動作作用于環境后形成反饋，反饋又促進感知體系感知更多的數據，進而持續獲取更多的知識，對目標任務作出更好的決策，形成閉環持續迭代進化。

04.?智能安全

人工智能與網絡安全的結合總有兩個維度，四個象限[9]：縱向上，一端是給智能以安全，一端是給安全以智能;橫向上，一端是攻擊視角，一端是防御視角。如下圖所示，四個象限代表了兩者結合的四個作用：

智能自身安全包括智能技術本身引入可被利用的脆弱性和智能技術本身脆弱性引入的安全問題。主要有采用人工智能的業務安全、算法模型安全、數據安全、平臺安全等。

算法模型的安全性問題主要包括模型訓練完整性威脅、測試完整性威脅、模型魯棒性缺乏、模型偏見威脅等，比如繞過攻擊(通過對抗性樣本操縱模型決策和結果)、毒化攻擊(注入惡意數據降低模型可靠性和精確度)、推斷攻擊(推斷特定數據是否被用于模型訓練)、模型抽取攻擊(通過惡意查詢命令暴露算法細節)、模型逆轉攻擊(通過輸出數據推斷輸入數據)、重編程攻擊(改變AI模型用于非法用途)、歸因推斷攻擊、木馬攻擊、后門攻擊等。數據安全主要包括基于模型輸出的數據泄露和基于梯度更新的數據泄露;平臺安全包括硬件設備安全問題和系統及軟件安全問題。

針對人工智能的這些不安全性問題的防御技術主要有算法模型自身安全性增強、AI數據安全與隱私泄露防御和AI系統安全防御。算法模型自身安全性增強技術包括面向訓練數據的防御(比如對抗訓練、梯度隱藏、阻斷可轉移性、數據壓縮、數據隨機化等)、面向模型的防御(比如正則化、防御蒸餾、特征擠壓、深度收縮網絡、掩藏防御等)、特異性防御、魯棒性增強、可解釋性增強等;AI數據安全與隱私泄露防御技術主要有模型結構防御、信息混淆防御和查詢控制防御等。

給智能以安全，指智能技術本身所帶來的新的脆弱性，對于攻擊者來說可以利用，對于防護者來說可能引入新的安全隱患。

給安全以智能，指攻擊者可以利用智能技術實施攻擊，防護者利用智能技術提升安全防護能力。主要體現在安全響應自動化和安全決策自主化。提高安全響應自動化當前主要有兩種主流方法：

●?SOAR，Security Orchestration, Automation and Response，安全編排、自動化和響應;

●?OODA，Obeserve-Orient-Decide-Act，觀察-調整-決策-行動，IACD(集成自適應網絡防御框架)就是以OODA為框架。

下圖是一個以SOAR為中心的自動響應工作流的示意圖：

1994年，認知科學家Steven Pinker在《The Language Instinct》中寫道“對人工智能而言，困難的問題是易解的，簡單的問題是難解的”。“簡單的復雜問題”指的是問題空間是閉合的，但是問題本身卻又有較高的復雜度，比如下圍棋屬于簡單的復雜問題?！皬碗s的簡單問題”指的是問題空間是無限開放式的，但問題本身卻并沒有很高的復雜度。

比如網絡安全問題就屬于復雜的簡單問題，因為安全攻擊的技術與方式時刻處于變化，也無法窮舉的，但具體到某個具體的網絡攻擊，則往往是有跡可循的。

今天智能技術在“簡單的復雜問題”的領域，往往都比人類會更強，但對于“復雜的簡單問題”，泛化界限引起的空間爆炸，人工智能往往都會失效。

不幸的是，網絡安全問題屬于復雜的簡單問題，人工智能在網絡安全問題空間的應用面臨挑戰。特別是莫拉維克悖論(由人工智能和機器人學者所發現的一個和常識相左的現象。

和傳統假設不同，人類所獨有的高階智慧能力只需要非常少的計算能力，例如推理，但是無意識的技能和直覺卻需要極大的運算能力。)在網絡安全領域表現更為明顯。

人工智能技術應用到網絡安全存在下面的挑戰：問題空間不閉合、樣本空間不對稱、推理結果要么不準確要么不可解釋、模型泛化能力衰退、跨領域思維融合挑戰。

1、問題空間不閉合

如上圖所示，網絡安全的問題空間包括已知和未知。而已知又包括已知的已知，如某個已知的漏洞，未知的已知，如某個還未被發現的已知被曝光的安全漏洞;未知包括已知的未知，如軟件系統必然存在某個安全漏洞，未知的未知，如根本就不知道會有什么風險或威脅。

2、樣本空間不對稱

未知的未知是網絡安全無法避免的困境，使得網絡安全問題空間不閉合，也就導致負向數據(如攻擊數據、風險數據等)的嚴重缺乏導致特征空間的不對稱，進而導致特征空間無法真正表征問題空間。模型是已有數據空間下關于世界的假設，并且用于在新的數據空間下進行推理。今天人工智能技術已經能很好的解決表示輸入和輸出之間的非線性復雜關系，但對于樣本空間相對開放的問題空間來說嚴重不對稱。

3、推理結果不可解釋性

人工智能應用以輸出決策判斷為目標。可解釋性是指人類能夠理解決策原因的程度。人工智能模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預測。模型可解釋性指對模型內部機制的理解以及對模型結果的理解。建模階段，輔助開發人員理解模型，進行模型的對比選擇，必要時優化調整模型;在投入運行階段，向決策方解釋模型的內部機制，對模型結果進行解釋。

在建模階段，人工智能技術存在決策準確性與決策可解釋性的矛盾，神經網絡的決策準確性高，但可解釋性差，決策樹的可解釋性強，但準確性不高。當然現在已經有兩者結合的方法，一定程度上在兩者之間取得平衡。

在投入運行階段，向決策方解釋模型的內部機制以及決策結果的解釋，涉及到數據隱私、模型安全等方面的道德困境。

4、泛化能力衰退

20世紀六十年代，貝爾-拉帕杜拉安全模型(Bell-LaPadula)指出“當僅當系統開始于安全的狀態，且一直不會落入非安全狀態，它才是安全的”。

人工智能技術用模型來表征問題空間，但由于安全的本質是資源與智力的對抗，因此安全問題空間永遠都不是閉合的，在訓練集上表現良好的模型，對于大規模的現實環境，一上線就存在不斷的對抗，進而不斷跌入失效的狀態，模型泛化能力衰退。

05.?智能安全自主度模型

知識與推理是人類智能的基礎，計算機要實現推理與決策，則需要解決三個問題：知識表示與推理形式、不確定性知識表示與推理、常識表示與推理。

牌類是不完全信息博弈，計算機打牌要比下棋困難得多。2017年人工智能才在6人無限注德州撲克牌上戰勝了人類。牌類是概率確定性問題，而現實環境是完全不確定的，甚至是對抗環境，因此復雜環境下的自主決策具有很大的挑戰性。

對抗場景下的自主決策的挑戰主要有兩個方面：環境的動態性和任務的復雜性。環境的動態性包括不確定條件、不完全信息、形勢動態變化、實時博弈;任務復雜性包括信息采集、進攻、防守、偵察、騷擾等。

對抗場景下的自主決策通常利用常識和邏輯演繹彌補信息的不完全性，進而通過融合人類領域知識和強化學習結果生成預案，協助做出正確決策。

復雜環境下的自主決策還需要解決如何適應環境變化而相應地做出決策變化的問題。比如自動駕駛將物體識別出來后建立模型，在此基礎上做實時的駕駛規劃，但難以應對突發事件。因此自動駕駛還需要駕駛的知識和經驗，需要在環境的不斷交互過程中學習這些經驗知識，即強化學習。

因此智能賦能的安全系統的威脅檢測與防護的自主決策能力是衡量其智能程度的關鍵指標之一。參考自動駕駛系統的分級，可構建一個智能安全自主度模型。

—【 本文作者：六方云CTO 王智民 】—

文章來源：數世咨詢