大數據：高端安全檢測的必由之路

摘要：信息安全的檢測中有一部分是高端安全檢測，高端安全檢測涉及對檢測模式的重新認識，這就涉及到大數據。

?

信息安全的檢測中有一部分是高端安全檢測，高端安全檢測涉及對檢測模式的重新認識，這就涉及到大數據。

?

探尋高端檢測

?

從檢測方面來看，有三個境界：

第一種是“檢測足”，屬于簡單檢測，比如：有閾值限制，超過了什么值，系統就會告警；再比如，包過濾規則；這些檢測都相對簡單。

?

第二種是“檢測腰”，基于單一特征的檢測，比如：漏洞特征、病毒特征、攻擊特征、URL黑白名單等等特征庫檢測。單一特征強調的是可表達、可處理和可操作性。所謂特征（或者稱某種模型），我們使用它的計算復雜度要大大低于提煉獲取它的復雜度。這里比喻成檢測腰，就是因為它有一個收緊計算復雜度的作用。傳統安全公司技術能力的競爭，主要就是看你能獲取和積累多少特征。

第三種是“檢測頸”，屬于高端檢測，包括APT檢測或者宏觀態勢感知等。另外，檢測腰中部分特征的提煉和分析其實也屬于高端檢測的范疇。
?

?安全的三種境界

談到高端安全檢測問題，可以簡單地分為兩類，一類是宏觀安全檢測，典型問題就是網絡宏觀態勢感知；一類是微觀安全問題，典型問題就是APT（Advanced Persistent Threat，高級持續性威脅）攻擊發現。

關于宏觀態勢感知，如城域網的網絡事件態勢感知，目前方法還相對較少。舉個例子，啟明星辰實現了一個地址熵算法。熵是離散度的一種評價，所謂地址熵就是累積計算網絡上的源地址的熵和目的地址的熵，并對兩條隨時間變化的地址熵曲線進行跟蹤分析。如果目的地址熵突然下降，也就是目的地址突然集中了，由此可以立即判斷出來可能發生了分布式拒絕服務攻擊；如果目的地址熵微升而源地址熵下降，源地址相對較集中，意味著有網址在密集地向外廣泛地發包，可以初步判斷可能出現了掃描事件或蠕蟲傳播。這兩個地址熵指標就像天氣預報中常用的溫度、氣壓等這些衡量指標。目前，在城域網監控方面這樣特別有效的既簡單又精妙的算法并不多。

關于APT攻擊，目前常見的提出的APT應對方法，很多是在APT中的A（高級）上下功夫。也就是如何深入分析隱蔽性很深的惡意代碼和行為。確實，當我們拿到一段值得懷疑的代碼和數據集，對其進行深入分析是可行的；但是難的就是，從茫茫數據中，我怎么能夠確定哪段數據值得懷疑并進行深入的分析呢？

?

試解高端檢測中的大數據問題

?

上面提到的這兩種高端信息安全檢測問題，最終都導向了大數據方法。

?

面對宏觀態勢感知和預測問題，歸結起來就是在海量的數據中發現宏觀的波動趨勢。哪怕是細微的波動，也是宏觀問題。宏觀態勢感知和預測，就是要發現這些波動，并且判斷出來哪些波動會演變成災難性的網絡風暴，以便及時加以遏制。要發現和描述這樣的態勢，僅僅靠局部數據計算得出的簡單統計指標是非常不夠的，即使是地址熵這樣的精妙指標也是不夠的。在這方面的研究中，可以類比的其他學科就是天氣預報、股票期貨金融品分析預測等等。這種分析活動，自然而然就是大數據。

而面對APT攻擊發現問題，最終也是大數據問題。

APT的A高級，不僅僅是某些具體攻擊手法隱藏很深，還包括APT攻擊在空間上的不確定性；而APT的P所代表的時間上的長期持續性或者斷續性，更是APT的檢測難點。
攻擊的空間拓展變化包括持續性、蔓延性、傳播性、滲透性等等，這一變化帶來了安全模式的變化。求檢對象隱藏在一個檢測環境里，你采集過來進行檢測計算的就是一個“被檢測域”。你并不確切地知道你所要找的求檢對象在哪里；于是檢測者就希望“被檢測域”盡可能地多覆蓋求檢對象，也就是要先擴大被檢測域。被檢測域變大了數據變多了，自然而然就變成了大數據問題。APT檢測的出路可能就在大數據上。

APT有很大的空間不確定性。APT攻擊走哪條路徑不得而知，這就是信息不對稱。防御者不知道攻擊者從哪條路徑來進行攻擊，這是非常頭疼的事情。但路是防御者的路，攻擊者一定會通過防御者的路并靠近防御者，這就是防御者的優勢。我們講從空間角度來擴展被檢測域，只要擴展更多的有效檢測點，總能獲得更高概率來截獲攻擊路徑。更多的檢測點、更多樣的檢測點、更多的數據，有利于解決APT問題。

APT有很大的時間不確定性。從時間角度來擴展被檢測域，一個最簡單直接的思維突破就是“存儲”。說得更哲理一些，就是“記憶”。比如0-day問題，在沒有特征的時候是難于檢測到的。如果用一個網絡錄像機把所有的網絡流全錄下來，回過頭來有了特征之后再檢測，就可能發現攻擊。有部電影名字叫《源代碼》，其情節就是這個感覺。能夠運用存儲、運用記憶，形成一個時間機器，反復的回溯分析，這就是所謂的時間領域擴展。也就是用P來對抗APT中的P。

在信息安全檢測的采集上，可以考慮給被檢測域數據提前打標簽，可以稱之為輕干擾檢測（輕破壞檢測）。這可以使其具有某種全息性。這種干擾的不同處理，都是分析目的和過程對于前端采集技術鏈條施加影響。當然，這樣很可能會進一步增加檢測過程的復雜程度，也可能讓檢索變得更快捷。

?

新安全檢測思路——四階段檢測

原先我們的安全檢測都是三步檢測——采集、分析、關聯。而有了上面闡述的“大”思路，就變成了一個四步檢測——擴大、濃縮、精確、場景。也就是將原先三步中的“采集”，變成了“擴大”——擴大被檢測域以便更可能覆蓋求檢對象，以及“濃縮”——將海量被檢測域數據中的有用數據濃縮下來。

濃縮、篩選、抽樣等等可以理解為分析過程中的物理處理過程，所謂物理過程就是不改變被檢測域數據的原有性質和形態，就如同煉鐵過程中的選礦篩礦。比如渲染+半衰的處理算法：對于被檢測域進行數據分塊，對數據塊的疑似程度進行打分渲染；然后再一個周期中對所有數據塊進行半衰式處理；之后在進行打分再半衰，低于某一個閾值的數據塊被丟棄。如此循環下去，留下的數據塊集合就是被濃縮的被檢測域。

精確檢測就是借助傳統的誤用檢測和異常檢測來進一步分析。在這個階段我常常將之比喻成分析過程的化學反應。這個時候提取出來的結論數據，其數據性質和形態都與被檢測域的數據大大不同了。

場景步驟是對于檢測結果的組合性分析。分析出的場景，可能來自對于精確檢測的細微時間的組合，也可能來自于濃縮過程的提煉。

?

信息安全與大數據

?

大數據通常分為兩類：一類是天然大數據問題，如基因計算、礦物勘測、空間探測等，這類是客觀存在的大數據問題；還有一類是人參與的大數據問題，如購物數據，社交網絡數據等，這一類可以通過檢測目的對這些數據進行前端影響。安全屬于第二類。

大數據相關思維和技術在安全中的應用非常值得期待。