聲明：

本文根據(jù)三篇論文整合而成，相關(guān)出處在附錄。故而放棄本文的一切版權(quán)，您可以在不損害第三者權(quán)益下任意使用本文。

感謝：

指導(dǎo)老師。您太水了，啥都沒指導(dǎo)。

答辯老師。感謝您派我去安恒，讓我看清了這個體制。在最后的答辯時就問了我一個問題，讓我順利通過。

安恒網(wǎng)絡(luò)空間安全學(xué)院鄭先生。本文部分內(nèi)容經(jīng)由您指點，感謝。以及整個學(xué)院的各位，雖然只能在此感謝，但我本來就不指望傳達(dá)到。

我的同事柴先生。針對查重率，經(jīng)過您的指點已經(jīng)驟降。雖然學(xué)校沒有太在意查重率。本文三分之一以上經(jīng)由您協(xié)力完成。

以及最大的感謝給三篇論文的原作者，沒有您們的工作就沒有本文。

以上均不在提交的正文內(nèi)。正如下圖而言，周圍同學(xué)甚至業(yè)界都是充斥在謊言中，我自己也不例外，我就是做不到把謊言重復(fù)一千遍。

一、背景介紹

????在當(dāng)前的大數(shù)據(jù)時代下，我國計算機網(wǎng)絡(luò)技術(shù)得到了重要支持，同時也推動了企業(yè)管理水平以及社會經(jīng)濟發(fā)展的提高。當(dāng)今信息安全與社會數(shù)據(jù)越來越重要，信息技術(shù)發(fā)展迅速，計算機網(wǎng)絡(luò)在人們的生產(chǎn)與生活中得到了廣泛應(yīng)用，并且滲透到生產(chǎn)與生活的各個領(lǐng)域。計算機網(wǎng)絡(luò)的使用，使得人們之間的交流更為便捷，對數(shù)據(jù)的處理也更為迅速。但是，由于計算機網(wǎng)絡(luò)具有開放性、虛擬性等特征，為計算機網(wǎng)絡(luò)安全埋下了隱患。

二、需求分析

1.目前在大數(shù)據(jù)背景下計算機網(wǎng)絡(luò)信息存在的安全問題

????（1）黑客入侵

????對于商業(yè)機密和國家安全機密，信息的安全至關(guān)重要。 許多計算機用戶正在使用計算機技術(shù)入侵網(wǎng)絡(luò)系統(tǒng)以竊取相關(guān)信息，并且還可能對網(wǎng)絡(luò)和黑客造成破壞。入侵當(dāng)前集中在企業(yè)，政府和個人用戶的計算機系統(tǒng)上。

????（2）網(wǎng)絡(luò)病毒

????網(wǎng)絡(luò)病毒入侵是竊取計算機信息的重要渠道。 如果計算機用戶在不安全的環(huán)境中登錄或下載，則可能被病毒感染，并且網(wǎng)頁可能被更改。 網(wǎng)絡(luò)病毒是隱藏的，具有高度傳染性和破壞性的。 同時，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)病毒也隨之更新，相應(yīng)的破壞性特征也得到了增強。

????（3）計算機漏洞

????計算機系統(tǒng)需要定期進行更新?lián)Q代，如果不使計算機升級，就可能由于計算機自身的漏洞帶來網(wǎng)絡(luò)安全隱患，不僅可以進行信息的存取服務(wù)，系統(tǒng)也容易受到病毒感染，黑客入侵的概率也會大大提升。

????（4）網(wǎng)絡(luò)詐騙

????在近年來金融犯罪案件中，網(wǎng)絡(luò)詐騙的犯罪案件數(shù)量在逐年提升，不法分子利用網(wǎng)絡(luò)、IP、電話等打造出系統(tǒng)的詐騙模式，很多人都會由于防范意識不足而進入陷阱，通過網(wǎng)絡(luò)聊天工具、散布虛假信息都可以達(dá)到實現(xiàn)詐騙的目的。

2.傳統(tǒng)的安全防護模型或產(chǎn)品的局限性

（1）以本地規(guī)則庫為核心，無法對已知威脅進行有效檢測

（2）沒有數(shù)據(jù)智能，無法對未知威脅進行感知

（3）沒有協(xié)同聯(lián)動，無法對網(wǎng)絡(luò)進行協(xié)同防御

（4）沒有數(shù)據(jù)支撐，無法對已知攻擊進行溯源分析

三、方案整理

????網(wǎng)絡(luò)態(tài)勢指由各種網(wǎng)絡(luò)設(shè)備的運行狀況、網(wǎng)絡(luò)行為以及用戶行為等因素所構(gòu)成的整個網(wǎng)絡(luò)的當(dāng)前狀態(tài)和變化趨勢。態(tài)勢感知平臺需要通過主動發(fā)現(xiàn)、導(dǎo)入或創(chuàng)建的方式來，識別和梳理目標(biāo)網(wǎng)絡(luò)中要被防護的資產(chǎn)及業(yè)務(wù)對象。用資產(chǎn)安全的視角，審視資產(chǎn)的整體安全防護狀態(tài)，包括但不限于資產(chǎn)受危害的情況、資產(chǎn)存在弱點的情況、資產(chǎn)遭受攻擊情況等圍繞資產(chǎn)的感知并加以利用，是安全態(tài)勢分析的基礎(chǔ)。態(tài)勢感知平臺可以通過機器學(xué)習(xí)技術(shù)，快速定義威脅的種類，識別隱藏在威脅之后的本質(zhì)行為，同時，可為用戶提供行為的分析建模，構(gòu)造網(wǎng)絡(luò)白環(huán)境。為用戶提供基于匯總?cè)W(wǎng)相關(guān)的攻擊行為相關(guān)信息的攻擊感知，通過統(tǒng)計分析、關(guān)聯(lián)融合等手段對攻擊信息進行閉環(huán)處理，提供全景式的攻擊態(tài)勢監(jiān)視，具備從遭受攻擊、攻擊的類型、分布、攻擊關(guān)系、趨勢、攻擊結(jié)果等維度進行攻擊態(tài)勢呈現(xiàn)的能力。

1.? 技術(shù)架構(gòu)

????構(gòu)建網(wǎng)絡(luò)安全態(tài)勢感知平臺，一是采集整個防御鏈條下的應(yīng)用、服務(wù)、邊界、終端等各類安全數(shù)據(jù)，收集與網(wǎng)絡(luò)安全有關(guān)的各類威脅情報信息，并將這些數(shù)據(jù)進行統(tǒng)一存儲，形成安全數(shù)據(jù)倉庫。二是結(jié)合各類安全規(guī)劃、安全模型、分析算法等，對數(shù)據(jù)倉庫中的海量安全數(shù)據(jù)進行深度挖掘分析，從中發(fā)現(xiàn)安全事件、分析潛在威脅、預(yù)判未知風(fēng)險，通過大數(shù)據(jù)智能分析產(chǎn)生網(wǎng)絡(luò)威脅情報。三是基于大數(shù)據(jù)的分析結(jié)果和產(chǎn)生的威脅情報，實現(xiàn)網(wǎng)絡(luò)安全威脅報警、重要安全系統(tǒng)的實時監(jiān)測、網(wǎng)絡(luò)風(fēng)險預(yù)警及感知、可視化態(tài)勢展示等應(yīng)用。

2.? 網(wǎng)絡(luò)安全威脅數(shù)據(jù)匯聚與存儲

????實現(xiàn)網(wǎng)絡(luò)安全威脅數(shù)據(jù)匯聚與存儲，一是要確定要采集的態(tài)勢感知數(shù)據(jù)源 ；二是運用大數(shù)據(jù)存儲管理技術(shù)將所采集的數(shù)據(jù)統(tǒng)一存儲到大數(shù)據(jù)平臺中，形成原始的數(shù)據(jù)倉庫。

????根據(jù)一次網(wǎng)絡(luò)攻擊所追蹤的結(jié)果，涉及以下等多個環(huán)節(jié)：

????（1）應(yīng)用安全審計

????（2）風(fēng)險報警

????（3）惡意代碼發(fā)現(xiàn)

????（4）網(wǎng)絡(luò)流量特征檢測

????（5）終端操作行為檢測

????（6）應(yīng)用訪問授權(quán)

????（7）身份認(rèn)證

????在這些環(huán)節(jié)里，每個環(huán)節(jié)都有可能發(fā)現(xiàn)網(wǎng)絡(luò)攻擊的行為特征，所以在數(shù)據(jù)匯聚中要盡可能收集覆蓋網(wǎng)絡(luò)攻擊操作鏈條。

????數(shù)據(jù)存儲主要使用Hadoop。Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

3.? 面向威脅情報的大數(shù)據(jù)分析

????匯聚完數(shù)據(jù)后，就要進行對數(shù)據(jù)的整理分析，使數(shù)據(jù)轉(zhuǎn)換為可以利用的情報。分成三個步驟：

? ? （1）數(shù)據(jù)預(yù)處理。通過特征抽取、數(shù)據(jù)融合、關(guān)聯(lián)分析等方式將原始數(shù)據(jù)重新組織，形成基礎(chǔ)的數(shù)據(jù)關(guān)系圖。

????（2）模型設(shè)計。結(jié)合實際攻擊中的數(shù)據(jù)統(tǒng)計特征、攻擊鏈特征、行為特征等，設(shè)計數(shù)據(jù)分析的流程、方法和規(guī)則，形成大數(shù)據(jù)分析的具體模型。

????（3）數(shù)據(jù)分析。采用離線分析、實時分析等方式，對預(yù)處理后的數(shù)據(jù)依據(jù)分析模型進行深度挖掘，從中發(fā)現(xiàn)潛在威脅、預(yù)判未知風(fēng)險、感知網(wǎng)絡(luò)安全態(tài)勢。

????數(shù)據(jù)預(yù)處理由三個過程構(gòu)成，首先進行數(shù)據(jù)清洗，將原始數(shù)據(jù)通過數(shù)據(jù)規(guī)則匹配和數(shù)據(jù)標(biāo)注進行清洗，形成精準(zhǔn)的基礎(chǔ)安全數(shù)據(jù)。然后進行數(shù)據(jù)整合。將基礎(chǔ)安全數(shù)據(jù)基于已知特征進行合并，形成具有相同特征或?qū)傩缘臄?shù)據(jù)族。最后形成數(shù)據(jù)關(guān)聯(lián)。結(jié)合 IP 關(guān)系、時序關(guān)系、交互特征等進行數(shù)據(jù)關(guān)聯(lián)，形成基礎(chǔ)的數(shù)據(jù)關(guān)系網(wǎng)絡(luò)圖譜。

????模型設(shè)計就是構(gòu)建一套大數(shù)據(jù)計算和分析的規(guī)則，形成一個具體的數(shù)據(jù)分析模型。根據(jù)模型將海量安全數(shù)據(jù)中看似毫無聯(lián)系、混亂無序的安全日志、報警數(shù)據(jù)等轉(zhuǎn)化成直觀的可視化信息，從而實現(xiàn)威脅發(fā)現(xiàn)、精準(zhǔn)預(yù)警和態(tài)勢感知的目的。

????常見的模型有三種：攻擊樹推理模型、算法挖掘模型、數(shù)值統(tǒng)計模型。

????在當(dāng)前業(yè)界常見的滲透場景里，滲透行為包括社工、刷庫、爆破、釣魚、網(wǎng)絡(luò)掃描、漏洞掃描、漏洞挖掘等，根據(jù)這些行為的特征，設(shè)計出多種模型。

????常見的滲透場景如圖2所示。

????

????在一個常見的攻擊模型里，其網(wǎng)絡(luò)攻擊的主要步驟有：

????（1）主機勘察

????（2）漏洞發(fā)掘

????（3）目標(biāo)滲透

????（4）權(quán)限提升

????（5）潛伏隱藏

????（6）攝取信息

????（7）跳板攻擊

????每個步驟都代表了一個基本攻擊行為，這些行為又能拆分成各個細(xì)微的子行為，這些基本行為之間也有著先后的順序關(guān)系。以攻擊樹推理模型為例，要進行目標(biāo)滲透，一般需要前期的主機勘查和漏洞發(fā)掘。

????數(shù)據(jù)分析就是在算法程序的層面上結(jié)合模型設(shè)計，對數(shù)據(jù)進行實時、離線的分析計算，并在這里面發(fā)現(xiàn)隱藏的安全風(fēng)險。數(shù)據(jù)分析包括在線實時挖掘分析和離線挖掘分析兩部分。

????在線實時挖掘分析用來對實時數(shù)據(jù)進行即時分析。在線實時挖掘分析模塊基于Spark框架實現(xiàn)。Spark是使用Scala實現(xiàn)的基于內(nèi)存計算的大數(shù)據(jù)開源集群計算環(huán)境。提供了Java、Scala、Python、R等語言的調(diào)用接口。該框架采用內(nèi)存計算方式對批量數(shù)據(jù)進行流處理，具有高效的計算能力和并發(fā)處理能力，特別適用于在線分析計算。

????離線挖掘分析主要是對存儲在數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進行循環(huán)和重復(fù)挖掘計算，這是對數(shù)據(jù)的深度處理和累積利用。離線挖掘分析模塊收集所有歷史數(shù)據(jù)，使用ETL技術(shù)對其進行處理，并將其存儲在數(shù)據(jù)倉庫中。另外，離線挖掘分析模塊將最新的安全事件抽象為規(guī)則，這些規(guī)則用于更新在線實時挖掘分析模塊的規(guī)則庫。

4.? 態(tài)勢感知與預(yù)警業(yè)務(wù)應(yīng)用

????態(tài)勢感知與預(yù)警業(yè)務(wù)應(yīng)用包括下面4個方面的功能 ：

????（1）網(wǎng)絡(luò)安全威脅報警

????利用大數(shù)據(jù)分析結(jié)果，實現(xiàn)對木馬傳播、信息盜取、權(quán)限獲取、仿冒釣魚等網(wǎng)絡(luò)攻擊活動的即時報警。

????（2）重要安全系統(tǒng)的實時監(jiān)測

????對國有企業(yè)、企事業(yè)單位、黨政機關(guān)的網(wǎng)站，重要信息系統(tǒng)對其進行實時監(jiān)測，發(fā)現(xiàn)APT攻擊、拒絕服務(wù)攻擊、網(wǎng)頁篡改、信息盜取等網(wǎng)絡(luò)安全威脅和惡意破壞事件。

????（3）網(wǎng)絡(luò)風(fēng)險預(yù)警及感知

????提供網(wǎng)絡(luò)安全威脅與攻擊活動、境外/ 內(nèi)攻擊事件、安全隱患與漏洞等的網(wǎng)絡(luò)安全態(tài)勢的展示和輸出，及時了解和掌控不同安全的要素決定網(wǎng)絡(luò)安全走勢以及影響范圍。

????（4）態(tài)勢展示

????通過統(tǒng)一的響應(yīng)式前端界面，基于d3.js、echats.js等多種可視化腳本庫進行安全態(tài)勢的全景展示。

四、項目實施

????AiLPHA大數(shù)據(jù)智能安全平臺是以安恒首席科學(xué)家劉博為核心的研發(fā)團隊創(chuàng)新智造的安全產(chǎn)品，旨在解決傳統(tǒng)安全設(shè)備無法應(yīng)對越來越復(fù)雜和隱蔽的安全威脅。AiLPHA以“AI驅(qū)動安全”為核心理念，集成超大規(guī)模存查、大數(shù)據(jù)實時智能分析、用戶行為（UEBA）分析、多維態(tài)勢安全視圖、企業(yè)安全聯(lián)動閉環(huán)等安全模塊。具備全網(wǎng)流量處理、異構(gòu)日志集成、核心數(shù)據(jù)安全分析、辦公應(yīng)用安全威脅挖掘等前沿大數(shù)據(jù)智能安全威脅挖掘分析與預(yù)警管控能力。為企業(yè)客戶提供全局態(tài)勢感知和業(yè)務(wù)不間斷穩(wěn)定運行安全保障。致力于讓安全更智能，更簡單。??圖4為安恒AiLPHA大數(shù)據(jù)智能安全平臺模塊圖景。

五、附錄

[1] 孫艷玲.大數(shù)據(jù)背景下計算機網(wǎng)絡(luò)信息安全問題探討[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2019(10):75-76.

[2] 姜文軍.大數(shù)據(jù)時代下計算機網(wǎng)絡(luò)信息安全問題探討[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2018(02):69-73

[3] 管磊,胡光俊,王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究[J]. 信息網(wǎng)絡(luò)安全,2016(09):45-50

[4] 安恒信息.AiLPHA大數(shù)據(jù)智能安全平臺[EB/OL].https://www.dbappsecurity.com.cn/show-56-5-1.html,2019(09)

[5] 楊本毅,基于攻擊圖的滲透測試方法 [A].云南：電子科技雜志第32卷,2019.10

[6] 陳小兵,范淵,孫立偉,Web滲透技術(shù)及實戰(zhàn)案例解析 [M].北京：電子工業(yè)出版,2012.4

[7] 王文君,李建蒙,Web應(yīng)用安全威脅與防治 [M].北京：電子工業(yè)出版社,2013.1

[8] 吳翰清,白帽子講Web安全 [M].北京：電子工業(yè)出版社,2012.3