網(wǎng)絡流量應用標注數(shù)據(jù)集

這個數(shù)據(jù)集包含了 350萬 以上實例的 87 個特征,這些實例被收集并存儲在 CSV(逗號分隔值)文件中。它是通過在六天的上午和下午的不同時間段進行數(shù)據(jù)包捕獲而獲得的。每個實例都有網(wǎng)絡設備產(chǎn)生的 IP 流的信息,即源和目的 IP 地址、端口、到達時間、在該流上使用的七層協(xié)議(應用)作為類別,等等。大多數(shù)屬性是數(shù)字類型,但也有名義類型和由于時間戳而產(chǎn)生的日期類型。
考慮到大多數(shù)網(wǎng)絡流量分類數(shù)據(jù)集的目的只是為了識別IP流量的應用類型(WWW、DNS、FTP、P2P、Telnet 等),這個數(shù)據(jù)集更進一步,生成了能夠從 IP 流量統(tǒng)計中檢測到特定應用的機器學習模型,如 Facebook、YouTube、Instagram 等(目前有 75 個應用)。
采集工具:ISCXFlowMeter
它可以用來生成雙向流量,其中第一個數(shù)據(jù)包決定了前向(源頭到目的地)和后向(目的地到源頭)方向,因此80多個統(tǒng)計網(wǎng)絡流量特征,如持續(xù)時間、數(shù)據(jù)包數(shù)量、字節(jié)數(shù)、數(shù)據(jù)包長度等都可以在前向和后向分別計算。
其他功能包括,從現(xiàn)有的特征列表中選擇特征,添加新的特征,以及控制流量超時的持續(xù)時間。該應用程序的輸出是CSV格式的文件,每個流量有六列標簽(FlowID、SourceIP、DestinationIP、SourcePort、DestinationPort和Protocol),有80多個網(wǎng)絡流量分析特征。
請注意,TCP流量通常在連接斷開時終止(通過FIN包),而UDP流量則通過流量超時終止。流量超時值可以由個別方案任意指定,例如,TCP和UDP都是600秒。
采集工具:ntopng
ntopng是原始ntp的下一代版本,它是一個監(jiān)控網(wǎng)絡使用情況的網(wǎng)絡流量探測器。ntpng基于libpcap/PF_RING,它以一種可移植的方式編寫,以便實際上在每個Unix平臺、MacOS和Windows上運行。
根據(jù)許多標準對網(wǎng)絡流量進行分類,包括IP地址、端口、第七層(L7)應用協(xié)議、吞吐量、自治系統(tǒng)(ASs)。
顯示實時網(wǎng)絡流量和活動主機
生成若干網(wǎng)絡指標的長期報告,包括吞吐量和L7應用協(xié)議
最多談話者(發(fā)送者/接收者)、最多AS、最多L7應用協(xié)議
監(jiān)測和報告實時吞吐量、網(wǎng)絡和應用延遲、往返時間(RTT)、TCP統(tǒng)計數(shù)據(jù)(重傳、失序數(shù)據(jù)包、數(shù)據(jù)包丟失)、以及傳輸?shù)淖止?jié)和數(shù)據(jù)包。
在磁盤上存儲持久的流量統(tǒng)計數(shù)據(jù),以便將來進行探索和事后分析
在地理地圖中對主機進行地理定位和疊加
通過利用nDPI、ntop深度包檢測(DPI)技術,發(fā)現(xiàn)第七層應用協(xié)議(Facebook、YouTube、BitTorrent等)。
分析IP流量并根據(jù)來源/目的地進行分類
報告IP協(xié)議使用情況,按協(xié)議類型排序
生成HTML5/AJAX網(wǎng)絡流量統(tǒng)計數(shù)據(jù)
完全支持IPv4和IPv6
完全支持第2層(包括ARP統(tǒng)計)。
GTP/GRE分離
支持ClickHouse、MySQL、ElasticSearch的監(jiān)測數(shù)據(jù)導出
對導出到ClickHouse的監(jiān)測數(shù)據(jù)進行交互式歷史探索
靈活的警報處理
支持SNMP v1/v2c/v3,對SNMP設備進行持續(xù)監(jiān)控
身份管理,包括VPN用戶與流量的關聯(lián)性
專注于流量可見性和網(wǎng)絡安全。
行為流量分析,如橫向移動和定期流量檢測
REST API,方便與第三方的集成。
本地nTap支持從云、虛擬機、容器和物理主機收集流量。
歡迎通過微信搜索【跨象乘云】公眾號(kxcy_ai)或掃描下方二維碼,關注后發(fā)送關鍵字【230110】,免費獲取 網(wǎng)絡流量應用標注數(shù)據(jù)集??缦蟪嗽? 原創(chuàng)實驗演示視頻內(nèi)全部代碼、數(shù)據(jù)集僅授權予個人用戶學習與實驗使用。禁止用于二次銷售、分發(fā)傳播、課堂教學及培訓用途。校企用戶采購請通過公眾號菜單【了解我們】->【商務咨詢】聯(lián)系。?
