日志管理與分析（第2版）
鏈接：pan.baidu.com/s/1kQOPMSykKi_-1NFkpd2G9w?pwd=mygl?
提取碼：mygl
本書基于主流日志管理與分析系統(tǒng)的設(shè)計(jì)理念，完善、透徹地對日志分析各流程模塊的原理與實(shí)現(xiàn)進(jìn)行了系統(tǒng)性講解，綜合介紹了日志分析技術(shù)在數(shù)據(jù)治理、智能運(yùn)維、可觀測性、SIEM、UEBA、SOAR等IT運(yùn)維及安全復(fù)雜場景中的應(yīng)用，并匯總了各行業(yè)優(yōu)秀的解決方案。第1～3章介紹了日志分析的基本概念、日志管理相關(guān)的法律法規(guī)及規(guī)范要求、日志管理與分析系統(tǒng)的組成部分及技術(shù)選型建議。第4～10章分別針對日志采集、字段解析、日志存儲(chǔ)、日志分析、日志數(shù)據(jù)搜索處理語言SPL、日志告警、日志可視化等日志分析中最重要的實(shí)現(xiàn)步驟進(jìn)行了具體闡述。第11～14章介紹了日志平臺(tái)兼容性與擴(kuò)展性，日志分析在運(yùn)維數(shù)據(jù)治理、智能運(yùn)維與可觀測性等近年熱門場景中的應(yīng)用。第15～17章介紹了SIEM、NTA、UEBA及SOAR等安全相關(guān)內(nèi)容。第18章總結(jié)列舉了日志管理與分析技術(shù)方案在金融、能源、運(yùn)營商等各關(guān)鍵行業(yè)的解決方案。
作者簡介
北京優(yōu)特捷信息技術(shù)有限公司（簡稱“日志易”）是工業(yè)和信息化部認(rèn)定的專精特新“小巨人”企業(yè)，擁有信創(chuàng)自研的日志搜索引擎Beaver與搜索處理語言SPL（Search Processing Language），技術(shù)自主可控。日志易致力于日志管理與分析技術(shù)的開發(fā)、實(shí)踐與推廣，已經(jīng)幫助數(shù)百家大型企業(yè)加速推進(jìn)數(shù)字化轉(zhuǎn)型。本書作者團(tuán)隊(duì)成員包括日志易創(chuàng)始人&CEO陳軍、技術(shù)負(fù)責(zé)人黎吾平、運(yùn)維產(chǎn)品負(fù)責(zé)人&行業(yè)專家饒琛琳、安全產(chǎn)品負(fù)責(zé)人施澤寰等。日志易創(chuàng)始人&CEO陳軍，前高德地圖技術(shù)副總裁，曾任職Cisco、Google、騰訊等國際知名公司，擁有20余年IT及互聯(lián)網(wǎng)研發(fā)管理經(jīng)驗(yàn)，在數(shù)據(jù)中心、云計(jì)算、大數(shù)據(jù)、搜索和日志分析領(lǐng)域有豐富經(jīng)驗(yàn)，發(fā)明了4項(xiàng)網(wǎng)絡(luò)及分布式系統(tǒng)美國專利。日志易創(chuàng)始人&CEO陳軍，前高德地圖技術(shù)副總裁，曾任職Cisco、Google、騰訊等國際知名公司，擁有20余年IT及互聯(lián)網(wǎng)研發(fā)管理經(jīng)驗(yàn)，在數(shù)據(jù)中心、云計(jì)算、大數(shù)據(jù)、搜索和日志分析領(lǐng)域有豐富經(jīng)驗(yàn)，發(fā)明了4項(xiàng)網(wǎng)絡(luò)及分布式系統(tǒng)美國專利。
目錄
目 錄
第1章 走近日志 001
1.1 什么是日志 002
1.1.1 日志的概念 002
1.1.2 日志生態(tài)系統(tǒng) 002
1.1.3 日志的作用 003
1.2 日志數(shù)據(jù) 004
1.2.1 日志環(huán)境與日志類型 004
1.2.2 日志語法 005
1.2.3 日志管理規(guī)范 007
1.2.4 日志使用誤區(qū) 008
1.3 云日志 008
1.4 日志使用場景 009
1.4.1 故障排查 009
1.4.2 運(yùn)維監(jiān)控 010
1.4.3 安全審計(jì) 010
1.4.4 業(yè)務(wù)分析 011
1.4.5 物聯(lián)網(wǎng) 013
1.5 日志未來展望 013
第2章 日志管理 015
2.1 日志管理相關(guān)法律 016
2.2 日志管理要求 016
2.3 日志管理中存在的問題 017
2.4 日志管理的好處 018
2.5 日志歸檔 021
第3章 日志管理與分析系統(tǒng) 022
3.1 日志管理與分析系統(tǒng)的基本功能 023
3.1.1 日志采集 023
3.1.2 數(shù)據(jù)清洗 023
3.1.3 日志存儲(chǔ) 024
3.1.4 日志告警 024
3.1.5 日志分析 024
3.1.6 日志可視化 025
3.1.7 日志智能分析 025
3.1.8 用戶與權(quán)限管理 025
3.1.9 系統(tǒng)管理 025
3.2 日志管理與分析系統(tǒng)技術(shù)選型 026
3.2.1 日志分析的基本工具 026
3.2.2 開源+自研 028
3.2.3 商業(yè)產(chǎn)品 028
3.3 小結(jié) 031
第4章 日志采集 032
4.1 日志采集方式 033
4.1.1 Agent采集 033
4.1.2 Syslog 034
4.1.3 抓包 035
4.1.4 接口采集 035
4.1.5 業(yè)務(wù)埋點(diǎn)采集 035
4.1.6 Docker日志采集 036
4.2 日志采集常見問題 037
4.2.1 事件合并 037
4.2.2 高并發(fā)日志采集 038
4.2.3 深層次目錄采集 038
4.2.4 大量小文件日志采集 039
4.2.5 其他日志采集問題 039
4.3 小結(jié) 040
第5章 字段解析 041
5.1 字段的概念 042
5.2 通用字段 042
5.2.1 時(shí)間戳 043
5.2.2 日志來源 043
5.2.3 執(zhí)行結(jié)果 043
5.2.4 日志優(yōu)先級 043
5.3 字段抽取 044
5.3.1 日志語法 044
5.3.2 字段抽取方法 045
5.3.3 常用日志類型的字段抽取 047
5.4 schema on write與schema on read 048
5.5 字段解析常見問題 049
5.5.1 字段存在別名 049
5.5.2 多個(gè)時(shí)間戳 049
5.5.3 特殊字符 049
5.5.4 封裝成標(biāo)準(zhǔn)日志 050
5.5.5 類型轉(zhuǎn)換 050
5.5.6 敏感信息替換 050
5.5.7 HEX轉(zhuǎn)換 050
5.6 小結(jié) 051
第6章 日志存儲(chǔ) 052
6.1 日志存儲(chǔ)形式 053
6.1.1 普通文本 053
6.1.2 二進(jìn)制文本 054
6.1.3 壓縮文本 056
6.1.4 加密文本 057
6.2 日志存儲(chǔ)方式 057
6.2.1 數(shù)據(jù)庫存儲(chǔ) 057
6.2.2 分布式存儲(chǔ) 060
6.2.3 文件檢索系統(tǒng)存儲(chǔ) 061
6.2.4 云存儲(chǔ) 063
6.3 日志物理存儲(chǔ) 064
6.4 日志留存策略 064
6.4.1 空間策略維度 065
6.4.2 時(shí)間策略維度 065
6.4.3 起始位移策略維度 065
6.5 日志搜索引擎 065
6.5.1 日志搜索概述 066
6.5.2 實(shí)時(shí)搜索引擎 066
6.6 小結(jié) 067
第7章 日志分析 068
7.1 日志分析現(xiàn)狀 069
7.1.1 對日志的必要性認(rèn)識(shí)不足 069
7.1.2 缺乏日志分析專業(yè)人才 069
7.1.3 日志體量大且分散，問題定位難 069
7.1.4 數(shù)據(jù)外泄 069
7.1.5 忽略日志本身的價(jià)值 070
7.2 日志分析解決方案 070
7.2.1 數(shù)據(jù)集中管理 070
7.2.2 日志分析維度 071
7.3 常用分析方法 072
7.3.1 基線 072
7.3.2 聚類 072
7.3.3 閾值 073
7.3.4 異常檢測 073
7.3.5 機(jī)器學(xué)習(xí) 073
7.4 日志分析案例 074
7.4.1 Linux系統(tǒng)日志分析案例 074
7.4.2 運(yùn)營分析案例 075
7.4.3 交易監(jiān)控案例 077
7.4.4 VPN異常用戶行為監(jiān)控案例 077
7.4.5 高效運(yùn)維案例 078
7.5 SPL簡介 079
7.6 小結(jié) 081
第8章 SPL 082
8.1 SPL簡介 083
8.2 SPL學(xué)習(xí)經(jīng)驗(yàn) 083
8.3 小試牛刀 084
8.3.1 基本查詢與統(tǒng)計(jì) 088
8.3.2 統(tǒng)計(jì)命令 089
8.3.3 分時(shí)統(tǒng)計(jì) 091
8.3.4 重命名 092
8.4 圖表的使用 093
8.4.1 可視化：體現(xiàn)數(shù)據(jù)趨勢的圖表 093
8.4.2 快速獲取排名 094
8.5 數(shù)據(jù)整理 095
8.5.1 賦值與計(jì)算 095
8.5.2 只留下需要的數(shù)據(jù) 101
8.5.3 過濾項(xiàng) 101
8.5.4 利用表格 102
8.5.5 排序突出重點(diǎn) 104
8.5.6 去冗余 105
8.5.7 限量顯示 106
8.5.8 實(shí)現(xiàn)跨行計(jì)算 107
8.5.9 只留下想要的字段 108
8.6 關(guān)聯(lián)分析 109
8.6.1 數(shù)據(jù)關(guān)聯(lián)與子查詢 109
8.6.2 關(guān)聯(lián) 112
8.6.3 數(shù)據(jù)對比 113
8.7 小結(jié) 115
第9章 日志告警 116
9.1 概述 117
9.2 監(jiān)控設(shè)置 117
9.3 告警監(jiān)控分類 120
9.3.1 命中數(shù)統(tǒng)計(jì)類型的告警監(jiān)控 121
9.3.2 字段統(tǒng)計(jì)類型的告警監(jiān)控 121
9.3.3 連續(xù)統(tǒng)計(jì)類型的告警監(jiān)控 122
9.3.4 基線對比類型的告警監(jiān)控 122
9.3.5 自定義統(tǒng)計(jì)類型的告警監(jiān)控 123
9.3.6 智能告警 124
9.4 告警方式 124
9.4.1 告警發(fā)送方式 124
9.4.2 告警抑制和恢復(fù) 126
9.4.3 告警的插件化管理 127
9.5 小結(jié) 127
第10章 日志可視化 128
10.1 概述 129
10.2 可視化分析 129
10.2.1 初識(shí)可視化 129
10.2.2 圖表與數(shù)據(jù) 130
10.3 圖表詳解 131
10.3.1 序列類圖表 132
10.3.2 維度類圖表 136
10.3.3 關(guān)系類圖表 140
10.3.4 復(fù)合類圖表 143
10.3.5 地圖類圖表 145
10.3.6 其他圖表 146
10.4 日志可視化案例 151
10.4.1 MySQL性能日志可視化 151
10.4.2 金融業(yè)務(wù)日志可視化 155
10.5 小結(jié) 158
第11章 日志平臺(tái)兼容性與擴(kuò)展性 159
11.1 RESTful API 160
11.1.1 RESTful API概述 160
11.1.2 常見日志管理API類型 161
11.1.3 API設(shè)計(jì)案例 162
11.2 日志App 163
11.2.1 日志App概述 163
11.2.2 日志App的作用和特點(diǎn) 163
11.2.3 常見日志App類型 164
11.2.4 典型日志App案例 167
11.2.5 日志App的發(fā)展 171
第12章 運(yùn)維數(shù)據(jù)治理 172
12.1 運(yùn)維數(shù)據(jù)治理背景 173
12.2 運(yùn)維數(shù)據(jù)治理方法 175
12.2.1 元數(shù)據(jù)管理 176
12.2.2 主數(shù)據(jù)管理 176
12.2.3 數(shù)據(jù)標(biāo)準(zhǔn)管理 176
12.2.4 數(shù)據(jù)質(zhì)量管理 177
12.2.5 數(shù)據(jù)模型及服務(wù) 177
12.2.6 數(shù)據(jù)安全 177
12.2.7 數(shù)據(jù)生命周期 177
12.3 運(yùn)維數(shù)據(jù)治理工具 178
12.3.1 工具定位 178
12.3.2 整體架構(gòu) 178
12.3.3 數(shù)據(jù)接入管理 179
12.3.4 數(shù)據(jù)標(biāo)準(zhǔn)化管理 179
12.3.5 數(shù)據(jù)存儲(chǔ)管理 182
12.3.6 數(shù)據(jù)應(yīng)用與服務(wù) 184
第13章 智能運(yùn)維 186
13.1 概述 187
13.2 異常檢測 187
13.2.1 單指標(biāo)異常檢測 188
13.2.2 多指標(biāo)異常檢測 193
13.3 根因分析 195
13.3.1 相關(guān)性分析 195
13.3.2 事件關(guān)聯(lián)關(guān)系挖掘 197
13.4 日志分析 197
13.4.1 日志預(yù)處理 198
13.4.2 日志模式識(shí)別 199
13.4.3 日志異常檢測 199
13.5 告警收斂 200
13.6 趨勢預(yù)測 202
13.7 故障預(yù)測 203
13.7.1 故障預(yù)測的方法 203
13.7.2 故障預(yù)測的落地與評估 204
13.8 智能運(yùn)維對接自動(dòng)化運(yùn)維 205
13.9 智能運(yùn)維面臨的挑戰(zhàn) 206
第14章 可觀測性 207
14.1 概述 208
14.1.1 可觀測性的由來 208
14.1.2 可觀測性與監(jiān)控 208
14.1.3 可觀測性的三大支柱 209
14.2 實(shí)現(xiàn)可觀測性的方法 210
14.2.1 數(shù)據(jù)模型 211
14.2.2 數(shù)據(jù)來源 211
14.3 可觀測性應(yīng)用場景 215
14.3.1 運(yùn)維監(jiān)控 215
14.3.2 鏈路追蹤 217
14.3.3 指標(biāo)探索 219
14.3.4 故障定位 220
14.4 小結(jié) 221
第15章 SIEM 222
15.1 概述 223
15.2 信息安全建設(shè)中存在的問題 223
15.3 日志分析在SIEM中的作用 224
15.4 日志分析與安全設(shè)備分析的異同 224
15.5 SIEM功能架構(gòu) 225
15.6 SIEM適用場景 226
15.7 用戶行為分析 234
15.8 流量分析 240
15.8.1 流量協(xié)議介紹 240
15.8.2 流量分析功能 241
15.8.3 從WebLogic RCE漏洞到挖礦 241
15.9 小結(jié) 249
第16章 UEBA 250
16.1 深入理解用戶行為 251
16.1.1 背景介紹 251
16.1.2 數(shù)據(jù)源 252
16.1.3 標(biāo)簽畫像 254
16.2 行為分析模型 255
16.2.1 分析方法 255
16.2.2 機(jī)器學(xué)習(xí)模型 257
16.3 應(yīng)用場景 261
16.3.1 數(shù)據(jù)泄露 261
16.3.2 離職分析 261
16.3.3 合規(guī)分析 261
16.3.4 失陷賬戶 262
16.4 小結(jié) 265
第17章 安全編排、自動(dòng)化與響應(yīng) 266
17.1 SOAR簡介 267
17.2 SOAR架構(gòu)與功能 268
17.2.1 技術(shù)架構(gòu) 268
17.2.2 劇本與組件的定義 269
17.2.3 劇本與組件的使用 269
17.3 SOAR與SIEM的關(guān)系 271
17.3.1 SOAR與SIEM關(guān)聯(lián)使用 273
17.3.2 SOAR與SIEM信息同步 274
17.4 應(yīng)用場景 276
17.4.1 自動(dòng)化封禁場景 276
17.4.2 DNS網(wǎng)絡(luò)取證分析場景 277
17.5 小結(jié) 279
第18章 行業(yè)解決方案 280
18.1 概述 281
18.2 銀行行業(yè)解決方案 281
18.2.1 行業(yè)背景 281
18.2.2 行業(yè)當(dāng)前挑戰(zhàn) 281
18.2.3 整體建設(shè)思路 282
18.2.4 項(xiàng)目整體收益 286
18.3 證券行業(yè)解決方案 286
18.3.1 行業(yè)背景 286
18.3.2 行業(yè)當(dāng)前挑戰(zhàn) 286
18.3.3 整體建設(shè)思路 287
18.3.4 項(xiàng)目整體收益 289
18.4 保險(xiǎn)行業(yè)解決方案 290
18.4.1 行業(yè)背景 290
18.4.2 行業(yè)當(dāng)前挑戰(zhàn) 290
18.4.3 整體建設(shè)思路 291
18.4.4 項(xiàng)目整體收益 294
18.5 基金行業(yè)解決方案 294
18.5.1 行業(yè)背景 294
18.5.2 行業(yè)當(dāng)前挑戰(zhàn) 295
18.5.3 整體建設(shè)思路 295
18.5.4 項(xiàng)目整體收益 298
18.6 電力行業(yè)解決方案 298
18.6.1 行業(yè)背景 298
18.6.2 行業(yè)當(dāng)前挑戰(zhàn) 299
18.6.3 整體建設(shè)思路 299
18.6.4 項(xiàng)目整體收益 302
18.7 石油行業(yè)解決方案 302
18.7.1 行業(yè)背景 302
18.7.2 行業(yè)當(dāng)前挑戰(zhàn) 303
18.7.3 整體建設(shè)思路 303
18.7.4 項(xiàng)目整體收益 306
18.8 運(yùn)營商行業(yè)解決方案 307
18.8.1 行業(yè)背景 307
18.8.2 行業(yè)當(dāng)前挑戰(zhàn) 307
18.8.3 整體建設(shè)思路 308
18.8.4 項(xiàng)目整體收益 316
18.9 廣電行業(yè)解決方案 316
18.9.1 行業(yè)背景 316
18.9.2 行業(yè)當(dāng)前挑戰(zhàn) 317
18.9.3 整體建設(shè)思路 317
18.9.4 項(xiàng)目整體收益 321
18.10 汽車行業(yè)解決方案 322
18.10.1 行業(yè)背景 322
18.10.2 行業(yè)當(dāng)前挑戰(zhàn) 322
18.10.3 整體建設(shè)思路 323
18.10.4 項(xiàng)目整體收益 326
18.11 小結(jié) 327
參考文獻(xiàn) 328
查看全部↓
前言/序言
第1版序言
每位IT工程師，無論是從事開發(fā)、運(yùn)維還是安全工作，都不可避免地要與IT日志打交道。IT日志，無論是系統(tǒng)日志、網(wǎng)絡(luò)日志，還是應(yīng)用日志，都是IT系統(tǒng)最重要的數(shù)據(jù)之一。
我20多年前進(jìn)入IT行業(yè)，在思科從事網(wǎng)絡(luò)設(shè)備的軟件開發(fā)，為了知道開發(fā)的軟件是否正常運(yùn)行，以及出錯(cuò)時(shí)及時(shí)定位問題，需要查看網(wǎng)絡(luò)設(shè)備的日志。最早我是用編輯器，如vi，手工查看日志的，靠肉眼搜尋日志里的信息或異常。為了提升效率，我也用grep等命令，或者寫shell腳本程序，以及使用awk、sed等高級工具，對日志進(jìn)行半自動(dòng)化處理。
后來，我加入谷歌從事網(wǎng)頁搜索工作。十多年前谷歌每天都要爬取100多億個(gè)網(wǎng)頁，在爬取各個(gè)網(wǎng)頁時(shí)，可能遇到各種各樣的錯(cuò)誤，網(wǎng)頁爬蟲軟件每天產(chǎn)生的日志就達(dá)數(shù)百TB。那么大的日志文件，已經(jīng)無法用vi這樣的編輯器打開查看，使用shell腳本程序或awk、sed等工具來查看日志，效率也非常低。當(dāng)時(shí)谷歌內(nèi)部已經(jīng)普遍開始使用MapReduce編程架構(gòu)（類似Hadoop的軟件），我們就寫MapReduce程序來分析日志，每天生成分析報(bào)表。每當(dāng)遇到需要新的分析項(xiàng)時(shí)，又得添加MapReduce程序，還得運(yùn)行MapReduce程序幾十分鐘甚至幾個(gè)小時(shí)，才能生成分析結(jié)果。這是程序化處理海量日志的開始。
