日志管理與分析（第2版）
鏈接：https://pan.baidu.com/s/17QqLVqTcS8IC6HhTbMMz8g?pwd=qg4u?
提取碼：qg4u
本書基于主流日志管理與分析系統(tǒng)的設(shè)計理念，完善、透徹地對日志分析各流程模塊的原理與實現(xiàn)進行了系統(tǒng)性講解，綜合介紹了日志分析技術(shù)在數(shù)據(jù)治理、智能運維、可觀測性、SIEM、UEBA、SOAR等IT運維及安全復(fù)雜場景中的應(yīng)用，并匯總了各行業(yè)優(yōu)秀的解決方案。第1～3章介紹了日志分析的基本概念、日志管理相關(guān)的法律法規(guī)及規(guī)范要求、日志管理與分析系統(tǒng)的組成部分及技術(shù)選型建議。第4～10章分別針對日志采集、字段解析、日志存儲、日志分析、日志數(shù)據(jù)搜索處理語言SPL、日志告警、日志可視化等日志分析中最重要的實現(xiàn)步驟進行了具體闡述。第11～14章介紹了日志平臺兼容性與擴展性，日志分析在運維數(shù)據(jù)治理、智能運維與可觀測性等近年熱門場景中的應(yīng)用。第15～17章介紹了SIEM、NTA、UEBA及SOAR等安全相關(guān)內(nèi)容。第18章總結(jié)列舉了日志管理與分析技術(shù)方案在金融、能源、運營商等各關(guān)鍵行業(yè)的解決方案。
作者簡介
北京優(yōu)特捷信息技術(shù)有限公司（簡稱“日志易”）是工業(yè)和信息化部認定的專精特新“小巨人”企業(yè)，擁有信創(chuàng)自研的日志搜索引擎Beaver與搜索處理語言SPL（Search Processing Language），技術(shù)自主可控。日志易致力于日志管理與分析技術(shù)的開發(fā)、實踐與推廣，已經(jīng)幫助數(shù)百家大型企業(yè)加速推進數(shù)字化轉(zhuǎn)型。本書作者團隊成員包括日志易創(chuàng)始人&CEO陳軍、技術(shù)負責人黎吾平、運維產(chǎn)品負責人&行業(yè)專家饒琛琳、安全產(chǎn)品負責人施澤寰等。日志易創(chuàng)始人&CEO陳軍，前高德地圖技術(shù)副總裁，曾任職Cisco、Google、騰訊等國際知名公司，擁有20余年IT及互聯(lián)網(wǎng)研發(fā)管理經(jīng)驗，在數(shù)據(jù)中心、云計算、大數(shù)據(jù)、搜索和日志分析領(lǐng)域有豐富經(jīng)驗，發(fā)明了4項網(wǎng)絡(luò)及分布式系統(tǒng)美國專利。日志易創(chuàng)始人&CEO陳軍，前高德地圖技術(shù)副總裁，曾任職Cisco、Google、騰訊等國際知名公司，擁有20余年IT及互聯(lián)網(wǎng)研發(fā)管理經(jīng)驗，在數(shù)據(jù)中心、云計算、大數(shù)據(jù)、搜索和日志分析領(lǐng)域有豐富經(jīng)驗，發(fā)明了4項網(wǎng)絡(luò)及分布式系統(tǒng)美國專利。
目錄
目 錄
第1章 走近日志 001
1.1 什么是日志 002
1.1.1 日志的概念 002
1.1.2 日志生態(tài)系統(tǒng) 002
1.1.3 日志的作用 003
1.2 日志數(shù)據(jù) 004
1.2.1 日志環(huán)境與日志類型 004
1.2.2 日志語法 005
1.2.3 日志管理規(guī)范 007
1.2.4 日志使用誤區(qū) 008
1.3 云日志 008
1.4 日志使用場景 009
1.4.1 故障排查 009
1.4.2 運維監(jiān)控 010
1.4.3 安全審計 010
1.4.4 業(yè)務(wù)分析 011
1.4.5 物聯(lián)網(wǎng) 013
1.5 日志未來展望 013
第2章 日志管理 015
2.1 日志管理相關(guān)法律 016
2.2 日志管理要求 016
2.3 日志管理中存在的問題 017
2.4 日志管理的好處 018
2.5 日志歸檔 021
第3章 日志管理與分析系統(tǒng) 022
3.1 日志管理與分析系統(tǒng)的基本功能 023
3.1.1 日志采集 023
3.1.2 數(shù)據(jù)清洗 023
3.1.3 日志存儲 024
3.1.4 日志告警 024
3.1.5 日志分析 024
3.1.6 日志可視化 025
3.1.7 日志智能分析 025
3.1.8 用戶與權(quán)限管理 025
3.1.9 系統(tǒng)管理 025
3.2 日志管理與分析系統(tǒng)技術(shù)選型 026
3.2.1 日志分析的基本工具 026
3.2.2 開源+自研 028
3.2.3 商業(yè)產(chǎn)品 028
3.3 小結(jié) 031
第4章 日志采集 032
4.1 日志采集方式 033
4.1.1 Agent采集 033
4.1.2 Syslog 034
4.1.3 抓包 035
4.1.4 接口采集 035
4.1.5 業(yè)務(wù)埋點采集 035
4.1.6 Docker日志采集 036
4.2 日志采集常見問題 037
4.2.1 事件合并 037
4.2.2 高并發(fā)日志采集 038
4.2.3 深層次目錄采集 038
4.2.4 大量小文件日志采集 039
4.2.5 其他日志采集問題 039
4.3 小結(jié) 040
第5章 字段解析 041
5.1 字段的概念 042
5.2 通用字段 042
5.2.1 時間戳 043
5.2.2 日志來源 043
5.2.3 執(zhí)行結(jié)果 043
5.2.4 日志優(yōu)先級 043
5.3 字段抽取 044
5.3.1 日志語法 044
5.3.2 字段抽取方法 045
5.3.3 常用日志類型的字段抽取 047
5.4 schema on write與schema on read 048
5.5 字段解析常見問題 049
5.5.1 字段存在別名 049
5.5.2 多個時間戳 049
5.5.3 特殊字符 049
5.5.4 封裝成標準日志 050
5.5.5 類型轉(zhuǎn)換 050
5.5.6 敏感信息替換 050
5.5.7 HEX轉(zhuǎn)換 050
5.6 小結(jié) 051
第6章 日志存儲 052
6.1 日志存儲形式 053
6.1.1 普通文本 053
6.1.2 二進制文本 054
6.1.3 壓縮文本 056
6.1.4 加密文本 057
6.2 日志存儲方式 057
6.2.1 數(shù)據(jù)庫存儲 057
6.2.2 分布式存儲 060
6.2.3 文件檢索系統(tǒng)存儲 061
6.2.4 云存儲 063
6.3 日志物理存儲 064
6.4 日志留存策略 064
6.4.1 空間策略維度 065
6.4.2 時間策略維度 065
6.4.3 起始位移策略維度 065
6.5 日志搜索引擎 065
6.5.1 日志搜索概述 066
6.5.2 實時搜索引擎 066
6.6 小結(jié) 067
第7章 日志分析 068
7.1 日志分析現(xiàn)狀 069
7.1.1 對日志的必要性認識不足 069
7.1.2 缺乏日志分析專業(yè)人才 069
7.1.3 日志體量大且分散，問題定位難 069
7.1.4 數(shù)據(jù)外泄 069
7.1.5 忽略日志本身的價值 070
7.2 日志分析解決方案 070
7.2.1 數(shù)據(jù)集中管理 070
7.2.2 日志分析維度 071
7.3 常用分析方法 072
7.3.1 基線 072
7.3.2 聚類 072
7.3.3 閾值 073
7.3.4 異常檢測 073
7.3.5 機器學習 073
7.4 日志分析案例 074
7.4.1 Linux系統(tǒng)日志分析案例 074
7.4.2 運營分析案例 075
7.4.3 交易監(jiān)控案例 077
7.4.4 VPN異常用戶行為監(jiān)控案例 077
7.4.5 高效運維案例 078
7.5 SPL簡介 079
7.6 小結(jié) 081
第8章 SPL 082
8.1 SPL簡介 083
8.2 SPL學習經(jīng)驗 083
8.3 小試牛刀 084
8.3.1 基本查詢與統(tǒng)計 088
8.3.2 統(tǒng)計命令 089
8.3.3 分時統(tǒng)計 091
8.3.4 重命名 092
8.4 圖表的使用 093
8.4.1 可視化：體現(xiàn)數(shù)據(jù)趨勢的圖表 093
8.4.2 快速獲取排名 094
8.5 數(shù)據(jù)整理 095
8.5.1 賦值與計算 095
8.5.2 只留下需要的數(shù)據(jù) 101
8.5.3 過濾項 101
8.5.4 利用表格 102
8.5.5 排序突出重點 104
8.5.6 去冗余 105
8.5.7 限量顯示 106
8.5.8 實現(xiàn)跨行計算 107
8.5.9 只留下想要的字段 108
8.6 關(guān)聯(lián)分析 109
8.6.1 數(shù)據(jù)關(guān)聯(lián)與子查詢 109
8.6.2 關(guān)聯(lián) 112
8.6.3 數(shù)據(jù)對比 113
8.7 小結(jié) 115
第9章 日志告警 116
9.1 概述 117
9.2 監(jiān)控設(shè)置 117
9.3 告警監(jiān)控分類 120
9.3.1 命中數(shù)統(tǒng)計類型的告警監(jiān)控 121
9.3.2 字段統(tǒng)計類型的告警監(jiān)控 121
9.3.3 連續(xù)統(tǒng)計類型的告警監(jiān)控 122
9.3.4 基線對比類型的告警監(jiān)控 122
9.3.5 自定義統(tǒng)計類型的告警監(jiān)控 123
9.3.6 智能告警 124
9.4 告警方式 124
9.4.1 告警發(fā)送方式 124
9.4.2 告警抑制和恢復(fù) 126
9.4.3 告警的插件化管理 127
9.5 小結(jié) 127
第10章 日志可視化 128
10.1 概述 129
10.2 可視化分析 129
10.2.1 初識可視化 129
10.2.2 圖表與數(shù)據(jù) 130
10.3 圖表詳解 131
10.3.1 序列類圖表 132
10.3.2 維度類圖表 136
10.3.3 關(guān)系類圖表 140
10.3.4 復(fù)合類圖表 143
10.3.5 地圖類圖表 145
10.3.6 其他圖表 146
10.4 日志可視化案例 151
10.4.1 MySQL性能日志可視化 151
10.4.2 金融業(yè)務(wù)日志可視化 155
10.5 小結(jié) 158
第11章 日志平臺兼容性與擴展性 159
11.1 RESTful API 160
11.1.1 RESTful API概述 160
11.1.2 常見日志管理API類型 161
11.1.3 API設(shè)計案例 162
11.2 日志App 163
11.2.1 日志App概述 163
11.2.2 日志App的作用和特點 163
11.2.3 常見日志App類型 164
11.2.4 典型日志App案例 167
11.2.5 日志App的發(fā)展 171
第12章 運維數(shù)據(jù)治理 172
12.1 運維數(shù)據(jù)治理背景 173
12.2 運維數(shù)據(jù)治理方法 175
12.2.1 元數(shù)據(jù)管理 176
12.2.2 主數(shù)據(jù)管理 176
12.2.3 數(shù)據(jù)標準管理 176
12.2.4 數(shù)據(jù)質(zhì)量管理 177
12.2.5 數(shù)據(jù)模型及服務(wù) 177
12.2.6 數(shù)據(jù)安全 177
12.2.7 數(shù)據(jù)生命周期 177
12.3 運維數(shù)據(jù)治理工具 178
12.3.1 工具定位 178
12.3.2 整體架構(gòu) 178
12.3.3 數(shù)據(jù)接入管理 179
12.3.4 數(shù)據(jù)標準化管理 179
12.3.5 數(shù)據(jù)存儲管理 182
12.3.6 數(shù)據(jù)應(yīng)用與服務(wù) 184
第13章 智能運維 186
13.1 概述 187
13.2 異常檢測 187
13.2.1 單指標異常檢測 188
13.2.2 多指標異常檢測 193
13.3 根因分析 195
13.3.1 相關(guān)性分析 195
13.3.2 事件關(guān)聯(lián)關(guān)系挖掘 197
13.4 日志分析 197
13.4.1 日志預(yù)處理 198
13.4.2 日志模式識別 199
13.4.3 日志異常檢測 199
13.5 告警收斂 200
13.6 趨勢預(yù)測 202
13.7 故障預(yù)測 203
13.7.1 故障預(yù)測的方法 203
13.7.2 故障預(yù)測的落地與評估 204
13.8 智能運維對接自動化運維 205
13.9 智能運維面臨的挑戰(zhàn) 206
第14章 可觀測性 207
14.1 概述 208
14.1.1 可觀測性的由來 208
14.1.2 可觀測性與監(jiān)控 208
14.1.3 可觀測性的三大支柱 209
14.2 實現(xiàn)可觀測性的方法 210
14.2.1 數(shù)據(jù)模型 211
14.2.2 數(shù)據(jù)來源 211
14.3 可觀測性應(yīng)用場景 215
14.3.1 運維監(jiān)控 215
14.3.2 鏈路追蹤 217
14.3.3 指標探索 219
14.3.4 故障定位 220
14.4 小結(jié) 221
第15章 SIEM 222
15.1 概述 223
15.2 信息安全建設(shè)中存在的問題 223
15.3 日志分析在SIEM中的作用 224
15.4 日志分析與安全設(shè)備分析的異同 224
15.5 SIEM功能架構(gòu) 225
15.6 SIEM適用場景 226
15.7 用戶行為分析 234
15.8 流量分析 240
15.8.1 流量協(xié)議介紹 240
15.8.2 流量分析功能 241
15.8.3 從WebLogic RCE漏洞到挖礦 241
15.9 小結(jié) 249
第16章 UEBA 250
16.1 深入理解用戶行為 251
16.1.1 背景介紹 251
16.1.2 數(shù)據(jù)源 252
16.1.3 標簽畫像 254
16.2 行為分析模型 255
16.2.1 分析方法 255
16.2.2 機器學習模型 257
16.3 應(yīng)用場景 261
16.3.1 數(shù)據(jù)泄露 261
16.3.2 離職分析 261
16.3.3 合規(guī)分析 261
16.3.4 失陷賬戶 262
16.4 小結(jié) 265
第17章 安全編排、自動化與響應(yīng) 266
17.1 SOAR簡介 267
17.2 SOAR架構(gòu)與功能 268
17.2.1 技術(shù)架構(gòu) 268
17.2.2 劇本與組件的定義 269
17.2.3 劇本與組件的使用 269
17.3 SOAR與SIEM的關(guān)系 271
17.3.1 SOAR與SIEM關(guān)聯(lián)使用 273
17.3.2 SOAR與SIEM信息同步 274
17.4 應(yīng)用場景 276
17.4.1 自動化封禁場景 276
17.4.2 DNS網(wǎng)絡(luò)取證分析場景 277
17.5 小結(jié) 279
第18章 行業(yè)解決方案 280
18.1 概述 281
18.2 銀行行業(yè)解決方案 281
18.2.1 行業(yè)背景 281
18.2.2 行業(yè)當前挑戰(zhàn) 281
18.2.3 整體建設(shè)思路 282
18.2.4 項目整體收益 286
18.3 證券行業(yè)解決方案 286
18.3.1 行業(yè)背景 286
18.3.2 行業(yè)當前挑戰(zhàn) 286
18.3.3 整體建設(shè)思路 287
18.3.4 項目整體收益 289
18.4 保險行業(yè)解決方案 290
18.4.1 行業(yè)背景 290
18.4.2 行業(yè)當前挑戰(zhàn) 290
18.4.3 整體建設(shè)思路 291
18.4.4 項目整體收益 294
18.5 基金行業(yè)解決方案 294
18.5.1 行業(yè)背景 294
18.5.2 行業(yè)當前挑戰(zhàn) 295
18.5.3 整體建設(shè)思路 295
18.5.4 項目整體收益 298
18.6 電力行業(yè)解決方案 298
18.6.1 行業(yè)背景 298
18.6.2 行業(yè)當前挑戰(zhàn) 299
18.6.3 整體建設(shè)思路 299
18.6.4 項目整體收益 302
18.7 石油行業(yè)解決方案 302
18.7.1 行業(yè)背景 302
18.7.2 行業(yè)當前挑戰(zhàn) 303
18.7.3 整體建設(shè)思路 303
18.7.4 項目整體收益 306
18.8 運營商行業(yè)解決方案 307
18.8.1 行業(yè)背景 307
18.8.2 行業(yè)當前挑戰(zhàn) 307
18.8.3 整體建設(shè)思路 308
18.8.4 項目整體收益 316
18.9 廣電行業(yè)解決方案 316
18.9.1 行業(yè)背景 316
18.9.2 行業(yè)當前挑戰(zhàn) 317
18.9.3 整體建設(shè)思路 317
18.9.4 項目整體收益 321
18.10 汽車行業(yè)解決方案 322
18.10.1 行業(yè)背景 322
18.10.2 行業(yè)當前挑戰(zhàn) 322
18.10.3 整體建設(shè)思路 323
18.10.4 項目整體收益 326
18.11 小結(jié) 327
參考文獻 328
查看全部↓
前言/序言
第1版序言
每位IT工程師，無論是從事開發(fā)、運維還是安全工作，都不可避免地要與IT日志打交道。IT日志，無論是系統(tǒng)日志、網(wǎng)絡(luò)日志，還是應(yīng)用日志，都是IT系統(tǒng)最重要的數(shù)據(jù)之一。
我20多年前進入IT行業(yè)，在思科從事網(wǎng)絡(luò)設(shè)備的軟件開發(fā)，為了知道開發(fā)的軟件是否正常運行，以及出錯時及時定位問題，需要查看網(wǎng)絡(luò)設(shè)備的日志。最早我是用編輯器，如vi，手工查看日志的，靠肉眼搜尋日志里的信息或異常。為了提升效率，我也用grep等命令，或者寫shell腳本程序，以及使用awk、sed等高級工具，對日志進行半自動化處理。
