近年來，日志管理平臺(tái)越來越流行。使用日志管理平臺(tái)可以實(shí)時(shí)地、統(tǒng)一地、方便地管理和查看日志，挖掘日志數(shù)據(jù)價(jià)值，驅(qū)動(dòng)運(yùn)維、運(yùn)營(yíng)，提升服務(wù)管理效率。

方案架構(gòu)

• Beats 是輕量級(jí)采集器，包括 Filebeat、Metricbeat 等。
• Easysearch 是個(gè)分布式搜索引擎，提供搜集、分析、存儲(chǔ)數(shù)據(jù)等主要功能。
• Console 是一個(gè)可視化工具，提供可視化查詢，制作報(bào)表等功能。

本文將搭建一個(gè)統(tǒng)一日志管理平臺(tái)。使用 Filebeat 采集 OS 中的日志（其他日志大同小異），發(fā)送到 Easysearch 中。最后通過 Console 進(jìn)行日志的可視化查詢與分析。

操作步驟

1. 準(zhǔn)備工作

• 部署 Easysearch
  • 編輯 easysearch.yml 文件，打開注釋 elasticsearch.api_compatibility: true
• 部署 Console

1. 安裝并配置 Filebeat

• 下載 Filebeat，版本建議選擇 7.10.2。下載地址：https://www.elastic.co/cn/downloads/past-releases/filebeat-oss-7-10-2
• 修改配置 filebeat.yml 文件

setup.template.name:?"filebeat"
setup.template.pattern:?"system-log*"
setup.template.fields:?"${path.config}/fields.yml"

output.elasticsearch:
????hosts:?["localhost:9200"]
????protocol:?"https"
????ssl.verification_mode:?none
????username:?"admin"
????password:?"4ad8f8f792e81cd0a6de"
????index:?"system-log"

1. 啟用 system 模塊并導(dǎo)入 pipeline

./filebeat modules enable system ?
./filebeat setup --pipelines --modules system

1. 創(chuàng)建索引模板及初始索引，使用 ZSTD+SOURCE_REUSE 技術(shù)節(jié)省磁盤空間

PUT?_template/system_log
{
????"order":?100,
??"index_patterns":?[
??????"system_log*"
????],
??????"settings":?{
????????"index":?{
??????????"format":?"7",
??????????"lifecycle":?{
??????????"name":?"ilm_.infini_metrics-30days-retention",
??????????"rollover_alias":?"system_log"
????????},
????????"codec":?"ZSTD",
????????"source_reuse":?true,
????????"number_of_shards":?"1",
????????"translog":?{
??????????"durability":?"async"
????????}
??????}
????},
????"mappings":?{
??????"dynamic_templates":?[
????????{
??????????"strings":?{
????????????"mapping":?{
??????????????"ignore_above":?256,
??????????????"type":?"keyword"
????????????},
????????????"match_mapping_type":?"string"
??????????}
????????}
??????]
????}
}

PUT?system-log-00001
{
????"aliases":{
????"system-log":{
??????"is_write_index":true
????}
??}
}

1. 啟動(dòng) filebeat

nohup ./filebeat -c filebeat.yml 2>&1>/dev/null &

1. 進(jìn)入 Console 查看、搜索日志 ?
   

2. 進(jìn)入 Console 創(chuàng)建 dashboard 進(jìn)行日志分析 ?
   

關(guān)于極限科技（INFINI Labs）

極限科技，全稱極限數(shù)據(jù)（北京）科技有限公司，是一家專注于實(shí)時(shí)搜索與數(shù)據(jù)分析的軟件公司。旗下品牌極限實(shí)驗(yàn)室（INFINI Labs）致力于打造極致易用的數(shù)據(jù)探索與分析體驗(yàn)。

極限科技是一支年輕的團(tuán)隊(duì)，采用天然分布式的方式來進(jìn)行遠(yuǎn)程協(xié)作，員工分布在全球各地，希望通過努力成為中國(guó)乃至全球企業(yè)大數(shù)據(jù)實(shí)時(shí)搜索分析產(chǎn)品的首選，為中國(guó)技術(shù)品牌輸出添磚加瓦。

官網(wǎng)：https://www.infinilabs.com