作者：郝俊慧 來源：IT時報

日志，系統(tǒng)的隱形記錄者，每次開關(guān)機、每次程序執(zhí)行、每次系統(tǒng)報錯……企業(yè)服務(wù)器、云基礎(chǔ)設(shè)施、應(yīng)用程序等等的全部執(zhí)行過程，都會被忠實地記錄下來。

然而，這個簡單的系統(tǒng)動作，近幾年來，卻隨著企業(yè)規(guī)模增長、數(shù)字化程度加深和安全設(shè)備的增加，面臨數(shù)量指數(shù)級上升、流量洪峰突發(fā)、檢索速度延遲三大挑戰(zhàn)，給企業(yè)安全管理帶來不少煩惱。

9月20日，騰訊安全發(fā)布全新一代云原生安全數(shù)據(jù)湖，可支撐企業(yè)在PB級別數(shù)據(jù)里實現(xiàn)秒級查詢，同時成本可控。據(jù)悉，在同等數(shù)據(jù)規(guī)模下，該產(chǎn)品的硬件成本僅為同類開源軟件的1/10。

日志的“煩惱”

默默記錄一切的安全日志，早已在不經(jīng)意間成為企業(yè)數(shù)字化的“關(guān)鍵先生”。兩年前，騰訊安全發(fā)現(xiàn)，客戶普遍反映遇到日志存儲成本攀升、查詢效率低下等問題。

日志和業(yè)務(wù)強相關(guān)，業(yè)務(wù)的高低峰會直接導(dǎo)致日志量的高低峰，與單個業(yè)務(wù)相比，日志的流量洪峰波動狀況更加頻繁，也更加不可預(yù)估，可能瞬間就有幾十萬 QPS、GB/s 日志寫入。

另一方面，隨著數(shù)字化程度加深，日志量從每天幾千萬條增長到十萬億條級別，長此以往，企業(yè)日志存儲容量指數(shù)級上升，甚至動輒PB級別，很多系統(tǒng)在處理上存在瓶頸。

日志數(shù)據(jù)應(yīng)用場景也很敏感。很多系統(tǒng)安全告警、監(jiān)控都直接基于日志配置，這意味著，日志從產(chǎn)生到可檢索出來的延遲時間必須非常短，，甚至是秒級，否則日志價值將大打折扣?！熬W(wǎng)絡(luò)安全是實時對抗的，任何以‘小時’為單位的數(shù)據(jù)分析產(chǎn)品肯定都不適用?！彬v訊安全大數(shù)據(jù)實驗室高級研究員楊浚宇表示。

目前，大多數(shù)企業(yè)的日志處理平臺普通使用開源大數(shù)據(jù)ELK等組件快速搭建，以收集告警數(shù)據(jù)為主，分析數(shù)據(jù)不全，而且執(zhí)行長周期數(shù)據(jù)查詢需要分鐘級甚至小時級等待，而且成本高企，硬件成本高，而同類商用軟件，只能支持TB級數(shù)據(jù)處理，且授權(quán)費用高昂。

全新“云原生”方案

破解“不可能三角”，只能跳出舊有框架，構(gòu)建一套全新架構(gòu)，在技術(shù)上實現(xiàn)徹底的改造和升級。騰訊安全大數(shù)據(jù)實驗室基于多年的大數(shù)據(jù)分析處理能力，花費兩年時間自主研發(fā)了一款面向云原生的安全數(shù)據(jù)湖產(chǎn)品。

據(jù)了解，這款安全數(shù)據(jù)湖產(chǎn)品在日志數(shù)據(jù)無需修改、大量字段重復(fù)、有時間戳等方面做了一系列創(chuàng)新，比如采用MPP（大規(guī)模并發(fā)）架構(gòu)、Rust語言，針對日志及安全場景進(jìn)行專項優(yōu)化；使用列存儲實現(xiàn)極致壓縮比，無索引架構(gòu)避免索引開銷；通過原子能力，實現(xiàn)了數(shù)據(jù)處理、查詢、存儲、分析一體化……

經(jīng)過上述一系列創(chuàng)新，最終圍繞云原生技術(shù)（容器、K8S、聲明式 API、彈性伸縮等），騰訊云建設(shè)了全套符合現(xiàn)代數(shù)字化業(yè)務(wù)的發(fā)展需求架構(gòu)，支撐多實例、多用戶，能根據(jù)企業(yè)的實際需求實現(xiàn)彈性擴容，可以彈性適應(yīng)PB 級突發(fā)流量。同時，實現(xiàn)了極致的壓縮比和數(shù)據(jù)處理效率，將企業(yè)的安全運營存儲成本降低90%。

此外，騰訊云原生安全數(shù)據(jù)湖具備“插件化”應(yīng)用開發(fā)能力，企業(yè)用戶可根據(jù)需求定制上層應(yīng)用，并通過平臺+APP+合作伙伴構(gòu)建完整的日志應(yīng)用生態(tài)體系，全面賦能各類安全場景。

目前，該數(shù)據(jù)湖已經(jīng)集成在騰訊安全SOC+產(chǎn)品下，為企業(yè)安全運營管理提供基座。未來，騰訊安全還會對外提供獨立產(chǎn)品，助力企業(yè)構(gòu)建云原生數(shù)據(jù)湖平臺。