01背景

?

由于生成式人工智能程序展現(xiàn)出接近于人類的表達(dá)與推理能力，以ChatGPT為代表的大語(yǔ)言模型應(yīng)用持續(xù)爆發(fā)，帶動(dòng)了全球關(guān)注人工智能。目前已有多個(gè)商業(yè)化大模型發(fā)布，如OpenAI發(fā)布的GPT系列、Meta推出的千億參數(shù)大模型OPT以及Google發(fā)布的對(duì)標(biāo) GPT-4 的 PaLM 2等。

國(guó)內(nèi)各大企業(yè)和研究機(jī)構(gòu)也陸續(xù)推出了大模型應(yīng)用，比如百度公司的文心一言、復(fù)旦大學(xué)的MOSS和清華大學(xué)的ChatGLM等。?

然而，伴隨著大語(yǔ)言模型廣泛應(yīng)用的同時(shí)，ChatGPT和類似應(yīng)用也接連暴露出安全問(wèn)題。大語(yǔ)言模型應(yīng)用帶來(lái)了新的安全問(wèn)題，并引發(fā)了多起安全事件。

?

表1 大語(yǔ)言模型涉及的安全事件

?

02 OWASP Top 10 for LLM 介紹

2023年8月1日OWASP（全球開(kāi)放應(yīng)用軟件安全項(xiàng)目組織）正式發(fā)布了專門(mén)針對(duì)與大型語(yǔ)言模型 (LLM) 應(yīng)用程序十大風(fēng)險(xiǎn)1.0 版，指導(dǎo)如何應(yīng)對(duì)LLM應(yīng)用中可能存在的安全風(fēng)險(xiǎn)。?

下圖是OWASP梳理總結(jié)的最嚴(yán)重的十大LLM應(yīng)用安全漏洞類型：

?

圖1 OWASP Top 10 for LLM 列表

?

OWASP TOP 10 for LLM列表的項(xiàng)目具體說(shuō)明如下：

?

·????? LLM01：提示詞注入（Prompt Injection）?

通過(guò)精心構(gòu)造的提示詞來(lái)操控大語(yǔ)言模型，使得該模型忽略先前的指令或者執(zhí)行意外操作，導(dǎo)致數(shù)據(jù)泄漏、未經(jīng)授權(quán)的訪問(wèn)等后果。

?

·????? LLM02：不安全輸出（Insecure Output Handling）?

盲目接受未經(jīng)驗(yàn)證的輸出，則可能導(dǎo)致嚴(yán)重后果，如XSS、CSRF、SSRF、權(quán)限提升或遠(yuǎn)程代碼執(zhí)行等。

?

·????? LLM03：訓(xùn)練數(shù)據(jù)投毒（Training Data Poisoning）?

當(dāng)LLM訓(xùn)練數(shù)據(jù)被惡意篡改，引入損害安全性、有效性行為的漏洞時(shí)，這可能會(huì)產(chǎn)生帶有虛假或未經(jīng)證實(shí)的內(nèi)容輸出，可能會(huì)操縱用戶傳播仇恨言論等。

?

·????? LLM04：模型拒絕服務(wù)（Model Denial of Service）?

這是在其他領(lǐng)域很常見(jiàn)的攻擊類型。如果LLM收到大量資源密集型請(qǐng)求，則可能會(huì)出現(xiàn)拒絕服務(wù)（DoS）攻擊，導(dǎo)致LLM服務(wù)停止或者服務(wù)速度減慢。而且因?yàn)長(zhǎng)LM的資源密集性和用戶輸入的不可預(yù)測(cè)性，將導(dǎo)致更大的風(fēng)險(xiǎn)。

?

·????? LLM05：供應(yīng)鏈漏洞（Supply Chain Vulnerabilities）?

LLM應(yīng)用程序中的供應(yīng)鏈漏洞包括第三方數(shù)據(jù)集和預(yù)訓(xùn)練模型中的漏洞，風(fēng)險(xiǎn)也可能存在于插件中。通過(guò)仔細(xì)審查每個(gè)組件的引入可以緩解供應(yīng)鏈漏洞風(fēng)險(xiǎn)。

?

·????? LLM06：敏感信息泄露（Sensitive Information Disclosure）?

LLM可能會(huì)在其輸出中泄露機(jī)密數(shù)據(jù)，例如貿(mào)易信息，知識(shí)產(chǎn)權(quán)，專有算法等，導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)、隱私侵犯和安全漏洞。因此，建議預(yù)先實(shí)施數(shù)據(jù)清理，以避免敏感信息和用戶數(shù)據(jù)進(jìn)入訓(xùn)練數(shù)據(jù)。還有實(shí)施嚴(yán)格的用戶策略來(lái)緩解這種風(fēng)險(xiǎn)。

?

·????? LLM07：不安全的插件設(shè)計(jì)（Insecure Plugin Design）?

LLM 會(huì)自動(dòng)調(diào)用插件，為用戶請(qǐng)求收集更多上下文。插件可能具有輸入不安全以及缺乏訪問(wèn)控制的情況，有可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行等后果。

?

·????? LLM08：過(guò)度代理（Excessive Agency）?

該風(fēng)險(xiǎn)是由于授予了基于LLM的系統(tǒng)過(guò)度的功能、權(quán)限或自主權(quán)。最好使用最小權(quán)限模型限制訪問(wèn)范圍，以確保LLM只訪問(wèn)工作所需的插件和功能。

?

·????? LLM09：過(guò)度依賴（Overreliance）?

LLM很強(qiáng)大，但人類不應(yīng)該完全依賴它們來(lái)做出決策。在沒(méi)有監(jiān)督的情況下過(guò)度依賴LLM可能會(huì)因LLM生成的不正確或不適當(dāng)?shù)膬?nèi)容而面臨錯(cuò)誤信息、法律問(wèn)題和安全漏洞。

?

·????? LLM10：模型竊?。∕odel Theft）?

該風(fēng)險(xiǎn)涉及對(duì)LLM模型的未經(jīng)授權(quán)的訪問(wèn)、復(fù)制或泄露。其影響包括經(jīng)濟(jì)損失、競(jìng)爭(zhēng)優(yōu)勢(shì)受損以及敏感信息泄漏。

03安天OWASP Top 10 for LLM安全解決方案

安天下一代WEB應(yīng)用防護(hù)系統(tǒng)從LLM查詢提示詞過(guò)濾與規(guī)范化、敏感數(shù)據(jù)防泄漏、拒絕服務(wù)攻擊防護(hù)、基于認(rèn)證的安全管控、LLM訪問(wèn)審計(jì)與回溯五大方面為L(zhǎng)LM應(yīng)用提供安全解決方案，規(guī)避、緩解OWASP Top 10 for LLM中的安全風(fēng)險(xiǎn)。

圖2 安天OWASP Top 10 for LLM 安全解決方案

1.LLM查詢提示詞過(guò)濾與規(guī)范化

安天下一代WEB應(yīng)用防護(hù)系統(tǒng)具備一系列針對(duì)LLM應(yīng)用環(huán)境的安全功能，如攻擊特征檢測(cè)、參數(shù)約束、文件安全以及XML/JSON數(shù)據(jù)規(guī)范等。這些措施旨在對(duì)LLM的輸入進(jìn)行嚴(yán)格的檢查過(guò)濾和規(guī)范化處理，規(guī)避“LLM01-提示詞注入”、“LLM05-供應(yīng)鏈漏洞”和“LLM07-不安全的插件設(shè)計(jì)”風(fēng)險(xiǎn)。

“LLM01-提示詞注入”是一種高危安全風(fēng)險(xiǎn)，攻擊者企圖通過(guò)精心構(gòu)造的輸入來(lái)操控LLM，從而導(dǎo)致其產(chǎn)生不可預(yù)期的行為。產(chǎn)品通過(guò)對(duì)LLM輸入進(jìn)行深度檢查過(guò)濾，及時(shí)發(fā)現(xiàn)并阻止LLM應(yīng)用安全相關(guān)的異常輸入，緩解“LLM01-提示詞注入”提及的安全風(fēng)險(xiǎn)。

產(chǎn)品內(nèi)置大量WEB應(yīng)用相關(guān)的庫(kù)、組件、框架的漏洞特征，能有效地防止攻擊者試圖利用WEB相關(guān)漏洞對(duì)LLM發(fā)起攻擊。這個(gè)保護(hù)機(jī)制能在很大程度上減輕“LLM05-供應(yīng)鏈漏洞”安全風(fēng)險(xiǎn)。產(chǎn)品致力于確保LLM的整體安全，避免因外部供應(yīng)鏈漏洞對(duì)其造成安全威脅。

下面是一個(gè)安天下一代WEB應(yīng)用防護(hù)系統(tǒng)成功防止LLM供應(yīng)鏈漏洞利用的示例。LLM接口框架Python開(kāi)發(fā)庫(kù)存在任意代碼注入執(zhí)行漏洞（CVE-2023-29374）。產(chǎn)品預(yù)置的Python相關(guān)攻擊特征可以有效檢測(cè)攻擊者利用LLM接口框架LangChain漏洞，保護(hù)相關(guān)LLM應(yīng)用不受到該漏洞的影響。

?

圖3 LangChain LLM供應(yīng)鏈漏洞

?

針對(duì)“LLM07-不安全的插件設(shè)計(jì)”風(fēng)險(xiǎn)，產(chǎn)品采用了一系列措施來(lái)限制和約束來(lái)自LLM插件的參數(shù)和文件。這包括對(duì)其參數(shù)進(jìn)行類型和范圍檢查，對(duì)來(lái)自插件的文件進(jìn)行WebShell和病毒掃描。通過(guò)對(duì)插件數(shù)據(jù)的過(guò)濾與限制，可以緩解因“LLM07-不安全的插件設(shè)計(jì)”帶來(lái)的安全風(fēng)險(xiǎn)。

2.敏感數(shù)據(jù)防泄漏

在保護(hù)隱私安全的重要環(huán)節(jié)中，安天下一代WEB應(yīng)用防護(hù)系統(tǒng)內(nèi)置豐富的個(gè)人敏感數(shù)據(jù)特征，涵蓋身份證號(hào)、社保號(hào)、銀行卡號(hào)、手機(jī)號(hào)等重要個(gè)人信息。產(chǎn)品對(duì)LLM輸出數(shù)據(jù)進(jìn)行實(shí)時(shí)掃描，檢測(cè)其中是否包含個(gè)人敏感信息。?

同時(shí)產(chǎn)品支持用戶自行導(dǎo)入適用于其業(yè)務(wù)的敏感詞庫(kù)，通過(guò)高速匹配算法對(duì)LLM目標(biāo)數(shù)據(jù)實(shí)施快速檢索，結(jié)合數(shù)據(jù)脫敏技術(shù)，及時(shí)發(fā)現(xiàn)并阻止敏感數(shù)據(jù)的泄漏。?

安天下一代WEB應(yīng)用防護(hù)系統(tǒng)的上述數(shù)據(jù)防泄漏措施能有效應(yīng)對(duì)“LLM06-敏感信息泄露”安全風(fēng)險(xiǎn)，確保LLM敏感數(shù)據(jù)的安全存儲(chǔ)。

3.拒絕服務(wù)攻擊防護(hù)

產(chǎn)品提供綜合的DDoS攻擊防護(hù)方案，通過(guò)將反自動(dòng)化工具技術(shù)與訪問(wèn)頻度控制策略相結(jié)合，向用戶提供從IP層到HTTP應(yīng)用層的多層立體式DDoS安全解決方案，有效阻止攻擊者利用自動(dòng)化客戶端工具向LLM提交高頻查詢請(qǐng)求、濫用LLM的查詢接口，降低“LLM04-模型拒絕服務(wù)”風(fēng)險(xiǎn)。?

另外，產(chǎn)品的業(yè)務(wù)健康監(jiān)測(cè)功能能夠?qū)崟r(shí)監(jiān)控LLM應(yīng)用的運(yùn)行狀態(tài)。通過(guò)多維度監(jiān)測(cè)指標(biāo)，如業(yè)務(wù)可用性、延時(shí)、錯(cuò)誤率等，能夠及早察覺(jué)LLM應(yīng)用是否正在受到拒絕服務(wù)攻擊。一旦檢測(cè)到目標(biāo)業(yè)務(wù)異常，產(chǎn)品將第一時(shí)間向管理員發(fā)出告警通知，以便及時(shí)采取應(yīng)對(duì)措施，減小“LLM04-模型拒絕服務(wù)”的影響。

4.基于認(rèn)證的訪問(wèn)管控

產(chǎn)品的用戶跟蹤功能實(shí)時(shí)監(jiān)控用戶對(duì)大語(yǔ)言模型的訪問(wèn)活動(dòng)，識(shí)別LLM API調(diào)用的用戶角色并記錄其權(quán)限狀態(tài)。在用戶跟蹤功能基礎(chǔ)之上，進(jìn)而實(shí)現(xiàn)基于用戶角色的訪問(wèn)管控，發(fā)現(xiàn)未授權(quán)的用戶訪問(wèn)和異常的用戶權(quán)限狀態(tài)變化。?

“LLM10-模型竊取”風(fēng)險(xiǎn)主要是利用未授權(quán)的訪問(wèn)來(lái)達(dá)到竊取模型數(shù)據(jù)的目的?；谡J(rèn)證的訪問(wèn)管控策略不僅可以預(yù)防模型竊取風(fēng)險(xiǎn)，還能保障用戶數(shù)據(jù)隱私，為整個(gè)LLM應(yīng)用系統(tǒng)提供可信的環(huán)境。

5.LLM訪問(wèn)審計(jì)與回溯
針對(duì)已向公眾開(kāi)放使用的大語(yǔ)言模型應(yīng)用，如ChatGPT，產(chǎn)品能夠自動(dòng)識(shí)別其業(yè)務(wù)流量，并對(duì)其流量進(jìn)行相應(yīng)的數(shù)據(jù)解析，結(jié)合用戶角色、客戶端類型、威脅等級(jí)等信息，對(duì)用戶訪問(wèn)LLM的行為進(jìn)行詳細(xì)記錄。

直觀的可視化界面支持從多個(gè)視角展示LLM業(yè)務(wù)數(shù)據(jù)，允許用戶從訪問(wèn)來(lái)源、訪問(wèn)用戶、模型威脅等多個(gè)維度進(jìn)行調(diào)查分析，快速捕捉、識(shí)別異常的活動(dòng)和潛在的威脅。

圖4 ChatGPT流量識(shí)別

?

通過(guò)對(duì)LLM插件、工具的模型訪問(wèn)行為的審計(jì)和回溯，能夠及時(shí)發(fā)現(xiàn)其對(duì)LLM接口的異常訪問(wèn)，如過(guò)度的模型API調(diào)用等。結(jié)合產(chǎn)品內(nèi)置的API訪問(wèn)頻度控制策略，可以緩解“LLM08-過(guò)度代理”安全風(fēng)險(xiǎn)。

?

04結(jié)語(yǔ)

伴隨著LLM的迅猛發(fā)展和廣泛應(yīng)用，LLM安全問(wèn)題逐步突顯。安天下一代WEB應(yīng)用防護(hù)系統(tǒng)通過(guò)輸入過(guò)濾與規(guī)范化、敏感數(shù)據(jù)防泄漏、拒絕服務(wù)防護(hù)、認(rèn)證管控和訪問(wèn)審計(jì)回溯五大安全舉措為L(zhǎng)LM應(yīng)用環(huán)境提供綜合的安全解決方案，有效應(yīng)對(duì)OWASP Top 10 for LLM中涉及的安全風(fēng)險(xiǎn)，為用戶的大模型平臺(tái)和應(yīng)用提供可靠的安全保障。

# 安天青竹智語(yǔ)實(shí)驗(yàn)室簡(jiǎn)介 #
“安天青竹智語(yǔ)實(shí)驗(yàn)室”是安天集團(tuán)為保障業(yè)務(wù)應(yīng)用安全成立的實(shí)驗(yàn)室。該實(shí)驗(yàn)室在應(yīng)對(duì)傳統(tǒng)WEB應(yīng)用威脅的基礎(chǔ)上，增強(qiáng)API安全防護(hù)和自動(dòng)化攻擊防御；深度結(jié)合客戶業(yè)務(wù)，發(fā)現(xiàn)邏輯異常、分析用戶行為、追溯攻擊源頭，通過(guò)揭示攻擊行為的深層次原因，提早發(fā)現(xiàn)客戶業(yè)務(wù)系統(tǒng)漏洞，為業(yè)務(wù)穩(wěn)定運(yùn)行提供有效防護(hù)。