提示工程101｜與 AI 交談的技巧和藝術(shù)
隨著 ChatGPT 的問世，人工智能（AI）新時(shí)代也正式開啟。ChatGPT 是一種語言模型。它與用戶進(jìn)行對(duì)話交互，以便用戶輸入問題或提示，模型響應(yīng)，然后對(duì)話可以繼續(xù)來回進(jìn)行，類似于在消息傳遞應(yīng)用程序上向?qū)嶋H人員發(fā)送消息的方式。隨著對(duì) AI 的需求不斷增長，為 AI 模型提供信息的能力也變得同樣重要。這就是提示工程（Prompt Engineering）的用武之地，通過給 AI 模型提供正確的“提示”來滿足業(yè)務(wù)需求。
?
在本文中，我們將一同探討提示工程的概念、基本要素，以及提示工程面臨的挑戰(zhàn)與未來趨勢(shì)。
?
提示工程的基本概念
提示工程是為 AI 語言模型設(shè)計(jì)有效輸入的過程，以獲得所需的輸出。提示工程包括了解模型的能力和局限性，以及用戶的目標(biāo)和期望。提示工程對(duì)于探索和釋放AI語言模型的全部潛力至關(guān)重要，讓 AI 語言模型可以順利執(zhí)行文本生成、摘要、問題解答、代碼生成等多種任務(wù)。當(dāng)然，這些模型需要需要根據(jù)明確而具體的指令才能產(chǎn)生準(zhǔn)確、相關(guān)和有用的結(jié)果。
?
一般來說，提示工程由兩個(gè)主要目標(biāo)：
?
提示工程的首要目標(biāo)是設(shè)計(jì)基于文本的輸入，可以更有效地指導(dǎo) AI 模型。提示工程師為模型提供各種輸入，然后評(píng)估輸出結(jié)果。如果輸出未達(dá)到預(yù)期的精度水平，提示工程師與開發(fā)人員則會(huì)進(jìn)行合作對(duì)模型進(jìn)行微調(diào)。例如，可能要求模型不得使用任何攻擊性語氣或避免表達(dá)任何政治觀點(diǎn)，并且還必須防范例如提示注入（Prompt injection）之類的安全威脅。
?
在第二種情況下，根據(jù)企業(yè)所在的行業(yè)編寫不同的文本輸入，以提供優(yōu)化結(jié)果，同時(shí)滿足領(lǐng)域要求。例如，在醫(yī)療保健行業(yè)， AI 模型不泄露任何個(gè)人或機(jī)密信息至關(guān)重要。另一個(gè)例子是開發(fā)有效的提示，以充分利用模型，同時(shí)利用最少數(shù)量的 token 來最大限度地降低使用 AI 模型的成本。
?
提示工程 101
有效的提示工程需要深入了解大型語言模型（LLM）的功能和限制，以構(gòu)建優(yōu)秀的輸入提示的能力。同時(shí)，提示工程通常涉及仔細(xì)選擇提示中包含的單詞、短語以及輸入的整體結(jié)構(gòu)，以實(shí)現(xiàn)獲得準(zhǔn)確回復(fù)的目的。即使對(duì)提示進(jìn)行微小的修改也會(huì)對(duì)結(jié)果產(chǎn)生重大影響，因此提示工程的系統(tǒng)方法至關(guān)重要。
?
提示工程：關(guān)鍵術(shù)語
LLM 是一種 AI 模型，經(jīng)過大量文本數(shù)據(jù)的訓(xùn)練，可以對(duì)自然語言輸入創(chuàng)建類似人類的回復(fù)。LLM 以其撰寫高質(zhì)量、連貫的寫作能力而著稱，這些寫作通常與人類的寫作沒有什么太大區(qū)別。這種尖端性能是通過在大型文本語料庫（通常有數(shù)十億個(gè)單詞）上訓(xùn)練 LLM 來實(shí)現(xiàn)的，使其能夠掌握人類語言的復(fù)雜性。
?
以下是與提示工程和 LLM 相關(guān)的幾個(gè)關(guān)鍵術(shù)語，從 LLM 中使用的主要算法開始：
Word embedding（詞嵌入）是 LLM 中使用的一種基本方法，因?yàn)樗糜谝詳?shù)字方式表示單詞的含義，隨后可由 AI 模型進(jìn)行分析。
Attention mechanisms（注意力機(jī)制）?是一種 LLM 算法，能夠結(jié)合上下文，讓 AI 在創(chuàng)建輸出時(shí)專注于輸入文本的某些元素，例如與情感相關(guān)的短語。
Transformer?是 LLM 研究中常見的一種神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，通過自注意力技術(shù)處理輸入數(shù)據(jù)。
Fine-tuning（微調(diào)）是通過在較小的相關(guān)數(shù)據(jù)集上進(jìn)行訓(xùn)練來使 LLM 適應(yīng)給定工作或主題的過程。
Prompt engineering（提示工程）是對(duì) LLM 輸入提示的專家設(shè)計(jì)，以提供高質(zhì)量、連貫的輸出。
Interpretability（可解釋性）是指理解和解釋 AI 系統(tǒng)的輸出和決策的能力，由于其復(fù)雜性，這通常是 LLM 的一個(gè)挑戰(zhàn)和持續(xù)的研究領(lǐng)域。
?
提示要素
說明：提示的主要目的是為語言模型提供清晰的說明。
上下文：上下文提供額外的信息來幫助語言模型產(chǎn)生更相關(guān)的輸出。該信息可以來自外部來源或由用戶提供。
輸入數(shù)據(jù)：輸入數(shù)據(jù)是用戶的查詢或請(qǐng)求。
輸出指示符：指定答案的格式。
?
提示工程：示例
讓我們看一下來自 Awesome ChatGPT Prompts [1] 的一個(gè)簡單的提示工程示例。
?
示例
現(xiàn)在你是一個(gè) Python 解釋器。我會(huì)給你 Python 代碼，你來執(zhí)行它，不提供任何解釋。除了代碼的輸出之外，不要回復(fù)任何內(nèi)容。第一個(gè)代碼是：“print('hello world!')”
?
OpenAI Playground [2] 還有很多提示模板，可以查看以學(xué)習(xí)更準(zhǔn)確的提示。
?
提示工程：角色
正如您在這些實(shí)例中所看到的，每個(gè)問題都包含“角色”，這是指導(dǎo)聊天機(jī)器人的一個(gè)重要方面，正如我們?cè)?ChatGPT API 版本中看到的那樣。必須建立許多角色：
System: “系統(tǒng)”消息控制 assistant 的行為。例如提示“你是 ChatGPT，一個(gè)由 OpenAI 訓(xùn)練的大型語言模型”。盡可能用簡短的語言回答。信息截止日期：{knowledge_cutoff} 當(dāng)前日期：{current_date} ”
User: 用戶消息提供精確的指示。這些信息主要由應(yīng)用程序最終用戶使用，開發(fā)人員也可以針對(duì)某些使用場(chǎng)景對(duì)其進(jìn)行硬編碼。
Assistant: 助手消息保存過去的 ChatGPT 答案，也可以是由開發(fā)人員提供的所需行為示例。
以下是 ChatGPT API 請(qǐng)求的示例：
response = openai.ChatCompletion.create(model="gpt-3.5-turbo", ?messages=[{"role": "system", "content": "You are a helpful assistant."},
? ? ? ?{"role": "user", "content": "Who won the world series in 2020?"},
? ? ? ?{"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
? ? ? ?{"role": "user", "content": "Where was it played?"}])
?
提示工程：參數(shù)
除了仔細(xì)構(gòu)建提示的書面部分外，在使用 LLM 時(shí)還需要考慮幾個(gè)提示工程參數(shù)。例如，讓我們看看 OpenAI Playground 中可用于 GPT-3 Completions 的 API 參數(shù)：
Model 模型：用于文本完成的模型，即 text-davinci-003
Temperature 采樣溫度：較高的值會(huì)讓輸出更具隨機(jī)性，而較低的值輸出結(jié)果則更集中，更具確定性。
Maximum length 最大長度：要生成的最大 token 數(shù)量因型號(hào)而異，但 ChatGPT 允許在提示和完成之間共享 4000 個(gè) token（約 3000 個(gè)單詞）（1 個(gè) token = 約 4 個(gè)字符）。
Stop sequence 停止序列：API 停止返回回復(fù)的最多四個(gè)序列。
Top P：指給定決策或預(yù)測(cè)的最可能選擇的概率分布，參數(shù)設(shè)置為 0.5，表示候選 token 被考慮用于特定輸出的積累概率為0.5
Frequency penalty 頻率懲罰：用于防止模型重復(fù)相同的單詞或過于頻繁地解析。范圍通常在-1.0到1.0之間。當(dāng)設(shè)置一個(gè)正的頻率懲罰值時(shí)，ChatGPT會(huì)盡量避免使用常見的單詞和短語，而更傾向于生成較少見的單詞。反之，如果設(shè)置一個(gè)負(fù)的頻率懲罰值，ChatGPT將更傾向于使用常見的單詞和短語。
Presence penalty 存在懲罰： 它為某些單詞或短語賦值，并根據(jù)該值是正還是負(fù)，使模型或多或少地生成該單詞或短語。此功能可用于微調(diào)輸出，以包括或排除某些單詞或短語。
最佳結(jié)果 Best of：這在服務(wù)器上用于生成大量完成結(jié)果，并且僅顯示最佳結(jié)果。僅當(dāng)設(shè)置為 1 時(shí)，流式完成才可用。
?
總而言之，提示工程的每個(gè)用例都有自己的一組最佳參數(shù)來獲得所需的結(jié)果，因此了解并嘗試不同的參數(shù)設(shè)置以優(yōu)化性能非常重要。
?
提示工程：用例
現(xiàn)在我們已經(jīng)介紹了基礎(chǔ)知識(shí)，下面是一些最典型的提示工程任務(wù)：
文本摘要：可用于從文章或文檔中提取要點(diǎn)。
回答問題：這在與外部文檔或數(shù)據(jù)庫交互時(shí)非常有用。
文本分類：有助于情感分析、實(shí)體提取等應(yīng)用。
角色扮演：涉及生成模擬特定用例和角色類型（導(dǎo)師、治療師、分析師等）轉(zhuǎn)換的文本
代碼生成：其中最著名的是 GitHub Copilot。
推理：適合創(chuàng)作展示邏輯或解決問題的能力（例如決策）的寫作。
?
提示工程的挑戰(zhàn)與未來
盡管生成式 AI 與提示工程越來越受歡迎，但有部分人擔(dān)心過度依賴提示可能會(huì)導(dǎo)致人工智能系統(tǒng)出現(xiàn)偏差。科技行業(yè)知名人士薩姆·奧爾特曼 (Sam Altman) 表示，提示工程只是讓機(jī)器更自然地理解人類語言一目標(biāo)的一個(gè)階段，并表示五年后不會(huì)還在做提示工程。
?
而提示工程也存在著以下兩個(gè)挑戰(zhàn)：
?
上下文依賴性 - 正確捕獲上下文：提示工程的一項(xiàng)挑戰(zhàn)和限制在于上下文依賴性以及正確捕獲上下文的需要。AI 系統(tǒng)能夠根據(jù)給定的上下文理解和處理信息。然而，在輸入中清晰準(zhǔn)確地捕獲上下文可能很困難，尤其是在復(fù)雜或模糊的查詢中。
?
歧義 - 難以為復(fù)雜查詢制定精確的指令：對(duì)于復(fù)雜或歧義的查詢，在單一語言命令中捕獲所有必要的信息和條件可能具有挑戰(zhàn)性?？赡苡胁煌慕忉?，可能會(huì)導(dǎo)致不同的結(jié)果。因此，及時(shí)工程需要制定策略來減少歧義并盡可能清楚地定義具體要求。
?
盡管一些專家表示提示工程可能會(huì)給人工智能系統(tǒng)帶來偏見，并質(zhì)疑其長期相關(guān)性，但提示工程仍是人工智能系統(tǒng)理解人類語言并有效交互的基礎(chǔ)。如果沒有精心設(shè)計(jì)的提示，人工智能模型就無法識(shí)別模式或做出可靠的預(yù)測(cè)。因此，及時(shí)的工程設(shè)計(jì)對(duì)于確保人工智能系統(tǒng)在所有行業(yè)產(chǎn)生有意義的結(jié)果至關(guān)重要。此外，提示工程始終在不斷改進(jìn)，利用新技術(shù)和工具來創(chuàng)建更有效的提示。
?
雖然存在一些挑戰(zhàn)，但提示工程領(lǐng)域的持續(xù)發(fā)展和研究為人機(jī)交互帶來了光明的未來。通過掌握提示工程，我們可以充分利用對(duì)話式人工智能系統(tǒng)的潛力，創(chuàng)造有效、無縫的用戶體驗(yàn)。
?
參考鏈接：
https://github.com/f/awesome-chatgpt-prompts?ref=mlq.ai
https://platform.openai.com/playground/?ref=mlq.ai
https://www.cloudbooklet.com/prompt-engineering-key-concepts-use-cases/#prompt-engineering-use-cases
https://ai.plainenglish.io/prompt-engineering-the-future-of-ai-job-market-or-just-a-trend-fb8ac8631b0f
https://onlim.com/en/prompt-engineering-the-art-of-precise-language-control/
