作者 吳恩達(dá)教授

歡迎來到本課程，我們將為開發(fā)人員介紹 ChatGPT 提示工程。本課程由 Isa Fulford 教授和我一起授課。Isa Fulford 是 OpenAI 的技術(shù)團(tuán)隊(duì)成員，曾開發(fā)過受歡迎的 ChatGPT 檢索插件，并且在教授人們?nèi)绾卧诋a(chǎn)品中使用 LLM 或 LLM 技術(shù)方面做出了很大貢獻(xiàn)。她還參與編寫了教授人們使用 Prompt 的 OpenAI cookbook。

互聯(lián)網(wǎng)上有很多有關(guān)提示的材料，例如《30 prompts everyone has to know》之類的文章。這些文章主要集中在 ChatGPT Web 用戶界面上，許多人在使用它執(zhí)行特定的、通常是一次性的任務(wù)。但是，我認(rèn)為 LLM 或大型語言模型作為開發(fā)人員的更強(qiáng)大功能是使用 API 調(diào)用到 LLM，以快速構(gòu)建軟件應(yīng)用程序。我認(rèn)為這方面還沒有得到充分的重視。實(shí)際上，我們?cè)?DeepLearning.AI 的姊妹公司 AI Fund 的團(tuán)隊(duì)一直在與許多初創(chuàng)公司合作，將這些技術(shù)應(yīng)用于許多不同的應(yīng)用程序上。看到 LLM API 能夠讓開發(fā)人員非?？焖俚貥?gòu)建應(yīng)用程序，這真是令人興奮。

在本課程中，我們將與您分享一些可能性以及如何實(shí)現(xiàn)它們的最佳實(shí)踐。

隨著大型語言模型（LLM）的發(fā)展，LLM 大致可以分為兩種類型，即基礎(chǔ)LLM和指令微調(diào)LLM。基礎(chǔ)LLM是基于文本訓(xùn)練數(shù)據(jù)，訓(xùn)練出預(yù)測(cè)下一個(gè)單詞能力的模型，其通常是在互聯(lián)網(wǎng)和其他來源的大量數(shù)據(jù)上訓(xùn)練的。例如，如果你以“從前有一只獨(dú)角獸”作為提示，基礎(chǔ)LLM可能會(huì)繼續(xù)預(yù)測(cè)“生活在一個(gè)與所有獨(dú)角獸朋友的神奇森林中”。但是，如果你以“法國(guó)的首都是什么”為提示，則基礎(chǔ)LLM可能會(huì)根據(jù)互聯(lián)網(wǎng)上的文章，將答案預(yù)測(cè)為“法國(guó)最大的城市是什么？法國(guó)的人口是多少？”，因?yàn)榛ヂ?lián)網(wǎng)上的文章很可能是有關(guān)法國(guó)國(guó)家的問答題目列表。

許多 LLMs 的研究和實(shí)踐的動(dòng)力正在指令調(diào)整的 LLMs 上。指令調(diào)整的 LLMs 已經(jīng)被訓(xùn)練來遵循指令。因此，如果你問它，“法國(guó)的首都是什么？”，它更有可能輸出“法國(guó)的首都是巴黎”。指令調(diào)整的 LLMs 的訓(xùn)練通常是從已經(jīng)訓(xùn)練好的基本 LLMs 開始，該模型已經(jīng)在大量文本數(shù)據(jù)上進(jìn)行了訓(xùn)練。然后，使用輸入是指令、輸出是其應(yīng)該返回的結(jié)果的數(shù)據(jù)集來對(duì)其進(jìn)行微調(diào)，要求它遵循這些指令。然后通常使用一種稱為 RLHF（reinforcement learning from human feedback，人類反饋強(qiáng)化學(xué)習(xí)）的技術(shù)進(jìn)行進(jìn)一步改進(jìn)，使系統(tǒng)更能夠有幫助地遵循指令。

因?yàn)橹噶钫{(diào)整的 LLMs 已經(jīng)被訓(xùn)練成有益、誠(chéng)實(shí)和無害的，所以與基礎(chǔ)LLMs相比，它們更不可能輸出有問題的文本，如有害輸出。許多實(shí)際使用場(chǎng)景已經(jīng)轉(zhuǎn)向指令調(diào)整的LLMs。您在互聯(lián)網(wǎng)上找到的一些最佳實(shí)踐可能更適用于基礎(chǔ)LLMs，但對(duì)于今天的大多數(shù)實(shí)際應(yīng)用，我們建議將注意力集中在指令調(diào)整的LLMs上，這些LLMs更容易使用，而且由于OpenAI和其他LLM公司的工作，它們變得更加安全和更加協(xié)調(diào)。

因此，本課程將重點(diǎn)介紹針對(duì)指令調(diào)整 LLM 的最佳實(shí)踐，這是我們建議您用于大多數(shù)應(yīng)用程序的。在繼續(xù)之前，我想感謝 OpenAI 和 DeepLearning.ai 團(tuán)隊(duì)為 Izzy 和我所提供的材料作出的貢獻(xiàn)。我非常感激 OpenAI 的 Andrew Main、Joe Palermo、Boris Power、Ted Sanders 和 Lillian Weng，他們參與了我們的頭腦風(fēng)暴材料的制定和審核，為這個(gè)短期課程編制了課程大綱。我也感激 Deep Learning 方面的 Geoff Ladwig、Eddy Shyu 和 Tommy Nelson 的工作。

當(dāng)您使用指令調(diào)整 LLM 時(shí)，請(qǐng)類似于考慮向另一個(gè)人提供指令，假設(shè)它是一個(gè)聰明但不知道您任務(wù)的具體細(xì)節(jié)的人。當(dāng) LLM 無法正常工作時(shí)，有時(shí)是因?yàn)橹噶畈粔蚯逦＠?，如果您說“請(qǐng)為我寫一些關(guān)于阿蘭·圖靈的東西”，清楚表明您希望文本專注于他的科學(xué)工作、個(gè)人生活、歷史角色或其他方面可能會(huì)更有幫助。更多的，您還可以指定文本采取像專業(yè)記者寫作的語調(diào)，或者更像是您向朋友寫的隨筆。

當(dāng)然，如果你想象一8下讓一位新畢業(yè)的大學(xué)生為你完成這個(gè)任務(wù)，你甚至可以提前指定他們應(yīng)該閱讀哪些文本片段來寫關(guān)于 Alan Turing的文本，那么這能夠幫助這位新畢業(yè)的大學(xué)生更好地成功完成這項(xiàng)任務(wù)。下一章你會(huì)看到如何讓提示清晰明確，創(chuàng)建提示的一個(gè)重要原則，你還會(huì)從提示的第二個(gè)原則中學(xué)到給LLM時(shí)間去思考。

系統(tǒng)視頻學(xué)習(xí)課程請(qǐng)關(guān)注「元壤教育」公眾號(hào)進(jìn)入知識(shí)商城系統(tǒng)學(xué)習(xí)

本教程為吳恩達(dá)《ChatGPT Prompt Engineering for Developers》課程中文版，主要內(nèi)容為指導(dǎo)開發(fā)者如何構(gòu)建 Prompt 并基于 OpenAI API 構(gòu)建新的、基于 LLM 的應(yīng)用，包括：

書寫 Prompt 的原則 文本總結(jié)（如總結(jié)用戶評(píng)論）； 文本推斷（如情感分類、主題提?。?； 文本轉(zhuǎn)換（如翻譯、自動(dòng)糾錯(cuò)）； 擴(kuò)展（如書寫郵件）

目錄：

1. 簡(jiǎn)介 Introduction @鄒雨衡

2. Prompt 的構(gòu)建原則 Guidelines @鄒雨衡

3. 如何迭代優(yōu)化 Prompt Itrative @鄒雨衡

4. 文本總結(jié) Summarizing @玉琳

5. 文本推斷 @長(zhǎng)琴

6. 文本轉(zhuǎn)換 Transforming @玉琳

7. 文本擴(kuò)展 Expand @鄒雨衡

8. 聊天機(jī)器人 @長(zhǎng)琴

9. 總結(jié) @長(zhǎng)琴