AI展望周刊 2023.09
2023年第9周 (02-27 ~ 03-05)
人人都能使用AI很重要，否則加劇不平等。
實踐：用AI總結視頻內容
以小Lin說的這期視頻為例，是個很好的科普視頻，回顧了ChatGPT和聊天機器人的歷史，以及OpenAI、微軟和谷歌在其中的角色和故事。
以下是 ChatGPT 對視頻內容的概括：
“視頻介紹了Chat GPT，一個強大的聊天機器人，它具有強大的自然語言生成能力，可以編寫腳本和小說，甚至參加醫(yī)學和司法考試。該視頻還探討了聊天機器人的起源，機器學習的基本理念，神經網絡的發(fā)展，以及OpenAI和微軟的合作。視頻還提到了大型語言模型的優(yōu)缺點，需要對其使用謹慎并審慎考慮其輸出。 Chat GPT 的突破在于它可以提高人類和機器之間的溝通效率，但也引發(fā)了一些問題，如可能導致誰失業(yè)等?！?/p>
具體方法和過程是：
首先用開源的AI模型Whisper（來自于OpenAI）+ 開源工具 autocut，將音頻聽錄成字幕。
再人工將內容文本按篇章進行分段，讓ChatGPT分別進行總結。
最后將所有分段總結合并在一起，再讓ChatGPT做一次總結。
Whisper 和 ChatGPT 都是支持多語言的，所以也可以直接實現(xiàn)跨語言的內容總結。
分享一款有類似功能的瀏覽器插件：glarity.app，可以在網頁端對谷歌搜索結果和視頻字幕進行總結。能用 ChatGPT 就可以用，API KEY 不是必須的。
OpenAI 上線 ChatGPT 和 Whisper API 服務
3月1日，OpenAI 推出 ChatGPT 和 Whisper API，使開發(fā)者能夠將先進的文本對話和語音轉文本能力，集成到他們的程序和產品中。
公布的 gpt-3.5-turbo 模型是和當前 ChatGPT 使用的相同模型。相較之前的 text-davinci-003 模型，成本下降了 10 倍！ 調用 API 的計費價格也隨之降低。
Whisper 是 OpenAI 開源的語音轉文本模型，支持多語言（包括中文），效果很好。
這將進一步促進更多應用場景的出現(xiàn)。官方博文 中也演示了一些企業(yè)已使用新版API將 ChatGPT的能力融入到了自身的產品中，例如 Snapchat、Quizlet、Instacart等。
OpenAI 還根據開發(fā)者反饋調整了其 API 的服務條款，例如不再將通過API提交的數據用于訓練 ChatGPT。
商業(yè)服務上，可提供專用實例（服務器），以便用戶更好地控制特定模型版本和系統(tǒng)性能。
內容參考自官方博文。 以及 Chat completions 的API 文檔。
ControlNet，讓AI按需繪圖更進一步
之前使用穩(wěn)定擴散模型來畫圖都是通過不斷調整提示詞來生成期望的圖片。ControlNet 的出現(xiàn)讓我們可以提供圖片作為附加輸入條件， 讓Stable Diffusion等模型生成更接我們近期望的圖片。
例如輸入一張狗狗的照片，選擇提取邊緣輪廓，生成多張形態(tài)相似的狗狗圖片：
例如輸入一張房屋室內照片，選擇線段檢測，+提示詞，可以生成結構相似但風格不同的室內圖：
例如輸入一張人臉，選擇HED(嵌套邊緣檢測)，繪制畫風不同的相似人臉：
例如輸入一張全身像照片，選擇提取人體姿勢，+提示詞，生成姿態(tài)相同但場景和角色不同的圖片：
或者直接隨手涂鴉，根據涂鴉線條+提示詞繪制圖片：
更多案例和說明可以參見官方項目主頁/代碼倉庫，
以及論文 Adding Conditional Control to Text-to-Image Diffusion Model，
在線試玩 demo 1, demo2。
通過結合現(xiàn)有的圖片信息提取方法，已支持條件有：邊緣檢測、線段檢測、圖像語義分割、人體姿勢、人體關鍵點特征、深度圖、涂鴉、草圖線稿等。
ControlNet 豐富了控制大型擴散模型的方法，實用程度上了一個臺階，會進一步促進相關應用。
又是一波創(chuàng)造力與生產力的提升。例如拿小姐姐跳舞的視頻逐幀生成圖片之后合成了一個新的小姐姐跳舞視頻。??
BLOOM，學術界協(xié)作并開源的大語言模型
人工智能的加速發(fā)展將對社會產生根本性影響。這項工作的很大一部分源于在更大的數據集上訓練更大的模型。
這項努力的資源主要掌握在大型科技巨頭手中。從研究進展、環(huán)境、倫理和社會的角度來看，對這種在變革性技術上的束縛會帶來問題。
BigScience 項目從 CERN 和 LHC 大型科學項目中獲得靈感，以開放的科學合作促進了對整個研究界有用的大規(guī)模人工制品的創(chuàng)造。旨在展示另一種在 AI/NLP 研究社區(qū)內創(chuàng)建、研究和共享大型語言模型和大型研究成果的方法。
以上內容摘錄并翻譯自 BigScience 項目主頁
BigScience 發(fā)布了 BLOOM 模型。這是第一個在完全透明的情況下接受過培訓的多語言 LLM，其擁有 1760 億個參數，能夠生成 46 種自然語言和 13 種編程語言的文本。
這是來自 70 多個國家和 250 多個機構的 1000 多名研究人員一年的工作成果。法國研究機構 CNRS 和 GENCI 為該模型的訓練資助了價值 300 萬歐元的計算資源。
任何人現(xiàn)在都可以下載、運行和研究 BLOOM：模型文件和在線演示Demo
更多開源的模型和數據集，可訪問托管在 HuggingFace 的資源頁面
LAION-AI 的 Open-Assistant，做真正開放的對話AI
在 OpenAI 的 GPT-3 不再 Open 之時。 LAION-AI，一個非營利性組織，旨在將大規(guī)模機器學習模型、數據集及相關代碼提供給公眾使用。
其發(fā)起的項目 Open-Assistant，首先是對標/復刻 ChatGPT，做一個開源版的基于聊天的助手。更長遠的目標是希望它能夠理解任務，可以與第三方系統(tǒng)進行交互，并動態(tài)地檢索信息以執(zhí)行更多任務，并具有個性化和可擴展性，可以被任何人所使用。
該項目以開源的大語言模型、開源數據集作為基礎，并希望通過開放眾包的方式來收集大量高質收集對話和指令的數據。
任何人都可以通過 open-assistant.io 網站，提交回復、分類回復或打分回復，直接幫助改善 Open Assistant 的能力。 這一過程類似 OpenAI 為 ChatGPT 花錢找外包團隊標注數據。
微調訓練 ChatGPT 的技術細節(jié)，可參考往期周刊內容：跟著李沐精讀 InstructGPT 論文，以及下一條內容。
Open-Assistant 的模型、方法和數據集都是開源的。
解讀 ChatGPT 背后的技術重點
Hugging Face 的博文 What Makes a Dialog Agent Useful?,
姚偉峰翻譯的中文版：解讀 ChatGPT 背后的技術重點：RLHF、IFT、CoT、紅藍對抗
預訓練的大語言模型(LLM)，例如 GPT-3、Bert 其訓練方式是預測文本，并不會遵循指令。
ChatGPT 是如何對LLM做微調訓練的呢？
第一步，使用 指令微調 (Instruction Fine-Tuning，IFT)的方法對基礎模型進行微調。這些指令示范由三個主要部分組成 —— 指令、輸入和輸出。
經過指令微調的 LM 并不總是能生成 有幫助的 和 安全的 響應。
第二步，使用 有監(jiān)督微調 (Supervised Fine-tuning, SFT)，在高質量的人類標注數據上微調基礎語言模型，以提高有用性和無害性。SFT 和 IFT 聯(lián)系非常緊密。指令微調可以看作是有監(jiān)督微調的一個子集。
第三步，使用 人類反饋強化學習 (Reinforcement Learning From Human Feedback，RLHF) 來微調模型生成符合人類偏好的回答。該方法根據人類反饋來對模型的響應進行排序標注，然后，用這些帶標注的響應來訓練偏好模型。
思維鏈 (Chain-of-thought，CoT) 提示，是指令示范的一種特殊情況，它通過引發(fā)對話代理的逐步推理來生成輸出。使用 CoT 微調的模型在涉及常識、算術和符號推理的任務上表現(xiàn)得更好。
相關閱讀:
HuggingFace: Illustrating Reinforcement Learning from Human Feedback (RLHF) (中文版: RLHF 技術詳解)
為什么目前還沒有能夠復現(xiàn) ChatGPT 能力的其它產品？難度在哪里？
楊靖鋒：Why did all of the public reproduction of GPT-3 fail?（中文版：為什么所有GPT-3復現(xiàn)都失敗了？)
文中提及：基于谷歌開源的 FLAN-T5 模型，有可能微調出優(yōu)于 ChatGPT 的聊天機器人。
（由于無法添加外鏈，各處的原文和資源鏈接缺失?？稍L問周刊網頁版查看完整內容）
AI展望周刊
一份關于人工智能的資訊摘錄周刊，記錄值得關注的AI產品、技術研究、項目進展、引人思考的觀點和鼓舞人心的理念。注視正在發(fā)生的未來。
?? 網頁版: https://issue.toulan.fun/ai-prospects-weekly/
