大模型時(shí)代,一定要了解的核心技術(shù)
ChatGPT問世之后,各類大語言模型如雨后春筍般涌現(xiàn)而出,使得國(guó)內(nèi)LLM界群星璀璨。智能助手的強(qiáng)大對(duì)話能力引起了人們的廣泛關(guān)注,不禁讓人感嘆“未來已來”。那么,如此強(qiáng)大的智能對(duì)話模型究竟是被如何訓(xùn)練出來的?
如前幾期介紹,現(xiàn)如今大型語言模型的訓(xùn)練流程主要包括預(yù)訓(xùn)練、指令微調(diào)、對(duì)齊等關(guān)鍵步驟。預(yù)訓(xùn)練讓大語言模型獲得通用知識(shí),指令微調(diào)則可激活其特定能力。在本期報(bào)告中,我們將詳細(xì)探討大型語言模型訓(xùn)練過程中的指令微調(diào)技術(shù)。同時(shí),我們還將從高效使用大型語言模型的角度出發(fā),深入解析上下文學(xué)習(xí)、思維鏈等技術(shù)。如果您對(duì)大型語言模型的訓(xùn)練流程感興趣,或者想要了解如何更好地使用它,定會(huì)在本期報(bào)告中有所收獲。
本期報(bào)告將于7月13日線上舉辦,屆時(shí)由來自東北大學(xué)自然語言處理實(shí)驗(yàn)室的阿卜杜熱西提 熱合曼為我們帶來《指令微調(diào)與上下文學(xué)習(xí)》報(bào)告,具體流程如下:

本次直播將分為兩部分進(jìn)行,第一部分為報(bào)告分享環(huán)節(jié),第二部分為Q&A環(huán)節(jié)。在直播過程中,小伙伴可以把問題發(fā)送到直播間中,并在Q&A環(huán)節(jié)與本期嘉賓深入探討;未被回復(fù)的問題也可私信留言,在直播結(jié)束后我們會(huì)進(jìn)行解答。
本系列直播作為公益知識(shí)分享活動(dòng),由東北大學(xué)自然語言處理實(shí)驗(yàn)室、小牛翻譯聯(lián)合推出,感謝AI科技評(píng)論、PaperWeekly、機(jī)器之心、并行科技對(duì)本次直播的大力支持,本次直播向所有聽眾免費(fèi)開放,無需注冊(cè)和報(bào)名繳費(fèi)。參會(huì)觀眾可以在【視頻號(hào)(ID:??小牛翻譯云平臺(tái))、微博(ID:小牛翻譯)、嗶哩嗶哩(ID:小牛翻譯)、知乎(ID:小牛翻譯云平臺(tái))、機(jī)器翻譯學(xué)堂(https://school.niutrans.com/live)】觀看直播,關(guān)注【機(jī)器翻譯學(xué)堂、小牛翻譯云平臺(tái)視頻號(hào)】即可觀看直播回放。
誠(chéng)邀所有關(guān)注自然語言處理與大模型技術(shù)發(fā)展的朋友走進(jìn)直播間,2023年7月13日(周四)18:30,我們期待與您的相遇!
