大模型底層原理與應(yīng)用開發(fā)范式
?
10:08
?參數(shù)從小到大，模型的生成就從確定/重復(fù)到隨機(jī)/新穎
top_p是前百分之p
top_k是排名前k
repetition_penalty是重復(fù)懲罰
max_length是指prompt長(zhǎng)度+生成文本長(zhǎng)度
max_new_tokens是指生成文本長(zhǎng)度
?
13:55
?小模型：參數(shù)幾百萬或幾千萬
?
17:42
?對(duì)話方式完成
微調(diào)、零樣本(zero-shot)、少樣本(few-shot)
?
20:13
?省略復(fù)雜過程，給出任務(wù)適配prompt
推薦用于頭腦風(fēng)暴類的任務(wù)
?
23:41
?為什么需要embedding輔助？
- 長(zhǎng)度限制；
- 相關(guān)信息不是所有信息；
- 效率；
- 費(fèi)用
?
29:08
?為什么要微調(diào)？
- 公開數(shù)據(jù)太少
- 有些知識(shí)不對(duì)
- 特定任務(wù)表現(xiàn)不佳
- 不具備某些能力
不同微調(diào)對(duì)比：
API微調(diào)的基本流程：
?
36:50
?對(duì)開發(fā)者的能力需求：
工具選擇：
?
43:38
?標(biāo)簽：
